LADB: Latent Aligned Diffusion Bridges for Semi-Supervised Domain Translation

O artigo apresenta o LADB, uma framework semi-supervisionada que utiliza pontes de difusão alinhadas em um espaço latente compartilhado para realizar tradução entre domínios com alta fidelidade e diversidade, superando a necessidade de grandes conjuntos de dados totalmente pareados ou não pareados.

O essencial

Imagine que você é um tradutor de idiomas, mas em vez de palavras, você está traduzindo imagens.

O problema é o seguinte: para ensinar um computador a transformar, por exemplo, um desenho simples em uma foto realista, você normalmente precisa de milhares de exemplos onde cada desenho tem sua foto correspondente (como um livro de "antes e depois"). Mas, na vida real, conseguir esses pares perfeitos é caro, demorado e difícil. Às vezes, você só tem alguns exemplos pareados e milhares de desenhos soltos, ou milhares de fotos soltas.

É aqui que entra o LADB (Latent Aligned Diffusion Bridges), o "ponte de difusão alinhada no espaço latente". Vamos explicar como ele funciona usando uma analogia simples:

1. O Problema: Traduzir sem Dicionário Perfeito

Imagine que você quer traduzir um livro de um idioma estranho (o Domínio de Origem, como um mapa de profundidade ou um esboço) para o português (o Domínio de Alvo, como uma foto real).

• Métodos antigos (Não pareados): Tentavam adivinhar a tradução sem nunca ter visto os dois lados juntos. O resultado era bagunçado, como tentar traduzir um poema sem saber o significado das palavras.
• Métodos antigos (Totalmente pareados): Exigiam que você tivesse um dicionário perfeito com milhões de palavras. Se faltasse uma página, o sistema quebrava.

2. A Solução Mágica: O "Espaço Latente" (A Sala de Tradução Secreta)

O LADB usa um truque inteligente. Em vez de tentar traduzir a imagem diretamente (que é como tentar traduzir uma foto pixel por pixel), ele primeiro transforma tudo em uma língua universal secreta, chamada Espaço Latente.

Pense no Espaço Latente como uma sala de reuniões neutra onde todos os tradutores se encontram.

• Passo 1: Você pega o seu desenho (origem) e o transforma em um "resumo" ou "ideia central" nessa sala secreta.
• Passo 2: Você pega a foto real (alvo) e também a transforma em um "resumo" na mesma sala.

A grande sacada do LADB é que ele alinhou essa sala. Ele garantiu que, quando você diz "cama" no resumo do desenho, é exatamente a mesma ideia de "cama" no resumo da foto, mesmo que você só tenha alguns exemplos para ensinar isso.

3. Como ele aprende? (O Treinamento Semi-Supervisionado)

Aqui está a parte genial para economizar dinheiro e tempo:

• O LADB pega os poucos exemplos que você tem (onde tem o desenho e a foto juntos) e os usa para "ensinar" a sala secreta a conectar as duas ideias.
• Depois, ele pega os milhares de exemplos que você tem apenas de um lado (apenas desenhos ou apenas fotos) e os mistura na sala.
• Ele aprende a navegar nessa sala misturando o que sabe com certeza (os pares) com o que ele pode inferir (os soltos). É como um aluno que estuda com um professor particular (os pares) e depois pratica sozinho com livros (os dados não pareados), mas como a sala de aula foi bem organizada, ele não se perde.

4. A Ponte (O "Bridge")

O nome "Bridge" (Ponte) é porque o sistema cria uma ponte contínua entre o desenho e a foto.

1. Ele pega o desenho.
2. O transforma no "resumo" na sala secreta.
3. Usa a "ponte" treinada para transformar esse resumo na foto final.

O melhor de tudo? Se você tiver dois tipos de desenhos (por exemplo, um mapa de profundidade E um esboço de cores), o LADB consegue misturá-los na sala secreta. Você pode pedir: "Quero uma foto que seja 50% baseada no mapa e 50% no esboço". O sistema faz essa mistura suavemente, criando algo novo e coerente, algo que os métodos antigos não conseguiam fazer bem.

Resumo em uma frase:

O LADB é como um tradutor genial que, mesmo com um dicionário incompleto, consegue aprender a língua secreta de todos os mundos (imagens) e criar pontes perfeitas entre eles, permitindo que você transforme esboços em fotos realistas com poucos exemplos e ainda misture diferentes tipos de desenhos para criar resultados únicos.

Por que isso é importante?
Porque na vida real, raramente temos dados perfeitos e completos. O LADB permite que a Inteligência Artificial faça trabalhos incríveis de tradução de imagens mesmo quando os dados são escassos, caros ou incompletos, sem precisar de supercomputadores treinando por anos.

Resumo técnico

1. O Problema

Os modelos de difusão atuais demonstram capacidades excepcionais na geração de dados de alta qualidade, especialmente em domínios com grandes conjuntos de dados. No entanto, eles enfrentam desafios significativos em cenários com escassez de dados, onde:

• O retreinamento exaustivo é computacionalmente caro.
• A obtenção de dados pareados (ex: uma imagem de profundidade e sua correspondente RGB perfeita) é laboriosa, custosa e muitas vezes inviável.
• Métodos existentes apresentam trade-offs:
  • Métodos não pareados (ex: DDIB) não exigem supervisão, mas carecem de controle e consistência estrutural.
  • Métodos totalmente pareados (ex: DDBM) oferecem alta fidelidade, mas exigem grandes conjuntos de dados específicos de domínio e sofrem de overfitting quando os dados pareados são limitados.
  • Modelos condicionais exigem mudanças arquiteturais para novas condições e não utilizam eficientemente dados parcialmente pareados.

O objetivo é realizar uma tradução de domínio de amostra para amostra que seja controlável, fiel e capaz de generalizar utilizando apenas uma mistura de dados pareados e não pareados.

---

2. Metodologia: LADB (Latent Aligned Diffusion Bridges)

Os autores propõem o LADB, um framework de aprendizado semi-supervisionado que realiza a tradução entre domínios alinhando as distribuições de origem e destino em um espaço latente compartilhado.

Arquitetura e Fluxo de Trabalho:

1. Alinhamento no Espaço Latente:

   • Utiliza-se um Modelo de Difusão Latente (LDM) pré-treinado no domínio de origem para mapear amostras de origem (mesmo as não pareadas) para um espaço latente comum.
   • Para os pares de dados disponíveis (origem-destino), o LDM de origem é usado para inferir correspondências determinísticas entre a representação latente da origem e a amostra real do destino. Isso cria pares "latente-destino".

2. Aprendizado Semi-Supervisionado (LADM):

   • Treina-se um Modelo de Difusão Latente Alinhado (LADM) no domínio de destino.
   • O treinamento utiliza uma distribuição de acoplamento mista:
     • Pares: Correspondências latente-destino derivadas dos dados pareados originais.
     • Não pareados: Amostra de destino acoplada aleatoriamente a latentes (representando a distribuição marginal do destino).
   • O modelo aprende a função de pontuação (score function) minimizando a perda de score matching sobre essa mistura, permitindo que o modelo aprenda tanto a estrutura dos pares quanto a diversidade do domínio de destino.

3. Inferência (Ponte de Difusão):

   • A tradução é realizada concatenando dois processos de ODE (Equação Diferencial Ordinária de Fluxo de Probabilidade):
     1. Origem $\to$ Latente: Uso do LDM pré-treinado de origem para codificar a amostra de origem no espaço latente.
     2. Latente $\to$ Destino: Uso do LADM treinado para decodificar o latente para o domínio de destino.
   • Isso garante consistência cíclica e mapeamento determinístico sem necessidade de supervisão total.

Extensões:

• Multi-Origem: O framework permite a tradução a partir de múltiplas fontes (ex: mapas de profundidade e máscaras de segmentação). As latentes de diferentes fontes são interpoladas (média ponderada) no espaço latente compartilhado antes da decodificação, permitindo fusão suave de estilos e conteúdos.
• Condicional: Suporta condições de classe ou texto para tarefas de transferência de estilo.

---

3. Contribuições Principais

• Framework Semi-Supervisionado Eficiente: Propõe o primeiro método que utiliza eficientemente dados parcialmente pareados para tradução de domínio baseada em difusão, equilibrando fidelidade e diversidade.
• Alinhamento Latente Determinístico: Introduz uma abordagem para transformar correspondências origem-destino em correspondências latente-destino, permitindo o uso de modelos pré-treinados de origem para guiar o aprendizado do destino.
• Generalização e Interpolação: Demonstra capacidade de interpolação suave entre múltiplas fontes (multi-modal) e generalização para combinações não vistas sem retreinamento, superando limitações de métodos baseados em adaptadores fixos.
• Escalabilidade: Oferece uma solução escalável para cenários do mundo real onde a anotação de dados é incompleta ou heterogênea.

---

4. Resultados Experimentais

Os experimentos foram conduzidos em tarefas de tradução de profundidade para imagem (Depth-to-Image) e tradução multi-fonte (Profundidade + Segmentação), utilizando os datasets LSUN-Bedroom e LSUN-Churches.

• Tradução Profundidade $\to$ Imagem (Parcialmente Pareada):

  • O LADB superou os métodos state-of-the-art (DDIB, DDBM, CondLDM, ControlNet) em métricas de qualidade de geração (FID e IS) sob regimes de dados pareados limitados (10%, 25%, 50%).
  • Mantém alta fidelidade (LPIPS, MSE) comparável aos métodos totalmente pareados, mas com muito menos dados de treinamento.
  • Enquanto o DDBM (totalmente pareado) sofre de overfitting e degradação de fidelidade à medida que os dados pareados aumentam (devido à falta de regularização de dados não pareados), o LADB mantém robustez.

• Tradução Multi-Fonte:

  • O LADB demonstrou superioridade na tradução a partir de múltiplas fontes (profundidade e máscaras) e na interpolação entre elas.
  • Métodos concorrentes como o UniControlNet falharam em gerar interpolações coerentes, apresentando artefatos, enquanto o LADB produziu fusões suaves de iluminação, cor e textura.

• Análise Qualitativa:

  • Os resultados visuais mostram que o LADB preserva detalhes finos (como texturas de tecidos e cortinas) e evita artefatos comuns em outros métodos, mantendo a consistência estrutural com a entrada.

---

5. Significância e Impacto

O trabalho LADB representa um avanço significativo na aplicação de modelos de difusão para tradução de domínio em cenários de dados limitados.

• Viabilidade Prática: Remove a barreira da necessidade de grandes conjuntos de dados perfeitamente pareados, tornando a tradução de domínio viável para aplicações onde a anotação manual é proibitivamente cara (ex: medicina, robótica, síntese 3D).
• Flexibilidade: A capacidade de lidar com múltiplas fontes e condições abre caminho para sistemas generativos mais versáteis e adaptáveis.
• Equilíbrio Teórico: Resolve o dilema clássico entre métodos não supervisionados (falta de controle) e supervisionados (falta de generalização), oferecendo um meio-termo robusto através do alinhamento no espaço latente.

Em resumo, o LADB estabelece um novo padrão para tradução de domínio semi-supervisionada, demonstrando que a combinação inteligente de dados pareados e não pareados em um espaço latente unificado pode superar as limitações dos métodos puramente supervisionados ou não supervisionados.