Resumo Técnico: VT-DUDA

Definição do Problema

A Adaptação de Domínio Não Supervisionada (UDA) busca aprender um classificador para um domínio alvo não rotulado utilizando dados rotulados de um domínio de origem sob mudanças de distribuição. Enquanto os métodos clássicos operam no espaço de características por meio da minimização de discrepância ou alinhamento adversarial, abordagens recentes baseadas em difusão adotam uma perspectiva centrada nos dados: elas sintetizam imagens de estilo alvo rotuladas para treinar um classificador downstream.

No entanto, os métodos atuais de UDA guiados por difusão sofrem de uma especificidade de condicionamento insuficiente. As abordagens atuais dependem tipicamente de prompts de texto de nível de classe grosseiros (ex: "uma cama") ou indicadores de domínio genéricos. Isso resulta em uma perda de detalhes visuais ao nível de instância durante a síntese, pois múltiplas imagens de origem distintas da mesma classe são mapeadas para condições de texto idênticas. Consequentemente, os dados gerados com estilo de alvo podem carecer das nuances visuais específicas necessárias para maximizar o desempenho da classificação downstream, particularmente sob orçamentos de geração limitados.

Metodologia: VT-DUDA

Os autores propõem o VT-DUDA (Visual Token conditioning for Diffusion-guided Unsupervised Domain Adaptation), um framework que aumenta o condicionamento padrão baseado em texto com tokens visuais ao nível de instância. O método opera dentro de um modelo de difusão latente (LDM) baseado em adaptadores sem modificar o backbone, o VAE ou o objetivo de denoising.

Componentes Principais

1. Codificador Imagem-para-Token ($G_\psi$):
   Um codificador treinável mapeia uma imagem de entrada $v$ para uma sequência compacta de $M$ tokens visuais $U = [u_1, \dots, u_M]$. Esta sequência captura o contexto visual específico da instância. O codificador é treinado conjuntamente com o modelo de difusão usando apenas o objetivo padrão de denoising, sem supervisão auxiliar ao nível de token.

2. Contexto de Atenção Cruzada Híbrida:
   O VT-DUDA modifica a entrada de condicionamento ao mecanismo de atenção cruzada do modelo de difusão. Em vez de usar apenas embeddings de texto, o modelo concatena tokens de texto com tokens visuais ao longo da dimensão da sequência:

   • Ramo de Origem (Source Branch): O contexto de condicionamento combina um prompt de texto específico da classe (ex: "Um [classe]") com tokens visuais extraídos da imagem de origem específica.
   • Ramo de Alvo (Target Branch): O contexto de condicionamento combina um prompt genérico (ex: "Uma imagem") com tokens visuais extraídos da imagem de alvo não rotulada.
   • Controle de Força: Coeficientes treináveis ($\kappa_s, \kappa_t$) controlam a força relativa do direcionamento pelos tokens visuais.

3. Treinamento Conjunto:
   O framework otimiza conjuntamente os parâmetros do adaptador específico de domínio ($\Delta\theta$) e os parâmetros do codificador de tokens ($\psi$). O objetivo de treinamento minimiza a perda de denoising para ambos os ramos de origem e alvo, onde o ramo de alvo aprende a realizar o denoising sob um contexto aumentado por tokens sem acesso aos rótulos de alvo.

4. Síntese e Geração:
   Para gerar dados rotulados de estilo alvo, o modelo amostra de um ruído Gaussiano (ou utiliza inversão DDIM para tradução) sob o ramo de alvo. Crucialmente, o contexto de condicionamento é populado com o prompt de classe da origem e os tokens visuais da imagem de origem. Isso permite que o modelo sintetize uma imagem de estilo alvo que retém os detalhes específicos de nível de instância de uma amostra de origem, enquanto adere à aparência do domínio de alvo.

5. Manipulação em Tempo de Inferência:
   Como o direcionamento visual é explícito como uma sequência de tokens, o framework suporta manipulação em tempo de inferência. Usuários podem selecionar subconjuntos de tokens ou ajustar a escala de força do token ($\eta$) para controlar a síntese sem retreinar.

Principais Contribuições

• Framework de Condicionamento por Tokens Visuais: O artigo introduz um método para enriquecer interfaces de atenção cruzada padrão com tokens visuais dependentes da instância, abordando a falta de orientação detalhada nas abordagens de UDA baseadas em difusão existentes.
• Protocolos de Geração Unificados: O framework suporta duas rotas para construir dados sintéticos:
  1. Síntese de ruído puro: Gerando imagens de estilo alvo a partir de ruído Gaussiano condicionado a tokens de origem.
  2. Tradução baseada em inversão DDIM: Traduzindo imagens de origem para o domínio de alvo usando a mesma interface condicionada por tokens.
• Compatibilidade de Backbone: O método integra-se em frameworks de difusão baseados em adaptadores existentes (ex: LoRA) sem alterar o backbone de difusão ou o objetivo fundamental de denoising.
• Flexibilidade de Inferência: O design tokenizado permite a manipulação direta do sinal de condicionamento (seleção de subconjunto, escala de força) durante a inferência.

Resultados Experimentais

O método foi avaliado em três benchmarks padrão: Office-31, Office-Home e VisDA-2017.

• Ganhos de Desempenho: O VT-DUDA superou consistentemente baselines discriminativos fortes (MCC, ELS) e métodos baseados em difusão existentes (Terra, DCDM).
  • No Office-Home, o VT-DUDA (instanciado no ELS) alcançou 76,74% de acurácia média, superando o melhor baseline de difusão (ELS+Terra com 76,26%) e o baseline discriminativo (ELS com 71,84%).
  • No VisDA-2017, alcançou 88,42%, melhorando sobre o ELS+Terra (86,86%) e o ELS (83,40%).
• Eficiência de Dados: Uma descoberta significativa é que o VT-DUDA alcança um desempenho superior mesmo com um orçamento de geração mais leve.
  • Em um cenário "livre de inversão" (usando apenas 50 imagens por classe para Office-31/Office-Home e 1000 para VisDA-2017), o VT-DUDA superou o pipeline completo do Terra (que inclui tradução baseada em inversão) e o método DCDM (que usa 200/2000 imagens por classe).
  • Isso sugere que a interface condicionada por tokens melhora a utilidade de cada amostra gerada, tornando os dados sintéticos mais eficazes para o treinamento downstream.
• Estudos de Ablação: Experimentos indicaram que um conjunto de tokens compacto ($M=5$ ou $10$) é suficiente para um forte desempenho, enquanto sequências excessivamente longas ($M=20, 50$) degradam a acurácia.

Significância e Alegações

O artigo alega que a principal contribuição do VT-DUDA é demonstrar que o design de condicionamento é um fator crítico na geração para UDA. Os autores argumentam que simplesmente aumentar o volume de dados sintéticos é insuficiente; em vez disso, a especificidade do sinal de condicionamento determina a utilidade downstream dos dados gerados.

Ao fornecer contexto visual de nível de instância junto com prompts de classe, o VT-DUDA constrói dados sintéticos de estilo alvo que são mais representativos das instâncias de origem, levando a um melhor desempenho do classificador. O artigo posiciona isso como uma melhoria prática para os atuais frameworks de difusão baseados em adaptadores, oferecendo uma interface unificada tanto para síntese pura quanto para tradução baseada em inversão, permitindo simultaneamente o controle flexível do processo de geração em tempo de inferência. Os autores observam modestamente que os tokens visuais não são garantidos como semanticamente desentranhados ou interpretáveis por humanos, e que o método é avaliado estritamente no contexto de UDA para classificação de imagens.