Rethinking the Flow-Based Gradual Domain Adaptation: A Semi-Dual Optimal Transport Perspective

Resumo Técnico: Repensando a Adaptação de Domínio Gradual Baseada em Fluxo: Uma Perspectiva de Transporte Ótimo Semi-Dual

Definição do Problema
A Adaptação de Domínio Gradual (GDA) visa reduzir o hiato de distribuição entre um domínio de origem rotulado e um domínio de destino não rotulado, adaptando progressivamente os modelos através de uma sequência de domínios intermediários. Embora abordagens baseadas em fluxo tenham ganhado atenção pela síntese desses domínios intermediários através da interpolação entre distribuições de origem e destino, elas enfrentam uma limitação crítica: dependem tipicamente da estimativa explícita da função de densidade de probabilidade (PDF) do domínio de destino. Métodos existentes estimam a PDF do alvo (por exemplo, via score matching) para definir a força motriz (campo de velocidade) para o fluxo. No entanto, estimar PDFs a partir de amostras isoladas é um problema mal posto; imprecisões nessa estimativa podem levar as amostras a serem direcionadas para regiões de baixa densidade, resultando em um descompasso entre as amostras geradas e as amostras reais do alvo, degradando o desempenho das tarefas de jusante.

Metodologia: Estrutura E-SUOT
Para abordar a dependência da estimativa explícita de PDF e a instabilidade das formulações duais existentes, os autores propõem o Transporte Ótimo Desbalanceado Semi-Dual com Regularização de Entropia (E-SUOT). A metodologia procede da seguinte forma:

1. Reformulação como Otimização: Os autores reestruturam o problema de GDA baseado em fluxo, tradicionalmente visto como um fluxo de gradiente que minimiza uma $f$-divergência, como um problema de otimização recursivo regularizado pela distância 2-Wasserstein (um esquema de Jordan-Kinderlehrer-Otto). Esta formulação evita a necessidade de avaliação explícita da PDF.
2. Formulação Semi-Dual: Eles derivam uma formulação semi-dual deste problema de otimização. Ao contrário das formulações primais que exigem estimativa de densidade, o objetivo semi-dual depende apenas de expectativas sobre as amostras de origem e destino. Isso permite o uso de métodos de Monte Carlo para aproximar integrais sem acessar a PDF do alvo.
3. Abordagem da Instabilidade: A formulação semi-dual padrão envolve uma estrutura composta de "sup–inf" (treinamento adversarial), que os autores provam poder levar a soluções ótimas não únicas e instabilidade no treinamento. Para resolver isso, eles introduzem um termo de regularização de entropia ao objetivo primal.
4. Otimização Sequencial Estável: A regularização de entropia transforma o problema de min–max adversarial em um procedimento de otimização sequencial estável. Teoricamente, isso garante a unicidade da solução ótima e garante a convergência.
5. Fluxo de Treinamento: A estrutura treina duas redes neurais de maneira alternada:
   • Uma função potencial $w_\phi$ é otimizada para maximizar o objetivo semi-dual (que agora inclui o termo de entropia).
   • Um mapa de transporte $T_\theta$ é otimizado para minimizar o custo de transporte condicionado ao potencial aprendido $w_\phi$.
   • Uma vez que a sequência de mapas de transporte é aprendida, o classificador é ajustado estágio a estágio ao longo dos domínios intermediários gerados.

Principais Contribuições

1. Formulação Semi-Dual: O artigo desenvolve uma formulação semi-dual para a geração de domínios intermediários em GDA baseado em fluxo que elimina a necessidade de estimativa explícita da PDF do domínio de destino, evitando assim os erros associados à estimativa de densidade.
2. Estabilidade com Regularização de Entropia: Os autores introduzem um termo de regularização de entropia para abordar a instabilidade inerente e a não unicidade da formulação semi-dual. Isso resulta na nova estrutura E-SUOT, que garante uma solução ótima única e um processo de treinamento estável.
3. Análise Teórica: O artigo fornece provas teóricas relativas à convergência da estrutura E-SUOT e estabelece um limite superior para o erro de generalização do modelo adaptado, vinculando o erro ao custo de transporte cumulativo e à continuidade de rótulos ao longo do caminho de adaptação.
4. Validação Empírica: Experimentos extensos em tarefas de GDA (Portraits, MNIST com rotação) e tarefas de Adaptação de Domínio Não Supervisionada (UDA) (Office-Home) demonstram que o E-SUOT alcança um desempenho superior em comparação com métodos de estado da arte, incluindo auto-treinamento (self-training), métodos baseados em fluxo de gradiente (GGF, CNF) e abordagens baseadas em transporte ótimo (MMDSW, SMMD).

Resultados Experimentais

• Tarefas de GDA: Nos conjuntos de dados Portraits, MNIST $45^\circ$ e MNIST $60^\circ$, o E-SUOT superou consistentemente as linhas de base existentes. Por exemplo, melhorou a acurácia em 21,5%, 23,4% e 38,6%, respectivamente, em relação à linha de base source-only, e superou os segundos melhores métodos (ex: STDW, GOAT) em todos os conjuntos de dados.
• Tarefas de UDA: No conjunto de dados Office-Home, o E-SUOT alcançou a melhor acurácia média entre os métodos comparados. Embora nem sempre seja o melhor executor em cada direção de transferência específica, demonstrou alta estabilidade e competitividade, frequentemente garantindo os segundos melhores resultados com pequenas lacunas em relação aos melhores métodos.
• Estudos de Ablação:
  • Remover a regularização de entropia (revertendo para o treinamento adversarial) causou quedas significativas de desempenho, confirmando a necessidade da regularização para a estabilidade.
  • O uso de alternativas de $f$-divergências (ex: $\chi^2$, Softplus) ou estratégias de projeção baricêntrica resultou em desempenho inferior comparado à abordagem semi-dual baseada em KL-divergência proposta.
  • O método mostrou robustez a variações nas dimensões de embedding UMAP e hiperparâmetros como tamanho de passo (step size) e tamanho de lote (batch size).

Significância e Alegações
O artigo afirma que o E-SUOT avança o campo da GDA ao unificar métodos baseados em fluxo e transporte ótimo dentro de uma formulação semi-dual. Ele identifica e resolve questões fundamentais de estabilidade e generalização que limitaram abordagens anteriores, especificamente a dependência de estimativas imprecisas de PDF e a instabilidade do treinamento adversarial. Ao fornecer uma estrutura teoricamente fundamentada e com regularização de entropia, os autores argumentam que sua abordagem oferece um mecanismo mais robusto e confiável para a construção de domínios intermediários. O trabalho sugere que evitar a estimativa explícita de densidade enquanto se garante uma otimização estável é a chave para uma adaptação gradual eficaz, particularmente em cenários onde domínios intermediários não estão disponíveis ou são difíceis de sintetizar. Os autores mantêm uma postura modesta, reconhecendo limitações como a suposição de invariância de rótulos ao longo do caminho de transporte e a atual dependência de treinamento offline em múltiplos estágios, sugerindo direções futuras para incorporar informações de rótulos e melhorar a eficiência de parâmetros.