Unsupervised Domain Adaptation for Binary Classification with an Unobservable Source Subpopulation

Este artigo propõe um método de adaptação de domínio não supervisionada para classificação binária que lida com uma subpopulação de origem não observável, demonstrando teoricamente e empiricamente que é possível recuperar modelos de previsão precisos no domínio alvo através de uma abordagem de correspondência de distribuição que supera as técnicas ingênuas.

O essencial

Imagine que você é um chef de cozinha tentando ensinar um novo assistente a cozinhar pratos deliciosos.

O Cenário:
Você tem um livro de receitas antigo (o Domínio de Origem) e quer que o assistente aprenda a cozinhar para um novo grupo de clientes (o Domínio de Alvo). O problema é que o livro de receitas está incompleto de uma forma muito estranha e perigosa.

No seu livro antigo, você tem receitas para:

1. Pato com laranja (Pato + Laranja).
2. Pato com batata (Pato + Batata).
3. Ganso com batata (Ganso + Batata).

Mas, por algum motivo, não existe nenhuma receita de "Ganso com Laranja". Essa combinação simplesmente não aparece no livro antigo. Talvez, na época em que o livro foi escrito, ninguém nunca tenha visto um ganso perto de uma laranjeira, ou talvez os fotógrafos tenham ignorado essa situação.

O Problema:
Agora, seus novos clientes (o Domínio de Alvo) adoram comer Ganso com Laranja. Se você tentar ensinar o assistente apenas olhando para o livro antigo, ele vai cometer dois erros graves:

1. Vai achar que "Ganso com Laranja" não existe.
2. Vai tentar adivinhar o sabor misturando o que sabe sobre "Pato com Laranja" e "Ganso com Batata", o que vai resultar em um prato horrível.

Na linguagem da Inteligência Artificial, isso é chamado de Adaptação de Domínio Não Supervisionada com Subpopulação Inobservável. O "Ganso com Laranja" é o subgrupo que falta.

A Solução Proposta pelos Autores:
Os autores deste artigo (Ying, Jin, Zhang, et al.) dizem: "Ei, mesmo sem a receita do Ganso com Laranja no livro antigo, nós ainda podemos ensinar o assistente a cozinhar esse prato perfeitamente!"

Eles criaram um método inteligente baseado em duas ideias principais:

1. A "Pista" do Ambiente (A):
   Eles notam que, embora não tenham a receita do Ganso com Laranja, eles têm muitas receitas de outros pratos com laranja (como Pato com Laranja). Eles usam isso para entender como a "Laranja" (o ambiente) afeta o sabor, independentemente do animal. É como se dissessem: "Mesmo que não tenhamos o Ganso com Laranja, sabemos como a laranja interage com o pato. Vamos usar essa lógica para inferir como ela interagiria com o ganso, sabendo que o ganso tem características únicas que o diferenciam do pato."

2. O "Espelho" de Distribuição (Correspondência de Distribuição):
   Eles usam uma técnica chamada "correspondência de distribuição". Imagine que você tem uma balança. Você coloca todos os ingredientes que o assistente vai encontrar no novo restaurante (o Domínio de Alvo) em um lado da balança. No outro lado, você tenta montar uma mistura de ingredientes do livro antigo que pesem exatamente o mesmo.

   Como o "Ganso com Laranja" não existe no livro antigo, o sistema calcula matematicamente quanto de "Pato com Laranja" e quanto de "Ganso com Batata" você precisa misturar para simular o peso e o sabor do "Ganso com Laranja" que falta. É como se o sistema dissesse: "Para criar a experiência do Ganso com Laranja no novo restaurante, precisamos ajustar a quantidade de Pato com Laranja e Ganso com Batata que usamos como base."

O Resultado:
Ao fazer esses cálculos matemáticos (que o artigo detalha com rigor), o assistente consegue prever corretamente o que é um "Ganso com Laranja" no novo restaurante, mesmo nunca tendo visto essa combinação antes no livro de receitas.

Por que isso é importante?
No mundo real, isso acontece o tempo todo:

• Saúde: Um hospital pode ter dados de homens brancos e mulheres brancas, mas nenhum dado de homens negros com uma doença específica. Se um novo hospital atender homens negros, modelos comuns falharão. O método deles permite prever com segurança para esse grupo ausente.
• Reconhecimento de Imagens: Um sistema treinado para identificar pássaros pode nunca ter visto um pássaro aquático em um fundo de água (talvez seja difícil tirar fotos assim), mas precise identificar pássaros em um novo cenário onde isso é comum.

Em resumo:
O artigo apresenta uma "mágica matemática" que permite que a Inteligência Artificial aprenda com o que não está visível, usando o que está visível de forma inteligente. Em vez de ignorar os buracos no conhecimento ou tentar adivinhar de qualquer jeito, eles preenchem esses buracos calculando exatamente como as peças que temos se encaixam para formar a imagem completa. Isso torna os sistemas de IA mais justos, precisos e confiáveis, especialmente para grupos que costumam ser esquecidos.

Resumo técnico

Resumo Técnico: Adaptação de Domínio Não Supervisionada com Subpopulação Fonte Inobservável

1. Problema e Motivação

O artigo aborda um cenário desafiador de Adaptação de Domínio Não Supervisionada (UDA) onde o domínio de origem (source) possui uma subpopulação estruturalmente ausente.

• Contexto: O objetivo é prever um rótulo binário $Y$ em um domínio alvo (target) não rotulado, utilizando dados rotulados de um domínio fonte.
• Variáveis: Além do rótulo $Y$, existe uma variável de contexto ou ambiente binária $A$ (ex: fundo de uma imagem, demografia de um paciente).
• O Desafio: Em muitas aplicações reais (como o conjunto de dados Waterbirds ou dados de saúde), uma combinação específica de $(Y, A)$ pode estar completamente ausente no conjunto de dados de treinamento (fonte) devido a viéses de coleta ou restrições físicas.
  • Exemplo: No conjunto Waterbirds, pode não haver imagens de "pássaros aquáticos em fundo aquático" ($Y=1, A=1$) no treinamento, embora essa combinação exista no mundo real (alvo).
• Falha dos Métodos Atuais: Ignorar essa ausência estruturada e aplicar métodos de UDA padrão (como label shift simples ou alinhamento adversarial) resulta em estimativas enviesadas e desempenho preditivo degradado, pois o modelo tenta extrapolar incorretamente para a subpopulação inexistente na fonte.

2. Metodologia Proposta

Os autores desenvolvem um framework teórico e um método prático para recuperar a previsão no domínio alvo, mesmo com a subpopulação ausente na fonte.

A. Premissas Fundamentais:

1. Invariância Condicional Estruturada: A distribuição dos recursos $X$ dado o par $(Y, A)$ é invariante entre os domínios fonte e alvo:
   $$p(X | Y, A, R=1) = p(X | Y, A, R=0) = p(X | Y, A)$$
   Isso significa que, condicional ao rótulo e ao ambiente, as características dos dados são as mesmas, embora as proporções das subpopulações mudem.
2. Ausência Estruturada: Uma subpopulação específica (ex: $Y=1, A=1$) tem probabilidade zero no domínio fonte ($\alpha_{11} = 0$), mas probabilidade não nula no alvo.

B. Solução Teórica (Identificação):
O artigo demonstra que, sob a premissa de invariância condicional, é possível derivar expressões de forma fechada para as probabilidades preditivas no alvo ($\eta_1(x), \eta_0(x), \eta(x)$).

• A adaptação depende crucialmente da estimativa das proporções das subpopulações no domínio alvo (especificamente $\beta_{ya} = P(Y=y, A=a | R=0)$).
• Para a subpopulação ausente na fonte, o modelo utiliza dados observáveis do alvo (onde $A=1$) e dados da fonte (onde $A=0$) para inferir as proporções ocultas.

C. Método Prático: Correspondência de Distribuição (Distribution Matching):
Para estimar as proporções desconhecidas $\beta$ no alvo, os autores propõem um método baseado em correspondência de distribuição:

1. Formulação: O problema é tratado como a estimativa de proporções de mistura em um subconjunto observável do alvo (ex: $R=0, A=0$).
2. Objetivo: Minimizar a divergência de Kullback-Leibler (KL) entre a distribuição observada no alvo e uma mistura ponderada das distribuições conhecidas da fonte.
3. Vantagem: Este método evita a modelagem direta de distribuições de características de alta dimensão, focando apenas na estimativa de parâmetros finitos (proporções) usando probabilidades preditivas condicionais estimadas na fonte.
4. Algoritmo:
   • Estimar probabilidades condicionais na fonte ($\xi_0(x)$).
   • Estimar proporções de subgrupos no alvo via minimização de KL.
   • Calcular as probabilidades preditivas finais no alvo usando as fórmulas derivadas.

3. Contribuições Principais

1. Novo Cenário de UDA: Define e formaliza o problema de adaptação de domínio onde uma subpopulação inteira definida por $(Y, A)$ está ausente na fonte, um cenário motivado por restrições reais de coleta de dados.
2. Framework Teórico Rigoroso:
   • Deriva expressões exatas para as probabilidades preditivas no alvo.
   • Estabelece condições de identificabilidade (relacionadas ao aprendizado Positive-Unlabeled e Open Set Label Shift).
   • Fornece garantias teóricas de consistência assintótica para o estimador de proporções.
   • Deriva limites superiores (upper bounds) para o erro de previsão no domínio alvo.
3. Método de Correspondência de Distribuição: Propõe uma abordagem prática e otimizada para estimar as proporções de subpopulação sem modelar densidades complexas.
4. Validação Empírica: Demonstra que o método supera benchmarks ingênuos (que ignoram a ausência estrutural) em conjuntos de dados sintéticos e reais.

4. Resultados Experimentais

Os autores validaram o método em dois cenários principais:

• Dados Sintéticos:

  • Simularam cenários onde a subpopulação $(Y=1, A=1)$ foi excluída da fonte.
  • Resultado: O método proposto ($\hat{\eta}(x)$) superou consistentemente os benchmarks ingênuos (que aplicam diretamente o modelo da fonte ou assumem apenas label shift) em termos de Acurácia e F1-Score. O desempenho melhorou com o aumento do tamanho da amostra.

• Dados Reais (Waterbirds e CelebA):

  • Utilizaram o dataset Waterbirds (pássaros em terra/água) e CelebA (cabelo loiro/escuro e gênero).
  • Configuraram o problema de modo que uma combinação específica (ex: pássaro aquático em fundo aquático) fosse removida da fonte.
  • Resultados:
    • O método proposto recuperou com sucesso o desempenho na subpopulação não observada.
    • Benchmarks ingênuos falharam sistematicamente, produzindo previsões enviesadas.
    • A escolha de extratores de características (ViT-16 vs. ResNet-18) impactou o desempenho, com o ViT-16 mostrando superioridade, especialmente para os benchmarks ingênuos, mas o método proposto manteve a robustez em ambas as arquiteturas.
    • O desempenho do método proposto é sensível se outras subpopulações também se tornarem muito pequenas, mas é robusto na configuração padrão de "uma subpopulação ausente".

5. Significado e Impacto

• Robustez em Cenários Reais: O trabalho preenche uma lacuna crítica na literatura de UDA, fornecendo soluções para cenários onde os dados de treinamento não cobrem toda a diversidade do mundo real (problema de "cauda longa" ou viés de seleção).
• Justiça e Equidade: Ao corrigir o viés sistemático causado pela ausência de subgrupos, o método contribui para sistemas de IA mais justos, evitando previsões errôneas para grupos sub-representados (ex: minorias demográficas em saúde).
• Generalização: A estrutura teórica pode ser estendida para problemas com múltiplas classes e ambientes contínuos, embora com maior complexidade computacional.
• Conclusão: O artigo prova que, mesmo com dados de treinamento incompletos de forma estruturada, a adaptação de domínio precisa e robusta é matematicamente possível e alcançável através da modelagem correta das proporções de subpopulação e da invariância condicional.