Resumo Técnico: Entrelaçamento Abdução–Dedução: Generalização de Domínio via Transplantes de Representação

Declaração do Problema

A Generalização de Domínio (DG) aborda a falha de modelos de predição treinados em uma distribuição fonte em generalizar para uma distribuição alvo não vista. Abordagens causais padrão frequentemente dependem de fortes suposições estruturais, como a existência de um subconjunto de características invariante ou a ausência de confundidores não observados, para identificar preditores invariantes. No entanto, benchmarks empíricos (por exemplo, DomainBed) sugerem que os métodos existentes frequentemente falham em superar a Minimização Padrão do Risco Empírico (ERM), parcialmente devido a uma incompatibilidade entre estruturas assumidas e as necessidades de generalização do mundo real.

O desafio central identificado neste trabalho é o entrelaçamento abdução–dedução. Qualquer regra de predição $P(Y|X)$ pode ser fatorada em uma etapa de abdução (inferir variáveis não observadas $\tilde{U}$, como confundidores, a partir de $X$ observado) e uma etapa de dedução (predizer $Y$ dado $X$ e $\tilde{U}$). Embora a predição conjunta seja identificável a partir dos dados, os mapas individuais de abdução e dedução não o são; eles estão entrelaçados porque seu produto deve igualar a regra de predição observada. Métodos tradicionais de DG frequentemente tentam eliminar esse entrelaçamento impondo invariância em ambos os mapas ou encontrando um subconjunto de características onde ambos são invariantes. Este artigo argumenta que tal invariância estrita é frequentemente desnecessária e que o próprio entrelaçamento pode ser aproveitado.

Metodologia

1. Framework Teórico: Fatorização Abdução–Dedução

Os autores propõem uma suposição estrutural onde o mapa de dedução (o mecanismo causal que gera o rótulo $Y$ a partir de $X$ e $\tilde{U}$ não observado) é invariante entre domínios, enquanto o mapa de abdução (a distribuição de $\tilde{U}$ dado $X$) varia.

• Fatorização: $P(Y|X) = \sum_{\tilde{u}} P(\tilde{u}|X) \cdot P(Y|X, \tilde{u})$.
• Parametrização: Os autores assumem uma representação pré-treinada congelada $\phi(X)$ (por exemplo, de um modelo fundamental). Eles parametrizam o mapa de abdução como uma leitura softmax-linear e o mapa de dedução como uma leitura sigmoid-linear de $\phi(X)$.
  • Abdução: $\vec{P}(\tilde{u}|x) \approx \text{softmax}(A_s^\top \phi(x))$
  • Dedução: $\vec{P}(y|x, \tilde{u}) \approx \text{sigmoid}(D^\top \phi(x))$
    Aqui, $A_s$ são parâmetros específicos do domínio, e $D$ é um parâmetro compartilhado e invariante.

2. Transplantes de Representação

Para navegar na não-identificabilidade dos mapas entrelaçados, os autores introduzem Transplantes de Representação.

• Base de Transplante ($L$): Um operador linear $L$ é definido de modo que ele inverta à esquerda os parâmetros de abdução ($A_s^\top L = I$) e esteja no espaço nulo do parâmetro de dedução ($D^\top L = 0$).
• Operador de Transplante ($T_{s \to s'}$): Este operador troca o componente de abdução de uma representação do domínio $s$ para o domínio $s'$, preservando o componente de dedução.
  • $T_{s \to s'} W = (I + L(A_s^\top - A_{s'}^\top)) W$
• Implicação: Isso permite a construção de uma família de distribuições alvo plausíveis. Ao transplantar representações fonte para um espaço alvo, pode-se gerar distribuições alvo candidatas que são consistentes com os dados fonte e a suposição de dedução invariante.

3. Otimização Robusta Causal (CRO)

Os autores formulam a DG como um jogo aprendiz–adversário chamado Otimização Robusta Causal (CRO):

• Adversário: Dado um aprendiz atual $h$, o adversário busca a distribuição alvo plausível "pior caso" (parametrizada pela base de transplante e parâmetros de abdução) que maximiza o risco de $h$. Isso envolve otimizar os parâmetros de transplante sujeitos a restrições de ajuste nos dados fonte e uma penalidade de fechamento (distância de Hausdorff) garantindo que as representações transplantadas permaneçam dentro do suporte dos dados fonte.
• Aprendiz: O aprendiz atualiza $h$ para minimizar o risco máximo sobre a coleção de distribuições alvo adversárias geradas até o momento.
• Convergência: O jogo termina quando o risco do pior caso converge. Sob suposições ideais (dados infinitos, ótimos globais), a solução é minimax-ótima sobre o conjunto de distribuições alvo estruturalmente plausíveis.

Contribuições Principais

1. Reenquadramento do Entrelaçamento: Em vez de tratar a não-identificabilidade da abdução e da dedução como um problema a ser resolvido removendo o entrelaçamento, o artigo propõe parametrizar o entrelaçamento. Isso permite uma busca estruturada sobre distribuições alvo plausíveis sem exigir invariância estrita do mapa de abdução.
2. Transplante de Representação: A introdução de um operador linear de baixo posto sobre representações congeladas que manipula o conteúdo de abdução enquanto retém o conteúdo de dedução. Isso fornece um mecanismo concreto para transportabilidade parcial.
3. Representações Invariantes como Consequência: O artigo demonstra que representações invariantes (um objetivo comum em DG) emergem como uma consequência estrutural da parametrização abdução–dedução e da existência de uma base de transplante, em vez de como um objetivo de aprendizado primário.
4. Algoritmo CRO: Um algoritmo prático que implementa a otimização min-max sobre o conjunto de distribuições parametrizado por transplante, fornecendo uma garantia minimax-ótima sob suposições estruturais específicas.

Resultados Experimentais

O método foi avaliado em benchmarks sintéticos e do mundo real usando o protocolo DomainBed (deixar-um-ambiente-de-fora, validação de domínio de treinamento).

• Colored MNIST (Sintético): Na célula diagnóstica onde a correlação cor-rótulo é anti-alinhada com a fonte ($\rho = -0.9$), bases padrão (ERM, IRM, GroupDRO, etc.) colapsam para $\approx 10\%$ de precisão (pior que o aleatório). O CRO alcança 76% de precisão, identificando com sucesso a característica invariante de forma ao separar a característica espúria de cor no subespaço de abdução e a forma no subespaço de dedução.
• PACS (Mundo Real): Neste benchmark de reconhecimento de objetos, onde a suposição de invariância de dedução é apenas aproximada (devido a mudanças de estilo), o CRO performa competitivamente (84,6% em média), igualando o cluster de base amplo, mas não liderando os melhores desempenhos (SagNet, CORAL). Os autores atribuem isso à violação parcial da suposição de invariância de dedução.
• OfficeHome (Mundo Real): O CRO lidera o desempenho médio (69,3%) e ocupa o primeiro lugar em três das quatro células de deixar-um-domínio-de-fora. Os autores sugerem que a estrutura de 65 classes permite que o sinal de abdução seja rico o suficiente para a busca do adversário sem superparametrização.
• Validação Estrutural: Um conjunto de dados sintético de "questões morais" foi construído para verificar as premissas estruturais. Diagnósticos confirmaram que a fatorização abdução–dedução fecha empiricamente, os mapas de abdução são distintos entre domínios, a invariância de dedução se mantém e uma base de transplante válida existe.

Significado e Alegações

O artigo alega que o transplante de representação oferece uma pequena parametrização estruturada da não-identificabilidade abdução–dedução inerente à inferência causal. Ao abraçar o entrelaçamento em vez de eliminá-lo, o algoritmo CRO proposto atinge o risco alvo do pior caso minimax-ótimo sobre um conjunto de distribuições alvo causalmente plausíveis.

O significado reside em:

1. Rigor Teórico: Fornecer uma garantia formal de optimalidade minimax sob suposições estruturais específicas (dedução invariante, fechamento sob transplante) onde métodos anteriores frequentemente carecem de tais garantias ou dependem de suposições não verificáveis.
2. Eficácia Prática: Demonstrar que essa abordagem pode recuperar características invariantes em cenários de "aprendizado de atalho" (Colored MNIST) onde outros métodos causais de DG falham, permanecendo competitiva em configurações complexas do mundo real.
3. Nova Perspectiva: Deslocar o foco de encontrar características invariantes diretamente para parametrizar o espaço de mecanismos causais válidos (pares abdução/dedução) compatíveis com os dados observados.

Os autores permanecem modestos quanto às limitações, observando que a suposição de fechamento (de que representações transplantadas têm pré-imagens no domínio alvo) é estrutural e não empiricamente verificável sem dados alvo. Eles também reconhecem que a garantia minimax depende de condições idealizadas (dados infinitos, otimização global) e que o desempenho degrada-se de forma graciosa, mas linear, quando essas condições são relaxadas.