Resumen Técnico: Enredo Abducción–Deducción: Generalización de Dominio mediante Trasplantes de Representación

Enunciado del Problema

La Generalización de Dominio (DG) aborda el fallo de los modelos de predicción entrenados en una distribución fuente para generalizar a una distribución objetivo no vista. Los enfoques causales estándar a menudo dependen de supuestos estructurales fuertes, como la existencia de un subconjunto de características invariante o la ausencia de confusores no observados, para identificar predictores invariantes. Sin embargo, los puntos de referencia empíricos (por ejemplo, DomainBed) sugieren que los métodos existentes a menudo no logran superar a la Minimización Empírica del Riesgo (ERM) estándar, en parte debido a una discrepancia entre las estructuras asumidas y las necesidades de generalización del mundo real.

El desafío central identificado en este trabajo es el enredo abducción–deducción. Cualquier regla de predicción $P(Y|X)$ puede factorizarse en un paso de abducción (inferir variables no observadas $\tilde{U}$, como confusores, a partir de $X$ observado) y un paso de deducción (predecir $Y$ dado $X$ y $\tilde{U}$). Aunque la predicción conjunta es identificable a partir de los datos, los mapas individuales de abducción y deducción no lo son; están enredados porque su producto debe igualar la regla de predicción observada. Los métodos tradicionales de DG a menudo intentan eliminar este enredo imponiendo invarianza en ambos mapas o encontrando un subconjunto de características donde ambos son invariantes. Este artículo argumenta que tal invarianza estricta a menudo es innecesaria y que el propio enredo puede ser aprovechado.

Metodología

1. Marco Teórico: Factorización Abducción–Deducción

Los autores proponen un supuesto estructural donde el mapa de deducción (el mecanismo causal que genera la etiqueta $Y$ a partir de $X$ y $\tilde{U}$ no observado) es invariante a través de los dominios, mientras que el mapa de abducción (la distribución de $\tilde{U}$ dado $X$) varía.

• Factorización: $P(Y|X) = \sum_{\tilde{u}} P(\tilde{u}|X) \cdot P(Y|X, \tilde{u})$.
• Parametrización: Los autores asumen una representación preentrenada congelada $\phi(X)$ (por ejemplo, de un modelo fundacional). Parametrizan el mapa de abducción como una lectura softmax-lineal y el mapa de deducción como una lectura sigmoide-lineal de $\phi(X)$.
  • Abducción: $\vec{P}(\tilde{u}|x) \approx \text{softmax}(A_s^\top \phi(x))$
  • Deducción: $\vec{P}(y|x, \tilde{u}) \approx \text{sigmoid}(D^\top \phi(x))$
    Aquí, $A_s$ son parámetros específicos del dominio, y $D$ es un parámetro compartido e invariante.

2. Trasplantes de Representación

Para navegar la no identificabilidad de los mapas enredados, los autores introducen Trasplantes de Representación.

• Base de Trasplante ($L$): Se define un operador lineal $L$ tal que invierte a la izquierda los parámetros de abducción ($A_s^\top L = I$) y se encuentra en el espacio nulo del parámetro de deducción ($D^\top L = 0$).
• Operador de Trasplante ($T_{s \to s'}$): Este operador intercambia el componente de abducción de una representación del dominio $s$ al dominio $s'$, preservando el componente de deducción.
  • $T_{s \to s'} W = (I + L(A_s^\top - A_{s'}^\top)) W$
• Implicación: Esto permite la construcción de una familia de distribuciones objetivo plausibles. Al trasplantar representaciones fuente en un espacio objetivo, se pueden generar distribuciones objetivo candidatas que son consistentes con los datos fuente y el supuesto de deducción invariante.

3. Optimización Robusta Causal (CRO)

Los autores formulan la DG como un juego aprendiz–adversario llamado Optimización Robusta Causal (CRO):

• Adversario: Dado un aprendiz actual $h$, el adversario busca la distribución objetivo plausible "peor caso" (parametrizada por la base de trasplante y los parámetros de abducción) que maximiza el riesgo de $h$. Esto implica optimizar los parámetros de trasplante sujetos a restricciones de ajuste en los datos fuente y una penalización de cierre (distancia de Hausdorff) que asegura que las representaciones trasplantadas permanezcan dentro del soporte de los datos fuente.
• Aprendiz: El aprendiz actualiza $h$ para minimizar el riesgo máximo sobre la colección de distribuciones objetivo adversarias generadas hasta el momento.
• Convergencia: El juego termina cuando el riesgo del peor caso converge. Bajo supuestos ideales (datos infinitos, óptimos globales), la solución es óptima minimax sobre el conjunto de distribuciones objetivo estructuralmente plausibles.

Contribuciones Clave

1. Reencuadre del Enredo: En lugar de tratar la no identificabilidad de la abducción y la deducción como un problema a resolver eliminando el enredo, el artículo propone parametrizar el enredo. Esto permite una búsqueda estructurada sobre distribuciones objetivo plausibles sin requerir invarianza estricta del mapa de abducción.
2. Trasplante de Representación: La introducción de un operador lineal de bajo rango sobre representaciones congeladas que manipula el contenido de abducción mientras retiene el contenido de deducción. Esto proporciona un mecanismo concreto para la transportabilidad parcial.
3. Representaciones Invariantes como Consecuencia: El artículo demuestra que las representaciones invariantes (un objetivo común en DG) emergen como una consecuencia estructural de la parametrización abducción–deducción y la existencia de una base de trasplante, en lugar de ser un objetivo de aprendizaje primario.
4. Algoritmo CRO: Un algoritmo práctico que implementa la optimización min-max sobre el conjunto de distribuciones parametrizadas por trasplante, proporcionando una garantía óptima minimax bajo supuestos estructurales específicos.

Resultados Experimentales

El método fue evaluado en puntos de referencia sintéticos y del mundo real utilizando el protocolo DomainBed (salida de un entorno, validación en dominio de entrenamiento).

• Colored MNIST (Sintético): En la celda de diagnóstico donde la correlación color-etiqueta está desalineada con la fuente ($\rho = -0.9$), las líneas base estándar (ERM, IRM, GroupDRO, etc.) colapsan a una precisión de $\approx 10\%$ (peor que al azar). CRO logra un 76% de precisión, identificando con éxito la característica de forma invariante al separar la característica de color espuria en el subespacio de abducción y la forma en el subespacio de deducción.
• PACS (Mundo real): En este punto de referencia de reconocimiento de objetos, donde el supuesto de invarianza de deducción es solo aproximado (debido a cambios de estilo), CRO tiene un rendimiento competitivo (84.6% promedio), igualando el amplio grupo de líneas base pero no liderando a los mejores performers (SagNet, CORAL). Los autores atribuyen esto a la violación parcial del supuesto de invarianza de deducción.
• OfficeHome (Mundo real): CRO lidera el rendimiento promedio (69.3%) y ocupa el primer lugar en tres de las cuatro celdas de salida de un dominio. Los autores sugieren que la estructura de 65 clases permite que la señal de abducción sea lo suficientemente rica para la búsqueda del adversario sin sobreparametrización.
• Validación Estructural: Se construyó un conjunto de datos sintético de "preguntas morales" para verificar los supuestos estructurales. Los diagnósticos confirmaron que la factorización abducción–deducción se cierra empíricamente, los mapas de abducción son distintos entre dominios, la invarianza de deducción se mantiene y existe una base de trasplante válida.

Significado y Afirmaciones

El artículo afirma que el trasplante de representación ofrece una parametrización pequeña y estructurada de la no identificabilidad abducción–deducción inherente a la inferencia causal. Al abrazar el enredo en lugar de eliminarlo, el algoritmo CRO propuesto alcanza el riesgo objetivo del peor caso óptimo minimax sobre un conjunto de distribuciones objetivo causalmente plausibles.

El significado radica en:

1. Rigor Teórico: Proporcionar una garantía formal de optimalidad minimax bajo supuestos estructurales específicos (deducción invariante, cierre bajo trasplante) donde los métodos anteriores a menudo carecen de tales garantías o dependen de supuestos no verificables.
2. Eficacia Práctica: Demostrar que este enfoque puede recuperar características invariantes en escenarios de "aprendizaje de atajos" (Colored MNIST) donde otros métodos causales de DG fallan, mientras permanece competitivo en entornos complejos del mundo real.
3. Nueva Perspectiva: Desplazar el enfoque de encontrar características invariantes directamente a parametrizar el espacio de mecanismos causales válidos (pares abducción/deducción) compatibles con los datos observados.

Los autores se mantienen modestos respecto a las limitaciones, señalando que el supuesto de cierre (que las representaciones trasplantadas tienen pre-imágenes en el dominio objetivo) es estructural y no verificable empíricamente sin datos objetivo. También reconocen que la garantía minimax depende de condiciones idealizadas (datos infinitos, optimización global) y que el rendimiento decae de manera suave pero lineal cuando estas condiciones se relajan.