Resumen Técnico: DISCO - Mitigación del Sesgo en el Aprendizaje Profundo mediante la Correlación de Distancia Condicional

Declaración del Problema

El sesgo en los conjuntos de datos provoca frecuentemente que los modelos de aprendizaje profundo exploten correlaciones espurias en lugar de señales relevantes para la tarea, lo que deriva en una generalización deficiente. Los métodos existentes suelen abordar tipos de sesgo específicos (por ejemplo, confundidores o colisionadores) de forma aislada o dependen de suposiciones que no escalan a escenarios complejos de múltiples sesgos. Además, aunque la teoría causal ofrece marcos para comprender estos mecanismos, traducir esto en objetivos de optimización prácticos y escalables para modelos de aprendizaje profundo de caja negra sigue siendo un desafío significativo. Específicamente, imponer la independencia condicional entre las predicciones del modelo y los atributos de sesgo, condicionada al objetivo real, es computacionalmente prohibitivo con los estimadores actuales.

Metodología

1. Marco Teórico: Modelo Anti-Causal Estándar (SAM)

Los autores introducen el Modelo Anti-Causal Estándar (SAM), un marco causal unificador que opera dentro de un entorno de predicción anti-causal donde la variable objetivo $Y$ genera causalmente los datos de entrada $X$ ($Y \to X$). Dentro de este marco, el sesgo se caracteriza a través de tres vías causales:

• Confundidores ($Z$): Variables que crean una estructura de bifurcación (por ejemplo, la edad que afecta tanto a la enfermedad como a las características de imagen).
• Colisionadores ($B_{col}$): Variables que crean asociaciones espurias a través del sesgo de selección (por ejemplo, la hospitalización que vincula los factores de riesgo y la enfermedad).
• Mediadores ($W$): Variables que actúan como atajos. Aunque algunos mediadores portan información útil, el marco trata a los mediadores inestables o irrelevantes como fuentes de sesgo.

Los autores definen la Estabilidad Causal como la propiedad donde la salida de un predictor $\hat{Y}$ permanece robusta frente a cambios contrafácticos en los atributos de sesgo. Demuestran matemáticamente que si no existen caminos de retroceso no observados, el criterio de independencia condicional $\hat{Y} \perp B \mid Y$ (donde $B$ representa todas las variables de sesgo observadas) es suficiente para asegurar la estabilidad causal. Este criterio elimina los efectos indirectos espurios y los efectos espurios, obligando al modelo a depender únicamente de la vía contrafácticamente estable ($Y \to X \to \hat{Y}$).

2. Estimadores Prácticos: DISCOm y sDISCO

Para imponer el criterio de independencia condicional $\hat{Y} \perp B \mid Y$ en el aprendizaje profundo basado en gradientes, el artículo propone estimadores eficientes de la Correlación de Distancia Condicional (dCor). La correlación de distancia condicional estándar requiere una memoria de $O(n^3)$, lo que la hace inviable para lotes (batches) de aprendizaje profundo. Los autores introducen dos variantes escalables:

• DISCOm: Un atajo computacional que muestrea $m$ puntos de referencia de un lote para estimar las correlaciones condicionales locales, promediándolos para aproximar la métrica global. Esto reduce el uso de memoria pero depende del muestreo.
• sDISCO (Single-Shot DISCO): Un estimador altamente eficiente que realiza una factorización algebraica exacta de la V-estadística. Al descomponer el cálculo en extracciones diagonales y productos de Hadamard, sDISCO computa la correlación de distancia condicional global exacta para todo el lote en un solo paso con una complejidad de memoria de $O(n^2)$.

Estos estimadores se integran en el bucle de entrenamiento como un término de regularización:
$$\min_{\theta} \sum L(Y, \hat{Y}) + \lambda \cdot \text{sDISCO}(\hat{Y}, B \mid Y)$$
Este enfoque permite que los modelos de caja negra desaprendan las representaciones de sesgo durante la pasada hacia atrás (backward pass) sin requerir las variables de sesgo $B$ durante la inferencia.

Contribuciones Clave

1. Marco Causal Unificador (SAM): Un modelo formal que caracteriza diversos mecanismos de sesgo (confundidores, colisionadores, mediadores) bajo un único entorno anti-causal, derivando un criterio de independencia condicional unificado para la estabilidad causal.
2. Regularización de Independencia Condicional Escalable: El desarrollo de DISCOm y sDISCO, que superan los cuellos de botella computacionales de la correlación de distancia condicional, permitiendo su aplicación a modelos de aprendizaje profundo a gran escala.
3. Garantías Teóricas: La prueba de que satisfacer el criterio de independencia condicional $\hat{Y} \perp B \mid Y$ asegura la estabilidad causal y maximiza el efecto contrafácticamente estable, siempre que se cumplan las suposiciones de SAM.
4. Herramienta de Análisis de Vías: El uso de SAM para permitir un análisis contrafáctico detallado y específico por vía, permitiendo a los investigadores cuantificar la sensibilidad del modelo a intervenciones de sesgo específicas.

Resultados Experimentales

Los métodos fueron evaluados en seis conjuntos de datos diversos (dSprites, Blob, YaleB, FairFace, Waterbirds, MNLI) que cubren tareas de regresión, clasificación, visión y NLP con diversas estructuras de sesgo (confundidores, mediadores, colisionadores).

• Rendimiento: DISCOm y sDISCO fueron consistentemente superiores o competitivos con los modelos base del estado del arte, incluyendo GDRO, Aprendizaje Adversario, HSCIC, CIRCE, c-MMD, IRM y Fishr.
• Eficiencia: Los métodos requirieron menos hiperparámetros y escalaron sin problemas a escenarios de múltiples sesgos sin necesidad de agrupación de entornos o cambios complejos en la arquitectura.
• Análisis Contrafáctico: En experimentos controlados con dSprites, los modelos regularizados con sDISCO mostraron una reducción significativa en la sensibilidad a cambios contrafácticos en las variables de sesgo en comparación con las ResNets ingenuas, manteniendo al mismo tiempo una alta precisión contrafáctica. Esto confirmó que los modelos aislaron con éxito las vías causales estables.
• Robustez: Los métodos funcionaron bien incluso cuando solo se observaba un subconjunto de las variables de sesgo, aunque la sensibilidad a los confundidores no observados persistió, alineándose con los límites teóricos.

Significado y Reivindicaciones

El artículo afirma cerrar la brecha entre la teoría causal y el aprendizaje profundo práctico proporcionando tanto una base principista (SAM) como herramientas efectivas y escalables (DISCOm/sDISCO) para una predicción robusta.

• Impacto Teórico: Establece que diversos tipos de sesgo pueden mitigarse uniformemente mediante un único criterio de independencia condicional, siempre que exista un efecto contrafácticamente estable.
• Impacto Práctico: Resuelve la intratabilidad computacional de la correlación de distancia condicional, convirtiéndola en una herramienta de regularización viable para los flujos de trabajo modernos de aprendizaje profundo.
• Limitaciones: Los autores señalan explícitamente que sus garantías teóricas dependen de las suposiciones de SAM (por ejemplo, variabilidad/positividad suficiente y la ausencia de confundidores no observados). Además, el método opera en un régimen de "mitigación de sesgo informada", que requiere que las variables de sesgo sean observadas y etiquetadas explícitamente durante el entrenamiento, lo que limita su aplicabilidad en escenarios totalmente no supervisados.

El trabajo no pretende resolver el sesgo en ausencia de atributos de sesgo observados ni garantizar la identificabilidad en presencia de confundidores no observados sin variables proxy válidas. En su lugar, se posiciona como la mejor aproximación alcanzable para bloquear todos los caminos sesgados observados.