Scalable Contrastive Causal Discovery under Unknown Soft Interventions

Este trabajo propone un modelo escalable de descubrimiento causal que, mediante reglas de orientación contrastiva entre regímenes observacionales e intervencionales suaves desconocidos, recupera asintóticamente una estructura causal globalmente consistente y supera a los métodos no contrastivos en precisión y generalización.

Lo esencial

¡Claro que sí! Imagina que este paper es como una historia sobre cómo resolver un misterio muy complicado: descubrir quién es el "jefe" y quién es el "subordinado" en una red de relaciones, pero con un giro interesante: no tenemos las respuestas directas, solo tenemos pistas indirectas y un poco de confusión.

Aquí te explico la idea central de SCONE (el nombre del modelo) usando analogías sencillas:

1. El Problema: El Misterio de las Sombras

Imagina que eres un detective tratando de entender cómo funciona un sistema complejo, como el clima o las células de tu cuerpo. Tienes dos tipos de datos:

• Datos Observacionales: Ves cómo se comportan las cosas normalmente (como mirar por la ventana).
• Datos de Intervención: Ves qué pasa cuando algo cambia (como cuando llueve de repente o tomas una medicina).

El problema es que, en la vida real, las intervenciones rara vez son perfectas. A veces, cuando "intervenimos" (por ejemplo, con una medicina), no sabemos exactamente qué parte del cuerpo afectó, ni cuánto lo afectó. Es como si alguien cambiara el termostato de tu casa, pero no supieras si lo hizo en la cocina o en el dormitorio, y si lo subió un grado o diez.

Los métodos antiguos de "descubrimiento causal" (que intentan adivinar quién causa qué) se quedan atascados porque no pueden distinguir entre diferentes explicaciones posibles. Es como ver dos coches chocar y no saber quién chocó a quién, solo que ambos se movieron.

2. La Solución: SCONE (El Detective Inteligente)

Los autores crearon un nuevo modelo llamado SCONE. Piensa en SCONE como un detective muy astuto que tiene dos herramientas mágicas:

A. La Técnica de la "Comparación en Espejo" (Contraste)

En lugar de mirar solo un escenario, SCONE compara dos mundos paralelos:

• Mundo A: Donde todo ocurre naturalmente.
• Mundo B: Donde发生了 una intervención suave (un cambio sutil).

SCONE busca las diferencias entre estos dos mundos. Si en el Mundo A, el "Clima" y la "Temperatura" siempre van de la mano, pero en el Mundo B (donde hubo una intervención), la "Temperatura" cambia pero el "Clima" no se altera, SCONE deduce: "¡Ajá! La intervención afectó a la Temperatura, no al Clima. Por lo tanto, la Temperatura es la causa, no el efecto".

Es como si tuvieras dos copias de un rompecabezas. En una, una pieza está un poco torcida. Al comparar ambas, puedes ver exactamente qué pieza se movió y cómo eso cambió el resto de la imagen.

B. El Ensamblaje de Piezas Pequeñas (Escalabilidad)

Antes, para resolver rompecabezas gigantes (con miles de variables), los detectives tenían que mirar toda la imagen de una vez, lo cual era lento y costoso.
SCONE es como un equipo de constructores:

1. Toma pedacitos pequeños del rompecabezas (subconjuntos de datos).
2. Resuelve la conexión de esos pedacitos por separado.
3. Luego, usa una inteligencia artificial avanzada (atención axial) para pegar todas esas piezas pequeñas y formar la imagen completa.

Esto le permite resolver misterios en redes gigantescas (como 100 variables) que antes eran imposibles de procesar.

3. ¿Por qué es tan especial?

La magia de SCONE reside en tres cosas:

1. No necesita saber el "dónde" exacto: A diferencia de otros métodos que requieren saber exactamente qué variable se intervino, SCONE es lo suficientemente inteligente para deducirlo solo mirando los cambios en los patrones.
2. Es un "Generalista": Si entrenas a SCONE con datos de un tipo de sistema (por ejemplo, biología de plantas), puede aprender a entender sistemas nuevos y diferentes (como economía) sin tener que volver a aprender desde cero. Es como un estudiante que aprende a resolver ecuaciones y luego puede aplicar esa lógica a la física, la química o las finanzas.
3. Es rápido y eficiente: Al trabajar con pedacitos y luego unirlos, puede manejar problemas mucho más grandes que sus competidores.

En Resumen

Imagina que quieres saber quién es el líder de una banda de ladrones.

• Métodos viejos: Miran a los ladrones en la calle y dicen: "Todos parecen iguales, no sabemos quién manda".
• SCONE: Observa lo que pasa cuando un policía entra en la escena (intervención). Ve que cuando el policía llega, el ladrón "A" se esconde, pero el "B" sigue hablando. SCONE deduce: "El policía asustó al A, pero el B sigue dando órdenes. ¡El B es el jefe!".

SCONE es esa herramienta que nos permite entender las causas profundas de las cosas, incluso cuando la información es incompleta, ruidosa y proviene de situaciones donde no sabemos exactamente qué cambió. ¡Es como tener superpoderes para ver la verdad detrás del caos!

Resumen técnico

1. El Problema

El descubrimiento causal busca recuperar la estructura de un Grafo Acíclico Dirigido (DAG) que representa relaciones causales entre variables. Sin embargo, existen limitaciones fundamentales en escenarios realistas:

• Ambigüedad Observacional: Los datos puramente observacionales solo permiten identificar la estructura causal hasta una clase de equivalencia de Markov (MEC), dejando muchas aristas sin orientar.
• Limitaciones de las Intervenciones: Aunque los datos intervencionales mejoran la identificabilidad, en la práctica las intervenciones suelen ser suaves (cambian la distribución de una variable sin eliminar sus padres) y sus objetivos son desconocidos.
• Escasez de Regímenes: A menudo, solo se dispone de un único régimen intervencional junto con datos observacionales, lo que dificulta la distinción entre cambios en la estructura y cambios en los mecanismos.
• Escalabilidad y Generalización: Los métodos existentes (como $\Psi$-FCI) son teóricamente sólidos pero no escalan a grafos grandes y requieren acceso a oráculos globales de independencia condicional. Además, muchos modelos de aprendizaje profundo no generalizan bien a estructuras o mecanismos fuera de la distribución (OOD).

2. Metodología: SCONE

Los autores proponen SCONE (Scalable contrastive Causal discOv-ery under unknowN soft intervEntions), un marco escalable diseñado para aprender la estructura causal a partir de dos regímenes (observacional e intervencional) con objetivos de intervención suave desconocidos.

A. Marco Teórico y Restricciones

En lugar de asumir acceso a toda la información global, SCONE opera bajo un conjunto de información restringido:

1. PDAGs a nivel de subconjunto: Estimaciones locales de grafos parciales (PDAGs) sobre subconjuntos admissibles de variables.
2. Consultas de invarianza: Un conjunto finito de pruebas de invarianza condicional entre regímenes a nivel de nodo.

Bajo estas restricciones, el objetivo no es recuperar el DAG verdadero, sino el Grafo Esencial $\Psi$ Inducido por Pruebas ($G_{test}$), que es el PDAG maximalmente orientado consistente con la información disponible.

B. Reglas de Orientación Contrastiva

SCONE introduce tres reglas teóricamente fundamentadas que utilizan la comparación entre regímenes para orientar aristas que permanecen ambiguas en cada régimen por separado:

1. Invarianza de un solo lado (SSI): Si una arista es no dirigida en ambos regímenes locales, pero un nodo muestra un cambio de mecanismo (no invariante) mientras su vecino es invariante, se orienta la arista hacia el nodo cambiante.
2. Estructura-V Contrastiva (CVT): Extiende la lógica de las estructuras-V (colisionadores) a través de regímenes. Si el nodo central de una tripleta no protegida cambia de mecanismo pero sus vecinos no, se fuerza la orientación hacia colisionador ($i \to j \leftarrow k$).
3. Camino Discriminatorio Contrastivo (DPT): Utiliza caminos discriminatorios en los PDAGs locales. Si un nodo en un camino cambia de mecanismo pero los nodos de "reproducción" (replay nodes) son invariantes, se puede inferir la orientación de la arista objetivo.

C. Arquitectura del Modelo

SCONE es una arquitectura neuronal que integra descubrimiento causal clásico con aprendizaje profundo:

• Doble Flujo (Streams):
  • Flujo Marginal: Procesa representaciones de aristas derivadas de subconjuntos de variables muestreados.
  • Flujo Global: Mantiene representaciones densas sobre todos los pares de nodos ordenados.
• Muestreo de Subconjuntos: Utiliza una estrategia de muestreo greedy que prioriza nodos sensibles al cambio de régimen y asegura la cobertura del grafo.
• Ensemble de Descubrimiento Clásico: Utiliza algoritmos clásicos (como PolyBIC) sobre los subconjuntos para generar votos iniciales sobre las aristas.
• Cabezas de Sesgo (Bias Heads): Módulos aprendibles que aplican las reglas contrastivas (SSI, CVT, DPT) como sesgos sobre las probabilidades de orientación, utilizando señales de invarianza/contraste.
• Agregación Axial: Emplea mecanismos de atención axial para agregar información de múltiples subconjuntos y propagar restricciones globales, permitiendo la escalabilidad.
• Reparametrización: Separa las representaciones en canales "invariantes" (estructura compartida) y "contrastivos" (variación específica del régimen) para sharpenizar la señal de orientación.

3. Contribuciones Clave

1. Marco Escalable: Primer modelo escalable para descubrimiento causal con intervenciones suaves desconocidas, capaz de manejar grafos de hasta 100 nodos.
2. Resultados Teóricos:
   • Formalización de la clase de equivalencia $\Psi$ restringida y el grafo esencial inducido por pruebas.
   • Demostración de que las reglas contrastivas son sonoras (sound) respecto a esta clase restringida.
   • Prueba de que los agregadores no contrastivos tienen un "techo de identificabilidad" estrictamente inferior al de SCONE (no pueden recuperar un subconjunto de aristas que SCONE sí recupera).
   • Garantía de recuperación asintótica del grafo esencial bajo condiciones de cobertura de testigos.
3. Generalización OOD: El modelo demuestra capacidad para generalizar a mecanismos causales no vistos durante el entrenamiento (ej. entrenar en lineales/NN y probar en polinomiales/sigmoides).

4. Resultados Experimentales

Los experimentos se realizaron en datos sintéticos con diferentes tamaños de grafo y densidades:

• Rendimiento In-Distribution: SCONE superó a los métodos baselines (NOTEARS, DCDI, AVICI) logrando el menor Distancia de Hamming Estructural (SHD) y el mayor F1 en grafos de 20 nodos.
• Generalización Out-of-Distribution (OOD): En escenarios donde los mecanismos de prueba diferían de los de entrenamiento, SCONE mantuvo un rendimiento robusto, mientras que otros modelos sufrieron degradación significativa.
• Escalabilidad:
  • En grafos de 100 nodos, SCONE fue el único método que mantuvo un rendimiento utilizable.
  • Métodos como DCD-FG y SEA mostraron un aumento drástico en SHD (peor rendimiento) o tiempos de ejecución prohibitivos.
  • SCONE logró un SHD de ~126.7 frente a >1000 para DCD-FG y >3000 para SEA en grafos grandes.
• Estudios de Ablación:
  • La eliminación de las cabezas de sesgo contrastivo (SCONE-NB) aumentó el SHD, confirmando que las reglas contrastivas son cruciales para orientar aristas adicionales.
  • La eliminación de las características contrastivas (SCONE-NC) degradó severamente el rendimiento, validando la necesidad de explotar la invarianza entre regímenes.

5. Significado e Impacto

Este trabajo representa un avance significativo en la intersección entre el aprendizaje causal y los modelos de base (foundation models):

• Puente Teórico-Práctico: Conecta la teoría rigurosa de equivalencia $\Psi$ (anteriormente limitada a algoritmos no escalables) con arquitecturas neuronales escalables.
• Realismo: Aborda la realidad de las intervenciones suaves y desconocidas, comunes en biología (ej. perturbaciones genéticas) y ciencias sociales, donde los objetivos exactos de la intervención no se conocen o son parciales.
• Eficiencia Computacional: Demuestra que es posible realizar descubrimiento causal complejo en grafos grandes sin depender de búsquedas combinatorias costosas, utilizando en su lugar agregación de subgrafos y atención.
• Generalización: Establece un nuevo estándar para la robustez de los modelos de descubrimiento causal frente a cambios en los mecanismos subyacentes, un requisito crítico para aplicaciones en el mundo real.

En resumen, SCONE ofrece una solución viable, teóricamente garantizada y escalable para recuperar estructuras causales en escenarios donde la información es incompleta y las intervenciones son ambiguas, superando las limitaciones de los métodos actuales.