Causal Neural Probabilistic Circuits

El artículo presenta el Circuito Probabilístico Neuronal Causal (CNPC), un modelo que mejora la interpretabilidad y la precisión de los Concept Bottleneck Models al integrar un predictor neuronal con un circuito probabilístico causal que respeta las dependencias causales entre conceptos durante las intervenciones, logrando un rendimiento superior en diversos conjuntos de datos.

Lo esencial

Imagina que estás intentando diagnosticar una enfermedad en un paciente, pero en lugar de un médico experto, tienes una "caja negra" de inteligencia artificial (IA). Esta IA es muy buena adivinando, pero no sabe explicar por qué llegó a esa conclusión. Si la IA se equivoca, no puedes corregirla fácilmente porque no entiendes su lógica interna.

Para solucionar esto, los científicos crearon modelos llamados Modelos de Cuello de Botella de Conceptos (CBM). La idea es simple: en lugar de saltar directamente a la conclusión, la IA primero identifica "conceptos" o pistas visibles (como "el paciente fuma", "tiene tos", "tiene fiebre") y luego usa esas pistas para dar el diagnóstico.

El problema:
En los modelos actuales, si un experto humano ve que la IA se equivocó al decir que el paciente "fuma" (cuando en realidad no fuma), el modelo simplemente cambia esa única pista y mantiene todo lo demás igual.

• La analogía: Imagina que estás armando un rompecabezas. Si te das cuenta de que una pieza (digamos, "fuma") está mal puesta, los modelos actuales solo cambian esa pieza y dejan el resto del rompecabezas tal cual. Pero en la vida real, las cosas están conectadas: si alguien no fuma, es menos probable que tenga cáncer de pulmón, lo que podría cambiar la probabilidad de que tenga tos o problemas respiratorios. Los modelos actuales ignoran estas conexiones causales.

La solución del paper: CNPC (Circuitos Neuronales Probabilísticos Causales)
Los autores proponen una nueva herramienta llamada CNPC. Imagina que CNPC es como un detective muy inteligente que tiene dos ayudantes:

1. El Ayudante Visual (Red Neuronal): Es un experto en mirar la foto del paciente y decir: "Parece que fuma, tiene tos, etc.". Es rápido y ve los detalles, pero a veces se confunde si la foto está borrosa o extraña.
2. El Ayudante Lógico (Circuito Causal): Es un experto en las reglas del mundo. Sabe que "si fumas, es más probable tener cáncer" y "si no fumas, la probabilidad baja". Este ayudante tiene un mapa mental de cómo se relacionan todas las cosas.

¿Cómo funciona la magia?
Cuando el humano interviene (corrige una pista, por ejemplo, dice "No, este paciente NO fuma"), el CNPC hace algo brillante:

• No solo cambia la pista: En lugar de solo borrar "fuma" y dejar todo igual, el Ayudante Lógico toma esa nueva información y actualiza todo el resto del rompecabezas automáticamente. Si el paciente no fuma, el modelo reduce la probabilidad de cáncer y ajusta la interpretación de la "tos".
• La mezcla perfecta (PoE): El modelo combina la opinión del Ayudante Visual (lo que ve en la foto) con la lógica del Ayudante Lógico (las reglas del mundo).
  • Si la foto es clara y normal, confía más en el Ayudante Visual.
  • Si la foto es rara, está rota o es un truco (como una imagen girada o manipulada), el modelo confía más en el Ayudante Lógico, que sabe que las reglas de la realidad no cambian aunque la foto se vea mal.

¿Por qué es importante?
Los experimentos mostraron que cuando las cosas se ponen difíciles (imágenes rotas, ataques de hackers, o datos extraños), los modelos antiguos fallan estrepitosamente. Pero el CNPC es como un barco con un timón muy fuerte: incluso si la tormenta (los datos extraños) empuja al Ayudante Visual a equivocarse, el Ayudante Lógico mantiene el rumbo correcto gracias a las reglas causales.

En resumen:
El CNPC es como enseñarle a una IA a no solo "ver" las cosas, sino a "entender" cómo las cosas se influyen entre sí. Cuando un humano corrige un error, la IA no solo arregla ese punto, sino que reorganiza todo su pensamiento basándose en la lógica de causa y efecto, logrando diagnósticos más precisos y seguros, especialmente cuando las cosas no salen como se esperaba.

Resumen técnico

Resumen Técnico: Causal Neural Probabilistic Circuits (CNPC)

1. El Problema

Los Modelos de Cuello de Botella de Conceptos (CBM) han surgido como una solución para mejorar la interpretabilidad de las redes neuronales profundas. Estos modelos predicen primero conceptos humanos comprensibles y luego la etiqueta de clase basada en esos conceptos. Una ventaja clave de los CBM es su capacidad para soportar intervenciones: un experto humano puede corregir valores de conceptos mal predichos durante la prueba para mejorar la precisión final.

Sin embargo, los CBM tradicionales tienen una limitación fundamental:

• Ignoran las dependencias causales: Cuando un experto interviene en un concepto (por ejemplo, corrige que un paciente "fuma"), los CBM estándar simplemente sobrescriben ese valor y dejan los demás conceptos sin cambios.
• Consecuencia: Esto ignora cómo una intervención en un concepto afecta a otros conceptos dependientes (ej. si fuma, aumenta la probabilidad de cáncer de pulmón).
• Desafío técnico: Modelar exactamente la distribución de la clase bajo intervención es difícil en CBM estándar porque la distribución interventional de los atributos no se puede obtener fácilmente mediante los módulos estándar, especialmente cuando las relaciones causales entre atributos y la clase son complejas.

2. Metodología: Causal Neural Probabilistic Circuits (CNPC)

Para abordar esto, los autores proponen CNPC, un modelo híbrido que combina un predictor neuronal de atributos con un Circuito Probabilístico Causal (Causal PC).

Arquitectura del Modelo:

1. Predictor de Atributos Neuronal: Una red neuronal que predice la distribución de los $K$ atributos a partir de la entrada $X$.
2. Circuito Probabilístico Causal (Causal PC): Un circuito compilado a partir de un grafo causal conocido que conecta los atributos y la etiqueta de clase. Este circuito permite inferencia causal exacta y tratable (en tiempo lineal respecto al tamaño del circuito).
   • El PC modela la distribución conjunta $P(Y, A_{1:K})$ y permite calcular la distribución condicional $P(Y | A_{1:K})$.
   • Soporta inferencia en un "grafo mutilado" (eliminando aristas entrantes a las variables intervenidas) para calcular distribuciones marginales interventionales exactas.

Mecanismo de Intervención (Producto de Expertos - PoE):
Cuando ocurre una intervención en uno o más atributos, el CNPC no simplemente sobrescribe el valor. En su lugar, aproxima la distribución interventional de los atributos utilizando un Producto de Expertos (PoE) que fusiona dos fuentes de información:

1. El predictor neuronal: Proporciona la distribución de atributos basada en la entrada $X$, pero con los atributos intervenidos "fijados" a su valor de verdad (ground-truth).
2. El Causal PC: Proporciona la distribución marginal interventional exacta de los atributos, calculada propagando la intervención a través de la estructura causal.

La distribución aproximada de los atributos bajo intervención $do_j$ se define como:
$$\tilde{P}(A_{1:K} | X) \propto [P_{neuronal}(A_{1:K} | X)]^{1-\alpha} \cdot [P_{causal}^{do_j}(A_{1:K})]^{\alpha}$$
Donde $\alpha \in [0, 1]$ es un peso de balanceo:

• Si $\alpha = 0$, el modelo se comporta como un NPC estándar (confía solo en el predictor neuronal).
• Si $\alpha$ es alto, el modelo confía más en la inferencia causal del PC, lo cual es crucial cuando el predictor neuronal falla (ej. en distribuciones fuera de entrenamiento).

Finalmente, la distribución de la clase se predice combinando esta aproximación PoE con la distribución condicional de la clase dada por el PC.

3. Contribuciones Clave

1. Propuesta de CNPC: Un nuevo marco que integra un predictor neuronal con un circuito probabilístico causal compilado, permitiendo inferencia causal exacta y tratable bajo intervenciones.
2. Análisis Teórico:
   • Se demuestra que tanto NPC como CNPC tienen errores compuestos que dependen de los errores de sus módulos individuales.
   • Se establece teóricamente que, bajo ciertas condiciones (especialmente cuando el predictor neuronal es inexacto o la distribución marginal causal es precisa), CNPC se acerca más a la distribución de clase interventional real que los modelos basados puramente en redes neuronales o NPC estándar.
3. Validación Empírica: Evaluación exhaustiva en cinco conjuntos de datos (Asia, Sachs, MNISTAdd, cMNISTAdd, CelebA) bajo configuraciones de distribución (in-distribution) y fuera de distribución (OOD).

4. Resultados Experimentales

Los experimentos compararon CNPC con cinco modelos base (Vanilla CBM, CEM, SCBM, C2BM, NPC) en cuatro escenarios:

1. Entorno Benigno (In-Distribution):
   • Todos los modelos mejoran su precisión a medida que aumenta el número de atributos intervenidos.
   • CNPC logra un rendimiento ligeramente superior o comparable a los mejores modelos base, demostrando que la integración causal no perjudica el rendimiento en condiciones normales.
2. Desplazamientos de Distribución (OOD):
   • Transformaciones de datos no vistas (rotación 180°) y Perturbaciones Adversarias (PGD): El predictor neuronal falla drásticamente (la precisión de atributos cae del >90% al <20-50%).
   • Correlaciones Espurias (cMNISTAdd): El modelo explota correlaciones falsas entre color y dígito.
   • Hallazgo Principal: En todos los escenarios OOD, CNPC supera significativamente a todos los modelos base.
   • La eficiencia de la intervención es mucho mayor en CNPC: incluso con pocas intervenciones, recupera la precisión de la tarea mucho mejor que los baselines. Esto se debe a que el Causal PC corrige las predicciones basándose en la estructura causal, compensando los errores del predictor neuronal.
3. Análisis del Parámetro $\alpha$:
   • En entornos benignos, un $\alpha$ bajo (0.1) es óptimo.
   • En entornos OOD, un $\alpha$ alto (0.9) es crucial, ya que permite confiar en la inferencia causal cuando la red neuronal es poco fiable.

5. Significado e Impacto

El trabajo de CNPC es significativo por varias razones:

• Superación de la "Caja Negra": Ofrece una vía práctica para incorporar conocimiento causal explícito en modelos de aprendizaje profundo, mejorando la interpretabilidad y la robustez.
• Robustez ante Fallos del Modelo: Demuestra que, en escenarios críticos (como diagnóstico médico o sistemas de seguridad) donde los datos de prueba pueden desviarse de los de entrenamiento, la estructura causal puede salvar la precisión del modelo cuando las redes neuronales fallan.
• Eficiencia de Intervención: Permite a los expertos humanos corregir el modelo de manera más eficiente, ya que una sola intervención se propaga correctamente a través de las dependencias causales, mejorando la predicción final con menos esfuerzo humano.
• Marco General: Proporciona un método para aproximar inferencia causal exacta dentro de arquitecturas neuronales, cerrando la brecha entre el aprendizaje profundo y la inferencia probabilística causal.

En resumen, CNPC representa un avance importante hacia modelos de IA más confiables y explicables, capaces de aprovechar intervenciones humanas de manera causalmente coherente, especialmente en situaciones donde los datos son adversos o cambian drásticamente.