Resumen Técnico: Descubrimiento de Abstracciones Causales No Supervisadas

Planteamiento del Problema

El artículo aborda el desafío de descubrir abstracciones causales de alto nivel directamente a partir de mediciones de bajo nivel sin depender de hipótesis propuestas por expertos. Mientras que el trabajo existente en interpretabilidad mecánica y abstracción causal sigue mayoritariamente un paradigma de prueba de hipótesis —donde un experto propone un candidato de Modelo Causal Estructural (SCM) de alto nivel para verificar si un sistema de bajo nivel (por ejemplo, una Red Neuronal Profunda) lo implementa—, este enfoque es costoso e inviable para sistemas que no se comprenden completamente. Los autores buscan resolver el problema complementario: aprender un SCM de alto nivel directamente a partir de observaciones de bajo nivel de manera no supervisada.

Metodología

Marco Teórico: DAGs de Factores y Estructura de Bajo Rango

Los autores aprovechan el concepto de Grafos Acíclicos Dirigidos de Factores (f-DAGs), una familia de modelos donde las variables de bajo nivel están parametrizadas por un pequeño número de factores latentes. Esto se basa en la suposición de que la matriz de adyacencia $A$ del grafo causal de bajo nivel exhibe una estructura de bajo rango (específicamente, rango booleano $m < n$).

• Factorización: La matriz de adyacencia de bajo nivel $A$ se descompone en $A = Q \diamond R^\top$, donde $Q$ representa las aristas desde las variables observadas hacia los factores latentes ($X \to Z$) y $R$ representa las aristas desde los factores de vuelta a las variables ($Z \to X$).
• Abstracción Causal: Los autores formalizan la relación entre el SCM de bajo nivel ($L$) y el SCM de alto nivel ($H$) sobre los factores latentes. Demuestran que, si el sistema de bajo nivel es generado por un f-SCM, el SCM colapsado sobre los factores constituye una transformación uniforme del SCM de bajo nivel. Esto significa que el modelo de alto nivel preserva el comportamiento intervencionista del sistema de bajo nivel bajo mapas de estado e intervención específicos.

Identificabilidad y la Suposición de Anclaje

Una contribución crítica es establecer las condiciones bajo las cuales estos factores latentes son identificables.

• La Suposición de Anclaje: Inspirados en el modelado de temas (topic modeling), los autores introducen la condición de "anclaje". Para cada factor latente $Z$, debe existir al menos un ancla de entrada (una variable de bajo nivel $X$ que es hija únicamente de $Z$) y un ancla de salida (una variable de bajo nivel $X$ que es padre únicamente de $Z$).
• Resultados de Identificabilidad: Bajo esta suposición (junto con las suposiciones estándar de suficiencia causal y fidelidad/faithfulness), los autores demuestran:
  1. La factorización booleana de la matriz de adyacencia es única hasta una permutación de los factores.
  2. Los mecanismos del f-SCM son identificables hasta transformaciones de reparametrización simples (específicamente, transformaciones afines si los mecanismos son lineales).

Implementación Práctica: UCAD

Los autores proponen un algoritmo práctico, Descubrimiento de Abstracciones Causales No Supervisadas (UCAD), que formula el problema de aprendizaje como una tarea de optimización con restricciones.

• Objetivo: El modelo maximiza la verosimilitud de los datos observados bajo un modelo de grafo parametrizado mientras satisface restricciones específicas.
• Restricciones:
  1. Aciclicidad (CDAG): Fuerza a que el grafo aprendido sea un DAG, adaptado para la estructura de bajo rango para asegurar la triangularidad superior por bloques en sistemas por capas.
  2. Anclajes (Canchors): Fuerza la existencia de anclas de entrada y de salida para cada factor para asegurar la identificabilidad.
  3. Sparsity (Dispersión): Una restricción $L_1$ para prevenir el sobreajuste.
• Transformación Aproximada: El objetivo de aprendizaje está vinculado al objetivo teórico mediante un límite de "transformación aproximada". Los autores muestran que minimizar el objetivo de aprendizaje (log-verosimilitud negativa) acota linealmente el error en la aproximación de la abstracción causal de alto nivel.

Resultados Clave

Experimentos Sintéticos

Los autores validaron UCAD en f-SCMs sintéticos con diversas complejidades (mecanismos lineales/no lineales, estructuras por capas/sin capas, niveles de ruido).

• Recuperación de Latentes: El método recuperó con éxito los factores latentes reales. Cuando los mecanismos eran lineales, el Coeficiente de Correlación Media (MCC) entre los factores aprendidos y los reales alcanzó un promedio de 0.83.
• Casos No Lineales: En entornos totalmente no lineales, el MCC (Pearson) disminuyó (como era de esperar debido a transformaciones biyectivas arbitrarias), pero el Coeficiente de Dependencia Aleatorizada (MCC-RDC) se mantuvo alto (0.70–0.79), indicando una recuperación exitosa de la estructura subyacente hasta una reparametrización no lineal.
• Robustez: El rendimiento fue mayormente invariante al número de variables (16–128) y factores (3–8).

Interpretabilidad de Redes Neuronales

El método se aplicó a una Red Neuronal Profunda (MLP) entrenada para resolver una tarea de divisibilidad por 6.

• Recuperación de Conceptos: El modelo identificó con éxito factores correspondientes a los conceptos intuitivos de divisibilidad por 2 ($c_2$) y divisibilidad por 3 ($c_3$).
• Métricas: Los factores aprendidos mostraron una fuerte alineación con los conceptos hipotetizados (MCC-RDC de 0.72 para conceptos positivos) en comparación con controles negativos (primos irrelevantes), que arrojaron una alineación cercana a cero (0.07).
• Hallazgos Específicos: Un factor aprendido mostró una correlación de Pearson de 0.80 con el concepto de divisibilidad por 2, sugiriendo que la red implementa consistentemente esta lógica.

Significancia y Reivindicaciones

El artículo afirma proporcionar el primer marco teórico y práctico para el descubrimiento no supervisado de abstracciones causales a partir únicamente de datos de bajo nivel.

• Contribución Teórica: Une el descubrimiento causal de bajo rango con la teoría de la abstracción causal, demostrando que las suposiciones de bajo rango inducen naturalmente abstracciones de alto nivel válidas. Establece que la "suposición de anclaje" es suficiente para que estos factores latentes sean identificables hasta una equivalencia trivial.
• Contribución Práctica: Traduce estas garantías teóricas en un objetivo de aprendizaje diferenciable (UCAD) que puede aplicarse a sistemas del mundo real como las DNN.
• Modestia: Los autores reconocen las limitaciones, señalando que el enfoque actual requiere conocer el número de factores latentes y que escalar a sistemas más grandes y complejos (por ejemplo, modelos de lenguaje extensos) requiere más investigación en optimización. También señalan que, si bien el método identifica factores, interpretar las heurísticas específicas aprendidas por las DNN sigue siendo un desafío, ya que una baja concordancia con un concepto podría indicar una estrategia subyacente diferente en lugar de un fallo del método.

Este trabajo se posiciona como un paso hacia la automatización del descubrimiento de estructuras causales de alto nivel en sistemas complejos, yendo más allá de la dependencia de la intuición experta para la generación de hipótesis.