📊 statistics

Sanity Checking Causal Representation Learning on a Simple Real-World System

Este artículo evalúa métodos de aprendizaje de representaciones causales de vanguardia en un experimento óptico simple y del mundo real con una verdad fundamental conocida, y encuentra que fallan consistentemente en recuperar los factores causales subyacentes debido a problemas de reproducibilidad y a la violación de supuestos teóricos clave, lo que resalta una brecha significativa entre la promesa teórica y la aplicación práctica.

Autores originales: Juan L. Gamella, Simon Bing, Jakob Runge

Publicado 2026-09-15

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Juan L. Gamella, Simon Bing, Jakob Runge

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Durante décadas, los científicos han buscado una forma de enseñar a las computadoras a ver el mundo no solo como un desenfoque de píxeles, sino como una colección de causas y efectos distintos. Imagine intentar comprender una máquina compleja mirando únicamente el humo que sale de su escape; podría adivinar qué está sucediendo en su interior, pero no puede estar seguro. Este es el desafío del aprendizaje de representaciones causales. Es un campo de la inteligencia artificial que tiene como objetivo despojar las capas de datos brutos para encontrar los factores fundamentales y ocultos que realmente impulsan un sistema. Si una computadora puede aprender estas causas subyacentes, podría realizar mejores predicciones, entender por qué las cosas salen mal y adaptarse a nuevas situaciones de forma muy similar a como lo hace un humano. La promesa es que, si podemos enseñar a las máquinas a identificar estas causas reales, se volverán mucho más fiables y útiles en el mundo real, en lugar de simplemente memorizar patrones en un conjunto de datos.

Sin embargo, ha surgido una brecha significativa entre la teoría y la realidad. Muchos de los nuevos métodos para enseñar a las computadoras a encontrar estas causas han sido probados solo con datos generados por computadora, donde las reglas se conocen perfectamente y el ruido está cuidadosamente controlado. Es como probar el motor de un coche nuevo solo en una cinta de correr en un laboratorio; el motor puede funcionar perfectamente allí, pero eso no garantiza que arrancará en una carretera lluviosa. Los investigadores sospechaban desde hace tiempo que estos métodos podrían tener dificultades al enfrentarse a la naturaleza desordenada e impredecible del mundo real, pero hasta ahora, no había existido una prueba sencilla en el mundo real para demostrarlo.

Un equipo de investigadores ha construido ahora tal prueba, utilizando un dispositivo físico que es lo suficientemente simple como para ser comprendido, pero lo suficientemente real como para importar. Construyeron un "túnel de luz", una cámara larga que contiene una fuente de luz controlable, dos filtros giratorios que cambian la dirección de las ondas de luz, una cámara y varios sensores para medir la intensidad de la luz. Los investigadores podían controlar con precisión el brillo de las luces rojas, verdes y azules, así como el ángulo de los dos filtros. Debido a que ellos mismos establecieron estos controles, conocían la causa exacta de cada cambio en la luz. La cámara y los sensores registraron entonces las imágenes y mediciones resultantes, que eran una mezcla enmarañada de todas esas entradas. Esta configuración proporcionó una verdad de base perfecta: los investigadores sabían exactamente cuáles eran las causas, por lo que podían ver si los algoritmos de la computadora lograban encontrar de nuevo dichas causas con éxito.

El equipo tomó tres enfoques diferentes y líderes en el aprendizaje de representaciones causales y les pidió que resolvieran este rompecabezas. El primer método dependía de que a la computadora se le mostraran datos de diferentes "entornos" donde los controles se cambiaban deliberadamente. El segundo método pedía a la computadora que observara los datos desde múltiples ángulos o "vistas" simultáneamente. El tercero intentó aprender de una secuencia de eventos a lo largo del tiempo, observando cómo evolucionaba el sistema. En un mundo perfecto, estos métodos deberían haber identificado fácilmente los niveles de brillo de las luces roja, verde y azul, así como los dos ángulos de los filtros, como las causas ocultas.

Los resultados fueron un duro golpe de realidad. Ninguno de los métodos tuvo éxito en la recuperación constante de las verdaderas causas subyacentes a partir de los datos del mundo real. Cuando los investigadores alimentaron los algoritmos con las imágenes y lecturas de los sensores reales del túnel de luz, las computadoras fallaron al intentar desenredar las causas. Produjeron resultados débiles, inconsistentes o completamente erróneos. Para entender por qué sucedió esto, los investigadores crearon una versión simplificada y generada por computadora del mismo experimento. En esta versión sintética, la relación entre los controles y las imágenes era perfectamente suave y predecible, sin las pequeñas fluctuaciones aleatorias que ocurren en la electrónica real.

Cuando ejecutaron los mismos algoritmos en estos datos sintéticos limpios, los resultados fueron mixtos. Uno de los métodos, que se basaba en ver diferentes entornos, finalmente funcionó bien en los datos sintéticos, recuperando las causas con alta precisión. Esto sugirió que el método era sólido en teoría, pero demasiado sensible al ruido diminuto y aleatorio presente en los sensores reales. Sin embargo, los otros dos métodos fallaron de forma tan estrepitosa en los datos sintéticos como lo hicieron en los datos reales. Este fue un descubrimiento sorprendente. Significaba que, para estos métodos, el problema no era solo el ruido del mundo real, sino algo más profundo en cómo estaban construidos los algoritmos o cómo estaban siendo entrenados. Simplemente no podían resolver el rompecabezas, incluso cuando las reglas se hacían lo más simples posible.

El estudio resalta un problema crítico en el campo: la diferencia entre que un método funcione en una simulación controlada y que funcione en el mundo real. Los investigadores descubrieron que los supuestos que estos algoritmos hacen sobre cómo se generan los datos a menudo no se sostienen cuando se enfrentan a sistemas físicos reales. Por ejemplo, algunos métodos asumen que la relación entre la causa y la observación es perfectamente suave y predecible, pero los sensores reales introducen pequeños temblores impredecibles que rompen estos supuestos. Además, el equipo descubrió que el éxito de estos métodos a menudo dependía en gran medida de las elecciones específicas realizadas por los programadores, como la forma exacta de la red computacional o la manera en que se preparaban los datos, en lugar de la teoría central misma.

Este trabajo no significa que el objetivo de enseñar a las computadoras a comprender la causa y el efecto sea imposible. En cambio, sirve como un necesario "control de cordura", una prueba de realidad simple que revela dónde fallan las herramientas actuales. Al mostrar que incluso los métodos más avanzados luchan con un sistema físico simple y bien comprendido, los investigadores han identificado un camino claro a seguir. El campo debe ir más allá de las pruebas en datos perfectos generados por computadora y comenzar a lidiar con las imperfecciones del mundo real. Solo construyendo métodos que puedan manejar el ruido y la complejidad de los sistemas físicos reales podremos esperar crear una inteligencia artificial que realmente comprenda el mundo en el que vive.

Resumen Técnico: Verificación de Sanidad del Aprendizaje de Representaciones Causales en un Sistema Real Sencillo

Planteamiento del Problema

El Aprendizaje de Representaciones Causales (CRL, por sus siglas en inglés) busca recuperar el modelo de verdad fundamental latente y causal a partir de observaciones de alto nivel y entrelazadas de un sistema. Si bien se ha logrado un progreso teórico significativo con respecto a la identificabilidad de los factores causales bajo supuestos específicos (por ejemplo, funciones de mezcla específicas, tipos de intervención o estructuras temporales), el campo carece de evaluaciones significativas en el mundo real. Las evaluaciones existentes dependen predominantemente de conjuntos de datos sintéticos generados de acuerdo con los supuestos específicos de los métodos que se prueban. Esta práctica valida los fundamentos teóricos, pero ofrece una visión limitada sobre la aplicabilidad de estos métodos a problemas del mundo real donde los procesos de generación de datos son complejos, ruidosos y a menudo violan los supuestos teóricos.

Metodología

Los autores introducen una "verificación de sanidad" basada en un sistema físico controlado y real conocido como un "túnel de luz" (Gamella et al., 2025). Este sistema sirve como banco de pruebas donde la verdad fundamental es conocida, lo que permite la evaluación directa de los métodos de CRL.

El Sistema Físico

El sistema consiste en una fuente de luz controlable (LEDs Rojo, Verde, Azul), dos polarizadores lineales montados en marcos rotatorios, una cámara y varios sensores de luz y ángulo.

Verdad Fundamental (Factores Latentes): Las entradas de control: el brillo de la fuente de luz ( $R, G, B$ ) y los ángulos de los polarizadores ( $\theta_1, \theta_2$ ).
Observaciones: Imágenes capturadas por la cámara y lecturas numéricas de los sensores (intensidad de luz, corriente y mediciones de ángulo con ruido).
Función de Mezcla: La transformación de las entradas a las observaciones está gobernada por principios físicos (por ejemplo, la ley de Malus para la polarización, la ley del inverso del cuadrado para la intensidad de la luz). Crucialmente, este proceso es estocástico debido a las fluctuaciones de la fuente de luz y al ruido de los sensores, y no es puramente aditivo.

Diseño Experimental

Los autores evaluaron tres familias representativas de métodos de CRL:

CRL Contrastivo: Métodos que requieren datos intervencionistas (Buchholz et al., 2023).
CRL Multivista: Métodos que utilizan múltiples conjuntos disjuntos de observaciones (Yao et al., 2024c).
CRL Temporal: Métodos que explotan estructuras temporales causales (CITRIS, Lippe et et al., 2022).

Para aislar las causas del fallo, los autores realizaron una ablación sintética. Reemplazaron el proceso de generación de datos del mundo real con un simulador determinista que produce imágenes y mediciones de sensores sintéticas a partir de las mismas entradas. Este simulador se adhiere estrictamente a los supuestos teóricos de los métodos evaluados (por ejemplo, mezcla determinista, ruido aditivo donde se asume), sirviendo como un control para distinguir entre fallos de "especificación errónea" (supuestos violados) y de "optimización" (fallo en la convergencia).

Contribuciones Clave

Benchmark del Mundo Real: La introducción del conjunto de datos lt_crl_benchmark_v1, derivado de un experimento óptico físico, que proporciona una plataforma de evaluación de verdad fundamental para el CRL.
Marco de Ablación Sintética: Una metodología para sustituir los datos reales con un sustituto determinista para probar la robustez de los métodos de CRL frente al ruido y la estocasticidad de las funciones de mezcla del mundo real.
Evaluación Exhaustiva: Una evaluación sistemática de los métodos de vanguardia a través de diferentes paradigmas teóricos tanto en datos reales como sintéticos, acompañada de búsquedas extensas de hiperparámetros y esfuerzos de reproducción de código.
Recursos Públicos: Lanzamiento del conjunto de datos, los procedimientos de recolección de datos y el código de reproducción para facilitar la investigación futura.

Resultados

La evaluación reveló que todos los métodos probados fallaron en recuperar consistentemente los factores causales subyacentes en los datos del mundo real.

CRL Contrastivo (Buchholz et al., 2023):
- Datos Sintéticos: Funcionó bien, recuperando las variables latentes y el grafo causal con alta precisión (MCC $\approx$ 0.89).
- Datos Reales: El rendimiento colapsó (MCC $\approx$ 0.28). El método falló al recuperar las variables latentes y produjo grafos causales inconsistentes a través de inicializaciones aleatorias.
- Conclusión: El fallo se atribuye a la especificación errónea de la función de mezcla. El método asume un proceso de mezcla determinista, pero el sistema real implica un ruido estocástico complejo y no aditivo.
CRL Multivista (Yao et al., 2024c):
- Rendimiento: Falló en recuperar las variables de contenido (específicamente los ángulos de los polarizadores $\theta_1, \theta_2$ ) a partir de la intersección de las vistas de imagen y sensor, incluso cuando los supuestos teóricos (como la inyectividad) se cumplían en la ablación sintética.
- Observación: El rendimiento fue igualmente pobre tanto en los datos reales como en los sintéticos. Los autores hipotetizan que, mientras que los modelos supervisados pueden recuperar fácilmente los ángulos de los polarizadores a partir de las imágenes, los métodos multivista autosupervisados luchan por capturar esta información de la modalidad de imagen, posiblemente debido a las dependencias de la modalidad de datos.
CRL Temporal (CITRIS, Lippe et al., 2022):
- Rendimiento: Falló en recuperar los factores de verdad fundamental tanto en los datos reales como en los sintéticos (puntuaciones $R^2$ diagonales bajas, correlaciones fuera de la diagonal altas).
- Conclusión: El fallo probablemente se deriva de una combinación de especificación errónea y problemas de optimización. La complejidad de los submódulos del método puede complicar los errores, y la arquitectura o el régimen de entrenamiento específicos pueden no ser robustos a las características de los datos, incluso en el entorno determinista.

Significado y Reivindicaciones

El artículo se posiciona como una "verificación de sanidad" más que como una crítica definitiva de todo el campo. Los autores realizan las siguientes reivindicaciones modestas:

Brecha entre la Teoría y la Práctica: Existe un fuerte contraste entre la promesa teórica de los métodos de CRL y su rendimiento en un entorno del mundo real sencillo y controlado.
Desafíos de Reproducibilidad: Los resultados resaltan un "problema de reproducibilidad", donde los métodos a menudo fallan incluso en ablaciones sintéticas simplificadas, lo que sugiere que los detalles de implementación, el preprocesamiento y las elecciones de optimización juegan un papel más importante que las garantías teóricas por sí solas.
Papel de los Supuestos: El estudio demuestra que los supuestos comunes respecto a la función de mezcla (por ejemplo, determinismo, aditividad) son cruciales para el rendimiento, pero frecuentemente no se cumplen en los datos del mundo real.
Los Resultados Negativos son Informativos: Un fallo en este banco de pruebas sencillo indica una alta probabilidad de fallo en escenarios del mundo real más complejos. Sin embargo, el éxito en este benchmark no garantiza el éxito en todas las aplicaciones.
Llamado a la Acción: Los autores argumentan que, si bien los avances teóricos son necesarios, el campo también debe centrarse en la "tarea de ingeniería" de implementar algoritmos robustos y reproducibles. Abogan por el uso de bancos de pruebas físicos del mundo real para desglosar el difícil problema del CRL en pasos manejables, yendo más allá de la validación puramente sintética.

El artículo concluye que sin cerrar la brecha entre los supuestos teóricos y la realidad desordenada de la generación de datos físicos, la aplicación del CRL a problemas del mundo real seguirá siendo limitada.