Ice Cream Doesn't Cause Drowning: Benchmarking LLMs Against Statistical Pitfalls in Causal Inference

Este artículo presenta CausalPitfalls, un nuevo benchmark diseñado para evaluar rigurosamente la capacidad de los modelos de lenguaje grandes para identificar y superar trampas estadísticas en la inferencia causal, revelando así sus limitaciones actuales y proporcionando métricas para desarrollar sistemas de razonamiento más confiables.

Lo esencial

¡Claro que sí! Imagina que los Modelos de Lenguaje Grandes (LLMs), como los que usan para escribir correos o generar imágenes, son como chefs muy talentosos que han leído millones de libros de cocina. Pueden describir un plato con palabras hermosas, pero ¿pueden realmente cocinar sin quemar la casa?

Este paper, titulado "El helado no causa ahogamiento" (una referencia a un error clásico de lógica), es como una inspección de cocina muy estricta para ver si estos chefs pueden hacer "inferencia causal" (es decir, entender qué causa realmente qué) sin caer en trampas estadísticas.

Aquí tienes la explicación sencilla:

1. El Problema: La Trampa del "Helado y el Ahogamiento"

Imagina que ves una gráfica y notas que cuando se vende mucho helado, hay más ahogamientos en la playa.

• Un chef novato (o un LLM sin entrenamiento especial) diría: "¡El helado causa ahogamientos! ¡Prohibamos el helado!"
• Un experto diría: "¡Espera! El verdadero culpable es el calor. El calor hace que la gente compre helado Y también hace que la gente vaya a la playa a nadar. El helado es solo un testigo inocente."

El problema es que los LLMs actuales son muy buenos con las palabras, pero a menudo confunden las coincidencias con las causas reales. Pueden decirte algo que suena muy inteligente y convincente, pero que es matemáticamente falso.

2. La Solución: El "Examen de Trampas" (CausalPitfalls)

Los autores crearon un nuevo examen llamado CausalPitfalls. En lugar de preguntar cosas fáciles como "¿El sol sale por el este?", les ponen a los modelos situaciones difíciles llenas de trampas estadísticas, como:

• La paradoja de Simpson: Donde una cosa parece buena en general, pero es mala para cada grupo por separado (como un medicamento que parece curar a todos, pero en realidad está matando a los jóvenes y a los viejos por separado).
• Sesgo de selección: Cuando los datos solo vienen de un grupo especial (como solo mirar a los pacientes que llegaron al hospital, ignorando a los que se curaron en casa).
• Causas ocultas: Variables que nadie vio pero que arruinan la conclusión.

El examen tiene 75 preguntas y 75 conjuntos de datos simulados, desde niveles "muy fáciles" hasta "muy difíciles".

3. Dos Formas de Cocinar (Los Protocolos)

Los investigadores probaron a los modelos de dos maneras:

1. Pensamiento Directo (Direct Prompting): Le das los datos y le preguntas: "¿Qué pasa aquí?". Es como pedirle al chef que adivine el sabor solo con la nariz.
2. Ayuda con Código (Code-Assisted): Le pides al chef que escriba un programa (código) para calcular los números y luego interprete el resultado. Es como darle al chef una balanza y una calculadora.

4. ¿Qué Descubrieron? (Los Resultados)

• El resultado general: ¡La mayoría de los chefs (modelos) quemaron la comida! Incluso los modelos más avanzados (como GPT-4) fallaron mucho. Su "confiabilidad causal" fue baja (alrededor del 40% en el mejor de los casos). A menudo, se dejaron engañar por el nombre de las cosas (si un refresco se llamaba "SaludPlus", decían que era bueno, aunque los datos dijeran lo contrario).
• La magia del código: Cuando los modelos tuvieron que escribir código para analizar los datos, ¡mejoraron mucho! Es como si al darles una calculadora, dejaron de adivinar y empezaron a calcular. Sin embargo, los modelos pequeños a veces escribían código con errores y eso empeoraba sus resultados.
• Las trampas más difíciles: Los modelos fallaron estrepitosamente en temas complejos como "mediación" (entender cadenas de causa-efecto) y "generalización" (aplicar una regla de un lugar a otro).

5. La Analogía Final

Imagina que los LLMs son como detectives muy cultos que han leído todos los libros de misterio del mundo.

• Si les muestras una escena del crimen, pueden escribir una historia muy dramática sobre quién lo hizo.
• Pero si les das las pruebas reales (los datos), a menudo se inventan la historia basándose en estereotipos o coincidencias, en lugar de seguir la evidencia matemática.

La conclusión del paper es:
No podemos confiar ciegamente en la IA para tomar decisiones vitales en medicina, economía o políticas públicas si no la obligamos a usar herramientas matemáticas (como código) y si no la entrenamos específicamente para no caer en estas trampas lógicas. La IA es buena hablando, pero aún necesita aprender a pensar con números.

¿Por qué es importante?

Porque si un médico usa una IA para decidir un tratamiento, o un gobierno para crear una ley económica, y la IA comete una de estas "trampas estadísticas", las consecuencias pueden ser graves. Este trabajo nos dice: "¡Ojo! No confíes en la IA hasta que demuestre que sabe distinguir entre una coincidencia y una causa real."

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "ICE CREAM DOESN'T CAUSE DROWNING: BENCHMARKING LLMS AGAINST STATISTICAL PITFALLS IN CAUSAL INFERENCE", presentado en ICLR 2026.

1. El Problema

La inferencia causal es fundamental para la toma de decisiones en áreas de alto riesgo como la medicina, la economía y las políticas públicas. Sin embargo, existe una incertidumbre crítica sobre si los Grandes Modelos de Lenguaje (LLMs) actuales pueden realizar inferencia causal estadística rigurosa y confiable.

Los desafíos principales identificados son:

• Fallos en la detección de trampas estadísticas: Los LLMs a menudo ignoran evidencia de datos sólida en favor de pistas semánticas superficiales (ej. concluir que una bebida es saludable solo por su nombre "HealthPlus" vs. "UltraSugar").
• Confusión entre variación aleatoria y estructura causal: Los modelos tienden a atribuir patrones aleatorios a sesgos reales (como el sesgo de género) o a paradojas estadísticas (como la Paradoja de Simpson) sin realizar las verificaciones estadísticas necesarias.
• Limitaciones de los benchmarks existentes: Las evaluaciones actuales se centran en tareas simplificadas (identificación semántica o conclusiones directas de datos crudos), lo que permite que los modelos pasen las pruebas sin demostrar una comprensión real de los principios causales, ignorando sesgos como el de selección o la confusión.

2. Metodología: El Benchmark CausalPitfalls

Para abordar estas limitaciones, los autores proponen CausalPitfalls, un benchmark integral diseñado para evaluar la capacidad de los LLMs para superar trampas comunes en la inferencia causal.

Estructura del Benchmark

• Categorías y Desafíos: Cubre 6 categorías principales de inferencia causal (basadas en Pearl y Peters et al.), que incluyen:
  1. Sesgos de confusión y asociaciones espurias (ej. Paradoja de Simpson, Sesgo de Berkson).
  2. Intervenciones y razonamiento experimental.
  3. Razonamiento contrafactual e hipótesis.
  4. Mediación y efectos causales indirectos.
  5. Descubrimiento causal y aprendizaje de estructura.
  6. Generalización causal y validez externa.
• Volumen: 15 desafíos distintos, 75 preguntas de evaluación y 75 conjuntos de datos sintéticos generados mediante Modelos Causales Estructurales (SCM) basados en Grafos Acíclicos Dirigidos (DAG).
• Niveles de Dificultad: Cada desafío tiene 5 versiones de preguntas, desde "Muy Fácil" (con muchas pistas) hasta "Muy Difícil" (sin pistas), para probar la robustez del modelo.

Protocolos de Evaluación

Se evalúan los modelos bajo dos protocolos distintos:

1. Prompting Directo: El LLM responde a preguntas de inferencia causal basándose únicamente en los datos crudos proporcionados, sin herramientas computacionales. Esto mide el razonamiento causal intrínseco.
2. Prompting Asistido por Código: El LLM debe generar código ejecutable (Python) para realizar el análisis estadístico, ejecutarlo e interpretar los resultados numéricos para responder a la pregunta. Esto mide la capacidad de traducir el razonamiento causal en procedimientos computacionales correctos.

Métricas

• Puntuación Normalizada: Se utiliza una rúbrica de calificación detallada (inspirada en guías de STROBE y ROBINS-I) para puntuar la respuesta.
• Fiabilidad Causal (Causal Reliability): Métrica resumen definida como el promedio de las puntuaciones normalizadas en todos los desafíos.
• Validación Humana: Se compararon las puntuaciones de un evaluador automático (GPT-4o) con las de tres estadísticos expertos, encontrando una alta concordancia (gap medio de 0.11), lo que valida la fiabilidad de la evaluación automática.

3. Contribuciones Clave

1. CausalPitfalls: El primer benchmark diseñado específicamente para evaluar la fiabilidad y la susceptibilidad a trampas estadísticas en LLMs, en lugar de solo la precisión en tareas simples.
2. Evaluación Dual: La comparación sistemática entre el razonamiento intuitivo (directo) y el razonamiento basado en herramientas (código), revelando cómo la asistencia computacional afecta el rendimiento.
3. Métrica de Fiabilidad: Introducción de una métrica estandarizada para cuantificar la confianza en las inferencias causales de los LLMs, permitiendo comparaciones objetivas entre modelos.
4. Análisis de Fallos: Identificación de modos de fallo específicos, como la sensibilidad adversaria a la semántica (branding) y la incapacidad de distinguir ruido estadístico de causalidad.

4. Resultados Principales

Los experimentos se realizaron en 10 LLMs (incluyendo GPT-4.1, GPT-o4-mini, Claude-3.5, Llama-3, DeepSeek, etc.).

• Limitaciones Generales: Todos los modelos mostraron una fiabilidad causal significativamente baja. Incluso el mejor modelo (GPT-o4-mini) alcanzó solo un 43.03% de fiabilidad bajo el protocolo asistido por código.
• Brecha de Dificultad: El rendimiento cae drásticamente a medida que aumenta la dificultad de la pregunta. En preguntas "Muy Difíciles", la mayoría de los modelos obtienen puntuaciones inferiores al 30%.
• Impacto del Prompting Asistido por Código:
  • Modelos Fuertes: Modelos como GPT-o4-mini, Gemini-2.0 y DeepSeek mejoraron notablemente al usar código (ej. GPT-o4-mini subió del 40.72% al 43.03%; GPT-4.1 del 25.24% al 37.32%). Esto sugiere que separar el análisis de datos del razonamiento ayuda a los modelos avanzados.
  • Modelos Pequeños/Abiertos: Modelos más pequeños (Llama-3-8B, Mistral-7B, Gemma2-9B) empeoraron o no mejoraron con el código. Esto se debe a que generan código con errores de ejecución, lo que introduce ruido en el proceso de razonamiento.
• Sesgo Semántico: En el experimento de "Sesgo de Marca", modelos como GPT-4o y Gemini-2.0 concluyeron que una bebida era dañina o beneficiosa basándose únicamente en su nombre ("HealthPlus" vs. "UltraSugar"), ignorando los datos estadísticos idénticos que mostraban lo contrario.
• Fallas en Código: Las tasas de error en la generación de código fueron más altas en categorías complejas como "Efectos de Mediación" y "Intervenciones", especialmente en preguntas "Muy Fáciles" donde los modelos intentan sobre-ingenierizar soluciones simples.

5. Significado y Conclusiones

El artículo concluye que, aunque los LLMs tienen potencial, actualmente no son fiables para inferencia causal estadística en escenarios de alto riesgo sin fine-tuning especializado o arquitecturas híbridas.

• Advertencia: La confianza en las conclusiones causales de los LLMs basadas solo en prompting directo es peligrosa debido a su susceptibilidad a sesgos semánticos y fallos estadísticos.
• Rol del Código: La asistencia por código es esencial para manejar desafíos estadísticos complejos, pero solo es efectiva si el modelo puede generar código ejecutable y libre de errores.
• Futuro: El benchmark CausalPitfalls sirve como una plataforma crítica para guiar el entrenamiento y la fine-tuning de futuros modelos de IA, con el objetivo de instilar robustez causal y reducir la dependencia de correlaciones superficiales.

En resumen, el trabajo demuestra que "el helado no causa ahogamiento" (una metáfora de la correlación espuria), pero los LLMs actuales a menudo no pueden distinguir entre correlación y causalidad sin ayuda computacional rigurosa, y aún así, su capacidad para generar dicha ayuda es inconsistente.