🤖 machine learning

Linear-LLM-SCM: Benchmarking LLMs for Coefficient Elicitation in Linear-Gaussian Causal Models

Este artículo presenta Linear-LLM-SCM, un marco para evaluar la capacidad de los modelos de lenguaje de gran tamaño para estimar coeficientes causales cuantitativos en modelos causales estructurales lineales gaussianos, revelando limitaciones significativas en su precisión y estabilidad a través de conjuntos de datos del mundo real.

Autores originales: Kanta Yamaoka, Sumantrak Mukherjee, Thomas Gärtner, David Antony Selby, Stefan Konigorski, Eyke Hüllermeier, Viktor Bengs, Sebastian Josef Vollmer

Publicado 2026-07-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kanta Yamaoka, Sumantrak Mukherjee, Thomas Gärtner, David Antony Selby, Stefan Konigorski, Eyke Hüllermeier, Viktor Bengs, Sebastian Josef Vollmer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot superinteligente que ha leído casi todos los libros, artículos y sitios web de internet. Le haces una pregunta y te responde con la confianza de un profesor experimentado. Pero aquí está el truco: aunque este robot es increíble para decirte que dos cosas están conectadas (como "fumar causa tos"), a menudo le cuesta decirte qué tanto están conectadas (como "fumar aumenta la tos exactamente en un 15%"). Esta es la diferencia entre el razonamiento cualitativo (conocer la historia) y el razonamiento cuantitativo (conocer las matemáticas). En el mundo de la ciencia, utilizamos algo llamado "modelos causales" para mapear estas historias. Piensa en un modelo causal como un diagrama de flujo o una receta donde las flechas muestran cómo un ingrediente cambia a otro. Por lo general, los científicos necesitan procesar números de experimentos reales para determinar las cantidades exactas de la receta. Pero, ¿y si pudiéramos simplemente pedirle a nuestro robot superinteligente que adivinara esos números basándose en lo que ha leído? Esa es la gran pregunta que los investigadores se plantean hoy: ¿Puede una IA que lo sabe todo sobre el mundo también hacer las matemáticas para predecir el futuro con precisión?

Este artículo, titulado "Linear-LLM-SCM", establece un campo de juegos para probar exactamente eso. Los investigadores crearon un juego en el que dieron a siete diferentes "Modelos de Lenguaje Extensos" (el nombre elegante para estos robots superinteligentes) un mapa de un sistema del mundo real —un Grafo Acíclico Dirigido, o DAG por sus siglas en inglés. Puedes pensar en un DAG como un mapa de calles de una sola vía, donde no puedes conducir en círculos. El mapa mostraba qué variables (como "niveles de glucosa" o "gastar dinero") influían en otras. El trabajo de los robots era actuar como expertos estadísticos y escribir las ecuaciones matemáticas exactas que describen estas relaciones, específicamente adivinando los "coeficientes" (los números que indican qué tan fuerte es el efecto).

El equipo probó siete mapas del mundo real diferentes, que iban desde cómo la gente gasta dinero hasta cómo crecen las plantas en las algas. Le pidieron a los robots que miraran el mapa y las descripciones de las variables, y luego escupieran una ecuación de regresión (una fórmula matemática) para cada parte del mapa. Luego compararon las suposiciones de los robots contra la "verdad fundamental" (ground truth)—los números reales y correctos que los científicos ya habían medido en el mundo real.

Los resultados fueron una mezcla de "no está mal" y "ups". Los investigadores descubrieron que, si bien los robots a veces podían adivinar la dirección correcta (efecto positivo o negativo), los números reales estaban por todas partes. Incluso cuando los investigadores les dijeron a los robots que fueran lo más consistentes posible (estableciendo una "temperatura" a cero, lo que es como decirle al robot que deje de adivinar y simplemente calcule), las respuestas seguían variando drásticamente de un intento a otro. Por ejemplo, en el mapa de "Caquexia" (relacionado con la pérdida de masa muscular), un robot adivinó un coeficiente de 1.07, mientras que otro adivinó 1.04, pero la variación fue lo suficientemente alta como para ser preocupante. En el mapa "Algal", un modelo de robot más pequeño (Llama 3.1 8B) falló por completo al no poder escribir una ecuación legible.

El artículo también sometió a los robots a una prueba de estrés para ver qué tan resistentes eran. Primero, cambiaron las unidades de medida (como cambiar de micrómetros a nanómetros). Sorprendentemente, a veces esto hacía que las respuestas de los robots parecieran mejores por accidente, probablemente porque los números se volvieron más fáciles de escribir, no porque los robots entendieran mejor la física. Segundo, engañaron a los robots añadiendo conexiones falsas al mapa (aristas espurias). Cuando el mapa tenía una flecha falsa apuntando de una cosa a otra que en realidad no la afectaba, el rendimiento de los robots disminuía. Se confundían, y su capacidad para clasificar la importancia de los diferentes factores empeoraba.

La principal conclusión es que, si bien estos modelos de IA son excelentes para entender la historia de la causa y el efecto, actualmente son poco fiables para hacer las matemáticas para predecir el tamaño exacto de esos efectos. El estudio sugiere que usar estos robots para decisiones de alto riesgo, como en la atención médica o entornos clínicos, es arriesgado en este momento porque sus números pueden ser inconsistentes y sensibles a pequeños cambios en la forma en que se presenta el problema. Los autores no están diciendo que los robots sean inútiles; están diciendo que debemos ser muy cuidadosos y no confiarles los números finales hasta que sean mucho más estables. Incluso han publicado su marco de prueba al público para que otros científicos puedan seguir intentando solucionar este problema, con la esperanza de que algún día, nuestros asistentes digitales puedan no solo contarnos la historia, sino también hacer las matemáticas perfectamente.

Resumen Técnico: Linear-LLM-SCM

Planteamiento del Problema
Si bien los Modelos de Lenguaje Extensos (LLMs) han demostrado potencial en la identificación de relaciones causales cualitativas (tareas de Tipo 1), su capacidad para realizar razonamiento causal cuantitativo —específicamente la estimación de tamaños de efecto que parametrizan relaciones funcionales en dominios continuos (tareas de Tipo 3)— sigue siendo poco explorada. La investigación existente sugiere que los LLMs tienen dificultades para descubrir estructuras causales a partir de datos y para estimar cuantitativamente las consecuencias. Además, los métodos actuales para la estimación de efectos causales basados en LLMs suelen depender de dominios discretos, requieren datos observacionales numéricos o utilizan arquitecturas especializadas para muestrear distribuciones condicionales en lugar de elicitar directamente parámetros estructurales. Este artículo aborda la brecha de evaluar si los LLMs pueden estimar directamente parámetros de efectos causales lineales continuos para Modelos Causales Estructurales (SCMs) preespecificados utilizando únicamente la estructura causal y la semántica de las variables, sin datos observacionales.

Metodología: Marco de Trabajo Linear-LLM-SCM
Los autores presentan Linear-LLM-SCM, un marco de trabajo plug-and-play diseñado para evaluar a los LLMs en la parametrización de SCMs Lineales-Gaussianos. El marco opera bajo la suposición de que los LLMs han aprendido información cuantitativa o cualitativa de sus corpus de entrenamiento, incluyendo literatura científica formalizada como SCMs o regresiones lineales.

Requisitos de Entrada: El sistema requiere una estructura de Grafo Acíclico Dirigido (DAG) ( $G$ ), descripciones de variables ( $D$ ) que incluyen unidades y texto breve, y restricciones de variables ( $R$ ) (límites inferiores/superiores). Los parámetros de efecto de la verdad fundamental (ground-truth) se proporcionan para la evaluación.
Descomposición y Prompting: En lugar de alimentar todo el DAG al modelo, el marco descompone el grafo en conjuntos locales de padres e hijos. Recorre el DAG en orden topológico. Para cada nodo objetivo, se le proporciona al LLM un prompt con:
- Un persona de experto en el dominio y un resumen del fenómeno.
- Descripciones, unidades y rangos de la variable objetivo y de sus padres directos.
- Instrucciones para generar una ecuación estructural lineal (intercepto y coeficientes beta) en un formato de cadena específico.
Análisis de Respuesta (Parsing): El sistema extrae los coeficientes beta del output textual del LLM, analizando la ecuación lineal para compararla con la verdad fundamental.
Retroalimentación Iterativa: Para imponer consistencia global dentro del DAG, el marco incluye un mecanismo de retroalimentación iterativa. Realiza verificaciones de sanidad analíticas contra restricciones estrictas preespecificadas (por ejemplo, rangos de variables) y reintenta la elicitación si se violan dichas restricciones.
Métricas de Evaluación: El marco compara los parámetros elicitados contra la verdad fundamental utilizando cuatro métricas:
- M1–M3: Distancias de la norma L2 entre vectores de parámetros (con diferentes métodos de agregación). M2 y M3 son invariantes de escala o normalizadas para abordar problemas de rango de variables.
- M4: Una métrica que captura el orden relativo del tamaño del efecto por nodo.

Configuración Experimental

Modelos: El estudio evaluó cuatro LLMs de propósito general preentrenados: Gemini 2.5 Flash (Mezcla de Expertos dispersa), Llama 3.1 8B (denso), Llama 3.3 70B (denso) y GPT-5.4.
Datasets: Se seleccionaron siete DAGs del mundo real del repositorio BnRep, filtrados para configuraciones Lineales-Gaussianas continuas y un máximo de 15 nodos.
Condiciones:
- Estimación Directa: Parametrización estándar contra la verdad fundamental.
- Condiciones Adversarias (RQ2):
  - Ajuste de Unidades (Unit Tweaking): Cambiar las unidades de las variables (por ejemplo, $\mu$ M a nM) para probar la robustez.
  - Mispesificación del DAG: Introducir aristas espurias en la estructura del DAG para simular errores de modelado o limitaciones observacionales.
Protocolo: Cada condición se ejecutó 25 veces con la temperatura establecida en cero para minimizar la estocasticidad, reportando valores medios con intervalos de confianza del 95%.

Resultados Clave

Estimación Directa (RQ1):
- El rendimiento varió significativamente entre los DAGs y los modelos. Ningún modelo dominó todas las métricas en todos los DAGs.
- GPT-5.4 y Gemini 2.5 Flash generalmente funcionaron mejor en M3 (distancia) y M4 (ordenamiento).
- Llama 3.3 70B generalmente superó al más pequeño Llama 3.1 8B, lo que sugiere un beneficio de contar con un mayor número de parámetros para esta tarea.
- El modelo pequeño (Llama 3.1 8B) no logró generar ecuaciones analizables para el DAG algal2.
Estocasticidad: Incluso con temperatura cero, los modelos más grandes (Gemini 2.5 Flash, Llama 3.3 70B, GPT-5.4) exhibieron una variabilidad sustancial entre ejecuciones, con distribuciones no gaussianas. Esta no determinismo se identifica como un modo de fallo crítico para aplicaciones de seguridad crítica.
Robustez (RQ2):
- Sensibilidad de Unidades: Cambiar las unidades a veces mejoró contraintuitivamente las métricas, potencialmente debido a un aumento en la precisión numérica de la representación textual (por ejemplo, $1 \to 1000$ ).
- Perturbación Estructural: Añadir aristas espurias (mispesificación del DAG) generalmente degradó el rendimiento. La mayoría de los modelos mostraron un aumento en la distancia (M3) y una reducción en la precisión del ordenamiento (M4) bajo condiciones estructurales adversarias, indicando una robustez limitada ante la incertidumbre estructural.

Contribuciones Clave

Introducción del Marco de Trabajo: El artículo presenta Linear-LLM-SCM, un nuevo marco para evaluar LLMs en la parametrización de efectos causales cuantitativos en dominios continuos sin datos observacionales.
Pipeline de Código Abierto: Los autores liberan el pipeline de evaluación, permitiendo a los investigadores integrar sus propios DAGs, metadatos de variables y LLMs.
Benchmarking Empírico: El estudio proporciona un benchmark sistemático a través de siete DAGs del mundo real y cuatro arquitecturas de LLM diversas, resaltando las limitaciones actuales de los LLMs como parametrizadores causales cuantitativos.
Análisis de Modos de Fallo: El trabajo identifica modos de fallo específicos, incluyendo la alta variabilidad en las estimaciones de coeficientes, la sensibilidad a las perturbaciones estructurales y la incapacidad de los modelos más pequeños para analizar consistentemente ecuaciones complejas.

Significancia y Reivindicaciones
El artículo posiciona su trabajo como un paso necesario hacia la comprensión de las capacidades y limitaciones de los LLMs en dominios de seguridad crítica, como la salud, donde se requiere conocimiento experto causal cuantitativo. Los autores declaran explícitamente que los LLMs no deben utilizarse actualmente para la estimación de efectos causales cuantitativos en la atención médica real o en el soporte de decisiones clínicas debido a la variabilidad observada y la falta de robustez.

La significancia radica en:

Resaltar la Brecha: Demostrar que, si bien los LLMs pueden codificar conocimiento causal cualitativo, su razonamiento cuantitativo en dominios lineales continuos es actualmente poco fiable.
Implicaciones de Seguridad: La estocasticidad observada y la sensibilidad al ruido estructural plantean riesgos para las aplicaciones de seguridad crítica, lo que requiere más investigación en pruebas de seguridad y estrategias de mitigación antes de su despliegue.
Recurso para la Comunidad: Al proporcionar un marco modular, los autores buscan fomentar más estudios sobre la elicitación de efectos causales basados en LLMs, enfocándose específicamente en mejorar la robustez y reducir la varianza.

Los autores concluyen que el trabajo futuro debería extender el marco a formas funcionales no lineales e investigar métodos para mitigar el ruido estructural, así como examinar si las salidas de incertidumbre textual de los LLMs están calibradas.

Más como este