💬 NLP

Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?

Este artículo demuestra que en entornos sintéticos donde la evidencia observacional y la intervencional entran en conflicto, la capacidad de un modelo de lenguaje para inferir la dirección causal no está determinada por la mezcla de datos de entrenamiento, sino que se activa o desactiva dinámicamente según el tipo de evidencia presente en el contexto de inferencia, con las pistas observacionales suprimiendo activamente las capacidades latentes de razonamiento causal del modelo.

Autores originales: Xining Xun

Publicado 2026-08-03

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xining Xun

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El detective, la pista y la voz fuerte

Imagina que estás intentando enseñarle a un robot superinteligente a entender la causa y el efecto. Quieres que sepa que si presionas un botón, una luz se enciende, no solo que el botón y la luz suelen aparecer juntos. En el mundo de la inteligencia artificial, existe una idea famosa llamada la "Escalera de la Causalidad". Esta sugiere que para entender verdaderamente por qué suceden las cosas, necesitas más que solo observar el mundo pasar (observación); necesitas realmente intervenir y cambiar las cosas (intervención). Durante mucho tiempo, los investigadores pensaron que la mejor manera de enseñar esta habilidad a una IA era alimentándola con una dieta rica en "datos intervencionales": historias donde la IA veía a alguien presionar realmente el botón y la luz se encendía.

La gran pregunta era simple: Si mezclamos más historias de "acción" en la dieta de entrenamiento del robot, ¿mejorará su capacidad para descubrir la causa y el efecto? Este artículo profundiza en esta cuestión utilizando un mundo ficticio muy controlado donde las respuestas se conocen matemáticamente. El investigador configuró un escenario truculento llamado "Paradoja de Simpson", un rompecabezas estadístico donde dos cosas parecen moverse en direcciones opuestas cuando solo las observas, pero en realidad se mueven juntas cuando miras la causa real. Es como ver que las personas que llevan paraguas se mojan más que las que no, y concluir que los paraguas causan la lluvia, cuando en realidad la lluvia causa tanto los paraguas como la humedad. El artículo pone a prueba si darle al robot más entrenamiento de "intervención" puede ayudarlo a ignorar las pistas engañosas de la "observación" y encontrar la verdadera causa.

El experimento: Alimentando al robot con una dieta mixta

El autor construyó un patio de juegos digital con 50 "mundos" diferentes. En cada mundo, creó un truco oculto: la observación natural mostraba una relación negativa (como el ejemplo del paraguas), pero el verdadero efecto causal era positivo. Luego entrenaron modelos de lenguaje en estos mundos, mezclando diferentes cantidades de datos "intervencionales" (donde el modelo veía a alguien forzando un cambio) frente a datos "observacionales" (donde el modelo solo observaba).

El investigador partió de una creencia común, que llamó Hipótesis 1: "Si aumentamos la cantidad de datos de intervención en la mezcla de entrenamiento, el modelo será mejor encontrando la verdadera causa". Probó esto aumentando lentamente el porcentaje de datos de intervención desde el 0% hasta el 100%.

Aquí viene el giro sorprendente: la hipótesis era errónea.

Incluso cuando alimentaron al modelo con un 100% de datos de intervención durante el entrenamiento, el modelo seguía errando la dirección de la causa si se le mostraban pistas observacionales en el momento de responder una pregunta. El modelo aprendió el tamaño del efecto de los datos de intervención (sabía que la luz se haría más brillante), pero copió la dirección (positiva o negativa) de las pistas observacionales que veía en el contexto. Era como un estudiante que memorizó perfectamente las fórmulas matemáticas pero, al hacer un examen, ignoraba las fórmulas y simplemente adivinaba basándose en el patrón de las preguntas anteriores.

El verdadero culpable: El cambio de contexto

Entonces, si la mezcla de entrenamiento no importaba, ¿qué fue lo que importó? El artículo descubrió que el factor decisivo era el tipo de evidencia presente en el contexto en el momento en que el modelo respondía la pregunta.

El investigador realizó una "comparación de cuatro vías" para ver cómo diferentes tipos de pistas afectaban al modelo:

Observación pura: Cuando el contexto solo tenía registros observacionales, el modelo erró la dirección 29 de las 50 veces.
Evidencia mixta: Cuando el contexto tenía una mezcla de observación e intervención, erró 19 de las 50 veces.
Intervención pura (Sondas): Cuando el contexto solo tenía registros de intervención (sondas), el modelo acertó 41 de las 50 veces.

El hallazgo más emocionante provino de un "truco de magia" realizado durante la prueba. El investigador tomó un modelo que había sido entrenado con una mezcla de datos y que estaba fallando debido a las pistas observacionales en su contexto. Luego, borró las pistas observacionales del contexto justo antes de que el modelo respondiera. Instantáneamente, la capacidad del modelo para encontrar la verdadera causa se "encendió". Su precisión saltó de una puntuación negativa a una positiva, igualando el rendimiento de un modelo que solo había visto datos de intervención.

Esto demostró que el modelo sí había aprendido el razonamiento causal todo el tiempo; simplemente estaba "apagado" por la presencia de evidencia observacional. La capacidad residía en el cerebro del modelo (sus pesos), pero el contexto actuaba como un control remoto que silenciaba la respuesta correcta.

Cómo funciona el interruptor: Un dial graduado

El artículo también exploró cómo funciona este interruptor. No es un simple botón de encendido/apagado; es más bien como un dial de volumen.

Un registro observacional: Apenas suprimía al modelo.
Dos registros: Diluían la señal, confundiendo al modelo.
Cuatro registros: Capturaban completamente la atención del modelo, obligándolo a seguir la dirección observacional incorrecta.

Aún más interesante, el contenido de la observación importaba. Si los registros observacionales eran solo números aleatorios que no coincidían con el mundo actual, la supresión era más débil. Pero si los registros eran coherentes y coincidían con las correlaciones específicas de ese mundo, la supresión era más fuerte. Esto sugiere que el modelo está escuchando activamente la "historia" en el contexto y deja que la narrativa más coherente anule las reglas aprendidas.

Escalamiento y el "Sesgo Positivo"

El investigador también comprobó si este problema mejoraba o empeoraba a medida que los modelos se hacían más grandes. Probaron con un modelo de casi 1.000 millones de parámetros (mucho más grande que los 25 millones iniciales). El problema persistía: el modelo de contexto mixto todavía revertía la dirección de la causa aproximadamente el 32% de las veces, mientras que el modelo de intervención pura solo la revertía el 6% de las veces.

Finalmente, analizaron un conjunto de datos diferente (CLadder) para ver si el modelo había aprendido una regla general como "las causas siempre son positivas". Descubrieron que el modelo efectivamente había aprendido un "sesgo positivo" porque todos los ejemplos de entrenamiento que utilizaron tenían efectos positivos. Intentaron solucionar esto reentrenando con ejemplos tanto positivos como negativos, y el modelo mejoró su capacidad para leer los signos dentro del mundo de entrenamiento, pero seguía recurriendo a una respuesta positiva cuando se enfrentaba a datos externos confusos. Esto sugiere que el modelo tiene una "red de seguridad" que se activa cuando no está seguro, y esa red de seguridad es difícil de eliminar.

Conclusión

Este artículo nos enseña una lección vital sobre la enseñanza de la IA: No basta con alimentarla con los datos correctos. El modelo puede aprender la habilidad, pero si el entorno en el que opera (el contexto) está lleno de pistas engañosas, ignorará lo aprendido y seguirá las pistas en su lugar. El "interruptor" que activa la verdadera capacidad de razonamiento del modelo no está en los datos de entrenamiento; es el contexto lo que le damos en el momento de la prueba. Para obtener los mejores resultados, necesitamos diseñar el contexto para resaltar el tipo de evidencia correcto, en lugar de simplemente esperar que los datos de entrenamiento por sí solos hagan el trabajo.

Resumen Técnico: Competencia de Tipo de Evidencia en Modelos de Lenguaje

Declaración del Problema

El artículo desafía la hipótesis predominante (denotada como H1) de que aumentar la proporción de datos intervencionales en el preentrenamiento mejora automáticamente las capacidades de razonamiento causal de un modelo de lenguaje (LM). Si bien los datos intervencionales son, teóricamente, el "estándar de oro" para aprender la dirección causal (Pearl, 2009), este estudio investiga si los LLM pueden utilizar eficazmente estos datos cuando entran en conflicto con la correlación observacional.

El autor se centra en escenarios de la Paradoja de Simpson, específicamente "mundos de trampa de Simpson" donde la correlación observacional entre las variables $X$ e $Y$ es negativa ( $Cor_{obs}(X, Y) < 0$ ), pero el efecto causal real es positivo ( $eff(X \to Y) > 0$ ). La pregunta central es si un LM entrenado en una mezcla de datos observacionales e intervencionales puede inferir correctamente la dirección causal, o si por defecto adopta la correlación observacional presente en el contexto de inferencia.

Metodología

El estudio emplea un entorno sintético totalmente controlado para aislar el razonamiento causal de la confusión del lenguaje natural.

Generador de Mundos Sintéticos: El autor genera Modelos Causales Estructurales (SCM) paramétricos con confundidores ocultos ( $Z$ ). La familia de evaluación consiste en 50 mundos donde $Cor_{obs}(X, Y)$ y $eff(X \to Y)$ tienen signos opuestos.
Protocolo de Entrenamiento: Se entrena un decodificador tipo GPT de 25.7M de parámetros en una mezcla de datos observacionales (OBS) e intervencionales (INT/PROBE). La fracción intervencional $\alpha$ $α$ se varía de 0.0 a 1.0.
- OBS: Muestras observacionales $(v_1, \dots, v_n) \sim P(V)$ .
- PROBE: Registros intervencionales sobre el nodo de consulta $X$ ( $do(X=v) \to$ respuestas).
Métricas de Evaluación:
- Criterio de Acierto (Hit): Una predicción es un "acierto" si la pendiente de la regresión sobre una cuadrícula de $do(X)$ es distinta de cero ($|pendiente| > 0.05$) y tiene el signo correcto.
- Ratio Verdadero (Ratio True): La relación entre la pendiente predicha por el modelo y la pendiente del oráculo.
- Control del Suelo de Ruido (Noise Floor Control): El autor cuantifica que incluso un interpolador perfecto comete errores de signo (26%) debido al ruido de muestreo en las evaluaciones de sonda de un solo disparo (single-shot). Implementan el promedio de evidencia ( $n_{rep}=8$ ) para reducir este suelo al 9%, asegurando que las reversiones observadas sean mecanismos y no artefactos estadísticos.
Intervenciones en el Tiempo de Inferencia: Para distinguir entre la falta de capacidad y la supresión impulsada por el contexto, el autor realiza intervenciones sin coste de entrenamiento durante la inferencia, tales como borrar la evidencia observacional o manipular la "dosis" de los tipos de evidencia.

Contribuciones Clave

Falsificación de H1 (Dualidad Magnitud–Dirección): El estudio demuestra que aumentar la fracción de datos intervencionales en el preentrenamiento ( $\alpha$ ) no mejora la precisión de la dirección causal. En su lugar, emerge una dualidad magnitud–dirección: el modelo aprende la magnitud del efecto causal de los datos intervencionales (que crece monótonamente con $\alpha$ ), pero copia el signo (dirección) del contexto observacional.
El Factor del Tipo de Evidencia: El determinante principal del rendimiento del razonamiento causal no es la proporción de la mezcla de entrenamiento, sino el tipo de evidencia presente en el contexto de inferencia.
- Contexto Puramente Observacional: Induce una reversión sistemática de signo en 29/50 mundos.
- Contexto Mixto: Induce reversión en 19/50 mundos.
- Contexto de Sonda Puro (Pure Probe): Obtiene la dirección correcta en 41/50 mundos (con reversiones solo en el nivel de ruido de medición).
Localización del Mecanismo: La supresión de la capacidad causal es un fenómeno del tiempo de inferencia, no un déficit de entrenamiento.
- Borrar la evidencia observacional del contexto libera inmediatamente la capacidad de interpolación suprimida del modelo (el ratio verdadero salta de -0.09 a +0.56).
- Duplicar la dosis de la sonda sin eliminar la evidencia observacional no logra levantar la supresión.
- Parcheo de Activación (Activation Patching): Localiza el "interruptor" en las filas de registros observacionales en las capas medias (capas 2–3) del transformador.
Robustez y Escala: El efecto de supresión persiste a escala (0.93B de parámetros), aunque las ganancias intervencionales absolutas disminuyen. El fenómeno es estable a través de las semillas de entrenamiento, pero se manifiesta como una elevación difusa de la tasa en lugar de un conjunto fijo de mundos revertidos a mayor escala.
Descubrimiento de Prior de Dos Capas: Una auditoría externa sobre el benchmark CLadder revela un prior de efecto positivo aprendido.
- Capa 1 (En Distribución): Un sesgo hacia efectos positivos que puede eliminarse mediante un reentrenamiento con signos aleatorios.
- Capa 2 (Fuera de Distribución): Un "predeterminado positivo" persistente que permanece incluso tras la aleatorización de signos, lo que sugiere un mecanismo de respaldo cuando la maquinaria de evidencia falla.

Resultados

Ineficacia de la Mezcla de Entrenamiento: En los mundos de la paradoja de Simpson, variar $\alpha$ de 0 a 1.0 no resulta en una mejora monótona de la precisión del signo (la precisión fluctúa entre 0.2 y 0.5).
Gradiente de Dosis Contextual: Una comparación de cuatro brazos (Línea base: OBS puro; C1: OBS + Sondas; C2: Sondas puras) muestra un gradiente claro. A medida que la evidencia observacional en el contexto disminuye, el ratio verdadero medio aumenta monótonamente (-0.288 $\to$ -0.092 $\to$ +0.418).
Interruptor Mediado por el Contenido: La supresión es graduada y mediada por el contenido. Eliminar el contenido observacional (incluso si los tokens de formato permanecen) libera la supresión, mientras que simplemente diluir la dosis no lo hace. Los datos observacionales coherentes y que coinciden con el mundo ejercen el efecto supresor más fuerte.
Auditoría CLadder: Los modelos entrenados con datos intervencionales exhiben un comportamiento de "lectura de un solo lado" en CLadder, colapsando los mundos de ATE (efecto de tratamiento promedio) negativos hacia un predeterminado positivo. Esto confirma la existencia de un fuerte prior positivo que anula la evidencia cuando el modelo está fuera de su distribución.

Significado y Reivindicaciones

El artículo afirma proporcionar un resultado negativo motivador que redefine cómo se entiende la competencia causal en los LLM. El autor argumenta que:

Capacidad vs. Activación: La capacidad para realizar la interpolación causal existe en los pesos del modelo (probado por el éxito de los contextos de sonda pura), pero es desactivada por la presencia de evidencia observacional conflictiva en el contexto.
Ecología de la Evidencia: El cuello de botella para el razonamiento causal no es la escasez de datos intervencionales en el preentrenamiento, sino la ecología de la evidencia del contexto en el tiempo de inferencia. Los priors observacionales pueden dominar y suprimir las señales intervencionales.
Rigor Metodológico: El estudio destaca la necesidad de controlar los suelos de ruido de muestreo en la evaluación causal y demuestra que los "campos de atracción" en la precisión del signo pueden ser artefactos del ruido si no se promedian adecuadamente.
Implicación Práctica: Optimizar únicamente las mezclas de datos de preentrenamiento es insuficiente. El razonamiento causal efectivo requiere ingeniería de contexto o un control de tipo de evidencia en el despliegue para evitar que los priors observacionales anulen los mecanismos causales aprendidos.

El autor mantiene la modestia, señalando que el micromecanismo específico del predeterminado positivo fuera de distribución aún no ha sido identificado y que los hallazgos se limitan actualmente a dominios sintéticos y de libros de texto, no al lenguaje natural.