Causality Elicitation from Large Language Models

Este artículo propone un pipeline para extraer relaciones causales de los modelos de lenguaje grande mediante la generación de documentos, la extracción y agrupación de eventos, y la aplicación de métodos de descubrimiento causal para presentar un conjunto de hipótesis causales plausibles que el modelo puede asumir.

Lo esencial

Imagina que tienes un chef robot (un Modelo de Lenguaje Grande o LLM) que ha leído millones de libros, noticias y artículos. Este robot es un experto en cocinar historias sobre economía y política, pero si le pides que te explique "por qué sube el precio del oro" o "qué pasará con Japón si Trump cambia las tarifas", te dará 100 historias diferentes.

El problema es que, aunque todas las historias hablen de lo mismo, el robot usa palabras distintas. En una historia dice "suben los aranceles", en otra "se endurece el comercio" y en una tercera "proteccionismo". Para un humano, sabemos que es lo mismo, pero para una computadora, son tres cosas totalmente diferentes.

Este paper es como un recetario de detectives que enseña a convertir ese caos de palabras en un mapa de causas y efectos claro y útil. Aquí te explico cómo funciona, paso a paso, con analogías sencillas:

1. El Problema: El Caos de las Palabras

Si le pides al robot que escriba 100 historias sobre un tema, obtendrás un montón de texto. Si intentas buscar patrones directamente, es como intentar armar un rompecabezas donde todas las piezas tienen formas ligeramente diferentes. No puedes saber si la pieza "A" en la historia 1 es la misma que la pieza "A" en la historia 50.

2. La Solución: El "Traductor de Significados" (El Pipeline)

Los autores proponen un proceso de 5 pasos para limpiar el ruido y encontrar la verdad oculta:

• Paso 1: Generar Historias (La Lluvia de Ideas)
  Le pides al robot que escriba muchas historias (100 documentos) sobre un tema específico, como si fuera un analista financiero imaginando el futuro.

  • Analogía: Es como pedirle a 100 periodistas que escriban titulares sobre "el futuro de la IA".

• Paso 2: Extraer los "Eventos" (Recoger las Piezas)
  El sistema lee cada historia y saca las frases clave que describen lo que pasó (ej: "suben tasas", "se imponen sanciones").

  • Analogía: Es como recoger todas las piezas sueltas del rompecabezas de cada historia y ponerlas en una caja gigante.

• Paso 3: La Magia de la "Canonización" (Agrupar las Parejas)
  ¡Aquí está la parte más inteligente! El sistema usa un "traductor" (basado en inteligencia artificial) para ver que "suben aranceles", "endurecen comercio" y "proteccionismo" son en realidad la misma pieza. Las agrupa bajo un solo nombre oficial, como "Aumento de Aranceles".

  • Analogía: Imagina que tienes 500 calcetines sueltos. Algunos son rojos, otros "rojo oscuro", otros "carmesí". Este paso es como tener un organizador que dice: "¡Espera! Todos estos son el mismo color rojo". Los une en un solo montón llamado "Calcetines Rojos". Sin esto, no podrías contar cuántos calcetines rojos tienes realmente.

• Paso 4: Crear la "Matriz de Asistencia" (El Tablero de Control)
  Ahora que sabemos que todas las palabras significan lo mismo, crean una tabla simple. En esta tabla, cada fila es una historia y cada columna es un "evento oficial". Si la historia menciona "Aumento de Aranceles", ponen un "1". Si no, un "0".

  • Analogía: Es como un formulario de asistencia en una escuela. En lugar de escribir los nombres completos de los alumnos (que pueden tener errores de ortografía), solo marcas con una "X" si "Juan" estuvo presente o no.

• Paso 5: Descubrir la Causalidad (Dibujar el Mapa)
  Con esta tabla limpia, usan algoritmos matemáticos para ver qué eventos suelen aparecer juntos y en qué orden. El resultado es un mapa de hipótesis.

  • Analogía: Es como si, al ver que siempre que llueve (evento A) la gente lleva paraguas (evento B), el sistema dibuja una flecha que dice: "Lluvia -> Paraguas".

¿Qué nos dice este mapa?

El resultado final no es una verdad absoluta sobre cómo funciona el mundo real. Es un "Mapa de Hipótesis".

Imagina que el robot es un oráculo que ha leído todo lo que la humanidad ha escrito. El mapa que genera nos dice: "Según todo lo que la humanidad ha escrito y pensado, estas son las conexiones que tienen sentido".

• Ejemplo real del paper: En un estudio sobre Trump y Japón, el mapa mostró que, según las historias generadas, si EE. UU. pone restricciones tecnológicas, Japón responde moviendo sus fábricas a EE. UU. para evitar aranceles.
• Ejemplo 2: En un estudio sobre la IA y el oro, el mapa sugirió que la inversión en IA crea incertidumbre geopolítica, lo que lleva a los bancos centrales a comprar oro.

¿Por qué es importante?

Este método es como tener un lente de aumento para las ideas.

1. Organiza el caos: Convierte miles de palabras sueltas en conceptos claros.
2. Genera ideas: Ayuda a los expertos humanos a ver conexiones que quizás no habían notado.
3. Es un punto de partida: No te dice "esto es la verdad", sino "esto es lo que el robot cree que podría ser verdad, revísalo tú".

En resumen, los autores crearon una fábrica de mapas de ideas. Usan la inteligencia artificial para leer, limpiar, agrupar y conectar conceptos, transformando un montón de texto desordenado en un diagrama visual que los humanos pueden usar para formular nuevas preguntas y teorías sobre el futuro.

Resumen técnico

Resumen Técnico: Elicitación de Causalidad a partir de Modelos de Lenguaje Grande (LLMs)

Autores: Takashi Kameyama, Masahiro Kato, Yasuko Hio, Yasushi Takano, Naoto Minakawa (Mizuho-DL Financial Technology Co., Ltd.)
Fecha: Marzo 2026

1. Planteamiento del Problema

El análisis causal tradicional requiere identificar eventos clave y especificar mecanismos hipotéticos que los conecten. Aunque los Modelos de Lenguaje Grande (LLMs) poseen un conocimiento masivo codificado en sus parámetros y pueden generar narrativas ricas, existe un desafío fundamental al intentar extraer relaciones causales de ellos: la variabilidad superficial de los eventos.

Cuando un LLM genera múltiples documentos sobre un mismo tema, la misma idea subyacente (ej. "aumento de aranceles") puede expresarse con frases textuales diferentes en cada documento. Si se tratan estas cadenas de texto como variables distintas, se genera un problema de identidad de variables, lo que:

1. Dificulta la interpretación.
2. Desestabiliza la selección de características y la comparación.
3. Impide la aplicación efectiva de algoritmos de descubrimiento causal, ya que no pueden reconocer que dos frases distintas representan el mismo evento.

El objetivo del artículo no es validar la causalidad en el mundo real, sino externalizar el mapa de hipótesis causales que el LLM puede asumir plausiblemente, presentándolo como un conjunto de variables y grafos candidatos inspeccionables.

2. Metodología Propuesta

Los autores proponen una tubería (pipeline) de cinco pasos para transformar documentos generados por LLMs en grafos causales candidatos:

Paso (i): Generación de Documentos Condicionados al Tema

Se solicitan al LLM $N$ documentos analíticos sobre un tema específico (ej. impacto de políticas de Trump en Japón). Los documentos se generan bajo la perspectiva de un analista, enfocándose en eventos concretos, mecanismos y relaciones causa-efecto.

Paso (ii): Extracción de Eventos

Se utiliza un LLM para extraer listas de frases que representan eventos significativos (acciones políticas, movimientos de mercado, decisiones) de cada documento. Se implementa una capa de extracción robusta que normaliza los formatos de salida (JSON, listas, bullets) a una estructura estandarizada de listas de strings.

Paso (iii): Canonización de Eventos (El núcleo de la innovación)

Para resolver el problema de la variabilidad superficial, se propone un enfoque de "primero embeddings":

1. Embeddings: Se calculan vectores de representación (embedding) para todas las menciones de eventos extraídas.
2. Agrupamiento (Clustering): Se aplica un algoritmo de agrupamiento (MiniBatchKMeans) sobre los embeddings para identificar menciones semánticamente similares.
3. Nombrado por LLM: Para cada clúster, se seleccionan ejemplos representativos y se solicita a un LLM que genere una única etiqueta canónica legible por humanos (ej. "Endurecimiento de aranceles") que represente todo el grupo.
4. Resultado: Se crea un mapa de mapeo $f$ que convierte las cadenas de texto crudas en un vocabulario canónico estable.

Paso (iv): Construcción de la Matriz de Incidencia

Se construye una matriz binaria $Z \in \{0, 1\}^{N \times C}$, donde $N$ es el número de documentos y $C$ es el número de eventos canónicos.

• Si un documento contiene cualquiera de las variantes crudas que se mapean a un evento canónico, la celda correspondiente se marca como 1 (lógica OR).
• Esto transforma el problema de texto no estructurado en una matriz de datos estructurada lista para análisis estadístico.

Paso (v): Descubrimiento Causal

Sobre la matriz $Z$, se aplican algoritmos de descubrimiento causal estándar para inferir grafos dirigidos:

• PC (Constraint-based): Basado en pruebas de independencia condicional.
• GES (Score-based): Búsqueda de grafos dirigidos mediante optimización de puntuación.
• LiNGAM (Functional model): Estima un orden causal asumiendo no linealidad y no gaussianidad.

3. Contribuciones Clave

1. Pipeline Integrado: Conecta la extracción de eventos, la resolución de entidades (canonización) y el descubrimiento causal en un flujo de trabajo unificado.
2. Módulo de Canonización Explícito: Aborda directamente el problema de la "identidad de variables" en datos generados por IA, utilizando una combinación de embeddings y LLMs para crear un vocabulario estable y humano.
3. Mapa de Hipótesis: Propone un marco donde el resultado no es una verdad absoluta, sino un "mapa de hipótesis" que representa las dependencias condicionales asumidas por el modelo de lenguaje, útil para la formulación de hipótesis o la síntesis de documentos.
4. Interoperabilidad: El método puede aplicarse tanto a documentos generados por el pipeline como a documentos existentes en el mundo real.

4. Resultados Empíricos

Los autores validaron el método en dos estudios de caso:

Caso 1: Efecto de las Políticas de Trump en la Economía Japonesa (Post-2026)

• Datos: 100 documentos generados, 30 eventos canónicos.
• Hallazgos: El algoritmo PC identificó tres mecanismos principales:
  1. Restricciones tecnológicas $\rightarrow$ Localización de compras $\rightarrow$ Inversión Extranjera Directa (IED) japonesa en EE.UU.
  2. Un "paquete de presión" que vincula el endurecimiento de reglas comerciales, controles de exportación y nacionalismo en las compras públicas.
  3. Nodos de respuesta japonesa (concesiones de defensa, monitoreo de políticas) que actúan como sumideros de múltiples presiones externas.
• Interpretación: La gráfica externaliza la narrativa de que las restricciones de EE.UU. fuerzan a Japón a reubicar su producción y aumentar la inversión local.

Caso 2: Inversión de EE.UU. en IA y Precios del Oro

• Datos: 100 documentos generados, 20 eventos canónicos.
• Hallazgos: El gráfico mostró dos canales convergentes hacia la demanda de oro:
  1. Canal Macro-Financiero: La inversión en IA afecta el crecimiento y las condiciones financieras (proxy por TIPS y DXY).
  2. Canal Geopolítico: Las tensiones tecnológicas (controles de exportación a China) y las tensiones en el Estrecho de Taiwán se asocian con la acumulación de oro por bancos centrales.
• Interpretación: El modelo logra separar y luego conectar lógicamente los factores económicos y geopolíticos que impulsan el precio del oro según la narrativa del LLM.

5. Limitaciones y Futuro

• Compromiso en la Canonización: Existe un riesgo de fusionar eventos distintos o no fusionar eventos idénticos si la granularidad no se define correctamente.
• Datos Binarios: Los métodos de descubrimiento causal (PC, LiNGAM) suelen asumir datos continuos, mientras que la matriz es binaria. Se requieren pruebas adaptadas a datos discretos.
• Orden Temporal: La representación de incidencia colapsa el orden temporal dentro de los documentos. Las relaciones inferidas reflejan co-ocurrencia condicional más que precedencia temporal estricta.
• Sesgos del LLM: Los documentos generados pueden contener omisiones o sesgos dependientes del prompt.
• Verdad Causal: El sistema no verifica la causalidad real; los grafos son espacios de hipótesis para que expertos los refinen o refuten.

6. Significado

Este trabajo es significativo porque proporciona una metodología sistemática para convertir el conocimiento latente de los LLMs en estructuras causales explícitas y analizables. Al resolver el problema de la variabilidad de los eventos mediante la canonización, permite aplicar herramientas estadísticas rigurosas sobre datos generados por IA. Esto abre nuevas vías para la formulación de hipótesis asistida por IA, la síntesis de escenarios y el análisis de políticas, ofreciendo a los expertos humanos un punto de partida estructurado y visualizable para la investigación causal.