Resumen Técnico: Más allá de los LLM: Un enfoque lingüístico para la generación de grafos causales a partir de textos narrativos

Declaración del Problema

Los enfoques actuales impulsados por IA para la generación de grafos causales suelen priorizar la causalidad de alto nivel (por ejemplo, "el VIH conduce al SIDA") mientras tienen dificultades para capturar relaciones causales matizadas y específicas de eventos dentro de narrativas discretas, como relatos históricos o ficción literaria. Los métodos existentes suelen seguir un pipeline de dos etapas (detección de causalidad seguida de la construcción del grafo), pero enfrentan limitaciones en interpretabilidad y precisión, particularmente al manejar estructuras de oraciones complejas o vínculos causales implícitos. El desafío central que aborda este trabajo es la generación de grafos causales conectados y de grano fino a partir de textos narrativos que reflejen con precisión la cadena de eventos que conduce a resultados tangibles, cerrando la brecha entre la causalidad de alto nivel y los detalles narrativos específicos.

Metodología

Los autores proponen un marco de extremo a extremo que integra la extracción de características lingüísticas con modelos de lenguaje modernos para generar grafos causales. El proceso consta de cuatro etapas distintas:

1. Extracción de Vértices

El sistema primero transforma el texto narrativo bruto en un conjunto de oraciones concisas, centradas en el agente, que sirven como vértices del grafo. Utilizando una estrategia de resumen basada en LLM (específicamente GPT-4o, seleccionada por su rendimiento superior en la compresión de eventos), el texto se procesa mediante un flujo de trabajo de prompting estructurado:

• Resumen: Generación de resúmenes breves de párrafos.
• Sustitución de Pronombres: Reemplazo de pronombres por identificadores explícitos (por ejemplo, "El Protagonista").
• Simplificación de Cláusulas: División de oraciones complejas en enunciados de acción única.
• Verificación de Flujo: Asegurar la continuidad lógica mientras se descartan detalles tangenciales.
  Cada vértice está restringido a contener no más de dos cláusulas, presenta un único agente explícito y utiliza la voz activa.

2. Extracción del Índice de Expertos

Para mejorar la precisión de la clasificación, el marco extrae siete características fundamentadas lingüísticamente (el "Índice de Expertos") para cada oración. Estas características se adaptan de marcos de discurso (Hemmatian et al., 2021; Hemmatian Borujeni, 2022) e incluyen:

1. Genericidad: Sujetos específicos frente a genéricos.
2. Eventividad: Verbos dinámicos (acción) frente a estativos (estado).
3. Acotación: Eventos episódicos, habituales o estáticos.
4. Iniciatividad: Si el sujeto inicia o recibe la acción.
5. Inicio Temporal: Pasado o presente relativo a la narrativa.
6. Fin Temporal: Presente o futuro relativo a la narrativa.
7. Impacto: Si el efecto del evento persiste o se resuelve.

Se entrena un clasificador basado en RoBERTa con datos anotados por humanos para predecir estas características para cada oración.

3. Categorización STAC

El sistema emplea un modelo de clasificación STAC para categorizar las oraciones en cuatro componentes: Situación (contexto), Tarea (requisito), Acción (actividad) y Consecuencia (resultado).

• Entrada: El modelo combina embeddings de oraciones de RoBERTa (768 dimensiones) con características del Índice de Expertos codificadas mediante one-hot encoding (13 dimensiones).
• Arquitectura: Se utiliza un clasificador XGBoost para predecir la etiqueta STAC, aprovechando la entrada híbrida de embeddings semánticos y características lingüísticas explícitas.
• Rendimiento: Este enfoque híbrido supera significativamente a los modelos que utilizan solo embeddings o solo características lingüísticas, así como a los baselines de zero-shot de LLM.

4. Construcción del Grafo

Un proceso de prompting estructurado de cinco iteraciones utilizando LangChain construye el grafo causal final:

1. Aprendizaje de Vínculos STAC: El LLM interioriza las conexiones causales válidas entre las categorías STAC.
2. Identificación de Relaciones Causales: El modelo evalúa pares de vértices para proponer aristas basadas en los vínculos STAC.
3. Consistencia Lógica y Poda: El razonamiento contrafáctico ("Si A no ocurriera, ¿seguiría ocurriendo B?") filtra los enlaces no causales.
4. Refinamiento de Vértices Aislados: El modelo revisa los vértices desconectados para identificar causas o efectos pasados por alto.
5. Construcción del Grafo Final: Los vértices y aristas refinados se compilan en un diagrama causal coherente y lógicamente sólido.

Contribuciones Clave

1. Marco de Extremo a Extremo de Código Abierto: Los autores desarrollaron un nuevo pipeline que mejora significativamente la interpretabilidad y la precisión de la generación de grafos causales a partir de textos narrativos en comparación con los métodos existentes.
2. Sistema de Características Lingüísticas: La introducción del "Índice de Expertos" (siete características lingüísticas) proporciona un mecanismo para clasificar eficientemente las oraciones para la construcción causal. Este sistema se valida mediante experimentos que muestran que la combinación de estas características con embeddings semánticos produce un rendimiento de clasificación superior.
3. Arquitectura Híbrida: El artículo demuestra que un sistema híbrido (embeddings de RoBERTa + características del Índice de Expertos procesadas por XGBoost) logra una mayor precisión en la identificación de vínculos causales y en la clasificación de componentes narrativos que los baselines de solo LLM, manteniendo costos computacionales más bajos.

Resultados Experimentales

El marco fue evaluado en un corpus de 100 capítulos y cuentos (que datan de 1800–1950), incluyendo obras de O. Henry, Poe y Fitzgerald.

• Extracción de Vértices: GPT-4o fue identificado como el modelo de resumen óptimo, obteniendo las puntuaciones más altas en concisión, cobertura e economía de información.
• Clasificación STAC: El modelo XGBoost utilizando tanto RoBERba como el Índice de Expertos alcanzó el macro-F1 score más alto en todas las categorías STAC. Superó al baseline de solo RoBERTa por aproximadamente un 30% y al clasificador zero-shot de GPT-4 por una mejora de 10–15%.
• Calidad del Grafo: En comparaciones por pares contra GPT-4o y Claude 3.5, el método propuesto demostró un rendimiento superior en la mayoría de las dimensiones cualitativas:
  • Causalidad vs. Cronología: Tasa de victoria del 100% contra ambos baselines.
  • Completitud Lógica y Precisión de Conexiones: Tasa de victoria del 100%.
  • Motivaciones Explícitas/Intención: 95% (vs. GPT-4o) y 92% (vs. Claude 3.5).
  • Granularidad y Jerarquía: Altas tasas de victoria (84–94%).
  • Facilidad de Lectura: El método propuesto mantuvo una legibilidad comparable a los baselines (tasa de victoria del 52–57%), lo que indica que no sacrifica la claridad por la precisión.

Significado y Reivindicaciones

El artículo sostiene que la integración de la ingeniería de características lingüísticas interpretables con modelos de lenguaje modernos ofrece una solución robusta para el razonamiento causal de grano fino en textos narrativos. Al ir más allá del simple prompting de LLM hacia un pipeline estructurado que involucra índices lingüísticos y refinamiento iterativo, el marco logra un nivel de precisión y consistencia lógica que los LLM de vanguardia actuales luchan por replicar de forma autónoma. Los autores posicionan este trabajo como un paso hacia el análisis escalable e interpretable de grandes colecciones de documentos, permitiendo a las partes interesadas rastrear cadenas de eventos en movimientos sociales, toma de decisiones políticas y tendencias históricas con mayor precisión. La herramienta resultante es de código abierto, con el objetivo de facilitar la investigación adicional en resumen, análisis del discurso y construcción de grafos de conocimiento.