Large Language Models for Causal Relations Extraction in Social Media: A Validation Framework for Disaster Intelligence

Resumen Técnico: Modelos de Lenguaje Grande para la Extracción de Relaciones Causales en Redes Sociales

Enunciado del Problema
La inteligencia sobre desastres depende en gran medida de la conciencia situacional, la cual a menudo se ve obstaculizada por la naturaleza retrospectiva y laboriosa de los informes oficiales posteriores al evento (por ejemplo, de la NOAA). Si bien las redes sociales ofrecen datos en tiempo real y generados por la multitud sobre peligros, impactos y disrupciones de infraestructura, extraer relaciones causales válidas de estas publicaciones es inherentemente difícil. El contenido de las redes sociales suele ser informal, fragmentado y dependiente del contexto, donde la causalidad a menudo se implica en lugar de declararse explícitamente. Los métodos tradicionales basados en reglas no logran capturar estas relaciones implícitas, y los enfoques de PLN existentes dependen a menudo de plantillas rígidas anotadas por humanos que no se generalizan bien a contextos de desastres en rápida evolución. Aunque los Modelos de Lenguaje Grande (LLM) ofrecen la posibilidad de razonar sobre texto ruidoso e inferir relaciones no declaradas, existe un riesgo crítico de que puedan generar vínculos causales plausibles basados en conocimientos previos internos en lugar de en la evidencia presente en las publicaciones específicas. La pregunta central de investigación es si los LLM pueden extraer eficazmente relaciones causales válidas de publicaciones en redes sociales relacionadas con desastres.

Metodología
Para abordar esto, los autores proponen un marco de validación que compara los grafos causales generados por LLM con grafos de referencia fundamentados por expertos. La metodología consta de tres componentes principales:

1. Construcción de Grafos Causales de Verdad Terrenal:
   Dado que no existen grafos causales preexistentes para desastres específicos, los autores los construyen utilizando un enfoque de "coincidencia y registro". Comienzan con un marco general de cadena de impactos (que representa vías causales entre peligros, exposición, vulnerabilidad e impactos) y lo refinan utilizando evidencia de causalidad de informes estandarizados y autorizados posteriores al evento (específicamente informes de la NOAA). Solo se conservan las aristas explícitamente respaldadas por evidencia textual en estos informes, creando un conjunto de relaciones dirigidas (Causa, Efecto) que sirven como verdad terrenal.

2. Extracción de Relaciones Causales mediante LLM:
   El estudio evalúa tres LLM con arquitecturas y capacidades de acceso a datos variables:

   • Grok4.3: Un modelo de código cerrado con acceso nativo a datos de redes sociales para publicaciones históricas y en tiempo real.
   • GPT-5.5: Un modelo de código cerrado con capacidades de contexto largo pero sin acceso nativo a redes sociales.
   • Mistral-7B: Un modelo de pesos abiertos, más pequeño, con ventanas de contexto limitadas.

   Se solicita a los modelos que identifiquen menciones causales dentro de lotes de publicaciones en redes sociales, las mapeen a un conjunto fijo de variables canónicas definidas por el marco de la cadena de impactos y generen pares causales dirigidos. Para los modelos con ventanas de contexto limitadas (Mistral-7B), se emplea una estrategia de fragmentación donde las publicaciones se procesan en lotes de 20.

3. Marco de Evaluación:
   El rendimiento de los grafos generados se mide frente a los grafos de referencia fundamentados por expertos utilizando métricas estándar de descubrimiento causal: Precisión y Recuperación de Nodos y Aristas, puntuación F1, Distancia de Hamming Estructural (SHD) y SHD normalizado (nSHD). Crucialmente, el estudio incluye un experimento de ablación controlado donde se alimentan a los modelos publicaciones "no informativas" (sin contenido específico de desastres) con la búsqueda externa desactivada. Esto prueba si los modelos dependen de los datos proporcionados o recurren a previos internos para generar estructuras causales.

Contribuciones Clave

• Grafos Causales Fundamentados por Expertos: Los autores construyen grafos causales de verdad terrenal específicos de desastres al alinear un marco de cadena de impactos con informes posteriores al evento de expertos, proporcionando un punto de referencia riguroso para la evaluación.
• Extracción Causal en Redes Sociales: El estudio evalúa LLMs en la extracción de relaciones causales entre un conjunto fijo de variables para el análisis de redes sociales, distinguiendo esta tarea del descubrimiento causal abierto.
• Evidencia frente a Conocimiento Previo: La investigación examina explícitamente la tensión entre la extracción basada en evidencia y los previos del modelo, revelando cómo la calidad de las publicaciones y la arquitectura del modelo influyen en la validez de las relaciones extraídas.

Resultados

• Rendimiento frente a la Línea Base Aleatoria: Todos los LLM evaluados superaron significativamente a una línea base aleatoria (modelo de Erdős–Rényi), demostrando que los modelos pueden inferir relaciones causales específicas de desastres a partir de texto de redes sociales en lugar de adivinar.
• Comparación de Modelos:
  • Grok4.3 logró las puntuaciones F1 más altas (0.75 para el Huracán Irma, 0.71 para el Huracán Harvey), impulsado por una alta recuperación de aristas mientras mantenía una fuerte precisión de nodos. Este rendimiento se atribuye a su combinación de razonamiento avanzado y acceso nativo a redes sociales.
  • GPT-5.5 se desempeñó de manera competitiva entre los modelos sin acceso nativo a redes sociales, pero exhibió un enfoque de extracción más conservador, resultando en una menor recuperación de aristas.
  • Mistral-7B mostró el rendimiento general más débil, particularmente en precisión y recuperación de aristas.
• Dependencia del Conocimiento Previo: En el estudio de ablación utilizando publicaciones no informativas, el rendimiento del modelo disminuyó sustancialmente. GPT-5.5 mantuvo puntuaciones F1 relativamente más altas en este escenario, lo que sugiere una mayor dependencia de previos internos para producir estructuras plausibles pero sin fundamento. En contraste, Grok4.3 demostró umbrales de evidencia más estrictos, negándose a generar grafos causales para el Huracán Harvey cuando la evidencia fue insuficiente y mostrando alta selectividad para Irma.

Significado y Afirmaciones
El artículo afirma que, si bien los LLM muestran promesa para extraer relaciones causales de redes sociales para el apoyo a la toma de decisiones en desastres, su implementación requiere mecanismos robustos de fundamentación en evidencia. Los hallazgos destacan una realidad dual: modelos avanzados como Grok4.3 pueden aprovechar eficazmente datos en tiempo real para construir grafos causales, pero existe un riesgo significativo de que los modelos generen vínculos causales plausibles pero no verificados basados en conocimientos preentrenados cuando falta evidencia específica. En consecuencia, los autores argumentan que los grafos causales extraídos deben utilizarse estrictamente como herramientas de apoyo a la decisión que requieren validación de fuentes y revisión experta, en lugar de como sistemas de decisión autónomos. El estudio subraya la necesidad de validar las salidas de los LLM frente a informes de expertos antes de integrarlos en pipelines de inteligencia de desastres de alto riesgo.