Large Language Models for Causal Relations Extraction in Social Media: A Validation Framework for Disaster Intelligence

Resumo Técnico: Modelos de Linguagem de Grande Escala para Extração de Relações Causais em Mídias Sociais

Declaração do Problema
A inteligência de desastres depende fortemente da consciência situacional, que é frequentemente prejudicada pela natureza retrospectiva e intensiva em mão de obra dos relatórios oficiais pós-evento (por exemplo, da NOAA). Embora as mídias sociais ofereçam dados em tempo real, de origem coletiva, sobre perigos, impactos e interrupções de infraestrutura, a extração de relações causais válidas a partir dessas publicações é inerentemente difícil. O conteúdo das mídias sociais é tipicamente informal, fragmentado e dependente de contexto, com a causalidade frequentemente implícita em vez de explicitamente declarada. Métodos tradicionais baseados em regras falham em capturar essas relações implícitas, e as abordagens de Processamento de Linguagem Natural (PLN) existentes frequentemente dependem de modelos rígidos, anotados por humanos, que não se generalizam bem para contextos de desastre em rápida evolução. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam o potencial de raciocinar sobre texto ruidoso e inferir relações não declaradas, existe um risco crítico de que eles possam gerar links causais plausíveis baseados em conhecimento prévio interno, em vez de evidências presentes nas publicações específicas. A questão central de pesquisa é se os LLMs podem extrair efetivamente relações causais válidas de publicações em mídias sociais relacionadas a desastres.

Metodologia
Para abordar isso, os autores propõem um framework de validação que compara grafos causais gerados por LLMs contra grafos de referência fundamentados por especialistas. A metodologia consiste em três componentes principais:

1. Construção de Grafos Causais de Verdade Terrena:
   Como grafos causais pré-existentes para desastres específicos não estão disponíveis, os autores os constroem usando uma abordagem de "correspondência e registro". Eles começam com um framework geral de cadeia de impactos (representando caminhos causais entre perigos, exposição, vulnerabilidade e impactos) e o refinam usando evidências de causalidade de relatórios pós-evento padronizados e autoritativos (especificamente relatórios da NOAA). Apenas arestas explicitamente suportadas por evidência textual nesses relatórios são retidas, criando um conjunto de relações direcionadas (Causa, Efeito) que servem como a verdade terrena.

2. Extração de Relações Causais via LLMs:
   O estudo avalia três LLMs com arquiteturas e capacidades de acesso a dados variadas:

   • Grok4.3: Um modelo de código fechado com acesso nativo a dados de mídias sociais para publicações históricas e em tempo real.
   • GPT-5.5: Um modelo de código fechado com capacidades de contexto longo, mas sem acesso nativo a mídias sociais.
   • Mistral-7B: Um modelo de pesos abertos, menor, com janelas de contexto limitadas.

   Os modelos são instruídos a identificar menções causais dentro de lotes de publicações em mídias sociais, mapeá-las para um conjunto fixo de variáveis canônicas definidas pelo framework de cadeia de impactos e gerar pares causais direcionados. Para modelos com janelas de contexto limitadas (Mistral-7B), é empregada uma estratégia de fragmentação, onde as publicações são processadas em lotes de 20.

3. Framework de Avaliação:
   O desempenho dos grafos gerados é medido contra os grafos de referência fundamentados por especialistas usando métricas padrão de descoberta causal: Precisão e Revocação de Nós e Arestas, Pontuação F1, Distância Hamming Estrutural (SHD) e SHD normalizado (nSHD). Crucialmente, o estudo inclui um experimento de ablação controlado onde os modelos recebem publicações "não informativas" (faltando conteúdo específico de desastre) com a busca externa desativada. Isso testa se os modelos dependem dos dados fornecidos ou recorrem a priores internos para gerar estruturas causais.

Principais Contribuições

• Grafos Causais Fundamentados por Especialistas: Os autores constroem grafos causais de verdade terrena específicos para desastres, alinhando um framework de cadeia de impactos com relatórios de especialistas pós-evento, fornecendo um benchmark rigoroso para avaliação.
• Extração Causal em Mídias Sociais: O estudo avalia LLMs na extração de relações causais entre um conjunto fixo de variáveis para análise de mídias sociais, distinguindo essa tarefa da descoberta causal aberta.
• Evidência vs. Conhecimento Prévio: A pesquisa examina explicitamente a tensão entre extração baseada em evidências e priores do modelo, revelando como a qualidade da publicação e a arquitetura do modelo influenciam a validade das relações extraídas.

Resultados

• Desempenho vs. Linha de Base Aleatória: Todos os LLMs avaliados superaram significativamente uma linha de base aleatória (modelo Erdős–Rényi), demonstrando que os modelos podem inferir relações causais específicas de desastres a partir de texto de mídias sociais, em vez de adivinhar.
• Comparação de Modelos:
  • Grok4.3 alcançou as maiores pontuações F1 (0,75 para o Furacão Irma, 0,71 para o Furacão Harvey), impulsionado por alta revocação de arestas enquanto mantinha forte precisão de nós. Esse desempenho é atribuído à sua combinação de raciocínio avançado e acesso nativo a mídias sociais.
  • GPT-5.5 performou competitivamente entre modelos sem acesso nativo a mídias sociais, mas exibiu uma abordagem de extração mais conservadora, resultando em menor revocação de arestas.
  • Mistral-7B mostrou o desempenho geral mais fraco, particularmente na precisão e revocação de arestas.
• Dependência de Conhecimento Prévio: No estudo de ablação usando publicações não informativas, o desempenho do modelo caiu substancialmente. O GPT-5.5 manteve pontuações F1 relativamente mais altas nesse cenário, sugerindo uma maior dependência de priores internos para produzir estruturas plausíveis, mas sem fundamentação. Em contraste, Grok4.3 demonstrou limites de evidência mais estritos, recusando-se a gerar grafos causais para o Furacão Harvey quando as evidências eram insuficientes e mostrando alta seletividade para o Irma.

Significado e Alegações
O artigo afirma que, embora os LLMs mostrem promessa para extrair relações causais de mídias sociais para suporte à decisão em desastres, sua implementação requer mecanismos robustos de fundamentação em evidências. As descobertas destacam uma realidade dual: modelos avançados como o Grok4.3 podem aproveitar efetivamente dados em tempo real para construir grafos causais, mas existe um risco significativo de que os modelos gerem links causais plausíveis, porém não verificados, baseados em conhecimento pré-treinado quando evidências específicas estão faltando. Consequentemente, os autores argumentam que os grafos causais extraídos devem ser usados estritamente como ferramentas de suporte à decisão que exigem validação de fonte e revisão por especialistas, em vez de sistemas de decisão autônomos. O estudo sublinha a necessidade de validar as saídas dos LLMs contra relatórios de especialistas antes de integrá-los em pipelines de inteligência de desastres de alto risco.