LLM-based uncertainty assessment of social media situational signals for crisis reporting

1. Declaração do Problema

As mídias sociais tornaram-se uma fonte crítica de consciência situacional (CS) durante desastres, oferecendo insights em tempo real sobre impactos e necessidades em evolução. No entanto, os sistemas existentes de relatórios de crise automatizados que aproveitam Modelos de Linguagem de Grande Escala (LLMs) sofrem de uma falha crítica: eles assumem implicitamente que todas as postagens classificadas nas mídias sociais são igualmente plausíveis.

Na realidade, a qualidade da informação durante crises varia significativamente devido a dados incompletos, contradições, rumores e confiabilidade da fonte. Tratar todos os sinais como igualmente válidos corre o risco de amplificar o ruído ou descartar sinais genuínos, mas anômalos. Além disso, os pipelines atuais raramente comunicam o grau de certeza associado às informações extraídas, limitando sua utilidade para decisores humanos que devem priorizar ações sob pressão de tempo. Há uma falta de frameworks que modelam explicitamente a incerteza epistêmica (incerteza decorrente de conhecimento incompleto) ao fundamentar alegações das mídias sociais contra dados independentes do mundo real.

2. Metodologia

Os autores propõem um framework de três etapas consciente de incerteza que integra dados de proxy externos para avaliar a plausibilidade e a confiança dos sinais das mídias sociais. O pipeline é modular e consiste em:

Etapa 1: Classificação de Consciência Situacional (CS)

• Entrada: Postagens brutas de mídias sociais (tweets).
• Processo: Um LLM zero-shot classifica os tweets em categorias específicas de CS (por exemplo, "Pessoas Afetadas", "Danos à Infraestrutura", "Necessidades e Doações") com base em um esquema estabelecido.
• Saída: Tweets enriquecidos com rótulos de CS e justificativas.

Etapa 2: Avaliação de Incerteza Informada por Proxy (Contribuição Central)

Esta etapa avalia se uma alegação situacional específica reflete plausivelmente as condições do mundo real.

• Entradas:
  1. O tweet classificado (texto + metadados).
  2. Dados de Proxy Externos: Estimativas de impacto estruturadas e coletadas independentemente (por exemplo, resumos PAGER do USGS para terremotos, incluindo Intensidade Mercalli Modificada, exposição da população e estimativas de fatalidades).
• Mecanismo: O LLM é instruído a raciocinar conjuntamente sobre o conteúdo do tweet e os dados de proxy. Ele não trata o proxy como verdade absoluta, mas como uma âncora contextual.
• Saídas: Duas métricas distintas para cada tweet:
  1. Pontuação de Plausibilidade ($l_i$): Uma pontuação graduada em uma escala Likert de 5 pontos (1 = Implausível, 5 = Altamente Plausível) indicando o quão bem a alegação se alinha com as condições esperadas do mundo real.
  2. Pontuação de Confiança ($c_i$): Uma pontuação contínua (0–100) representando a certeza autoexpressa do modelo em seu julgamento de plausibilidade.
• Estratégia de Elaboração: Para garantir robustez, o framework utiliza uma estratégia de amostragem (gerando $M=3$ respostas com temperaturas variadas) e uma estratégia de agregação (calculando a média das pontuações) para capturar a variabilidade e reduzir a superconfiança, adaptando métodos de Xiong et al. [7].

Etapa 3: Geração de Relatórios Consciente de Incerteza

• Processo: Em vez de gerar um único resumo, o sistema agrega tweets com base em seus perfis de incerteza.
• Operacionalização: O espaço plausibilidade-confiança é partitionado em quatro quadrantes:
  • Q3: Alta Plausibilidade / Alta Confiança (Sinais acionáveis e verificados).
  • Q1: Alta Plausibilidade / Baixa Confiança (Sinais emergentes que requerem monitoramento).
  • Q4: Baixa Plausibilidade / Alta Confiança (Expressos com confiança, mas provavelmente falsos/rumores).
  • Q2: Baixa Plausibilidade / Baixa Confiança (Ruído ambíguo).
• Saída: Relatórios de crise estruturados que comunicam explicitamente o que é relatado e quão certo o sistema está, permitindo "triagem epistêmica".

3. Principais Contribuições

1. Novo Framework: Introdução de um framework de avaliação de incerteza informado por proxy que modela explicitamente tanto a plausibilidade quanto a confiança para sinais de mídias sociais, indo além da classificação binária.
2. Avaliação Empírica: Um estudo em grande escala envolvendo mais de 200.000 tweets em seis grandes eventos de terremoto (por exemplo, Chile 2014, Nepal 2015, Haiti 2021), utilizando dados PAGER do USGS como proxy externo.
3. Operacionalização: Demonstração de como estimativas de incerteza podem ser usadas para gerar relatórios de crise diferenciados, permitindo que analistas priorizem informações com base nos níveis de risco e certeza.

4. Resultados

O estudo aborda duas Questões de Pesquisa (QP) principais:

• QP1: O framework produz variação nas estimativas de incerteza?

  • Sim. Ao contrário de uma linha de base onde todos os tweets são tratados como igualmente plausíveis (entropia zero), o framework proposto gera heterogeneidade estruturada.
  • Métricas: A análise de entropia de Shannon mostrou dispersão não nula tanto para plausibilidade (até 1,82 bits) quanto para confiança (até 1,21 bits) entre os eventos.
  • Observação: Embora os LLMs tenham exibido uma tendência à alta confiança (um viés conhecido), o sistema ainda diferenciou com sucesso os sinais, atribuindo pontuações de plausibilidade variadas (1–5) em vez de colapsá-los em uma única categoria.

• QP2: O condicionamento na incerteza altera a estrutura do relatório?

  • Sim. Relatórios gerados a partir de diferentes quadrantes de incerteza (Q1–Q4) mostraram diferenças mensuráveis na composição semântica em comparação com um resumo de linha de base.
  • Métricas: A análise de similaridade entre relatórios revelou que relatórios de quadrantes específicos (por exemplo, Q4 no evento de Fukushima) foram semanticamente distintos da linha de base e de outros quadrantes.
  • Coerência Interna: Relatórios derivados de perfis de incerteza específicos frequentemente exibiram maior coerência semântica interna, sugerindo que a agrupação por incerteza cria narrativas mais focadas.

5. Significado e Implicações

• Tomada de Decisão Consciente de Risco: O framework transforma dados brutos em inteligência "consciente de risco". Permite que respondedores de crise distingam entre inteligência acionável de alta confiança e sinais ambíguos ou potencialmente enganosos sem exigir verificação manual de cada postagem.
• Tratamento de Anomalias: Ao separar sinais de "Baixa Plausibilidade/Alta Confiança" (Q4), o sistema ajuda a identificar rumores com confiança ou eventos de outliers localizados (por exemplo, o colapso de um prédio específico não capturado em dados regionais agregados) que de outra forma seriam descartados ou aceitos cegamente.
• Escalabilidade: A abordagem é agnóstica à plataforma e pode ser aplicada a outros tipos de desastres (enchentes, incêndios florestais), desde que dados de proxy externos estruturados estejam disponíveis.
• Humano no Loop: O sistema foi projetado para apoiar analistas humanos, não para substituí-los. Ele estrutura o panorama de informações, permitindo que os humanos foquem seus esforços de verificação em perfis de incerteza específicos (por exemplo, investigando sinais emergentes do Q1 ou desinformação potencial do Q4).

6. Limitações

• Dependência de Dados: O framework depende da disponibilidade de dados de proxy externos estruturados (como PAGER do USGS), que podem não existir para todos os tipos de perigo (por exemplo, enchentes complexas ou tumultos civis).
• Sensibilidade de Limiar: A partição dos quadrantes depende de limiares fixos (Likert=3, Confiança=50) que não foram otimizados; diferentes limiares poderiam alterar a distribuição dos tweets.
• Métricas de Avaliação: O estudo usa similaridade baseada em embeddings para avaliação em vez de verificação de fatos por especialistas humanos, o que é difícil de realizar em escala para crises em tempo real.
• Viés do Modelo: A superconfiança observada em LLMs permanece um desafio, embora a estratégia de amostragem a mitigue parcialmente.

Conclusão

Este artigo apresenta um passo significativo para a frente em Informática de Crise, avançando da simples extração para a síntese consciente de incerteza. Ao modelar explicitamente a plausibilidade das alegações das mídias sociais contra proxies do mundo real e elicitar a confiança do modelo, o framework fornece uma ferramenta mais transparente, matizada e operacionalmente útil para relatórios de crise automatizados.