The Limits of LLM Forecasting: Parametric Knowledge Gaps Across Conflict Zones

Resumo Técnico: Os Limites da Previsão por LLM

Enunciado do Problema
Sistemas de IA humanitária dependem cada vez mais de Modelos de Linguagem de Grande Escala (LLMs) para o alerta precoce de conflitos e alocação de recursos. No entanto, esses modelos herdam o conhecimento de mundo de corpora de treinamento moldados por uma cobertura de mídia em língua inglesa altamente desigual. Embora trabalhos anteriores tenham documentado que o viés da mídia ocidental afeta a alocação de ajuda e a saliência de crises, permanece desconhecido se essas assimetrias se propagam para o raciocínio de conflitos baseado em LLMs. Especificamente, o artigo investiga se as lacunas de atenção midiática se traduzem em falhas qualitativas na forma como os LLMs preveem a escalada de conflitos, potencialmente fornecendo às populações subcobertas uma IA que não consegue distinguir períodos estáveis de períodos de escalada.

Metodologia
O estudo avalia a previsão de escalada de conflitos zero-shot em 22 zonas de conflito ativas de janeiro de 2020 a fevereiro de 2026.

• Fontes de Dados:
  • Intensidade do Conflito: O Armed Conflict Location and Event Dataset (ACLED) fornece contagens mensais de eventos de verdade fundamental (ground-truth).
  • Atenção Midiática: O Global Database of Events, Language and Tone (GDELT) indexa artigos de notícias em língua inglesa.
  • Razão de Atenção: Definida como a razão entre artigos do GDELT e eventos do ACLED por país. Esta métrica revela uma lacuna de 224× entre as zonas mais cobertas (Israel, 63,9 artigos/evento) e as menos cobertas (Myanmar, 0,29 artigos/evento).
• Design Experimental:
  • Tarefa: Previsão binária de se as fatalidades de conflitos armados excederão 130% de uma linha de base recente de 14 dias dentro de uma janela de 30 dias.
  • Modelos: Llama-3.3-70B e GPT-4o avaliados em um cenário zero-shot (nome do país e período de previsão apenas).
  • Baselines (Linhas de Base):
    • Always-YES (Sempre-SIM): Prevê escalada para todos os casos.
    • Persistence (Persistência): Prevê escalada se as fatalidades recentes excederem o período anterior em 1,3×.
    • Regressão Logística (LR): Utiliza 11 características de janelas de observação (ex: contagens de fatalidades, volatilidade) sem informações de identidade do país.
  • Ablação: Uma condição de evidência aumentada foi testada, onde os prompts incluíam tendências de contagem de eventos do ACLED de três meses para determinar se dados estruturados poderiam corrigir falhas paramétricas.
  • Avaliação: Um conjunto de teste mantido fora (held-out) de 660 casos (40% do dataset de 1.628 casos) estratificado por níveis de cobertura midiática (Subcoberta, Média, Sobrecoberta).

Principais Contribuições e Resultados
O artigo apresenta cinco contribuições primárias, caracterizadas por uma mudança de ver o desempenho como um gradiente para identificar falhas de raciocínio qualitativo:

1. Quantificação da Lacuna de Atenção: O estudo documenta uma disparidade de 244× na atenção da mídia em língua inglesa por evento de conflito em 22 países, com a África Subsaariana e o Sudeste Asiático sendo sistematicamente subcobertos em relação à Europa e ao Oriente Médio.
2. Modos de Falha Qualitativa: Os LLMs não preveem a dinâmica de conflitos; eles categorizam contextos de conflito com base na exposição midiática.
   • Llama-3.3-70B: Em zonas subcobertas, o modelo prevê escalada para todos os casos (210/210), correspondendo ao baseline trivial Always-YES até três casas decimais (F1 = 0,403).
   • GPT-4o: Em zonas sobrecobertas, o modelo prevê nenhuma escalada para todos os casos (120/120), perdendo todos os cinco eventos de escalada reais (F1 = 0,000).
3. Superioridade de Modelos Estruturados Simples: Uma regressão logística usando apenas 11 características temporais e sem informação do país alcançou um F1 geral de 0,402. Isso superou ambos os LLMs em todos os níveis mensuráveis. O modelo LR demonstrou que o sinal de previsão é explorável sem o conhecimento paramétrico de identidades de países.
4. Ineficácia do Aumento de Evidência: Fornecer evidências estruturadas do ACLED no momento da inferência não corrigiu o problema; na verdade, degradou o desempenho.
   • Para zonas subcobertas, adicionar evidências fez o F1 do GPT-4o cair de 0,323 para 0,168.
   • O modelo LR, processando os mesmos dados subjacentes, superou o GPT-4o com evidência aumentada por um fator de 2,4 (F1 0,402 vs. 0,168).
   • Isso indica que o gargalo não é a disponibilidade de dados, mas a incapacidade do LLM de interpretar sinais temporais sob um prior categórico de país.
5. Implicações de Equidade (Fairness): Populações subcobertas recebem IAs qualitativamente diferentes. Os modelos falham em distinguir períodos estáveis de períodos de escalada nessas regiões, não devido à falta de sinal, mas devido aos priors internos dos modelos.

Significância e Alegações
O artigo argumenta que a falha dos LLMs neste domínio é um "problema de equidade de primeira classe". A alegação central é que os LLMs são atualmente incapazes de extrair sinais temporais estruturados de prompts de linguagem natural nos contextos geográficos onde a implantação humanitária é mais consequente.

• Reenquadramento do Problema: A falha não é a falta de dados ou um problema de prompting, mas um "problema de conhecimento paramétrico", onde os priors categóricos de nível de país sobrepõem-se à evidência temporal disponível.
• Chamada para Ação: Os autores propõem três direções de pesquisa específicas:
  1. Benchmarking Estratificado por Cobertura: Reportar o desempenho separadamente para os níveis subcoberto, médio e sobrecoberto, em vez de métricas agregadas.
  2. Criação de Datasets: Priorizar a criação de datasets de conflitos prontos para NLP para regiões subcobertas (ex: RDC, Myanmar) para abordar déficits de sinal de treinamento.
  3. Documentação de Dados de Treinamento: Exigir que os desenvolvedores documentem as estatísticas de cobertura de conflitos geográficos em model cards para permitir que os usuários tomem decisões informadas sobre a confiabilidade do modelo.

O artigo conclui que, embora os LLMs possam ser úteis em outros contextos, os atuais padrões de previsão paramétrica zero-shot são insuficientes para o alerta precoce humanitário em zonas subcobertas, onde modelos estruturados simples oferecem atualmente um desempenho superior e mais confiável.