Resumo Técnico: Os LLMs Estão Prontos para o Monitoramento de Conflitos? Evidências Empíricas da África Ocidental

Declaração do Problema

A integração de Modelos de Linguagem de Grande Escala (LLMs) em pipelines de tomada de decisão humanitária e de segurança levanta preocupações críticas quanto à sua neutralidade normativa. Embora os LLMs ofereçam potencial para extração automatizada de eventos de conflito, sua aplicação no monitoramento de conflitos corre o risco de introduzir distorções sistemáticas que poderiam minar a documentação de direitos humanos e a resposta humanitária. Especificamente, há uma falta de evidências empíricas sobre se as saídas dos modelos refletem fielmente as realidades da violência política ou introduzem vieses que favorecem atores estatais em detrimento de atores não estatais, ou que reclassificam batalhas legítimas como violência direcionada a civis. Este estudo aborda a lacuna na compreensão de como modelos de propósito geral e modelos adaptados a domínios performam em dados de conflitos da África Ocidental (Nigéria e Camarões), focando em erros sistemáticos, viés de seleção baseado em atores e sensibilidade ao enquadramento lexical.

Metodologia

O estudo utiliza o projeto Armed Conflict Location & Event Data (ACLED) como verdade fundamental de padrão-ouro, cobrindo eventos de conflitos na Nigéria e nos Camarões de 2020 a 2024. A tarefa de previsão envolve classificação multiclasse em seis categorias canônicas: Violência contra civis (V), Batalhas (B), Explosões (E), Protestos (P), Motins (R) e Desenvolvimentos Estratégicos (S).

Modelos Avaliados:

• Modelos Open-Weight "Vanilla": Gemma 3 4B, Llama 3.2 3B, Mistral 7B e OLMo 2 7B.
• Modelos Adaptados a Domínios: AfroConfliBERT (ConfliBERT ajustado) e AfroConfliLLAMA (decodificador baseado em Llama ajustado via LoRA) em um corpus de 81.104 eventos de conflitos africanos do ACLED.

Desenho Experimental:

• Processamento de Dados: Um pipeline padronizado foi aplicado para normalização de atores (mapeamento de menções brutas para Atores Estatais vs. Não Estatais) e amostragem estratificada para garantir representação equilibrada.
• Métricas de Avaliação: O estudo empregou Diferença de Paridade Estatística (SPD) e Odds Equalizadas (disparidades nas Taxas de Verdadeiros Positivos e Falsos Positivos) para avaliar a justiça em nível de grupo.
• Análise Contrfactual: Perturbações controladas foram aplicadas às descrições dos eventos, incluindo enquadramento lexical (frases de deslegitimação/legitimação), substituições de ações, modificadores de intensidade e substituições de atores. As taxas de inversão e as mudanças de confiança foram medidas contra controles neutros.
• Perfilamento de Rastros de Erro: Concordância Racional-Inversão (RFC) e Gradientes Integrados por Camada (LIG) foram utilizados para analisar se o raciocínio do modelo alinha-se com as mudanças de entrada ou constitui confabulação.
• Calibração: Calibração pós-hoc usando regressão isotônica e escalonamento de temperatura foi aplicada para alinhar a confiança prevista com a acurácia empírica.

Principais Contribuições

1. Avaliação Sistemática do Viés de LLM no ACLED: Este trabalho fornece a primeira avaliação abrangente do viés de LLM em dados de eventos de conflitos, conectando linguística computacional e estudos empíricos de conflitos através de uma análise direcionada da Nigéria e dos Camarões.
2. Quantificação da Direcionalidade Normativa: O estudo quantifica rigorosamente a direcionalidade dos erros do modelo, distinguindo entre "Illegitimação Falsa" (reclassificar batalhas como violência contra civis) e "Legitimação Falsa" (reclassificar violência contra civis como batalhas).
3. Análise de Sensibilidade ao Enquadramento Lexical: A pesquisa avalia como o aprendizado em contexto com poucos exemplos (ICL) e pistas lexicais específicas alteram a direcionalidade normativa, demonstrando que modelos "vanilla" são altamente frágeis ao enquadramento semântico.
4. Análise de Rastros de Erro e Confabulação: Usando RFC e LIG, o estudo demonstra que LLMs "vanilla" frequentemente mascaram o viés normativo através de confabulações de rationale não fiéis, enquanto modelos adaptados a domínios mostram padrões de atribuição diferentes.
5. Introdução de Modelos Adaptados a Domínios: O artigo apresenta o AfroConfliBERT e o AfroConfliLLAMA, investigando até que ponto a adaptação a domínios mitiga os vieses observados e identificando limitações remanescentes.

Principais Resultados

1. Divergência Bifurcada na Direcionalidade Normativa

• Modelos Vanilla: Exibem um viés de Illegitimação Falsa estatisticamente significativo. Por exemplo, o Gemma reclassificou 18,29% das batalhas legítimas (B) como violência direcionada a civis (V) nos Camarões, enquanto cometeu zero erros de Legitimação Falsa. O Llama mostrou padrões similares (10,32% nos Camarões).
• Modelos Adaptados a Domínios: O AfroConfliBERT e o AfroConfliLLAMA alcançaram neutralidade quase direcional, com diferenças de Viés de Legitimação estatisticamente indistinguíveis de zero.

2. Viés de Seleção Baseado em Atores Persistente

Apesar de alcançar neutralidade direcional, a adaptação a domínios não eliminou o viés de seleção baseado em atores.

• Na Nigéria, atores estatais foram legitimados 36,5% mais frequentemente do que atores não estatais em contextos táticos idênticos entre os modelos.
• Modelos "vanilla" como o Llama mostraram uma Diferença de Paridade Estatística (SPD) de -0,364 na Nigéria, indicando que são mais de 36% menos propensos a atribuir uma etiqueta de violência a atores estatais em comparação com atores não estatais.
• Mesmo modelos ajustados (AfroConfliBERT/LLAMA) exibiram viés de seleção severo (SPD ~ -0,31), sugerindo uma associação posterior profundamente embutida que associa "estado" a um status não violento.

3. Fragilidade ao Enquadramento Lexical

• Modelos Vanilla: Altamente vulneráveis a frases deslegitimadoras. Nos Camarões, a inserção de "violando direitos humanos" causou uma taxa de inversão de 66,7%. Na Nigéria, frases como "sem provocação" e "usando força excessiva" impulsionaram taxas de inversão de 21,1% e 19,3%, respectivamente.
• Divergência Regional: A sensibilidade lexical é dependente do contexto; perturbações significativas na Nigéria foram frequentemente insignificantes nos Camarões, e vice-versa.
• Modelos Adaptados a Domínios: Demonstraram taxas de inversão próximas de zero (0,0% a ~11%) em todas as categorias de perturbação, mostrando robustez a mudanças semânticas.

4. Rastros de Erro e Raciocínio

• Confabulação: Modelos "vanilla" alteraram frequentemente seu rationale declarado (até 97,7% das inversões para o Llama) sem ancorar o raciocínio na perturbação injetada (taxas de concordância tão baixas quanto 8,3% para o Mistral), indicando explicações não fiéis.
• Atribuição: As previsões do AfroConfliBERT foram impulsionadas principalmente por verbos cinéticos centrais (60%), confirmando a ancoragem semântica a ações factuais, embora tenha mostrado alguma dependência de pontuação (40%), sugerindo um efeito parcial de "Clever Hans".

5. Calibração e Previsão Seletiva

• LLMs "vanilla" exibiram excesso de confiança significativo (altas pontuações Brier) sem calibração. A regressão isotônica reduziu as pontuações Brier em ~27% nos Camarões.
• A análise de previsão seletiva sugere que, para manter >80% de acurácia nos Camarões, modelos "vanilla" exigem supervisão humana no ciclo para aproximadamente 47% dos casos.

Significado e Alegações

O artigo conclui que os LLMs atuais não estão prontos para implantação não supervisionada no monitoramento de conflitos. As descobertas destacam dois modos de falha distintos:

1. Viés Direcional: Modelos "vanilla" deslegitimam sistematicamente atores estatais ao reclassificar batalhas como violência contra civis.
2. Fragilidade Lexical: Modelos de propósito geral dependem de pistas de enquadramento superficiais em vez de conteúdo factual do evento, tornando-os suscetíveis à manipulação via inserção lexical estratégica.

Embora a adaptação a domínios (AfroConfliBERT/LLAMA) mitigue substancialmente o viés direcional e a fragilidade lexical, ela falha em resolver o viés de seleção baseado em atores. Os autores argumentam que nenhuma arquitetura reconcilia atualmente a neutralidade direcional, a justiça baseada em atores e a robustez lexical simultaneamente.

O artigo pede três intervenções baseadas em evidências:

1. Ajuste fino consciente da justiça: Otimização explícita para paridade baseada em atores juntamente com a adaptação a domínios.
2. Avaliação obrigatória de robustez adversarial: Testes pré-implantação contra manipulação lexical para detectar taxas de inversão.
3. Supervisão humana no ciclo específica ao contexto: Calibrada para a dificuldade regional, reconhecendo que mesmo modelos robustos exigem revisão humana para uma parcela significativa de casos em zonas de conflito complexas como os Camarões.

O estudo enfatiza que confiar nesses modelos sem correção de viés corre o risco de produzir dados que minimizam a violência liderada pelo estado e inflam o perfil violento de atores não estatais, com implicações diretas para a alocação de recursos e decisões de proteção em populações afetadas por conflitos.