Posts of Peril: Detecting Information About Hazards in Text

Resumo Técnico: Postagens de Perigo: Detectando Informações sobre Riscos em Texto

Definição do Problema
Embora indicadores sociolinguísticos como sentimento, emoção e indignação moral sejam rotineiramente extraídos de textos para analisar interações humano-computador, uma dimensão crítica frequentemente permanece negligenciada: a presença ou ausência de informações relativas a riscos (hazards). Definidos como eventos negativos que acarretam uma alta probabilidade de custo significativo (frequentemente imediato) aos interesses individuais, a informação de risco é distinta da negatividade geral. A pesquisa evolutiva e psicológica sugere que os seres humanos possuem uma "credulidade com viés negativo", atentando mais proximamente a potenciais perigos e considerando declarações relacionadas a riscos mais críveis do que aquelas relacionadas a benefícios. Apesar da importância desse viés cognitivo na propagação de desinformação e operações de informação (IO), as ferramentas existentes carecem de um mecanismo dedicado para detectar informações de risco especificamente, muitas vezes confundindo-as com sentimento negativo geral ou palavras-chave de ameaça.

Metodologia
Os autores desenvolveram um novo modelo multilíngue para detectar informações de risco em mensagens de texto no X (antigo Twitter). A metodologia procede através de quatro estágios primários:

1. Curadoria de Dados de Verdade de Campo (Ground Truth):

   • Um conjunto de dados de referência foi construído extraindo 1.338 postagens do X contendo palavras do "Dicionário de Ameaças" (Choi et al., 2022).
   • Anotadores humanos (via Cloud Research) rotularam essas postagens com base em se elas descreviam um risco (algo que impõe danos ou custos).
   • Para garantir a qualidade, as anotações foram filtradas por tempo de conclusão e verificações de atenção. Postagens com menos de duas anotações de trabalhadores foram descartadas, resultando em 1.131 postagens para treinamento/validação/teste.
   • Anotações adicionais foram realizadas por estudantes em conjuntos de dados específicos (Guerra Israel-Hamas e eleição francesa de 2022) para verificar a generalização, com o texto traduzido para o inglês para consistência.

2. Treinamento do Modelo e Arquitetura:

   • Embeddings: Os autores utilizaram quatro sentence transformers multilíngues (distiluse-base-multilingual-cased-v2, paraphrase-multilingual-MiniLM-L12-v2, Qwen3-Embedding-0.6B e stsb-xlm-r-multilingual) para converter texto em vetores (embeddings).
   • Classificadores: Modelos supervisionados, incluindo XGBoost, redes neurais, Random Forest e Support Vector Machines (SVM), foram treinados nestes embeddings. Hiperparâmetros foram otimizados usando BayesSearchCV e GPyOpt.
   • Baselines (Linhas de Base): O modelo foi comparado contra:
     • Abordagens de dicionário (Dicionário de Ameaças + sinônimos).
     • Grandes Modelos de Linguagem (GPT-3.5, GPT-4, GPT-5) usando prompting de zero-shot, few-shot e chain-of-thought.
     • Indicadores de afeto existentes: Indignação moral, sentimento (VADER) e detecção de emoção (Demux).

3. Aplicação a Dados do Mundo Real:

   • O modelo foi aplicado a dois grandes conjuntos de dados multilíngues:
     • Guerra Israel-Hamas (2023): 3,6 milhões de postagens (93% inglês, 6,5% árabe).
     • Eleição Nacional Francesa de 2022: 5,9 milhões de postagens (95% francês, 5% inglês).
   • Detecção de Coordenação: Contas foram identificadas como "coordenadas" (inautênticas/IO) usando correspondência de hashtags e análise de centralidade de vetor próprio (Luceri et al., 2024) para distinguir o discurso orgânico de campanhas de informação.

Principais Resultados

• Desempenho do Modelo: O modelo XGBoost treinado em embeddings multilíngues alcançou uma Área Sob a Curva ROC (ROC-AUC) de 0,79 ± 0,04. Este desempenho é comparável ao de grandes modelos de linguagem (GPT-3.5/4/5), mas oferece um throughput significativamente maior e menor custo, tornando-o escalável para milhões de postagens.
• Distintividade dos Sinais de Risco: O classificador de risco mostrou baixas correlações de Spearman absolutas (< 0,5) com outros indicadores de afeto, como indignação moral, sentimento e emoção geral. Isso confirma que a detecção de risco captura informações únicas que não são redutíveis à valência negativa padrão ou intensidade emocional.
  • A informação de risco correlacionou-se positivamente com medo e negativamente com alegria, como esperado.
  • Correlacionou-se positivamente com o Dicionário de Ameaças, mas superou a linha de base do dicionário (ROC-AUC 0,68), demonstrando a necessidade de IA sensível ao contexto em vez de simples correspondência de palavras-chave.
• Insights sobre Operações de Informação:
  • Guerra Israel-Hamas: Contas coordenadas exibiram padrões distintos em comparação com contas orgânicas. Enquanto contas orgânicas enfatizaram riscos a crianças e civis em relação ao ataque de 7 de outubro, contas coordenadas frequentemente enquadraram os riscos de forma diferente, às vezes associando riscos a "bombas" e "civis" no contexto da resposta de Israel, ou discutindo riscos seletivamente para justificar ajuda para lados específicos.
  • Eleição Francesa de 2022: Descobriu-se que contas coordenadas sequestraram o discurso eleitoral para discutir riscos relacionados à guerra Rússia-Ucrânia (ex: ameaças nucleares) ou para defender mudanças de regime em Uganda, utilizando o enquadramento de risco para influenciar narrativas geopolíticas.
  • Dinâmicas Temporais: No conjunto de dados Israel-Hamas, contas orgânicas mostraram um pico agudo de confiança no risco imediatamente após o ataque de 7 de outubro, enquanto contas coordenadas não mostraram um pico imediato semelhante de confiança no risco, apesar de um aumento no volume de postagens. Isso sugere que a detecção de risco pode servir como um indicador distinto de eventos importantes em comparação com volume ou contagem de palavras de ameaça.

Significância e Alegações
O artigo posiciona este trabalho como um "primeiro passo" para uma detecção abrangente de riscos dentro de ambientes de guerra de informação. Os autores alegam que:

1. Novidade: Eles desenvolveram e compartilharam o primeiro modelo dedicado para extrair informações de risco de redes sociais, abordando uma lacuna nas ferramentas de análise linguística existentes.
2. Utilidade: A ferramenta revela características salientes do discurso geopolítico que não são reveladas pela análise tradicional de sentimento ou emoção, especificamente como operadores de informação enquadram riscos para influenciar a opinião pública (ex: elicitar ajuda para lados mais fracos de um conflito).
3. Acessibilidade: O modelo é lançado como um pacote Python de código aberto, e os conjuntos de dados anotados são disponibilizados para permitir que pesquisadores e jornalistas melhorem iterativamente a detecção de risco e analisem o conteúdo de risco em seus próprios contextos.

Os autores permanecem modestos, observando que o modelo atual é um passo fundamental e que pesquisas futuras serão necessárias para refinar ainda mais as capacidades de detecção.