Resumo Técnico: TENSOR para Detecção Não Supervisionada de Usuários de IO

Definição do Problema

O artigo aborda o desafio de detectar usuários de Operações de Informação (IO) em Redes Sociais (SNs). As IOs são tentativas organizadas de manipular a opinião pública por meio de desinformação e discurso de ódio, frequentemente iniciadas por pequenos grupos de usuários coordenados. A principal dificuldade reside na capacidade de generalização dos métodos de detecção existentes:

• Abordagens supervisionadas e semisupervisionadas dependem de conjuntos de dados rotulados que ficam defasados em relação à natureza em rápida evolução das campanhas de IO, tornando-as ineficazes contra IOs não vistas.
• Abordagens não supervisionadas existentes frequentemente dependem de suposições simplistas de coordenação (ex: agrupamento baseado em similaridade) que podem não se sustentar na prática ou falhar em capturar dinâmicas temporais complexas.
• Contaminação de Dados: Um problema crítico é que os dados de treinamento para detecção de anomalias são frequentemente "contaminados", o que significa que o conjunto de dados destinado a representar usuários "normais" (controle) inevitavelmente contém uma pequena fração de usuários de IO. Treinar modelos nesses dados pode levar o modelo a tratar anomalias como normais, degradando o desempenho.

Os autores formulam a detecção de usuários de IO como um problema de detecção de anomalias não supervisionado, visando identificar usuários de IO (rotulados como 0) a partir de usuários de controle (rotulados como 1) usando apenas suas linhas do tempo de postagens, que consistem em carimbos de tempo ($t$) e conteúdo ($c$).

Metodologia: TENSOR

A solução proposta é o Temporal-bEhavior-laNguage Signals for information Operation Recognition (TENSOR). É um framework multimodal e não supervisionado que combina padrões comportamentais (temporais) e padrões de linguagem (textuais) para detectar anomalias. A arquitetura consiste em dois componentes principais integrados via um framework de ajuste:

1. Processo de Ponto Temporal (TPP) para Padrões Comportamentais

• Função: O TPP modela a linha do tempo de postagem do usuário como um processo estocástico. Ele captura a função de intensidade condicional $\lambda^*(t)$, representando a probabilidade de um evento ocorrer no tempo $t$ dada a história.
• Treinamento: Um modelo TPP (especificamente o Self-attentive Hawkes Process, SAHP) é treinado no conjunto de dados contaminado $T$ (contendo tanto usuários de controle quanto de IO).
• Mecanismo: Usuários de IO frequentemente exibem comportamentos coordenados (ex: postar em intervalos específicos ou inundar conteúdo) que diferem de usuários orgânicos. O TPP calcula uma pontuação baseada no log-verossimilhança negativa dos carimbos de tempo observados: $f(x_i) = \exp(-\frac{1}{M_i} \log p(t_i))$.
• Limitação: Como o conjunto de treinamento está contaminado, o modelo TPP pode aprender os padrões de IO como parte da distribuição "normal", reduzindo sua capacidade de distinguir anomalias.

2. Grande Modelo de Linguagem (LLM) para Padrões de Linguagem

• Função: Um LLM é usado para analisar o conteúdo textual das postagens do usuário ($c_i$) juntamente com a linha do tempo para gerar uma pontuação de "evidência".
• Prompting: O LLM é instruído via zero-shot para agir como um analista de mídia social, distinguindo entre "contas de IO" (coordenadas, patrocinadas por estados) e "contas de Controle" (orgânicas).
• Função de Evidência: A saída de texto bruto do LLM é convertida em uma pontuação quantitativa $T(t_i, c_i)$ usando uma estratégia de mapeamento de similaridade semântica. A saída é comparada com textos de referência ("conta de IO" vs. "conta de Controle") para gerar uma distribuição de probabilidade. Para garantir a robustez contra o não-determinismo do LLM, $N$ amostras são extraídas e calculada a média para produzir $\bar{T}_N(t_i, c_i)$.

3. Ajuste Post-Hoc Baseado em Evidência (EPHAD)

Para abordar o problema de contaminação do conjunto de treinamento, o TENSOR integra os componentes TPP e LLM usando o Framework de Ajuste Post-Hoc Baseado em Evidência para Detecção de Anomalias (EPHAD).

• Em vez de retreinar o TPP, o framework ajusta a saída do TPP no momento do teste usando a evidência derivada do LLM.
• A pontuação de decisão final é calculada inclinando exponencialmente a pontuação do TPP com a evidência do LLM:
  $$\hat{f}(x) = f(x) \exp(\bar{T}_N(t_i, c_i) / \beta)$$
  onde $\beta$ é um parâmetro de temperatura.
• Isso permite que o sistema aproveite a compreensão do LLM sobre padrões de linguagem para corrigir os vieses introduzidos pelos dados de treinamento contaminados no TPP.

Principais Contribuições

1. Formulação Inovadora: O artigo enquadra a detecção de usuários de IO como um problema de detecção de anomalias não supervisionado, afastando-se das limitações dos métodos supervisionados que exigem dados rotulados defasados.
2. Integração Multimodal: O TENSOR é a primeira abordagem que utiliza conjuntamente padrões comportamentais temporais (via TPP) e padrões de linguagem (via LLM) para detecção de IO não supervisionada.
3. Mitigação da Contaminação de Dados: O artigo introduz uma aplicação inovadora do framework EPHAD ao domínio específico da detecção de IO. Ele mitiga efetivamente a degradação de desempenho causada pelo treinamento em conjuntos de dados contaminados (onde usuários de IO estão presentes no treinamento) ao usar uma função de evidência baseada em LLM para ajustar a inferência do TPP.
4. Capacidade Zero-Shot: O método não requer dados de IO rotulados para o treinamento do componente LLM, baseando-se apenas em prompting zero-shot e similaridade semântica.

Resultados Experimentais

Os autores avaliaram o TENSOR em cinco conjuntos de dados de IO do mundo real (Egito, China_1, Irã_1, Rússia_1, Emirados Árabes Unidos) cobrindo 26 IOs rotuladas em 15 países. Os conjuntos de dados são altamente desbalanceados (poucos usuários de IO, muitos usuários de controle).

• Desempenho: O TENSOR superou três baselines — User Embedding Clustering, Behavioral Languages for Online Characterization (BLOC) e um detector zero-shot puro baseado em LLM — na maioria das métricas (Precisão, Recall, F1, AUC e AUPRC).
• Estudos de Ablação:
  • Remover a função de evidência do LLM reduziu significamente o desempenho, confirmando a necessidade dos padrões de linguagem.
  • Remover o TPP (usando apenas LLM) resultou em baixo desempenho, confirmando que as dinâmicas temporais são cruciais.
  • Usar uma função de evidência aleatória teve um desempenho pior do que o TPP padrão, provando que o LLM fornece um sinal genuíno.
• Análise de Sensibilidade:
  • Escolha do LLM: O TENSOR permaneceu estável e eficaz através de diferentes LLMs (incluindo modelos de raciocínio como gpt-oss-120B e modelos não-raciocinadores como llama3.3-70B), embora modelos maiores de raciocínio geralmente tenham apresentado resultados ligeiramente melhores.
  • Temperatura ($\beta$): O desempenho foi sensível ao parâmetro de temperatura $\beta$. Embora o padrão $\beta=0.5$ tenha sido eficaz, os autores observaram que os valores ótimos variam por conjunto de dados (frequentemente em torno de 0.3), sugerindo potencial para otimização não supervisionada futura deste hiperparâmetro.

Significância e Alegações

O artigo afirma que o TENSOR oferece uma alternativa resiliente aos modelos supervisionados tradicionais ao mudar o foco para o atrito inerente entre campanhas de IO coordenadas e comportamentos de usuários orgânicos. Sua principal significância reside em:

• Superar o Gap de Generalização: Por ser não supervisionado, ele pode detectar novas IOs não vistas sem a necessidade de retreinamento em novos conjuntos de dados rotulados.
• Resolver o Problema da Contaminação: Fornece um mecanismo prático para treinar detectores de anomalias em dados do mundo real (que são inevitavelmente contaminados) sem que o modelo aprenda as anomalias como normais.
• Praticidade: A abordagem é "livre de treinamento" em relação ao LLM (usando pesos congelados) e depende de um único passo de treinamento do TPP, tornando-a adaptável a várias arquiteturas existentes de TPP e LLM.

Os autores concluem que, embora a otimização não supervisionada do parâmetro de temperatura $\beta$ permaneça uma direção futura, o TENSOR estabelece atualmente um novo estado da arte para a detecção não supervisionada de usuários de IO em cenários reais e desbalanceados.