Avoiding Over-smoothing in Social Media Rumor Detection with Pre-trained Propagation Tree Transformer

1. O Problema: O "Over-smoothing" em Detecção de Rumores

O artigo identifica uma limitação crítica nas abordagens atuais de detecção de rumores em mídias sociais, que predominantemente utilizam Redes Neurais em Grafos (GNNs) para analisar a estrutura de propagação de posts.

• O Fenômeno de Over-smoothing: As GNNs sofrem de "suavização excessiva" (over-smoothing) quando processam árvores de propagação de rumores (RPTs - Rumor Propagation Trees). À medida que a profundidade do modelo aumenta (adicionando mais camadas), as representações dos nós tendem a convergir para um valor constante, perdendo a capacidade de distinguir entre diferentes nós.
• Causa Estrutural: A pesquisa revela que isso não é apenas uma falha da GNN, mas uma consequência intrínseca da estrutura das RPTs. A maioria dos comentários em uma árvore de propagação são respostas diretas à postagem original (nós de nível 1). Isso cria uma estrutura altamente desbalanceada onde a grande maioria dos nós está a apenas uma ou duas camadas de distância da raiz.
• Consequência: Em grafos não direcionados ou bidirecionais, a agregação de vizinhança indiscriminada em GNNs faz com que nós de nível 1 se tornem vizinhos de 2 saltos uns dos outros, levando à perda de informações discriminativas, especialmente de nós mais profundos que contêm nuances emocionais e de stance importantes para a detecção de rumores. Além disso, GNNs têm dificuldade em capturar dependências de longo alcance ao longo de cadeias completas de conversa.

2. Metodologia: P2T3 (Pre-Trained Propagation Tree Transformer)

Para contornar essas limitações, os autores propõem o P2T3, um modelo baseado puramente na arquitetura Transformer, desenhado especificamente para a estrutura de árvores de propagação.

Principais Componentes:

1. Extração de Cadeias de Conversa:

   • Em vez de tratar a árvore como um grafo para agregação de vizinhança, o P2T3 extrai todas as cadeias de conversa (threads) da raiz até as folhas, seguindo a direção de propagação das respostas.
   • Essas cadeias são convertidas em sequências lineares, permitindo que o modelo aprenda padrões sequenciais e dependências de longo alcance.

2. Embeddings Token-a-Token (Token-wise Embeddings):
   Para permitir que o Transformer (que originalmente não possui noção de estrutura de grafo) entenda a topologia da árvore, o modelo infunde informações de conexão através de três tipos de embeddings específicos:

   • Identificador de Cadeia (Chain Identifier): Vetores ortogonais que indicam a qual cadeia de conversa um token pertence, garantindo que o modelo saiba quais tokens interagem entre si.
   • Embedding de Profundidade (Depth Embedding): Similar a positional encodings, indica o nível hierárquico do nó na árvore original, ajudando o modelo a entender a relação de resposta (quem respondeu a quem).
   • Embedding de Tipo (Type Embedding): Classifica o token como pertencente à postagem original (fonte), conversa profunda ou conversa rasa, fornecendo viés indutivo sobre o papel do nó.

3. Estratégia de Treinamento (Pré-treinamento e Fine-tuning):

   • Pré-treinamento em Dados Não Rotulados: O modelo é pré-treinado em grandes conjuntos de dados não rotulados (UWeibo e UTwitter, com >200k publicações cada). O objetivo é maximizar a Informação Mútua (MI) entre a postagem original e os primeiros nós de todas as cadeias de conversa (nós de nível 1). Isso alinha as representações globais e locais, aprendendo interações de usuários e expressões emocionais sem necessidade de rótulos.
   • Fine-tuning: Após o pré-treinamento, o modelo é ajustado em conjuntos de dados rotulados para a tarefa de classificação de rumores.

3. Contribuições Chave

• Diagnóstico do Over-smoothing: Demonstração empírica e teórica de que a estrutura desbalanceada das RPTs (predominância de nós de nível 1) é a causa raiz do over-smoothing em GNNs, explicando por que modelos mais profundos falham.
• Novo Dataset: Lançamento de dois grandes conjuntos de dados não rotulados (UWeibo e UTwitter) para fomentar pesquisas em detecção semi-supervisionada de rumores.
• Arquitetura P2T3: Proposta de um método baseado em Transformer que utiliza embeddings token-a-token para transformar árvores de propagação em sequências tratáveis, evitando o over-smoothing e capturando dependências de longo alcance.
• Desempenho em Few-shot: Evidência de que o pré-treinamento em larga escala permite que o modelo funcione bem mesmo com poucos dados rotulados.

4. Resultados Experimentais

Os experimentos foram conduzidos em quatro conjuntos de dados de referência: Weibo, DRWeibo, Twitter15 e Twitter16.

• Superação do State-of-the-Art (SOTA): O P2T3 superou consistentemente os métodos baseados em GNNs (como BiGCN, RAGCL, DDGCN) e outros métodos baseados em Transformer (como PLAN, HD-TRANS) em todas as métricas (Acurácia, Precisão, Recall, F1).
  • Exemplo: No dataset Weibo, o P2T3 alcançou 97.3% de acurácia, superando o segundo melhor (RAGCL) que teve 96.0%.
• Resiliência ao Over-smoothing: Diferente das GNNs, onde o aumento do número de camadas degrada o desempenho, o P2T3 mostrou que seu desempenho melhora ou se estabiliza à medida que a profundidade do modelo aumenta, provando que a arquitetura Transformer não sofre do mesmo problema de suavização excessiva neste contexto.
• Avaliação de Ablação: Estudos mostraram que remover os embeddings token-a-token (especialmente o identificador de cadeia) causa uma queda drástica de desempenho, confirmando a importância de infundir a estrutura da árvore no Transformer.
• Cenários Few-shot: O modelo demonstrou robustez significativa quando treinado com apenas 10 a 500 amostras rotuladas, graças ao pré-treinamento em dados não rotulados.

5. Significado e Impacto

Este trabalho é significativo por desafiar o paradigma dominante de usar GNNs para detecção de rumores baseada em estrutura. Ele demonstra que:

1. A estrutura específica das árvores de propagação em mídias sociais é mal servida por mecanismos de agregação de vizinhança tradicionais (GNNs).
2. A arquitetura Transformer, quando devidamente adaptada com embeddings estruturais, é superior para modelar essas cadeias de conversa, capturando nuances emocionais e de stance em níveis profundos que as GNNs ignoram.
3. O pré-treinamento em larga escala com dados não rotulados é uma estratégia viável e poderosa para superar a escassez de dados rotulados, um problema comum na detecção de rumores devido à natureza efêmera e deletada dos conteúdos falsos.

O estudo abre caminho para o uso de "Grandes Modelos" (Large Models) e esquemas unificados multimodais na pesquisa de mídias sociais, sugerindo que o futuro da detecção de rumores pode residir em arquiteturas baseadas em Transformers pré-treinados em vez de GNNs profundas.