Avoiding Over-smoothing in Social Media Rumor Detection with Pre-trained Propagation Tree Transformer

Probleemstelling: Over-smoothing in GNN's voor Geruchtendetectie

Bestaande methoden voor geruchtendetectie op sociale media maken vaak gebruik van Graph Neural Networks (GNN's) om de propagatiestructuur van berichten (vaak gemodelleerd als een boomstructuur of Rumor Propagation Tree - RPT) te analyseren. De auteurs identificeren echter een fundamenteel probleem: over-smoothing (oververvaging).

Deze over-smoothing ontstaat door de specifieke structurele eigenschappen van RPT's:

1. Onbalans in diepte: De meeste knopen in een RPT zijn directe antwoorden op het oorspronkelijke bericht (1-niveau knopen). Diepere niveaus zijn schaars.
2. Gevolg voor GNN's: Omdat het bereik van de "buurmen" in een GNN gekoppeld is aan de diepte van het model, aggregeren zelfs zeer ondiepe GNN's informatie van bijna alle andere knopen in de boom. Dit leidt ertoe dat de kenmerken van alle knopen naar dezelfde constante waarde convergeren, waardoor onderscheidende informatie verloren gaat.
3. Moeilijkheid met lange afhankelijkheden: GNN's worstelen om lange-termijn afhankelijkheden binnen volledige conversatiestrakken (van bron tot diepe bladeren) te vangen, terwijl deze strakken cruciaal zijn voor het begrijpen van de context en sentimenten in een discussie.

Het resultaat is dat de prestaties van GNN's verslechteren naarmate het model dieper wordt of wanneer ze worden getraind op grote, ongelabelde datasets, wat de schaalbaarheid beperkt.

Methodologie: P2T3 (Pre-Trained Propagation Tree Transformer)

Om deze beperkingen te omzeilen, stellen de auteurs P2T3 voor, een model dat puur gebaseerd is op de Transformer-architectuur in plaats van GNN's. De kern van de methode bestaat uit drie stappen:

1. Extractie van Conversatiestrakken:
   In plaats van de boom als een graaf te behandelen, worden uit de RPT alle conversatiestrakken (threads van een 1-niveau knoop tot een bladknoop) geëxtraheerd. Deze worden omgezet in sequentiële structuren die de chronologische volgorde van het gesprek respecteren.

2. Token-wise Embedding (Inductieve Bias):
   Omdat Transformers van nature geen grafstructuur kennen, introduceren de auteurs specifieke embeddingtechnieken om de boomstructuur in de sequentie te coderen:

   • Chain Identifier: Orthogonale vectoren die tokens binnen dezelfde conversatiestrap uniek identificeren, zodat het model de eigenaar van de keten kan herkennen.
   • Depth Embedding: Sinusoidale positionele encoding die de diepte van een knoop in de boom aangeeft (vergelijkbaar met positie in een zin).
   • Type Embedding: Vectoren die het type gesprek markeren (bronbericht, diep gesprek, of ondiep gesprek).
     Deze embeddings zorgen ervoor dat het model de connectiviteit en hiërarchie begrijpt zonder de over-smoothing-problematiek van GNN's.

3. Trainingsstrategie (Pre-training & Fine-tuning):

   • Pre-training: Het model wordt voorgeleid op twee grote, ongelabelde datasets (UWeibo en UTwitter, elk >200.000 claims). Hierbij wordt een contrastive loss gebruikt om de wederzijdse informatie (Mutual Information) te maximaliseren tussen het bronbericht en de eerste antwoorden (1-niveau knopen). Dit helpt het model om interacties en sentimenten te leren zonder labels.
   • Fine-tuning: Na pre-training wordt het model gefine-tuned op gelabelde datasets voor de uiteindelijke geruchtendetectie (waar/vals/onbevestigd).

Belangrijkste Bijdragen

• Empirisch Inzicht: De auteurs tonen aan dat over-smoothing inherent is aan de structuur van RPT's en dat het gebruik van ongerichte graafmodellen (undirected graphs) in GNN's vaak contraproductief werkt, ondanks eerdere aannames over de voordelen van bidirectionele informatie.
• Nieuwe Architectuur: P2T3 is het eerste model dat een pure Transformer-architectuur succesvol toepast op RPT's door middel van specifieke token-wise embeddings, waardoor het de voordelen van self-attention benut zonder de nadelen van message passing.
• Datasets: De publicatie van twee grote, ongelabelde datasets (UWeibo en UTwitter) die semi-supervised onderzoek naar geruchtendetectie kunnen stimuleren.
• Few-shot Learning: Het model presteert uitstekend in scenario's met weinig gelabelde data, dankzij de kracht van de pre-training.

Resultaten

Experimenten op vier standaard benchmarks (Weibo, DRWeibo, Twitter15, Twitter16) tonen aan dat P2T3 de state-of-the-art (SOTA) methoden overtreft, waaronder GNN-gebaseerde modellen (zoals BiGCN, RAGCL) en eerdere Transformer-varianten (zoals PLAN, HD-TRANS).

• Prestatie: P2T3 behaalt de hoogste nauwkeurigheid (Accuracy) en F1-scores op alle datasets. Bijvoorbeeld, op het Weibo-dataset bereikt het een nauwkeurigheid van 97,3%, vergeleken met 96,0% voor de vorige beste methode (RAGCL).
• Schaalbaarheid: In tegenstelling tot GNN's, waar prestaties dalen bij het vergroten van het aantal lagen (diepte), verbetert de prestatie van P2T3 naarmate het model groter wordt. Dit bevestigt dat het over-smoothing-probleem is opgelost.
• Ablatie-studies: De studies tonen aan dat de Chain Identifier de belangrijkste component is voor de prestaties, gevolgd door pre-training. Zonder token-wise embeddings daalt de prestatie drastisch, wat aantoont dat de structuur van de boom essentieel is voor het Transformer-model.
• Few-shot: P2T3 behoudt hoge prestaties zelfs met slechts 10 tot 50 gelabelde voorbeelden, wat cruciaal is voor geruchtendetectie waar gelabelde data schaars is.

Betekenis en Toekomstperspectief

Deze studie is significant omdat het een fundamentele beperking van GNN's in de context van sociale media-analyse adresseert. Het bewijst dat voor boom-achtige structuren met een onbalans in diepte, een Transformer-architectuur superieur is aan traditionele graafmodellen.

De implicaties zijn breed:

1. Het opent de deur voor het gebruik van grote modellen (Large Language Models) en unified multi-modal schema's voor geruchtendetectie.
2. Het onderstreept het belang van semi-supervised learning en pre-training op ongelabelde sociale media-data.
3. Het biedt een nieuwe richting voor toekomstig onderzoek naar het combineren van tekst, afbeeldingen en grafische structuren in één model, en het toepassen van deze techniek op andere sociale media taken zoals aanbevelingen en gedragsanalyse.