Avoiding Over-smoothing in Social Media Rumor Detection with Pre-trained Propagation Tree Transformer

1. Problemstellung

Die Arbeit adressiert ein fundamentales Problem bei der Erkennung von Gerüchten in sozialen Medien mittels Deep Learning: das Over-smoothing (Über-Glättung) von Graph Neural Networks (GNNs).

• Kontext: Herkömmliche Methoden nutzen GNNs, um die Propagationsstruktur von Gerüchten (dargestellt als Gerücht-Propagationsbäume, RPTs) zu analysieren.
• Das Problem: Die Autoren identifizieren, dass RPTs eine spezifische strukturelle Eigenschaft aufweisen: Die überwiegende Mehrheit der Knoten (Kommentare) sind direkte Antworten auf den Ursprungspost (1-Level-Knoten). Tiefe Ebenen sind stark unterrepräsentiert.
• Folge für GNNs:
  • Da der Nachbarschaftsbereich eines Knotens in GNNs von der Modelltiefe abhängt, aggregieren selbst flache GNNs Informationen von fast allen anderen Knoten in einem RPT, da diese bereits in wenigen Hop-Distanzen erreichbar sind.
  • Dies führt zu einer indiskriminierenden Aggregation, bei der die spezifischen Merkmale tieferer Knoten (die oft entscheidende diskriminierende Informationen für die Widerlegung von Gerüchten enthalten) verloren gehen.
  • Das Ergebnis ist Over-smoothing: Die Repräsentationen aller Knoten konvergieren gegen denselben Wert, was die Leistung des Modells verschlechtert, insbesondere wenn die Modelltiefe (Anzahl der Schichten) erhöht wird.
  • GNNs scheitern zudem daran, langreichweitige Abhängigkeiten innerhalb kompletter Konversationsketten (vom 1-Level-Knoten bis zum Blattknoten) effektiv zu erfassen.

2. Methodik: Pre-Trained Propagation Tree Transformer (P2T3)

Um diese Limitierungen zu umgehen, schlagen die Autoren P2T3 vor, eine Architektur, die auf reinen Transformern basiert und keine GNNs verwendet.

• Konzept der Konversationsketten: Anstatt den gesamten Baum als Graph zu behandeln, extrahiert P2T3 alle Konversationsketten (Threads) aus dem RPT, die der Propagationsrichtung folgen. Diese werden in sequenzielle Strukturen umgewandelt.
• Token-basierte Einbettungen (Token-wise Embeddings): Um die Graph-Struktur in die sequenzielle Transformer-Architektur zu integrieren, werden drei spezielle Einbettungen hinzugefügt:
  1. Chain Identifier: Orthonormale Vektoren, die Tokens derselben Konversationskette zuweisen, damit das Modell die Zugehörigkeit zur Kette erkennt.
  2. Depth Embedding: Sinusförmige Positional Encodings, die die Tiefe des Knotens im Baum repräsentieren (analog zur Position in einer Sequenz).
  3. Type Embedding: Vektoren, die den Typ der Konversation kennzeichnen (Quellpost, tiefe Konversation, flache Konversation).
• Trainingsstrategie:
  • Pre-Training: Das Modell wird auf großen, ungelabelten Datensätzen (UWeibo und UTwitter mit jeweils >200.000 Claims) vortrainiert. Es nutzt einen Mutual Information (MI) Maximierungs-Loss, um die Konsistenz zwischen dem Quellpost und den ersten Antworten (1-Level-Knoten) zu maximieren. Dies ermöglicht das Lernen von Interaktionsmustern ohne manuelle Labels.
  • Fine-Tuning: Anschließend wird das Modell auf gelabelten Datensätzen für die eigentliche Gerüchterkennung (wahr/falsch) feinabgestimmt.

3. Hauptbeiträge

• Analyse des Over-smoothing: Umfassende experimentelle und theoretische Untersuchung, die nachweist, dass die inhärente Struktur von RPTs (hoher Anteil an 1-Level-Knoten) GNNs zu Over-smoothing veranlasst und die Skalierbarkeit von Modellen auf großen Datenmengen behindert.
• Neue Datensätze: Veröffentlichung zweier großer, ungelabelter Datensätze (UWeibo und UTwitter) zur Förderung der Forschung im Bereich semi-überwachter Gerüchterkennung.
• Architektur-Design (P2T3): Entwicklung einer reinen Transformer-Architektur, die durch spezielle Token-wise Embeddings in der Lage ist, Baumstrukturen zu verarbeiten, ohne die Nachteile von GNNs zu haben.
• Leistungsnachweis: Demonstration, dass P2T3 State-of-the-Art (SOTA) Methoden übertrifft und besonders robust in Few-Shot-Szenarien ist.

4. Ergebnisse

Die Experimente wurden auf vier Benchmark-Datensätzen durchgeführt (Weibo, DRWeibo, Twitter15, Twitter16).

• Überlegenheit gegenüber SOTA: P2T3 erzielt auf allen Datensätzen die besten Ergebnisse in Bezug auf Genauigkeit (Accuracy), Präzision, Recall und F1-Score. Er schlägt etablierte GNN-Modelle (wie BiGCN, DDGCN, RAGCL) und frühere Transformer-Ansätze (PLAN, HD-TRANS).
• Vermeidung von Over-smoothing: Im Gegensatz zu GNNs, deren Leistung mit zunehmender Schichtzahl sinkt, verbessert sich die Leistung von P2T3 mit zunehmender Tiefe und stabilisiert sich auf einem hohen Niveau.
• Effekt des Pre-Trainings: Ein Ablationsstudie zeigt, dass das Pre-Training auf ungelabelten Daten einen signifikanten Leistungsboost bringt. GNN-basierte Modelle profitieren weniger davon, da sie durch Over-smoothing in ihrer Kapazität eingeschränkt sind.
• Few-Shot-Learning: P2T3 zeigt auch bei sehr wenigen gelabelten Beispielen (10–500 Samples) eine überlegene Leistung, was auf die Fähigkeit des Modells zurückzuführen ist, durch Pre-Training robuste Repräsentationen gelernt zu haben.
• Ablationsstudie zu Embeddings: Der „Chain Identifier" hat den größten Einfluss auf die Leistung, gefolgt von der Tiefe und dem Typ. Ohne diese Einbettungen bricht die Leistung drastisch ein, was die Notwendigkeit der strukturellen Induktion für Transformer in diesem Kontext unterstreicht.

5. Bedeutung und Ausblick

Die Arbeit ist bedeutend, da sie einen Paradigmenwechsel in der Gerüchterkennung anstoßen könnte: weg von GNNs hin zu Transformer-Architekturen, die besser mit den spezifischen, flachen und unbalancierten Strukturen sozialer Medien-Propagationsbäume umgehen können.

• Skalierbarkeit: P2T3 ermöglicht die Nutzung riesiger Mengen ungelabelter Daten, was für die Zukunft der Forschung essenziell ist, da gelabelte Gerüchtdatensätze schwer zu beschaffen sind.
• Zukunftsperspektiven: Die Autoren sehen Potenzial für die Integration von P2T3 in Large Language Models (LLMs) und die Entwicklung multimodaler Systeme, die Text, Bilder und Graphenstrukturen gemeinsam verarbeiten. Zudem könnte die Methode auf andere soziale Medien-Aufgaben wie Content-Empfehlung oder Verhaltensanalyse übertragen werden.

Zusammenfassend bietet P2T3 eine robuste Lösung für das Over-smoothing-Problem in der Gerüchterkennung und demonstriert, dass Transformer-Architekturen, wenn sie richtig adaptiert werden, GNNs in diesem spezifischen Anwendungsbereich übertreffen können.