Click it or Leave it: Detecting and Spoiling Clickbait with Informativeness Measures and Large Language Models

1. Problemstellung

Clickbait-Überschriften degradieren die Qualität von Online-Informationen und untergraben das Vertrauen der Nutzer. Obwohl sie nicht immer faktisch falsch sind, nutzen sie oft übertriebene oder irreführende Formulierungen, um Neugier zu wecken und Engagement zu erzwingen.
Das Hauptproblem besteht darin, dass die meisten bestehenden Ansätze zur Clickbait-Erkennung als reine binäre Klassifikationsprobleme („Clickbait" vs. „Nicht-Clickbait") behandelt werden. Diese „Black-Box"-Modelle (oft auf Deep Learning oder reinen LLM-Prompts basierend) erreichen zwar hohe Genauigkeiten, bieten jedoch wenig Einblick in die linguistischen und stilistischen Faktoren, die eine Überschrift als Clickbait kennzeichnen. Es fehlt an Transparenz und Interpretierbarkeit darüber, warum ein Modell eine Entscheidung trifft.

2. Methodik

Die Autoren schlagen einen hybriden Ansatz vor, der die Stärken von Transformer-basierten Text-Embeddings mit explizit definierten, linguistisch motivierten „Informationsmaßen" (Informativeness Measures) kombiniert.

• Datengrundlage: Es wurde ein einheitlicher Datensatz erstellt, der vier öffentlich verfügbare Quellen integriert (Kaggle-Datasets, Clickbait Challenge 2017 und das SemEval Clickbait Spoiling-Dataset). Insgesamt umfassen die Daten ca. 95.000+ Instanzen, die für Aufgaben wie reine Überschriften-Erkennung, Kombination aus Überschrift und Artikeltext sowie das „Spoiling" (Entlarvung) von Clickbait verwendet werden.
• Feature-Engineering (Explizite Merkmale): Statt sich nur auf semantische Embeddings zu verlassen, berechnen die Autoren ein Set von 25 quantifizierbaren linguistischen Merkmalen. Dazu gehören:
  • Stilistische Merkmale: Anteil an Großbuchstaben, Anzahl der Ausrufezeichen, Fragezeichen und spezifischer „Bait"-Interpunktion.
  • Lexikalische Merkmale: Häufigkeit von Superlativen, numerischen Werten, 2-Personen-Pronomen („du/dein") und spekulativen Wörtern.
  • Textmetriken: Lesbarkeitswerte (Flesch Reading-Ease), Sentiment-Polarität, Ähnlichkeit zwischen Überschrift und Artikeltext sowie Wortvielfalt (TTR, Maas-Index).
• Embeddings: Es werden verschiedene Repräsentationen verglichen:
  • Traditionell: TF-IDF, Word2Vec, GloVe.
  • Modern: Transformer-basierte Embeddings (BERT, RoBERTa) und OpenAI-Embeddings (text-embedding-3-large).
• Klassifikationsarchitektur: Die Merkmale und Embeddings werden zu einem Vektor concateniert (Early Fusion) und einem XGBoost-Klassifikator zugeführt. Dies ermöglicht die Nutzung von tiefen semantischen Signalen (durch die Embeddings) in Kombination mit den expliziten, interpretierbaren stilistischen Signalen.

3. Wichtige Beiträge

1. Hybride Architektur: Die Demonstration, dass die Kombination von manuell konstruierten linguistischen Features mit modernen LLM-Embeddings die Leistung von reinen Embedding-Modellen oder reinen Feature-Modellen übertrifft.
2. Interpretierbarkeit: Durch die expliziten Features (z. B. „Anzahl der 2-Personen-Pronomen" oder „Superlativ-Ratio") wird das Modell transparent. Nutzer können nachvollziehen, welche linguistischen Hinweise zur Entscheidung führten.
3. Umfassender Benchmark: Der Vergleich erstreckt sich über traditionelle ML-Modelle, reine Transformer-Modelle, Prompt-basierte LLMs (Zero-Shot/Few-Shot mit GPT-4o-mini, Gemini-3 Flash) und den vorgeschlagenen hybriden Ansatz.
4. Reproduzierbarkeit: Der Code und die trainierten Modelle werden für die wissenschaftliche Gemeinschaft freigegeben.

4. Ergebnisse

Die Experimente wurden auf einem zurückgehaltenen Testset durchgeführt (80/10/10 Split).

• Leistung des hybriden Modells: Das beste Modell (XGBoost über OpenAI-Embeddings [1000d] + 15 ausgewählte Features) erreichte einen F1-Score von 91,0 % und eine AUC von 0,969.
• Vergleich mit Baselines:
  • Reine Embeddings: Ein Modell nur mit OpenAI-Embeddings (3072d) erreichte einen F1-Score von 86,4 %. Der hybride Ansatz verbesserte dies um 4,5 Prozentpunkte.
  • LLM-Prompts: Prompt-basierte Modelle (Zero-Shot und Few-Shot) schnitten deutlich schlechter ab (F1-Scores zwischen 0,71 und 0,84), was zeigt, dass reine Skalierung und generelles Weltwissen nicht ausreichen, um spezifische Clickbait-Muster konsistent zu erkennen.
  • Traditionelle Modelle: TF-IDF und Word2Vec lagen deutlich unter den Transformer-basierten Ansätzen (F1 ca. 0,75–0,83).
• Ablationsstudie: Die Studie bestätigte, dass die handgefertigten Features komplementäre Informationen liefern, die in den dichten semantischen Embeddings nicht vollständig enthalten sind.

5. Bedeutung und Fazit

Die Arbeit zeigt, dass für die Erkennung von Clickbait kontextuelles Verständnis allein nicht ausreicht. Clickbait ist oft ein Phänomen der pragmatischen Sprachverwendung (z. B. die gezielte Nutzung von „Du", Ausrufezeichen oder Superlativen), das durch explizite linguistische Merkmale besser erfasst wird als durch reine semantische Ähnlichkeit.

Der vorgestellte hybride Ansatz bietet nicht nur eine höhere Genauigkeit als reine LLM-Prompting-Methoden, sondern ist auch transparenter und besser kalibriert. Dies ermöglicht die Entwicklung von Tools, die nicht nur warnen, sondern auch erklären können, welche sprachlichen Manipulationstechniken in einer Überschrift verwendet wurden. Die Autoren betonen, dass dieser Weg der Kombination von „Black-Box"-Embeddings mit „White-Box"-Features ein vielversprechender Pfad für zukünftige Forschung im Bereich der Misinformationserkennung ist.