Click it or Leave it: Detecting and Spoiling Clickbait with Informativeness Measures and Large Language Models

Probleemstelling

In het tijdperk van digitale journalistiek verspreidt informatie zich sneller dan ooit, maar dit faciliteert ook de verspreiding van misleidende content. Clickbait is een subtiel maar veelvoorkomend verschijnsel waarbij koppen vaak niet feitelijk onjuist zijn, maar wel gebruikmaken van overdrijving en misleidende formuleringen om nieuwsgierigheid op te wekken en klikken te genereren. Dit ondermijnt het vertrouwen van gebruikers en vervuilt de informatiekwaliteit.

Bestaande onderzoeksmethoden voor clickbait-detectie behandelen het probleem voornamelijk als een binair classificatieprobleem (clickbait vs. niet-clickbait). Hoewel moderne modellen (zoals BERT en RoBERTa) hoge nauwkeurigheden bereiken, werken ze vaak als "black boxes". Ze bieden weinig inzicht in de specifieke linguïstische en stilistische factoren die een kop als clickbait kenmerken, en ze meten zelden de daadwerkelijke informativiteit van de kop.

Methodologie

De auteurs presenteren een hybride aanpak die transformer-gebaseerde tekstembeddings combineert met expliciete, taalkundig gemotiveerde informativiteitsmaatstaven.

1. Dataset Constructie:
De auteurs hebben een unificerend dataset gecreëerd door vier bestaande openbare datasets te integreren:

• Kaggle-1 & Kaggle-2: News-artikelen met binaire labels.
• Clickbait Challenge 2017: Twitter-posts met geschaalde annotaties (0.0 tot 1.0), gebinariseerd op een drempel van 0.5.
• SemEval Clickbait Spoiling: Posts met menselijk gegenereerde "spoilers" (samenvattingen die de clickbait onthullen).
  De datasets zijn schoongemaakt, gedupliceerd verwijderd en gesplitst in trainings-, validatie- en testsets (80/10/10).

2. Kenmerkextractie (Features):
Het kernidee is het combineren van twee soorten representaties:

• Embeddings: Tekstuele representaties gegenereerd door TF-IDF, Word2Vec, GloVe en transformer-modellen (OpenAI text-embedding-3-large, RoBERTa).
• Expliciete Informativiteitsmaatstaven: Een set van 15 handgemaakte kenmerken die stilistische en linguïstische cues meten. Voorbeelden zijn:
  • Aantal tweede-persoonsvoornaamwoorden ("jij", "jou").
  • Gebruik van superlatieven ("beste", "ergste").
  • Aantal cijfers en specifieke leestekens (uitroeptekens, vraagtekens).
  • Leesbaarheidsscores (FRES, FKGL).
  • Sentimentpolariteit en subjectiviteit.

3. Model Architectuur:
De voorgestelde pipeline voert een early fusion uit:

1. De tekst wordt geëmbed (bijv. via OpenAI embeddings).
2. De vector van de embeddings wordt geconcateneerd met de vector van de 15 expliciete kenmerken.
3. Deze hybride vector wordt ingevoerd in een XGBoost-classificator.
   Dit ontwerp probeert zowel de diepe semantische betekenis (via de embeddings) als de oppervlakkige, maar cruciale, stilistische signalen (via de handgemaakte kenmerken) te vangen.

Belangrijkste Bijdragen

1. Hybride Detectie Framework: Een bewezen methode die expliciete linguïstische features combineert met moderne LLM-embeddings, wat leidt tot betere prestaties dan het gebruik van alleen embeddings of alleen features.
2. Interpreteerbaarheid: Door het gebruik van expliciete kenmerken (zoals het tellen van "jij"-woorden of uitroeptekens) wordt het model transparanter. Het is mogelijk om te zien waarom een kop als clickbait wordt gelabeld, in plaats van alleen een voorspelling te krijgen.
3. Uitgebreide Evaluatie: Het paper vergelijkt de hybride aanpak niet alleen met traditionele ML-modellen, maar ook met state-of-the-art transformer-modellen (RoBERTa) en directe prompting van grote taalmodellen (GPT-4o-mini, Gemini-3 Flash) in zero-shot en few-shot scenario's.
4. Reproduceerbaarheid: De auteurs publiceren de code en getrainde modellen om reproduceerbaar onderzoek te ondersteunen.

Resultaten

De experimenten werden uitgevoerd op een held-out testset met de volgende belangrijkste bevindingen:

• Beste Prestatie: Het hybride model (OpenAI embeddings + 15 features + XGBoost) behaalde een F1-score van 90,9% (Accuracy: 91,0%, Precision: 92,2%, Recall: 89,6%, AUC: 0,969).
• Vergelijking met Baselines:
  • Het hybride model presteerde significant beter dan alleen embeddings (OpenAI 3072d alleen: F1 86,4%). De toevoeging van de features leverde een verbetering van +4,5 procentpunten op de F1-score.
  • Het versloeg traditionele methoden zoals TF-IDF en Word2Vec (F1 rond de 83%).
  • Het presteerde beter dan gespecialiseerde RoBERTa-modellen (F1 84,2%).
• LLM Prompting: Directe prompting van grote modellen (GPT-4o-mini, Gemini-3 Flash) leverde lagere resultaten op (F1 tussen 0,71 en 0,84) dan de hybride aanpak. Dit suggereert dat schaal en algemene kennis van LLM's niet voldoende zijn voor de specifieke, pragmatische nuances van clickbait-detectie zonder specifieke taakgrounding.
• Ablatie-studie: De studie bevestigde dat de handgemaakte features complementaire informatie bieden die niet redundant is met de semantische embeddings.

Betekenis en Conclusie

Dit paper toont aan dat de integratie van expliciete, taalkundig gemotiveerde kenmerken met krachtige neuronale embeddings de huidige staat van de kunst voor clickbait-detectie verbetert.

De belangrijkste implicatie is dat pure diepe learning-modellen (zoals LLM's) soms de specifieke, oppervlakkige manipulatiestrategieën van clickbait (zoals het misbruik van uitroeptekens of tweede-persoonsvoornaamwoorden) niet optimaal benutten zonder expliciete begeleiding. De voorgestelde hybride aanpak biedt niet alleen een hogere nauwkeurigheid, maar ook de transparantie die nodig is om gebruikers te waarschuwen en de kwaliteit van online informatie te waarborgen. De auteurs concluderen dat toekomstig onderzoek zich moet richten op het operationaliseren van deze modellen in praktische tools voor nieuwsconsumptie.