Click it or Leave it: Detecting and Spoiling Clickbait with Informativeness Measures and Large Language Models

1. Problématique

Le « clickbait » (titres accrocheurs) dégrade la qualité de l'information en ligne et sape la confiance des utilisateurs. Bien que souvent factuellement vrais, ces titres utilisent des formulations exagérées ou trompeuses pour provoquer la curiosité et maximiser l'engagement, brouillant la frontière entre journalisme informatif et manipulation.

La plupart des travaux existants traitent la détection du clickbait comme un problème de classification binaire (clickbait vs non-clickbait). Cependant, ces approches souffrent de deux limites majeures :

1. Manque d'interprétabilité : Les modèles modernes (comme les transformers) agissent souvent comme des « boîtes noires », offrant peu d'insights sur les facteurs linguistiques spécifiques qui déclenchent la détection.
2. Limitation sémantique : Les approches purement basées sur l'embedding sémantique (LLM, BERT) peuvent manquer de sensibilité aux indices stylistiques et pragmatiques subtils caractéristiques du clickbait.

L'objectif de ce travail est de dépasser la simple classification binaire en intégrant des mesures explicites d'informativité (basées sur la linguistique) aux représentations vectorielles modernes, afin d'améliorer à la fois la précision et l'interprétabilité du modèle.

2. Méthodologie

Les auteurs proposent une approche hybride combinant des techniques d'apprentissage automatique traditionnelles et des modèles de langage modernes.

A. Construction du Jeu de Données

Une base de données unifiée a été créée en fusionnant et en harmonisant quatre sources publiques :

• Kaggle-1 & Kaggle-2 : Articles de news (BuzzFeed, Upworthy, etc.) avec des titres et des corps d'articles.
• Clickbait Challenge 2017 : Posts Twitter annotés sur une échelle de 0 à 1 (utilisés ici avec un seuil de 0,5 pour la binarisation).
• SemEval Spoiling : Données provenant de comptes dédiés à la dénonciation du clickbait, incluant des « spoilers » (réponses explicatives).
• Prétraitement : Nettoyage, suppression des doublons, et division stratifiée (80/10/10) pour l'entraînement, la validation et le test.

B. Mesures d'Informativité (Features Explicites)

Au lieu de se fier uniquement aux embeddings, les auteurs calculent un ensemble de 25 mesures linguistiques et stylistiques (dont 15 sont utilisées dans le modèle final). Ces mesures incluent :

• Indicateurs d'attention : Ratio de majuscules, ponctuation « appât » (!, ?, ...), usage de pronoms de 2e personne (« vous »).
• Indicateurs sémantiques : Superlatifs, phrases de type « clickbait », spéculation (« peut-être », « pourrait »).
• Mesures de lisibilité et de complexité : Score FRES (Flesch Reading-Ease), ratio de mots communs, diversité lexicale (TTR, Maas Index).
• Similarité : Cosine similarity entre le titre et le corps de l'article.

C. Architecture du Modèle Hybride

Le pipeline expérimental compare plusieurs stratégies :

1. Baselines traditionnelles : TF-IDF, Word2Vec, GloVe couplés à des classificateurs (Random Forest, XGBoost).
2. Baselines Transformers : RoBERTa (fine-tuné) et embeddings OpenAI (text-embedding-3-large).
3. Approche Proposée (Hybride) :
   • Concaténation des embeddings OpenAI (réduits à 1000 dimensions) avec le vecteur des 15 mesures d'informativité.
   • Entraînement d'un classificateur XGBoost sur cette représentation combinée.
   • Cette fusion permet de capturer à la fois la sémantique profonde (via les LLM) et les indices stylistiques explicites (via les features manuelles).

3. Contributions Clés

1. Approche Hybride Innovante : Démonstration que l'ajout de features linguistiques explicites à des embeddings de LLM améliore significativement les performances par rapport à l'utilisation exclusive de l'un ou l'autre.
2. Interprétabilité Accrue : Le modèle permet d'identifier les signaux linguistiques spécifiques (ex: usage excessif de « vous », superlatifs, ponctuation dramatique) qui contribuent à la décision de classification, rendant le modèle plus transparent.
3. Benchmark Complet : Évaluation rigoureuse incluant des modèles classiques, des transformers, et des LLM via prompting (Zero-shot et Few-shot avec GPT-4o-mini et Gemini-3 Flash).
4. Ressources Open Source : Publication du code et des modèles entraînés pour favoriser la reproductibilité.

4. Résultats Expérimentaux

Les expériences ont été menées sur un jeu de données de titres uniquement (Title-only detection).

• Performance du Modèle Hybride :

  • Le modèle combinant OpenAI Embeddings (1000d) + 15 Features + XGBoost atteint un F1-score de 90,9 % (Précision : 92,2 %, Rappel : 89,6 %, AUC : 0,969).
  • Cela représente une amélioration de +4,5 points de F1 par rapport au meilleur modèle d'embeddings seul (OpenAI 3072d + XGBoost, F1 = 86,4 %).

• Comparaison avec les LLM en Prompting :

  • Les approches par prompting (Zero-shot/Few-shot) avec GPT-4o-mini et Gemini-3 Flash obtiennent des scores inférieurs (F1 entre 0,71 et 0,84).
  • Cela suggère que la connaissance générale des LLM ne suffit pas sans un ancrage spécifique aux tâches et une modélisation explicite des indices stylistiques.

• Étude d'Ablation :

  • Le modèle « Features Only » (sans embeddings) obtient un F1 de 82,1 %, prouvant que les caractéristiques linguistiques seules sont prédictives.
  • La combinaison des deux approches confirme que les features et les embeddings fournissent des informations complémentaires et non redondantes.

5. Signification et Conclusion

Ce travail démontre que, dans le domaine de la détection du clickbait, la modélisation explicite des caractéristiques linguistiques reste cruciale, même à l'ère des grands modèles de langage.

• Limites des LLM purs : Les LLM, bien que puissants pour la compréhension sémantique, peuvent négliger les indices pragmatiques et stylistiques fins qui définissent le clickbait, surtout lorsqu'ils sont utilisés via des prompts simples.
• Avantage de l'hybridation : L'intégration de mesures d'informativité (lisibilité, sentiment, structure) permet de « guider » le modèle vers les signaux de manipulation les plus pertinents, améliorant la robustesse et la calibration des prédictions.
• Impact pratique : Cette méthode offre un outil non seulement plus précis, mais aussi plus transparent pour les éditeurs et les plateformes, permettant d'expliquer pourquoi un titre est classé comme du clickbait (ex: « trop de superlatifs et usage de la 2e personne »).

En conclusion, les auteurs recommandent une approche hybride pour les systèmes de modération de contenu futurs, combinant la puissance sémantique des LLM avec la rigueur des métriques linguistiques traditionnelles.