Click it or Leave it: Detecting and Spoiling Clickbait with Informativeness Measures and Large Language Models

1. Il Problema

Nel panorama attuale del giornalismo digitale, la rapida diffusione delle informazioni ha facilitato la proliferazione di contenuti fuorvianti o manipolatori. Il clickbait (titoli "esca") rappresenta una manifestazione sottile ma pervasiva di questo problema. Sebbene i titoli clickbait non siano sempre falsi, si basano su esagerazioni, omissioni di fatti chiave o linguaggi emotivi per stimolare la curiosità e generare clic, offuscando il confine tra informazione e manipolazione.

La maggior parte della ricerca esistente affronta il rilevamento del clickbait come un problema di classificazione binaria (clickbait vs. non clickbait). Tuttavia, questi approcci, spesso basati su modelli "black-box" (come le reti neurali profonde o i grandi modelli linguistici puri), offrono scarse intuizioni sui fattori linguistici e stilistici specifici che guidano la classificazione, limitando la trasparenza e l'interpretabilità delle decisioni del modello.

2. Metodologia Proposta

Gli autori propongono un approccio ibrido che combina l'elaborazione del linguaggio naturale (NLP) tradizionale, le misurazioni esplicite dell'informatività e le rappresentazioni semantiche avanzate dei Large Language Models (LLM).

A. Dataset e Preparazione

Il lavoro si basa sull'integrazione e l'armonizzazione di quattro dataset pubblici:

• Kaggle-1 e Kaggle-2: Articoli di notizie con titoli etichettati.
• Clickbait Challenge 2017: Post di Twitter con etichette graduali (da 0.0 a 1.0), convertite in binarie.
• SemEval Clickbait Spoiling: Post da account dedicati allo smascheramento del clickbait, contenenti sia titoli che "spoiler" (svelamenti).
  I dati sono stati puliti, bilanciati e suddivisi in set di training (80%), validazione (10%) e test (10%).

B. Misurazioni dell'Informatività (Feature Engineering)

Un contributo centrale è la definizione di un set di 25 misurazioni linguistiche esplicite (ridotte a 15 per il modello finale) che catturano le caratteristiche stilistiche del clickbait. Queste includono:

• Metriche strutturali: Lunghezza del testo, rapporto di parole comuni, uso di lettere maiuscole.
• Punteggiatura e Numeri: Frequenza di punteggiatura "esca" (es. !, ?, #) e presenza di numeri.
• Linguaggio persuasivo: Uso di pronomi di seconda persona ("tu", "voi"), superlativi, frasi speculative e frasi tipiche del clickbait.
• Metriche di leggibilità e sentiment: Flesch Reading-Ease (FRES), polarità e soggettività.
• Similarità: Cosine similarity tra il titolo e il corpo dell'articolo (per rilevare il "curiosity gap").

C. Architettura del Modello

Il flusso di lavoro prevede:

1. Rappresentazione del testo: Utilizzo di diverse strategie di embedding, inclusi TF-IDF, Word2Vec, GloVe e embedding basati su Transformer (OpenAI text-embedding-3-large).
2. Fusione Ibrida: Concatenazione dei vettori di embedding (ridotti dimensionalmente a 1000 dimensioni) con il vettore delle 15 feature ingegnerizzate.
3. Classificatore: Un modello XGBoost addestrato su queste rappresentazioni ibride.
4. Confronto: Il modello è stato confrontato con baseline tradizionali, modelli basati solo su embedding, modelli basati solo su feature e LLM (GPT-4o-mini, Gemini-3 Flash) utilizzati tramite prompting (zero-shot e few-shot).

3. Contributi Chiave

1. Approccio Ibrido Interpretabile: Dimostrazione che combinare embedding semantici profondi con feature linguistiche esplicite supera i modelli puramente basati su embedding o prompt.
2. Set di Feature Informativo: Creazione e validazione di un set di 15 feature linguistiche mirate che catturano segnali stilistici (es. pronomi di seconda persona, superlativi) spesso ignorati dai modelli puramente semantici.
3. Analisi di Robustezza: Confronto sistematico tra metodi classici, deep learning e LLM, mostrando che la conoscenza generale degli LLM non è sufficiente senza un "grounding" specifico per il compito.
4. Riproducibilità: Rilascio del codice e dei modelli addestrati, con un focus sulla trasparenza delle decisioni di classificazione.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un workstation locale con set di dati stratificati. Le metriche principali sono Accuracy, Precisione, Recall, F1-score e AUC.

• Performance del Modello Ibrido: Il modello proposto (OpenAI Embeddings + 15 Feature + XGBoost) ha raggiunto un F1-score del 90,9% (Accuracy 91,0%, AUC 0,969).
• Confronto con Baseline:
  • Supera i modelli basati solo su embedding (OpenAI 3072d) di +4,5 punti di F1-score (da 0,864 a 0,909).
  • Supera i modelli basati solo su feature (Random Forest) che ottengono un F1 di 0,821.
  • Supera significativamente i LLM basati su prompting: GPT-4o-mini (few-shot) ha ottenuto un F1 di 0,82 e Gemini-3 Flash (few-shot) un F1 di 0,84.
• Ablation Study: L'analisi ha confermato che le feature ingegnerizzate forniscono segnali complementari e non ridondanti rispetto agli embedding semantici densi, migliorando la capacità del modello di rilevare le sfumature manipolatorie.

5. Significato e Conclusioni

Il paper dimostra che, nel rilevamento del clickbait, la comprensione contestuale acquisita dai grandi modelli linguistici beneficia enormemente di un grounding specifico fornito da feature linguistiche esplicite. Mentre gli LLM possiedono una vasta conoscenza generale, faticano a cogliere sistematicamente i segnali pragmatici e stilistici specifici del clickbait se non guidati da feature ingegnerizzate.

L'approccio ibrido proposto non solo raggiunge uno stato dell'arte (SOTA) in termini di accuratezza, ma offre anche un livello di interpretabilità superiore, permettendo di identificare esattamente quali elementi (es. un eccesso di punti esclamativi o l'uso di "tu") hanno contribuito alla decisione di classificazione. Questo è cruciale per sviluppare strumenti di filtraggio trasparenti e ben calibrati per gli utenti finali.

Il lavoro conclude che la combinazione di tecniche NLP tradizionali (feature engineering) e modelli moderni (LLM embeddings) rappresenta la direzione più promettente per affrontare le sfide della disinformazione digitale, superando i limiti degli approcci "black-box".