Click it or Leave it: Detecting and Spoiling Clickbait with Informativeness Measures and Large Language Models

1. O Problema

No cenário atual do jornalismo digital, o clickbait (títulos sensacionalistas projetados para atrair cliques) degrada a qualidade da informação online e mina a confiança dos usuários. Embora nem sempre factualmente falsos, esses títulos frequentemente utilizam linguagem exagerada ou enganosa para explorar lacunas de curiosidade, desafiando a distinção entre jornalismo informativo e manipulação.

A maioria das abordagens existentes trata a detecção de clickbait como um problema de classificação binária (clickbait vs. não-clickbait) usando modelos de "caixa preta" (como redes neurais profundas ou LLMs). Essas abordagens, embora precisas, oferecem pouca interpretabilidade sobre quais fatores linguísticos ou estilísticos levam à classificação, limitando a transparência e a capacidade de explicar por que um título é considerado manipulativo.

2. Metodologia Proposta

Os autores propõem uma abordagem híbrida que combina representações semânticas profundas (embeddings) com medidas explícitas de informatividade baseadas em características linguísticas.

• Conjunto de Dados: O estudo integra e harmoniza quatro conjuntos de dados públicos (Kaggle-1, Kaggle-2, Clickbait Challenge 2017 e SemEval Clickbait Spoiling), criando um conjunto unificado para tarefas de detecção (apenas título) e "spoiling" (título + corpo do texto + spoilers).
• Medidas de Informatividade: Em vez de depender apenas de embeddings, os autores extraem manualmente 25 medidas linguísticas e estilísticas (uma seleção de 15 é usada no modelo final). Essas medidas incluem:
  • Uso de pronomes de segunda pessoa ("você").
  • Superlativos e adjetivos exagerados.
  • Pontuação específica de clickbait (ex: "!", "?", "#").
  • Contagem de números e palavras comuns.
  • Métricas de legibilidade (FRES, FKGL) e polaridade de sentimento.
• Arquitetura do Modelo:
  1. Embeddings: Utilização de representações textuais avançadas, incluindo TF-IDF, Word2Vec, GloVe e, principalmente, embeddings de modelos de linguagem grandes (LLMs) como BERT, RoBERTa e OpenAI (text-embedding-3-large).
  2. Fusão (Hybrid Approach): Concatenação dos vetores de embedding (reduzidos para 1000 dimensões) com o vetor das 15 medidas de informatividade explícitas.
  3. Classificador: Um modelo XGBoost é treinado sobre essa representação combinada para realizar a classificação final.

3. Principais Contribuições

1. Abordagem Híbrida Interpretável: Demonstra que a combinação de embeddings semânticos profundos com características linguísticas explícitas supera abordagens puramente baseadas em embeddings ou em prompts de LLMs.
2. Interpretabilidade: O modelo destaca sinais linguísticos específicos (como o uso excessivo de pronomes de segunda pessoa e superlativos), permitindo previsões transparentes e bem calibradas sobre a natureza manipulativa do título.
3. Benchmarks Abrangentes: O estudo compara sistematicamente modelos tradicionais, deep learning, e LLMs (incluindo GPT-4o-mini e Gemini-3 Flash via zero-shot e few-shot), estabelecendo novos padrões de referência.
4. Reprodutibilidade: Os autores disponibilizam o código e os modelos treinados, facilitando pesquisas futuras na área.

4. Resultados Experimentais

O modelo proposto foi avaliado em um conjunto de teste mantido (held-out test set) com métricas padrão (Acurácia, Precisão, Recall, F1-score e AUC).

• Desempenho Superior: O modelo híbrido (OpenAI Embeddings + 15 Features + XGBoost) alcançou um F1-score de 90,9% (arredondado para 91% no resumo) e um AUC de 0,969.
• Comparação com Baselines:
  • Superou significativamente os baselines baseados apenas em embeddings (OpenAI 3072d: F1 0,864) e modelos baseados apenas em características (F1 0,821).
  • O ganho de 4,5 pontos percentuais no F1-score em relação ao melhor modelo de embedding puro confirma que as características linguísticas fornecem informações complementares não capturadas pelos embeddings densos.
  • LLMs via Prompting: Modelos de linguagem grandes como GPT-4o-mini e Gemini-3 Flash, mesmo em configurações few-shot, obtiveram resultados inferiores (F1 entre 0,82 e 0,84), sugerindo que o conhecimento geral de escala não substitui a modelagem explícita de pistas linguísticas específicas para clickbait.

5. Significado e Conclusão

O artigo conclui que, embora os modelos de linguagem grandes (LLMs) tenham capacidades semânticas poderosas, eles não são otimizados nativamente para detectar nuances pragmáticas e estilísticas do clickbait sem orientação específica.

A principal implicação do trabalho é que a modelagem explícita de características linguísticas, quando combinada com representações semânticas modernas, oferece uma via mais robusta, precisa e, crucialmente, interpretável para a detecção de desinformação e clickbait. Isso permite não apenas classificar o conteúdo, mas também entender e explicar os mecanismos de persuasão utilizados, o que é vital para o desenvolvimento de ferramentas de moderação de conteúdo transparentes e confiáveis.