Are LLMs More Skeptical of Entertainment News?

Resumo Técnico: Os LLMs São Mais Céticos em Relação às Notícias de Entretenimento?

Declaração do Problema
À medida que os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados para avaliação automatizada da credibilidade de notícias, existe uma lacuna crítica na compreensão de se esses sistemas aplicam padrões imparciais em diferentes gêneros jornalísticos. Enquanto pesquisas anteriores se concentraram no desempenho agregado em benchmarks e na generalização de domínio, permanece incerto se os LLMs classificam sistematicamente notícias de entretenimento legítimas como "falsas" em taxas mais altas do que notícias sérias legítimas. Essa preocupação surge porque as convenções estilísticas do jornalismo de entretenimento — como o foco na vida privada, a apresentação orientada por narrativa e a vivacidade emocional — sobrepõem-se a características de superfície das quais os detectores frequentemente dependem para sinalizar falta de confiabilidade. Se os LLMs penalizarem desproporcionalmente essas convenções de gênero, eles correm o risco de introduzir falsos positivos estruturados que enviesam a moderação de plataformas e reforçam hierarquias existentes de legitimidade jornalística.

Metodologia
O estudo emprega um desenho dentro do conjunto de dados utilizando o subconjunto GossipCop do benchmark FakeNewsNet, que contém tanto artigos de fofoca de entretenimento quanto de notícias sérias rotulados como reais. A pesquisa utiliza quatro LLMs de ponta: DeepSeek-V3.2, GPT-5.2, Claude Opus 4.6 e Gemini 3 Flash. A metodologia consiste em quatro componentes distintos:

1. Comparação de Falsos Positivos Dentro do Conjunto de Dados: Os autores comparam as taxas de falsos positivos (FPR) de LLMs em zero-shot em dois subconjuntos de artigos reais do GossipCop: fofoca de entretenimento e notícias sérias. Os artigos foram filtrados e rotulados em quatro categorias (fofoca de entretenimento, notícias sérias, opinião, promocional) usando um classificador DeepSeek-V3.2 validado por codificadores humanos. A métrica principal é a diferença na FPR ($\Delta$FPR) entre os dois gêneros.
2. Experimento de Troca de Estilo: Para testar se a assimetria observada é impulsionada exclusivamente pelo registro estilístico, 50 artigos reais de entretenimento foram reescritos em um estilo convencional de notícia séria, preservando as alegações factuais centrais. Esses artigos reescritos foram avaliados em comparação com os originais para determinar se mudanças estilísticas isoladas poderiam reduzir os falsos positivos.
3. Mitigação Baseada em Prompt: O estudo investiga se estratégias específicas de prompt podem reduzir falsos positivos. Uma fase exploratória testou cinco variantes de prompt, levando a uma fase confirmatória usando um prompt de "papel de especialista" (enquadrando o modelo como um verificador de fatos de notícias de entretenimento) sobre falsos positivos do DeepSeek-V3.2. Esta fase incluiu uma análise de compensação para garantir que a mitigação não degradasse a recuperação (recall) de notícias falsas reais.
4. Análise Qualitativa de Erros: Uma codificação manual de 85 casos amostrados de falsos positivos foi conduzida para identificar padrões recorrentes de erro, procurando especificamente por racionalizações envolvendo "inverificabilidade da vida privada" e "desconfiança ao nível do gênero".

Principais Resultados
O estudo identifica uma clara, mas assimetria de gênero específica do modelo, na classificação de veracidade em zero-shot:

• Assimetria em Modelos Específicos: DeepSeek-V3.2 e GPT-5.2 exibem lacunas significativas de falsos positivos. O DeepSeek-V3.2 classificou incorretamente notícias de entretenimento legítimas como falsas em uma taxa 10,1 pontos percentuais maior do que notícias sérias ($p < .001$). O GPT-5.2 mostrou uma lacuna semelhante de 8,8 pontos percentuais ($p < .001$). Em contraste, Claude Opus 4.6 e Gemini 3 Flash não mostraram diferença estatisticamente significativa na FPR entre os dois gêneros.
• Impacto Limitado da Reescrita de Estilo: A reescrita de artigos de entretenimento em um estilo de notícia séria produziu apenas mudanças limitadas e inconsistentes nos julgamentos do modelo. Para o DeepSeek-V3.2, a taxa agregada de falsas permaneceu inalterada após a reescrita. Para o GPT-5.2, a taxa de falsas na verdade aumentou de 22,0% para 32,0% após a reescrita. Isso sugere que a assimetria não é redutível ao registro estilístico apenas.
• Mitigação Específica do Modelo via Prompt: A mitigação baseada em prompt foi eficaz para o DeepSeek-V3.2, mas não para o GPT-5.2. Enquadrar o DeepSeek-V3.2 como um verificador de fatos de notícias de entretenimento reduziu seus falsos positivos em aproximadamente 50% (de 155 casos de linha de base para 77 corrigidos) sem uma perda estatisticamente significativa na recuperação de artigos falsos. No entanto, a mesma família de prompts ofereceu pouca melhoria para o GPT-5.2.
• Padrões de Erro: A análise qualitativa revelou que os falsos positivos frequentemente derivaram de dois padrões recorrentes: tratar alegações sobre vidas privadas como inerentemente inverificáveis e desconsiderar o jornalismo de entretenimento como um gênero epistemicamente mais fraco.

Significado e Contribuições
O artigo faz três contribuições primárias para a literatura sobre avaliação de credibilidade mediada por IA:

1. Identificação de Falsos Positivos Estruturados: Demonstra que métricas de desempenho agregado podem obscurecer falsos positivos sistemáticos dentro do jornalismo legítimo. O estudo revela que LLMs em zero-shot não aplicam padrões neutros de credibilidade em todos os gêneros jornalísticos, com alguns modelos penalizando significativamente as notícias de entretenimento.
2. Desvendar Estilo de Suposições de Gênero: Ao mostrar que experimentos de troca de estilo produzem resultados inconsistentes, o artigo argumenta que o ceticismo em relação às notícias de entretenimento não é meramente uma reação a pistas estilísticas, mas reflete suposições mais profundas e específicas do modelo sobre a legitimidade do próprio gênero.
3. Implicações Metodológicas e Teóricas: As descobertas sugerem que a avaliação de credibilidade baseada em LLMs não avalia apenas alegações de verdade, mas também classifica implicitamente a legitimidade de diferentes formas jornalísticas. Isso reproduz hierarquias existentes onde as notícias sérias são tratadas como mais autoritárias do que notícias leves ou de entretenimento. Consequentemente, os autores argumentam que os protocolos de avaliação devem incluir análise de falsos positivos estratificada por gênero ao lado da precisão geral para garantir uma implantação responsável.

O estudo conclui que, embora estratégias de mitigação como prompts de papel de especialista possam ser eficazes para modelos específicos, elas não são soluções genéricas. As assimetrias observadas representam um modo de falha específico do modelo, e não uma propriedade inerente da classificação em zero-shot, destacando a necessidade de estruturas de avaliação que levem em conta como diferentes sistemas operacionalizam suposições implícitas sobre a legitimidade jornalística.