Are LLMs More Skeptical of Entertainment News?

Résumé technique : Les LLM sont-ils plus sceptiques envers les actualités de divertissement ?

Énoncé du problème
Alors que les modèles de langage de grande taille (LLM) sont de plus en plus déployés pour l'évaluation automatisée de la crédibilité des actualités, un écart critique subsiste dans la compréhension de la manière dont ces systèmes appliquent des normes impartiales à travers différents genres journalistiques. Alors que les recherches antérieures se sont concentrées sur les performances agrégées des benchmarks et la généralisation de domaine, il reste à déterminer si les LLM classifient systématiquement les actualités de divertissement légitimes comme « fausses » à des taux plus élevés que les actualités sérieuses légitimes. Cette préoccupation émerge car les conventions stylistiques du journalisme de divertissement — telles qu'une focalisation sur la vie privée, une présentation narrative et une vivacité émotionnelle — chevauchent des caractéristiques de surface sur lesquelles les détecteurs s'appuient souvent pour signaler l'insécurité. Si les LLM pénalisent de manière disproportionnée ces conventions de genre, ils risquent d'introduire de faux positifs structurés qui biaisent la modération des plateformes et renforcent les hiérarchies existantes de légitimité journalistique.

Méthodologie
L'étude adopte une conception intra-ensemble de données utilisant le sous-ensemble GossipCop du benchmark FakeNewsNet, qui contient à la fois des articles de ragots de divertissement et des articles d'actualités sérieuses étiquetés comme réels. La recherche utilise quatre LLM de pointe : DeepSeek-V3.2, GPT-5.2, Claude Opus 4.6 et Gemini 3 Flash. La méthodologie se compose de quatre composantes distinctes :

1. Comparaison des faux positifs intra-ensemble de données : Les auteurs comparent les taux de faux positifs (FPR) des LLM en zéro-shot sur deux sous-ensembles d'articles réels de GossipCop : les ragots de divertissement et les actualités sérieuses. Les articles ont été filtrés et étiquetés en quatre catégories (ragots de divertissement, actualités sérieuses, opinion, promotionnelle) à l'aide d'un classificateur DeepSeek-V3.2 validé par des codeurs humains. La métrique principale est la différence de FPR ($\Delta$FPR) entre les deux genres.
2. Expérience d'échange de style : Pour tester si l'asymétrie observée est uniquement pilotée par le registre stylistique, 50 articles réels de divertissement ont été réécrits dans un style d'actualités sérieuses conventionnel tout en préservant les revendications factuelles de base. Ces articles réécrits ont été évalués par rapport aux originaux pour déterminer si les changements stylistiques seuls pouvaient réduire les faux positifs.
3. Atténuation basée sur l'invite (prompt) : L'étude examine si des stratégies d'invite spécifiques peuvent réduire les faux positifs. Une phase exploratoire a testé cinq variantes d'invite, menant à une phase confirmatoire utilisant une invite de « rôle d'expert » (présentant le modèle comme un vérificateur de faits pour les actualités de divertissement) sur les faux positifs de DeepSeek-V3.2. Cette phase comprenait une analyse des compromis pour s'assurer que l'atténuation ne dégradait pas le rappel sur les vraies fausses nouvelles.
4. Analyse qualitative des erreurs : Un codage manuel de 85 cas d'échantillons de faux positifs a été réalisé pour identifier des motifs d'erreur récurrents, en recherchant spécifiquement des justifications impliquant « l'invérifiabilité de la vie privée » et « la méfiance au niveau du genre ».

Résultats clés
L'étude identifie une asymétrie de genre spécifique au modèle claire mais dans la classification de véracité en zéro-shot :

• Asymétrie dans des modèles spécifiques : DeepSeek-V3.2 et GPT-5.2 présentent des écarts significatifs de faux positifs. DeepSeek-V3.2 a classé à tort les actualités de divertissement légitimes comme fausses à un taux de 10,1 points de pourcentage supérieur à celui des actualités sérieuses ($p < .001$). GPT-5.2 a montré un écart similaire de 8,8 points de pourcentage ($p < .001$). En revanche, Claude Opus 4.6 et Gemini 3 Flash n'ont montré aucune différence statistiquement significative du FPR entre les deux genres.
• Impact limité de la réécriture de style : La réécriture des articles de divertissement dans un style d'actualités sérieuses n'a produit que des changements limités et incohérents dans les jugements des modèles. Pour DeepSeek-V3.2, le taux global de fausseté est resté inchangé après réécriture. Pour GPT-5.2, le taux de fausseté a même augmenté, passant de 22,0 % à 32,0 % après réécriture. Cela suggère que l'asymétrie n'est pas réductible au seul registre stylistique.
• Atténuation spécifique au modèle par invite : L'atténuation basée sur l'invite a été efficace pour DeepSeek-V3.2 mais pas pour GPT-5.2. Présenter DeepSeek-V3.2 comme un vérificateur de faits pour les actualités de divertissement a réduit ses faux positifs d'environ 50 % (passant de 155 cas de référence à 77 corrigés) sans perte statistiquement significative du rappel pour les articles faux. Cependant, la même famille d'invites n'a offert que peu d'amélioration pour GPT-5.2.
• Motifs d'erreur : L'analyse qualitative a révélé que les faux positifs découlaient souvent de deux motifs récurrents : traiter les revendications concernant la vie privée comme intrinsèquement invérifiables et déconsidérer le journalisme de divertissement comme un genre épistémiquement plus faible.

Signification et contributions
L'article apporte trois contributions principales à la littérature sur l'évaluation de la crédibilité médiatisée par l'IA :

1. Identification de faux positifs structurés : Il démontre que les métriques de performance agrégées peuvent masquer des faux positifs systématiques au sein du journalisme légitime. L'étude révèle que les LLM en zéro-shot n'appliquent pas de normes de crédibilité neutres à tous les genres journalistiques, certains modèles pénalisant considérablement les actualités de divertissement.
2. Démêler le style des hypothèses de genre : En montrant que les expériences d'échange de style produisent des résultats incohérents, l'article soutient que le scepticisme envers les actualités de divertissement n'est pas simplement une réaction à des indices stylistiques, mais reflète des hypothèses plus profondes et spécifiques au modèle concernant la légitimité du genre lui-même.
3. Implications méthodologiques et théoriques : Les résultats suggèrent que l'évaluation de la crédibilité basée sur les LLM n'évalue pas seulement les revendications de vérité, mais classe implicitement la légitimité de différentes formes journalistiques. Cela reproduit les hiérarchies existantes où les actualités sérieuses sont traitées comme plus autoritaires que les actualités légères ou de divertissement. Par conséquent, les auteurs soutiennent que les protocoles d'évaluation doivent inclure une analyse des faux positifs stratifiée par genre parallèlement à la précision globale pour assurer un déploiement responsable.

L'étude conclut que si des stratégies d'atténuation comme l'invite de rôle d'expert peuvent être efficaces pour des modèles spécifiques, elles ne constituent pas des solutions génériques. Les asymétries observées représentent un mode de défaillance spécifique au modèle plutôt qu'une propriété inhérente de la classification en zéro-shot, soulignant la nécessité de cadres d'évaluation qui tiennent compte de la manière dont différents systèmes opérationnalisent les hypothèses implicites sur la légitimité journalistique.