Are LLMs More Skeptical of Entertainment News?

Technische Samenvatting: Zijn LLM's Sceptischer tegenover Entertainmentnieuws?

Probleemstelling
Naarmate Large Language Models (LLM's) steeds vaker worden ingezet voor geautomatiseerde beoordeling van nieuwscredibiliteit, bestaat er een kritieke lacune in het begrijpen of deze systemen eerlijke standaarden hanteren voor verschillende journalistieke genres. Hoewel eerdere onderzoek zich heeft gericht op geaggregeerde benchmarkprestaties en domein-generalisatie, blijft het onduidelijk of LLM's legitiem entertainmentnieuws systematisch vaker als "nep" classificeren dan legitiem hard nieuws. Deze zorg ontstaat omdat de stilistische conventies van entertainmentjournalistiek – zoals een focus op privéleven, een narratieve presentatie en emotionele levendigheid – overlappen met oppervlakkige kenmerken waarop detectoren vaak vertrouwen om onbetrouwbaarheid aan te wijzen. Als LLM's deze genreconventies disproportioneel bestraffen, riskeren ze gestructureerde vals-positieven in te voeren die platformmoderatie bevooroordeelt en bestaande hiërarchieën van journalistieke legitimiteit versterken.

Methodologie
De studie hanteert een within-dataset-ontwerp met gebruik van de GossipCop-subset van de FakeNewsNet-benchmark, die zowel entertainmentgeruchten als hard nieuwsartikelen bevat die als echt zijn gelabeld. Het onderzoek maakt gebruik van vier frontier LLM's: DeepSeek-V3.2, GPT-5.2, Claude Opus 4.6 en Gemini 3 Flash. De methodologie bestaat uit vier distincte componenten:

1. Within-Dataset Vergelijking van Vals-positieven: De auteurs vergelijken de vals-positieve rates (FPR) van zero-shot LLM's op twee subsets van echte artikelen uit GossipCop: entertainmentgeruchten en hard nieuws. Artikelen werden gefilterd en gelabeld in vier categorieën (entertainmentgeruchten, hard nieuws, opinie, promotioneel) met behulp van een door DeepSeek-V3.2 geclassificeerde classifier die gevalideerd werd door menselijke coderaars. De primaire maatstaf is het verschil in FPR ($\Delta$FPR) tussen de twee genres.
2. Stijl-uitwisselingsexperiment: Om te testen of de waargenomen asymmetrie uitsluitend wordt gedreven door stilistisch register, werden 50 echte entertainmentartikelen herschreven naar een conventionele hard-newsstijl, waarbij de kernfeitelijke claims behouden bleven. Deze herschreven artikelen werden geëvalueerd tegenover de originelen om te bepalen of stilistische veranderingen alleen vals-positieven konden verminderen.
3. Prompt-gebaseerde Mitigatie: De studie onderzoekt of specifieke promptstrategieën vals-positieven kunnen verminderen. Een verkennende fase testte vijf promptvarianten, wat leidde tot een bevestigende fase met een "expert-roll"-prompt (waarin het model wordt gepositioneerd als een factchecker voor entertainmentnieuws) op DeepSeek-V3.2 vals-positieven. Deze fase omvatte een afwegingsanalyse om ervoor te zorgen dat mitigatie de recall voor echt nep nieuws niet verslechterde.
4. Kwalitatieve Foutanalyse: Een handmatige codering van 85 bemonsterde vals-positieve gevallen werd uitgevoerd om terugkerende foutpatronen te identificeren, met name met oog voor redeneringen die te maken hebben met "onverifieerbaarheid van privéleven" en "genre-specifiek wantrouwen".

Belangrijkste Resultaten
De studie identificeert een duidelijke, maar model-specifieke genre-asymmetrie in zero-shot waarheidsclassificatie:

• Asymmetrie in Specifieke Modellen: DeepSeek-V3.2 en GPT-5.2 vertonen significante verschillen in vals-positieve rates. DeepSeek-V3.2 classificeerde legitiem entertainmentnieuws 10,1 procentpunten vaker als nep dan hard nieuws ($p < .001$). GPT-5.2 toonde een vergelijkbaar gat van 8,8 procentpunten ($p < .001$). Daarentegen vertoonden Claude Opus 4.6 en Gemini 3 Flash geen statistisch significant verschil in FPR tussen de twee genres.
• Beperkte Impact van Stijlherschrijving: Het herschrijven van entertainmentartikelen naar een hard-newsstijl resulteerde slechts in beperkte en inconsistente veranderingen in modeloordelen. Voor DeepSeek-V3.2 bleef het geaggregeerde percentage nep nieuws ongewijzigd na herschrijving. Voor GPT-5.2 steeg het percentage nep nieuws daadwerkelijk van 22,0% naar 32,0% na herschrijving. Dit suggereert dat de asymmetrie niet uitsluitend tot stilistisch register te herleiden is.
• Model-specifieke Prompt-mitigatie: Prompt-gebaseerde mitigatie was effectief voor DeepSeek-V3.2 maar niet voor GPT-5.2. Het positioneren van DeepSeek-V3.2 als een factchecker voor entertainmentnieuws verminderde de vals-positieven met ongeveer 50% (van 155 basisgevallen naar 77 gecorrigeerde) zonder een statistisch significant verlies in recall voor nep artikelen. Dezelfde promptfamilie bood echter weinig verbetering voor GPT-5.2.
• Foutpatronen: Kwalitatieve analyse toonde aan dat vals-positieven vaak voortkwamen uit twee terugkerende patronen: het behandelen van claims over privélevens als inherent onverifieerbaar en het afdoen van entertainmentjournalistiek als een epistemisch zwakker genre.

Betekenis en Bijdragen
Het artikel levert drie primaire bijdragen aan de literatuur over door AI bemiddelde credibiliteitsbeoordeling:

1. Identificatie van Gestructureerde Vals-positieven: Het toont aan dat geaggregeerde prestatie-metrics systematische vals-positieven binnen legitieme journalistiek kunnen verbergen. De studie onthult dat zero-shot LLM's geen neutrale credibiliteitsstandaarden hanteren voor alle journalistieke genres, waarbij sommige modellen entertainmentnieuws significant bestraffen.
2. Ontwarren van Stijl en Genre-aannames: Door aan te tonen dat stijl-uitwisselingsexperimenten inconsistente resultaten opleveren, betoogt het artikel dat de scepticisme tegenover entertainmentnieuws niet louter een reactie is op stilistische signalen, maar diepere, model-specifieke aannames over de legitimiteit van het genre zelf weerspiegelt.
3. Methodologische en Theoretische Implicaties: De bevindingen suggereren dat LLM-gebaseerde credibiliteitsbeoordeling niet alleen waarheidsclaims evalueert, maar ook impliciet de legitimiteit van verschillende journalistieke vormen rangschikt. Dit reproduceert bestaande hiërarchieën waarbij hard nieuws als gezaghebbender wordt behandeld dan soft of entertainmentnieuws. Bijgevolg betogen de auteurs dat evaluatieprotocollen genre-gelaagde vals-positieve analyse moeten omvatten naast algehele nauwkeurigheid om verantwoord gebruik te waarborgen.

De studie concludeert dat hoewel mitigatiestrategieën zoals expert-roll-prompting effectief kunnen zijn voor specifieke modellen, ze geen generieke oplossingen zijn. De waargenomen asymmetrieën vertegenwoordigen een model-specifieke faalmodus in plaats van een inherente eigenschap van zero-shot classificatie, wat de noodzaak benadrukt van evaluatiekaders die rekening houden met hoe verschillende systemen impliciete aannames over journalistieke legitimiteit operationaliseren.