Long Live Fine-Tuning: Task-Specific Transformers Outperform Zero-Shot LLMs for Misinformation Response Classification on Reddit

Technische Samenvatting: Long Live Fine-Tuning: Taakspecifieke Transformers Presteren Beter dan Zero-Shot LLM's voor de Classificatie van Misinformatie-respons op Reddit

Probleemstelling
Nu Large Language Models (LLM's) steeds vaker worden ingebed in zoekmachines en conversationele interfaces, is er een impliciete aanname ontstaan: dat de schaal en algemene capaciteit van een model voldoende zijn voor de genuanceerde, fijnmazige classificatie van misinformatie-discourse. Specifiek is de vraag of zero-shot LLM's betrouwbaar reacties van gebruikers op misinformatieclaims kunnen classificeren als "geloof" (het verspreiden van de claim), "fact-check" (het corrigeren ervan) of "overig" (neutraal/ongerelateerd). Deze taak is niet triviaal vanwege linguïstische asymmetrie; fact-checks bevatten vaak expliciete correctieve markers, terwijl "geloof" vaak impliciet, affectief of sarcastisch is. Het paper test de aanname dat zero-shot inferentie door frontier-modellen de prestaties van kleine, taakspecifieke fine-tuned transformers kan evenaren of overtreffen in deze verificatiecontext.

Methodologie
De studie evalueert negen modellen over drie paradigma's aan de hand van een gecureerde dataset van 900 Reddit-comments verspreid over drie PolitiFact-geverifieerde misinformatieclaims (Milieu, Gezondheid, Immigratie).

• Dataset: De dataset bestaat uit 300 comments per onderwerp (100 per klasse: geloof, fact-check, overig), gebalanceerd om macro-F1 verstoring te voorkomen. Annotaties werden uitgevoerd door menselijke annotatoren met een substantiële inter-annotator overeenstemming ($\kappa = 0,752$). Een pre-filtering stap met behulp van GPT-4o werd toegepast om kandidaat-comments te identificeren, waarbij de auteurs verifieerden dat dit verwaarloosbare bias introduceerde.
• Modellen:
  • Zero-Shot Generatieve LLM's: Drie open-source Llama-varianten (3B, 8B, 70B) en drie commerciële frontier-modellen (Claude Haiku 4.5, Gemini Flash Lite 2.5, Claude Sonnet 4.6).
  • Zero-Shot NLI Baseline: BART-MNLI, die classificatie herformuleert als tekstuele implicatie (entailment).
  • Supervised Fine-Tuning: DistilBERT en RoBERTa, gefine-tuned op de 900-comment dataset.
• Experimenteel Ontwerp:
  • Label Schema's: Modellen werden getest onder twee condities: een Universeel Label (UL) schema (generieke labels toegepast over alle onderwerpen) en Onderwerp-Specifieke schema's (fijnmazige labels afgestemd op het discours van elke specifieke claim).
  • Evaluatie: Gestratificeerde 5-voudige cross-validatie werd gebruikt. Prestaties werden gemeten via macro-F1 en per-klasse F1-scores. Statistische significantie werd beoordeeld via gepaarde Wilcoxon signed-rank tests en permutatietests met Holm–Bonferroni correctie.
  • Constraints: Zero-shot inferentie was deterministisch (temperatuur=0). Commerciële modellen werden via API's aangeroepen, terwijl open-source modellen lokaal werden gedraaid.

Belangrijkste Resultaten
De centrale bevinding is dat de aanname van schaal-voldoendeheid niet standhoudt; taakspecifieke fine-tuning presteert significant beter dan zero-shot configuraties, met name op de cruciale "geloof"-klasse.

1. Superioriteit van Fine-Tuning: Gefine-tuned RoBERTa bereikte een macro-F1 van 0,62, wat significant beter is dan het beste zero-shot model, Claude Haiku 4.5 (0,50). Dit voordeel was consistent over de onderwerpen en label schema's heen.
2. De "Geloof"-kloof: Het super виде advantage is geconcentreerd op de "geloof"-klasse, die door zero-shot modellen consequent ondergedetecteerd wordt.
   • Onder universele labels detecteerden zero-shot modellen "geloof" met F1-scores variërend van 0,17 (Claude Sonnet 4.6) tot 0,47 (Llama-3.2-3B, die instortte op de "overig" klasse).
   • Gefine-tuned RoBERTa bereikte een belief F1 van 0,52, een winst van $\Delta = +0,18$ ten opzichte van het beste gebalanceerde zero-shot model.
   • De "geloof"-klasse blijft de moeilijkste klasse om te detecteren, zelfs onder supervisie, wat wijst op een linguïstische asymmetrie waarbij impliciete/affectieve cues moeilijker te vangen zijn dan expliciete correctieve markers.
3. Schaalvergroting Helpt Niet Consistent:
   • Binnen de Llama-familie leverde het opschalen van 8B naar 70B geen consistente verbeteringen op; het 70B model presteerde slechter op de "geloof"-klasse (0,24) dan het 8B model.
   • Onder de commerciële modellen presteerde het grotere/bekwamer Claude Sonnet 4.6 minder goed dan het kleinere Claude Haiku 4.5 (0,42 vs. 0,50 macro-F1). De prestaties van Sonnet stortten in op de "geloof"-klasse (0,17) en triggerde safety-aligned weigeringen bij gevoelige comments, wat aangeeft dat safety-alignment, in plaats van capaciteitslimieten, de prestaties belemmerde.
4. Interactie tussen Label Schema en Onderwerp: Zero-shot prestaties zijn zeer gevoelig voor de formulering van labels en het onderwerp. Onderwerp-specifieke labels verbeterden de prestaties voor sommige modellen (bijv. BART-MNLI in Milieu) maar niet voor andere, en hetzelfde model kon meer dan 0,13 macro-F1 variëren over verschillende onderwerpen.
5. BART-MNLI als Baseline: Ondanks dat het een zero-shot NLI-model is, bood BART-MNLI een verrassend sterk, gebalanceerd en kostenefficiënt baseline, dat in specifieke settings meerdere generatieve LLM's overtrof zonder API-kosten te veroorzaken.

Significantie en Claims
Het paper betoogt dat in de context van misinformatie-verificatie, waar het missen van een "geloof"-respons de kostbaardere fout is, taakspecifieke fine-tuning de meer betrouwbare keuze blijft, ondanks de proliferatie van grote generatieve modellen.

• De Schaal-aanname Uitgedaagd: De studie levert empirisch bewijs dat schaal en algemene capaciteit onvoldoende zijn voor fijnmazige verificatietaken. De "geloof"-klasse, die impliciet en affectief is, wordt systematisch ondergedetecteerd door zero-shot modellen, inclusief propriëtaire frontier-modellen.
• Artifacten van Safety Alignment: De onderprestatie van modellen zoals Claude Sonnet 4.6 wordt toegeschreven aan safety-alignment mechanismen die modellen terughoudend maken om te beweren dat een comment "misinformatie verspreidt" zonder sterk contextueel bewijs, in plaats van een gebrek aan redeneercapaciteit.
• Kosteneffectiviteit: Gefine-tuned RoBERTa bereikt superieure prestaties tegen een fractie van de kosten per query van commerciële LLM's. Hoewel zero-shot modellen (met name BART-MNLI) een praktisch baseline bieden wanneer gelabelde data ontbreekt, zijn ze geen vervanging voor supervised modellen wanneer hoogwaardige detectie van misinformatie-propagatie vereist is.
• Linguïstische Asymmetrie: De moeilijkheid bij het detecteren van "geloof" wordt geïdentificeerd als een structurele beperking van de taak (impliciete vs. expliciete cues) in plaats van een probleem dat enkel door model-scaling kan worden opgelost.

De auteurs concluderen dat hoewel grote generatieve modellen krachtig zijn, zij de noodzaak voor supervised, taakspecifieke fine-tuning voor betrouwbare misinformatie-respons classificatie nog niet vervangen, met name wanneer het doel is om de propagatie van valse claims te identificeren in plaats van enkel hun correctie.