Comparing BERT Sentence-Pair Classification and Few-Shot LLM Prompting for Detecting Threat and Solution Framing in German Climate News

Technische Samenvatting: Vergelijking van BERT Sentence-Pair Classificatie en Few-Shot LLM Prompting voor het Detecteren van Dreigings- en Oplossingsoriëntatie in Duitse Klimaatnieuws

Probleemstelling
De manier waarop de media het klimaatverandering framen—specifiek of de berichtgeving de nadruk legt op dreigingen (risico's, gevaren) of oplossingen (acties, middelen)—beïnvloedt het publieke engagement en de steun voor beleid aanzienlijk. Hoewel handmatige inhoudsanalyse de standaard is voor het bestuderen van deze framingpatronen, is dit arbeidsintensief en moeilijk schaalbaar. Geautomatiseerde detectie met behulp van Natural Language Processing (NLP) biedt een oplossing, maar vereist validatie tegenover menselijke oordelen. Er bestaat een kritische kloof in de literatuur met betrekking tot de directe vergelijking van twee dominante geautomatiseerde benaderingen voor zinsniveau-framingdetectie in een specifiek domein (klimaat) en taal (Duits): fine-tuned encoder-modellen versus few-shot prompting van Large Language Models (LLM's). Bovendien vertrouwen de meeste bestaande werken op generieke frame-taxonomieën in plaats van het onderscheid tussen dreiging versus oplossing dat centraal staat in klimaatcommunicatieonderzoek, en de analyse van Duitse klimaatmedia blijft ondervertegenwoordigd.

Methodologie
De studie evalueert twee verschillende benaderingen op een corpus van 440 handmatig gecodeerde artikelen uit twee grote Oostenrijkse kranten (Kronen Zeitung en Der Standard), gepubliceerd tussen januari en juni 2024. De dataset werd gesegmenteerd in 10.981 zinnen, waarbij binaire labels voor "dreigingsoriëntatie" en "oplossingsoriëntatie" als onafhankelijke dimensies werden behandeld.

1. Fine-Tuned BERT Benadering:

   • Model: Een monolinguale Duitse BERT-model (deepset/gbert-large) werd gefine-tuned voor sentence-pair classificatie.
   • Input Formaat: Om context te incorporeren, werd de input geformatteerd als een zinspaar: [CLS] vorige zin [SEP] doelzin [SEP]. Dit stelt het model in staat om de direct voorafgaande zin als context te gebruiken.
   • Training: Twee afzonderlijke binaire classifiers (één voor dreiging, één voor oplossing) werden getraind met de AdamW optimizer gedurende 6 epochs.
   • Ablatie: Een variant met een enkele zin (zonder de voorafgaande context) werd eveneens getraind om de impact van context te meten.

2. Few-Shot LLM Prompting Benadering:

   • Model: Het open-weights Llama 4 Maverick model werd via een API geraadpleegd.
   • Prompt Architectuur: Prompts werden volledig in het Duits geschreven en gestructureerd met XML-tags die acht secties bevatten: roldefinitie, speech-act taxonomie, framingdefinities, classificatieregels, positieve/negatieve voorbeelden, de volledige artikeltekst en de doelzin.
   • Redenering: Het model maakte gebruik van Chain-of-Thought (CoT) redenering, waarbij een rechtvaardigingsveld vereist was vóór de uiteindelijke classificatie.
   • Output: De gestructureerde JSON-output bevatte een binaire classificatie, een redeneringsveld en een betrouwbaarheidsscore (confidence score).
   • Filtering: Een threshold sweep (0.00 tot 1.00) werd uitgevoerd op de betrouwbaarheidsscores om metrieken te optimaliseren, hoewel dit ineffectief bleek.

Belangrijkste Bijdragen

• Systematische Vergelijking: Het artikel biedt een directe, gecontroleerde vergelijking tussen fine-tuned BERT en few-shot LLM prompting voor zinsniveau klimaatframingdetectie in het Duits, een domein waar dergelijke vergelijkingen ontbreken.
• Contextuele Analyse: Het demonstreert dat het verstrekken van de voorafgaande zin als context in een sentence-pair formaat de prestaties van BERT aanzienlijk verbetert ten opzichte van single-sentence inputs.
• Prompt Engineering: De auteurs beschrijven een uitgebreide prompt-architectuur die speech-act taxonomieën, domeinspecifieke coderingsregels en CoT-redenering integreert, wat de informatie nabootst die beschikbaar is voor menselijke codeurs.

Resultaten

• Prestaties: De fine-tuned BERT classifiers presteerden beter dan de LLM-gebaseerde classifiers op beide taken. BERT behaalde een F1-score van 0.83 voor zowel dreigings- als oplossingsdetectie, terwijl de LLM een F1 van 0.78 behaalde.
• Impact van Context: De ablatie-studie bevestigde de waarde van context. Het BERT single-sentence model (zonder de voorafgaande zin) daalde naar F1-scores in de lage 0.70s, een afname van ongeveer 10 punten vergeleken met het sentence-pair model.
• Discrepantie-analyse: Op de subset van zinnen waar de twee methoden van mening verschilden (ongeveer 20-24% van de testset), behield BERT een F1 van 0.65 (dreiging) en 0.60 (oplossing), terwijl de LLM bijna naar een willekeurig niveau zakte (F1 ~0.34–0.35). De voorspellingen van BERT op deze ambigue gevallen stemden ongeveer twee keer zo vaak overeen met de grondwaarheid als die van de LLM.
• Foutpatronen:
  • BERT: Had moeite met indirecte framing waarbij de context buiten de directe voorafgaande zin lag, en met zinnen die dreigingen en oplossingen tegenover elkaar plaatsten.
  • LLM: Leed aan "context bleeding", waarbij materiaal met een oplossingsoriëntatie elders in het volledige artikel ervoor zorgde dat het model lokaal neutrale zinnen verkeerd classificeerde als oplossingsgericht. De LLM vertoonde ook interne inconsistenties waarbij de redenering in strijd was met de classificatie.
• Betrouwbaarheidsscores: De zelfgerapporteerde betrouwbaarheidsscores van de LLM waren slecht gekalibreerd. Ondanks een gemiddelde betrouwbaarheid die de 0.93 overschreed, was de foutmarge meer dan 20%. Het aanpassen van drempelwaarden op basis van betrouwbaarheid verbeterde de F1-scores niet.

Significantie en Claims
Het artikel claimt dat voor zinsniveau framing-classificatietaken waarbij gelabelde trainingsdata beschikbaar is, fine-tuned encoder-modellen de superieure keuze blijven, omdat ze een hogere nauwkeurigheid bieden en beter omgaan met ambigue gevallen vergeleken met few-shot LLM prompting. De studie valideert de sentence-pair benadering als een effectieve, lichtgewicht methode om context te integreren in encoder-gebaseerde classifiers.

De auteurs merken echter op dat de LLM-benadering concurrerende prestaties levert zonder dat er modeltraining vereist is, wat het een levensvatbaar alternatief maakt voor situaties waarin gelabelde data schaars of niet beschikbaar is. De resultaten dragen bij aan het bredere discours in de computationele sociale wetenschappen over de trade-offs tussen supervised fine-tuning en in-context learning. Het artikel concludeert bescheiden dat hoewel LLM's krachtig zijn, ze momenteel de betrouwbaarheid van fine-tuned modellen missen voor deze specifieieve taak, met name wat betreft de kalibratie van betrouwbaarheid en het omgaan met complexe contextuele afhankelijkheden. Toekomstig werk suggereert de exploratie van artikel-niveau train-test splits en het effect van grotere contextvensters.