Fine-tuning with Hierarchical Prompting for Robust Propaganda Classification Across Annotation Schemas

Technische Samenvatting: Fine-tuning met Hiërarchische Prompting voor Robuuste Propagandaclassificatie over Annotatieschema's

Probleemstelling
Propagandadetectie in sociale media staat voor aanzienlijke uitdagingen door de ruis, de korte aard van teksten, de prevalentie van informele taal en een lage onderlinge overeenstemming tussen annotatoren (IAA). Bestaande taxonomieën zijn vaak techniekgericht (met focus op retoriek zoals 'geladen taal') en worstelen met het vastleggen van de strategische communicatieve intenties achter propaganda. Bovendien bestaat er een afweging in het ontwerpen van schema's: realistische, complexe schema's vangen de diversiteit uit de echte wereld, maar verminderen de betrouwbaarheid van annotatie, terwijl vereenvoudigde schema's de overeenstemming verhogen ten koste van de ecologische validiteit. Daarnaast blijft de interactie tussen het ontwerp van het annotatieschema, toezichtregimes (zero-shot versus fine-tuned) en promptingstrategieën in de context van Large Language Models (LLM's) onderbelicht.

Methodologie
De auteurs voerden een gecontroleerd experiment uit om propagandaclassificatie te evalueren over drie interactieve dimensies: annotatieschema, toezichtregime en promptingstrategie.

1. Datasets en Schema's:

   • Data Bron: Het onderzoek gebruikte het HQP-benchmarkdataset (30.000 Engelse tweets vanaf het begin van de Russisch-Oekraïense oorlog).
   • Schema A (Nieuw, op intentie gebaseerd): De auteurs introduceerden een nieuwe taxonomie die 17 fijnmazige technieken groepeerde in vijf hoogwaardige categorieën op basis van communicatieve intentie (bijvoorbeeld Schuld afschuiven, Agressie rechtvaardigen, Toestemming fabriceren). Dit schema werd ontwikkeld via een iteratief proces met expertannotatie, door LLM's ondersteunde harmonisatie en groepsconsensus. Het leverde een gemiddelde IAA op ($\kappa=0,309$), wat de inherente ambiguïteit van intentie in korte teksten weerspiegelt.
   • Schema B (Sahitaj et al., 2025): Een span-gebaseerde, techniekgerichte taxonomie aangepast voor Twitter. Voor dit onderzoek groepeerden de auteurs de 17 technieken in zes hoogwaardige categorieën. Dit schema toonde aanzienlijk hogere IAA ($\kappa=0,594$).

2. Modellen:
   Vier taalmodellen werden geëvalueerd: GPT-4.1-nano, Phi-4 14B, Qwen2.5-14B en Qwen3-14B. Experimenten werden uitgevoerd in zowel zero-shot (Base) als fine-tuned (FT) regimes. Fine-tuning werd uitgevoerd met LoRA-adapters voor open-weight modellen en API-gebaseerde optimalisatie voor GPT-4.1-nano.

3. Promptingstrategieën:

   • Direct-High: Modellen voorspellen de hoogwaardige categorie direct vanuit de tekst.
   • HiPP (Hiërarchische Prompting): Een 'Main→High'-strategie waarbij het model eerst de meest prominente fijnmazige techniek voorspelt en vervolgens deze voorspelling aggregeert om in één doorgang de hoogwaardige categorie te bepalen.

4. Evaluatie:
   Prestaties werden gemeten met Macro-F1 en Weighted-F1 op een gebalanceerde gouden testset (200 tweets per schema). Foutenanalyse omvatte verwarringsmatrices, lemma-frequentiestatistieken en PCA-visualisatie van TF-IDF-vectoren.

Belangrijkste Bijdragen

1. Nieuwe, op intentie gebaseerde Taxonomie: Het artikel introduceert de eerste volledig nieuwe conceptuele taxonomie voor propaganda sinds 2019, met een verschuiving van focus van oppervlakkige technieken naar strategische communicatiedoelen.
2. Gecontroleerd Comparatief Kader: Het onderzoek isoleert de effecten van schema-ontwerp, toezicht en prompting door ze als orthogonale factoren te behandelen, en demonstreert hoe deze elementen interageren om modelrobuustheid te vormen.
3. Validatie van HiPP (Hiërarchische Prompting): De auteurs stellen de HiPP-methode voor en valideren deze, waarbij ze de specifieke bruikbaarheid aantonen in fine-tuned settings, met name voor ruisige schema's met lage overeenstemming.
4. Hoogwaardige Labeling voor Bestaande Schema's: De auteurs creëerden hoogwaardige labels voor het schema van Sahitaj et al. (2025) via een clusteringprocedure, waarbij hoge overeenstemming werd bereikt bij menselijke validatie, en leverden een robuuste baseline voor vergelijking.

Resultaten

• Impact van Fine-tuning: Fine-tuning was doorslaggevend in alle configuraties, en transformeerde zwakke zero-shot baselines naar concurrerende systemen (verbeteringen van +0,09 tot +0,30 in Weighted-F1). Het onthulde methodologische verschillen die in het basale regime onzichtbaar waren.
• Schema-prestaties: Het Sahitaj-schema leverde consistent hogere absolute prestaties op (verschillen van +0,05 tot +0,15 in Weighted-F1) vanwege de hogere betrouwbaarheid van de annotatie. Het op intentie gebaseerde schema bood echter, hoewel uitdagender, een rijkere lens op strategische doelen.
• Modelprestaties: Onder open-weight modellen behaalde de Qwen-serie (met name Qwen3-14B) de sterkste algehele prestaties. Phi-4 14B presteerde consistent beter dan GPT-4.1-nano in beide schema's en regimes.
• Effectiviteit van HiPP:
  • In zero-shot settings presteerde HiPP (Main→High) vaak slechter dan Direct-High, met name op het schema met lage IAA, wat suggereert dat hiërarchische decompositie ruis kan versterken zonder aangepaste representaties.
  • Na fine-tuning werd HiPP zeer voordelig, vooral op het op intentie gebaseerde schema. Het bood een stabiel methodologisch voordeel en hielp modellen meerderheidsstemlabels te herstellen, zelfs in gevallen van hoge annotator-ongelijkheid.
• Foutenanalyse:
  • Zero-Shot: Modellen waren hypergevoelig voor lexische aanwijzingen (bijvoorbeeld 'Oekraïne', 'Nazi', 'oorlog'), wat leidde tot veel vals-positieven.
  • Fine-Tuned: Fouten verschoven van simpele lexische triggers naar echt ambigu, gepolariseerde gevallen. Fine-tuned HiPP-modellen verminderden vals-positieven bij neutrale oorlogsverslaggeving en concentreerden fouten op conceptueel naburige categorieën (bijvoorbeeld Realiteit verstoren verwarren met Schuld afschuiven), wat wijst op een meer gestructureerd begrip van de taxonomie.
  • PCA-visualisatie: Het op intentie gebaseerde schema produceerde een dichter, overlappend beslissingsruimte vergeleken met de compacte, goed gescheiden clusters van het Sahitaj-schema, wat de hogere moeilijkheidsgraad van de op intentie gebaseerde taak bevestigt.

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage methodologisch is, en demonstreert dat fine-tuning essentieel is voor robuuste propagandadetectie en dat hiërarchische prompting (HiPP) werkt als een stabiliserende inductieve bias, specifiek wanneer modellen worden aangepast aan ruisige, onbalans annotatieruimtes.

De auteurs betogen dat terwijl vereenvoudigde, techniekgerichte schema's duidelijkere leersignalen bieden, op intentie gebaseerde schema's noodzakelijk zijn voor een genuanceerde analyse van de strategische doelen van propaganda. Zij stellen dat moderne LLM's, wanneer ze met HiPP worden gefine-tuned, convergeren naar vergelijkbare, interpreteerbare foutstructuren, wat suggereert dat conclusies getrokken uit één modelfamilie redelijk overdraagbaar zijn naar andere. Het werk biedt een uitdagende benchmark (het HQP-dataset met nieuwe op intentie gebaseerde labels) voor toekomstig onderzoek naar detectie in de echte wereld, met de nadruk dat robuuste systemen rekening moeten houden met de afweging tussen ecologisch realisme en annotatiebetrouwbaarheid.

De auteurs blijven bescheiden, en merken op dat hun resultaten indicatief zijn voor methodologische trends gebaseerd op één data-split, en dat de voorgestelde op intentie gebaseerde taxonomie, hoewel waardevol, inherente ruis introduceert waardoor het een moeilijker classificatieprobleem is dan bestaande kaders.