Technische Samenvatting: Het aanpassen van Reinforcement Learning met Chain-of-Thought Supervisie voor de verklaarbare detectie van haatdragende en propagandistische memes

1. Probleemstelling

Haatdragende en propagandistische memes maken gebruik van de wisselwerking tussen afbeeldingen en tekst om schadelijke intenties over te brengen die noch de ene, noch de andere modaliteit in isolatie zou onthullen. Hoewel Multimodale Large Language Models (MLLM's) de vooruitgang in visuele taalbegrip hebben versneld, blijft hun toepassing op de moderatie van meme-inhoud onderbelicht, met name wat betreft "denkende" modellen die expliciete tussenliggende redeneerstappen genereren. Bestaande benaderingen missen vaak een systematische integratie van Chain-of-Thought (CoT) supervisie, fijnmazige labeling en Reinforcement Learning (RL) voor dit specifieke domein. Bovendien biedt standaard Supervised Fine-Tuning (SFT) beperkte controle over de balans tussen de correctheid van de voorspelling en de getrouwheid van de gegenereerde verklaringen. Dit artikel adresseert het gat in het toepassen van RL-gebaseerde post-training om zowel de classificatieprestaties als de kwaliteit van de verklaring te optimaliseren voor de detectie van haatdragende en propagandistische memes over verschillende talen (Engels en Arabisch) en taken (binaire haatdetectie en meerklasse-propaganda-detectie).

2. Methodologie

De voorgestelde aanpak maakt gebruik van een meerfasige post-training pijplijn gebaseerd op CoT-supervisie en Group Relative Policy Optimization (GRPO).

2.1. Dataconstructie en Annotatie

• Datasets: De studie maakt gebruik van de Hateful Memes (FHM) benchmark (Engels, binair) en de Arabic Propagandistic Memes (ArMeme) dataset (Arabisch, vier klassen: propaganda, niet-propaganda, geen-meme, overig).
• Fijnmazige Annotaties: Voor FHM worden bestaande publieke annotaties voor beschermde categorieën en aanvalstypen gebruikt. Voor ArMeme, waarvoor geen fijnmazige propaganda-annotaties bestonden, hebben de auteurs een multi-LLM annotatiepijplijn ontwikkeld. Dit omvat twee onafhankelijke modellen (GPT-4.1 en Llama-4-Scout) die gestructureerde propaganda-technieklabels en rationales genereren, die vervolgens worden geconsolideerd door een derde model (Gemini-3-Pro).
• Chain-of-Thought Distillatie (CoTD): Een sterk teacher-model (GPT-4.1) genereert stapsgewijze redeneringssporen geconditioneerd op de meme-afbeelding, tekst en labels. Deze sporen worden gebruikt als supervisiedoelen tijdens de training, maar worden niet blootgesteld tijdens de inferentie om label-lekkage te voorkomen.
• Ongelabelde Data: Voor zelfgesuperviseerde experimenten hebben de auteurs ongelabelde pools geconstrueerd door publieke meme-datasets (voor FHM) en het crawlen van sociale media (voor ArMeme) te aggregeren, waarbij gefilterd is op duplicaten en niet-memes.

2.2. Trainingspijplijn

De methodologie volgt een driefasig proces:

1. SFT Warm-up: De MLLM wordt geïnitialiseerd via Supervised Fine-Tuning op gouden labels, verklaringen en gedestilleerde redeneringssporen. Varianten omvatten training met enkel binaire labels, het toevoegen van fijnmazige labels, en het integreren van gedestilleerde CoT.
2. Supervised GRPO: Het model ondergaat RL-optimalisatie met behulp van GRPO. In tegenstelling tot PPO vereist GRPO geen geleerd waardenetwerk; in plaats daarvan bemonsteren het een groep van $K$ voltooiingen en gebruiken ze het groepsgemiddelde van de beloning als baseline.
   • Composiete Beloningsfunctie: De beloning $R(y)$ combineert vijf componenten:
     • $R_{fmt}$: Voldoen aan het formaat (waarborgen dat de outputstructuur redenering, label en verklaring bevat).
     • $R_{lbl}$: Correctheid van het label.
     • $R_{exp}$: Regularisatie van de verklaringlengte (gericht op ~100 woorden).
     • $R_{think}$: Regularisatie van de denk-lengte. Dit straft te korte CoT-sporen af (onder een drempelwaarde $L_{min}$) om "reward hacking" (bijv. lege redeneringen) te voorkomen zonder verbositeit te stimuleren.
     • $R_{met}$: Semantische gelijkenis (METEOR-score) met de gouden rationale.
3. Self-Supervised GRPO: Om ongelabelde data te benutten, wordt het model verder getraind met behulp van consensus-gebaseerde pseudo-labels. Samples worden geselecteerd op basis van model-disagreement (gedeeltelijke overeenstemming over meerdere bij verschillende temperaturen gesamplede voorspellingen). Een meerderheidsstemmechanisme wijst pseudo-labels toe, die vervolgens worden gebruikt om een beloningssignaal te berekenen naast structurele beloningen.

3. Belangrijkste Bijdragen

1. Cross-Task en Cross-Lingual Generalisatie: De studie breidt GRPO-gebaseerde post-training uit van een enkele Engelse binaire dataset naar een complexe Arabische meerklasse-propaganda-detectietaak, waarbij een dual-annotator pijplijn wordt geïntroduceerd voor fijnmazige labeling in een voorheen ongelabelde setting.
2. Uitgebreide Empirische Analyse: Het artikel biedt uitgebreide ablatie-studies die de wisselwerking tussen CoT-supervisie, fijnmazige labeling en RL-optimalisatie analyseren over unimodale, zero-shot en fine-tuned baselines.
3. Gestabiliseerde RL-Optimalisatie: De introductie van een drempelwaarde-gebaseerde denk-lengte beloning ($R_{think}$) mitigeert effectief reward hacking (het inkorten van redeneringssporen) terwijl een gebalanceerde prestatie per klasse behouden blijft.
4. Self-Supervised GRPO: Het werk onderzoekt de levensvatbaarheid van consensus-gebaseerde pseudo-labeling voor RL-training zonder menselijke annotaties, en toont de effectiviteit ervan aan in in-domain, meerklasse-settings, terwijl het ook de beperkingen benadrukt in binaire scenario's met een mismatch in distributie.

4. Resultaten

Experimenten werden uitgevoerd op de FHM- en ArMeme-benchmarks met Qwen3-VL-8B-Thinking als het basismodel.

• Prestatiewinsten:
  • FHM: De voorgestelde aanpak bereikte 82,0% accuratesse en 0,80 macro-F1, wat een verbetering is ten opzichte van de vorige state-of-the-art (79,9% accuratesse, 0,79 macro-F1) van +2,1% accuratesse en +0,01 macro-F1.
  • ArMeme: De aanpak bereikte 0,612 macro-F1 (met self-supervised GRPO), wat een verbetering van +7,6 punten betekent ten opzichte van eerder werk (0,536) en een +6,1 punten verbetering ten opzichte van de originele benchmark.
• Vergelijking met Baselines:
  • De generatieve RL-gebaseerde aanpak presteerde beter dan sterke sequentie-classificatie baselines (bijv. Gemma-3-12B-IT, Qwen3-VL-8B-Instruct) op macro-F1 op ArMeme (0,612 vs. 0,594) terwijl het interpreteerbare verklaringen bood.
  • Unimodale baselines (alleen tekst of alleen afbeelding) presteerden aanzienlijk slechter dan de multimodale redeneringsaanpak, wat de noodzaak van cross-modale interactie bevestigt.
• Bevindingen uit Ablatie-studies:
  • Fijnmazige Supervisie: Het toevoegen van fijnmazige labels tijdens SFT verbeterde de macro-F1 met +8,0 punten op ArMeme (0,43 naar 0,51).
  • CoT Distillatie: Gedestilleerde CoT leverde extra winst tijdens SFT en diende als een cruciale initialisatie voor GRPO.
  • SFT Warm-up: Cold-start GRPO (zonder SFT) resulteerde in een gedegenereerde prestatie op ArMeme (0,332 macro-F1), wat bewijst dat SFT-initialisatie cruciaal is voor complexe taken.
  • Self-Supervised GRPO: Verbeterde de ArMeme macro-F1 met +1,5 punten (0,597 naar 0,612), maar verminderde de FHM-prestaties licht (-1,0 punt), wat wordt toegeschreven aan de distributie-mismatch in de FHM ongelabelde pool en de meerderheidsstem-bias in binaire classificatie.

5. Betekenis en Claims

Het artikel beweert, naar beste weten van de auteurs, de eerste systematische studie van GRPO in multimodale redenering te zijn onder cross-linguale, fijnmazige en zelfgesuperviseerde instellingen.

• Methodologische Inzicht: De studie toont aan dat RL-gebaseerde post-training met composiete beloningen, specifiek wanneer deze gecombineerd wordt met denk-lengte regularisatie, gezamenlijk de classificatie-accuratesse en de kwaliteit van de verklaring kan optimaliseren op een manier die standaard SFT niet kan.
• Schaalbaarheid van Synthetische Supervisie: Het succes van de multi-LLM annotatiepijplijn suggereert dat synthetische, consensus-gebaseerde fijnmazige labels kunnen dienen als een schaalbare proxy voor menselijke annotatie in contentmoderatie-taken.
• Condities voor Zelf-supervisie: Het werk benadrukt dat zelfgesuperviseerde GRPO effectief is wanneer ongelabelde data in-domain is en de labelruimte divers genoeg is om consensus-geïnduceerde bias te voorkomen (zoals gezien in de vierklasse ArMeme-taak), maar minder effectief wanneer distributieverschuivingen of binaire meerderheidsbiases domineren (zoals gezien bij FHM).
• Generatief vs. Discriminatief: De resultaten suggeries dat generatieve redeneringsmodellen een meer gebalanceerde prestatie per klasse en actiegerichte verklaringen bieden vergeleken met traditionele sequentie-classificatiemodellen, waardoor ze geschikt zijn voor praktische contentmoderatie waar interpreteerbaarheid vereist is.

De auteurs stellen alle code, datamodificaties en evaluatieresources beschikbaar om verdere research in dit domein te faciliteren.