Technische Samenvatting: Labels of Input? Heroverweging van Augmentatie in Multimodale Haatdetectie

Probleemstelling

Online haatspraak, met name in de vorm van multimodale memes, vormt een aanzienlijke maatschappelijke uitdaging vanwege de afhankelijkheid van subtiele interacties tussen tekst en beeld, humor en culturele context. Hoewel recente Vision-Language Models (VLM's) veelbelovend zijn, kampen ze met beperkingen bij implementatie door hoge inferentiekosten en aanhoudende tekortkomingen bij genuanceerde of impliciete inhoud. Bovendien lijden bestaande datasets vaak aan structurele artefacten, zoals getemplateerde formaten en inconsistente supervisie, wat culturele vooroordelen kan versterken en spuriose correlaties kan veroorzaken (bijv. het associëren van specifieke visuele kenmerken met haat, ongeacht de bijschrift).

De kernonderzoeksvraag behandelt of het verbeteren van promptingstrategieën (labelaugmentatie) of het verfijnen van de onderliggende data (inputaugmentatie) effectiever is dan standaard baselines voor multimodale classificatie van haatdragende inhoud. De auteurs beogen de kloof te overbruggen tussen de complexiteit van online schade en de beperkte supervisie die huidige datasets bieden, waarbij specifiek wordt onderzocht hoe kleine modellen kunnen worden verbeterd zonder te vertrouwen op kostbare inferentie door grote modellen.

Methodologie

De studie stelt twee complementaire strategieën voor en evalueert deze met behulp van de Facebook Hateful Memes dataset (bevat ~12,9K beeld-bijschrift paren).

1. Prompt Optimalisatie (Labelaugmentatie)

Deze benadering behandelt prompting als een multivariate ontwerpplek om supervisiesignalen te verrijken.

• Experimenteel Ontwerp: Een full-factorial ontwerp ($3 \times 2 \times 2$) variërend in:
  • Leer-modaliteit: Alleen tekst fine-tuning versus Multimodale fine-tuning/prompting.
  • Promptstructuur: Simpel (directe instructie) versus Categorie-gebaseerd (het definiëren van subtypen zoals misogynie of xenofobie).
  • Labelformaat: Binair (Haat/Geen Haat) versus Geschaald (0–9 haatscore).
• Implementatie: Een teacher-model (GPT-4o-mini) genereert geschaalde labels (0–9) voor de trainingsdata op basis van gestructureerde prompts. Deze "soft" labels worden gebruikt om zowel grote multimodale modellen (InternVL2 4B) als kleinere unimodale modellen (BERT, RoBERTa) te fine-tunen. Onjuiste labels die inconsistent zijn met de binaire grondwaarheid worden eruit gefilterd.

2. Multimodale Dataaugmentatie (Inputaugmentatie)

Deze benadering beoogt de robuustheid van modellen te verbeteren door het genereren van contrafactueel neutrale memes om spuriose tekst-beeldcorrelaties te verminderen.

• Doel: Richt zich specifelijk op "NH" memes (Niet-haatdragende afbeelding + Haatdragend bijschrift), waarbij de visuele achtergrond onschuldig is maar de tekst haat aanwakkert.
• Pipeline: Een multi-agent systeem bestaande uit:
  1. Attributie: Een zero-shot classifier (Qwen2.5-14B) identificeert memes waarbij het bijschrift de primaire bron van haat is.
  2. Contextextractie: Een VLM (InternLM-XComposer-2.5-7B) genereert een beschrijving van de achtergrond van de afbeelding, exclusief de tekst die eroverheen is geplaatst.
  3. Neutralisatie: Een generatief model (GPT-4o-mini) herschrijft het haatdragende bijschrift naar een neutraal bijschrift, geconditioneerd op de achtergrondbeschrijving om semantische coherentie te waarborgen.
  4. Regeneratie: Een rendering-model (Gemini 2.0 Flash) plaatst het nieuwe neutrale bijschrift over de originele lay-out van de afbeelding.
• Resultaat: De pipeline genereerde 2.479 contrafactueel neutrale memes, die werden samengevoegd met de originele dataset om een "Extended" trainingsset te creëren.

Belangrijkste Bijdragen

1. Dataset Uitbreiding: De creatie van een nieuwe benchmark bestaande uit 2.479 contrafactueel neutrale memes, ontworpen om de robuustheid tegen spuriose tekst-beeldcorrelaties te evalueren.
2. Gestructureerd Prompt Framework: Een demonstratie dat promptontwerp, dat vaak wordt over het hoofd gezien in vision-language taken, een significante impact heeft op prestaties. De studie toont aan dat gestructureerde, categorie-gebaseerde prompts cruciaal zijn voor genuanceerde, geschaalde annotaties, terwijl simpele prompts volstaan voor binaire taken.
3. Debiasing Pipeline: Een proof-of-concept multi-agent pipeline voor het genereren van semantisch coherente, niet-haatdragende varianten. Dit dient als een strategie om bias te mitigeren en generalisatie te verbeteren zonder nieuwe haatdragende inhoud te genereren.

Resultaten en Analyse

Bevindingen Prompt Optimalisatie

• Nut van Prompting: Voor binaire classificatie presteerden simpele prompts beter dan categorie-gebaseerde prompts op kleinere unimodale modellen. Echter, voor geschaalde (genuanceerde) labels verbeterden categorie-gebaseerde prompts de prestaties aanzienlijk bij zowel unimodale als multimodale modellen.
• Prompting versus Fine-tuning: Op de geschaalde dataset bereikte het prompten van het grote InternVL2-model met categorie-definities een F1-score van 64,74, wat competitief is met en licht boven het beste fine-tuning resultaat (63,28) ligt. Dit suggereert dat voor granulaire haatdetectie, goed gestructureerde zero-shot prompting de prestaties van fine-tuning op geaugmenteerde data kan evenaren.
• Unimodale Robuustheid: Standaard unimodale modellen (BERT, RoBERTa) maakten effectief gebruik van categorische context om de prestaties te verbeteren wanneer labels geschaald waren in plaats van binair.

Bevindingen Multimodale Augmentatie

• Prestatiewinst: Trainen op de uitgebreide dataset (origineel + contrafactuelen) leverde bescheiden winst in nauwkeurigheid op (<1%), maar opmerkelijke verbeteringen in gewogen F1-scores, wat wijst op een betere omgang met klasse-imbalans en randgevallen.
  • Tekstmodellen: RoBERTa F1 verbeterde van 47,18 naar 52,54 (+5,36).
  • Multimodale Modellen: Qwen2-VL (7B) behaalde de hoogste algehele prestatie, stijgend van 69,59 naar 71,31 F1.
• Zero-Shot Capaciteiten: Grotere VLMs (bijv. Qwen2-VL 7B) vertoonden een opmerkelijke zero-shot robuustheid (F1: 69,13), vergelijkbaar met hun fine-tuned prestaties. Omgekeerd vertrouwden kleinere modellen (SmolVLM 2B) zwaar op fine-tuning, wat een aanzienlijk prestatieverschil liet zien tussen de zero-shot en de fine-tuned setting.

Evaluatie van Datakwaliteit

• Betrouwbaarheid van Labels: Menselijke evaluatie van de geschaalde labels toonde een overeenstemmingspercentage van 92,5%, wat de betrouwbaarheid van de door machines gegenereerde annotaties bevestigt, hoewel er onenigheid bleef bestaan over indirecte of contextafhankelijke haat.
• Kwaliteit van Augmentatie: Menselijke evaluatie van de 2.479 neutrale memes bevestigde een hoge kwaliteit wat betreft formattering, achtergrondalignering en bijschriftcoherentie. Echter, een kleine subset van fouten (bijv. ontbrekende bijschriften, semantische drift of visuele inconsistenties) benadrukte de noodzaak van handmatige validatie in geautomatiseerde pipelines.

Betekenis en Claims

Het artikel betoogt dat robuuste multimodale haatdetectie aandacht vereist voor zowel taakformulering (promptontwerp) als dataintegriteit (augmentatie).

• Praktisch Pad: Het werk biedt een praktisch pad naar robuustere en inzetbare systemen die niet uitsluitend afhankelijk zijn van dure inference door grote modellen. Het demonstreert dat kleine modellen kunnen worden versterkt door gestructureerde prompts en gerichte dataaugmentatie.
• Ethische Augmentatie: Door contrafactueel neutrale memes te genereren in plaats van nieuwe haatdragende inhoud, biedt de auteur een ethisch gefundeerde methode om trainingsdistributies te verfijnen en de overmatige afhankelijkheid van spuriose correlaties te verminderen.
• Nuance boven Binair: De studie benadrukt dat het bewegen van binaire classificatie naar geschaalde labels, ondersteund door gestructureerde prompting, een meer genuanceerd begrip van haatdragende inhoud mogelijk maakt, met name voor cultureel gewortelde memes.

De auteurs concluderen dat hoewel hun methoden veelbelovend zijn, toekomstig werk de augmentatiepipeline naar cultureel diverse omgevingen moet schalen en de resterende uitdagingen rondom contextbehoud moet oplossen.