Technische Samenvatting: FBHM: Functionele Benchmarking en Sturing van VLMs voor Detectie van Haatvolle Memes

1. Probleemstelling

De detectie van haatvolle memes blijft een formidabele uitdaging voor Vision-Language Models (VLMs). Bestaande benchmarks, zoals de Facebook Hateful Memes (FHM) en MAMI-datasets, zijn structureel observationeel. Ze vermengen retorische haatmechanismen met specifieke kenmerken van doelgroepen, wat een causale evaluatie van de kwetsbaarheden van modellen in de weg staat. Bijgevolg maken modellen die op deze datasets zijn gefinetuned vaak gebruik van dataset-specifieke heuristieken (bijv. demografische vooroordelen) in plaats van robuuste multimodale redenering te leren. Wanneer zij worden geconfronteerd met gecontroleerde variaties in functionaliteit of doelgroepen, lijden deze modellen aan een ernstige generalisatiekloof en zakken ze naar prestaties nabij het niveau van willekeur. Bovendien falen standaard adaptatiestrategieën zoals Parameter-Efficient Fine-Tuning (PEFT) en Few-Shot In-Context Learning (ICL) bij het overbruggen van deze kloof onder extreme beperkingen van de hoeveelheid data (bijv. 500 samples), wat vaak leidt tot catastrofaal vergeten van prestaties in de bron-domeinen.

2. Methodologie

A. De FBHM Benchmark

Om het gebrek aan causale evaluatie aan te pakken, introduceren de auteurs FBHM (Functionality Based Hateful Memes), een systematisch gecureerde dataset van 5.000 memes. De dataset is geconstrueerd langs twee orthogonale assen:

1. 25 Distinctieve Retorische Functionaliteiten: Geïnspireerd door principes van functionele tests in software engineering en eerder werk over haatspraak in NLP (bijv. HateCheck), dekken deze functionaliteiten vijf dimensies: visuele formaten, tekstuele obfuscatie, structurele compositie, pragmatische inferentie en niet-haatvolle contrasten.
2. 10 Doelgroepen: Inclusief moslims, Joden, Zwarte, Witte, vrouwen, mannen, transgender, homo's, immigranten en mensen met een beperking.

Het curatieproces omvat het creëren van een basis afbeelding-tekst paar voor een specifieke functionaliteit en vervolgens het genereren van 10 gecontroleerde varianten door enkel de doelgroep te vervangen. Deze structuur maakt geïsoleerde contrafeitelijke evaluatie mogelijk, waardoor onderzoekers kunnen bepalen of een model faalt door een specifiek retorisch mechanisme of door een specifieke doelgroep.

B. LSV (Learnable Steering Vectors)

Om de generalisatiekloof efficiënt te dichten met minimale data, stellen de auteurs LSV voor, een strategie voor het ultra-lage dataregime. In tegenstelling tot PEFT, waarbij de gewichten van het model worden bijgewerkt, past LSV een causale interventie toe op een bevroren VLM door middel van het optimaliseren van laag-specifieke continue sturingsvectoren.

• Mechanisme: Voor een bevroren model $M$ met $L$ lagen, leert LSV een set laag-specifieke sturingsvectoren $V = \{v_1, \dots, v_L\}$ en scalaire coëfficiënten $\alpha = \{\alpha_1, \dots, \alpha_L\}$. De verborgen toestand op laag $l$ wordt gewijzigd als:
  $$h'_l(x_q) = h_l(x_q) + c \cdot \alpha_l \cdot v_l$$
  waarbij $c$ een hyperparameter is voor schaling tijdens de inferentie.
• Trainingsdoelstelling: De vectoren worden geoptimaliseerd op een minimale sturingsset ($D_{steer}$) van 500 samples (afgeleid van slechts 50 unieke basis memes) met behulp van een duale doelstelling:
  1. Distributie-uitlijning ($L_d$): Minimaliseert de Kullback-Leibler (KL) divergentie tussen de vocabulaire-distributie van het gestuurde model op een query en een referentiedistributie die is geconstrueerd vanuit een ICL-demonstratie prompt (32 exemplaren). Dit draagt de cognitieve redenering van de ICL-prompt over naar de vectoren.
  2. Ground-Truth Anker ($L_{gt}$): Een cross-entropy loss op het eerste gegenereerde token om ervoor te zorgen dat de sturing overeenkomt met het correcte classificatielabel.
• Inferentie: Tijdens de inferentie blijft het basismodel bevroren en worden er geen ICL-demonstraties verstrekt. De geleerde vectoren worden direct geïnjecteerd in de zero-shot forward pass.

3. Belangrijkste Bijdragen

1. Nieuwe Diagnostische Benchmark: Introductie van FBHM, een causaal gestructureerde dataset die geïsoleerde evaluatie van VLMs mogelijk maakt over 25 functionaliteiten en 10 doelgroepen.
2. Empirisch Bewijs van Generalisatiefalen: Demonstratie dat state-of-the-art VLMs (inclusief Qwen-3, Pixtral, InternVL-3.5, en propriëtaire modellen zoals GPT-4.1/5-mini) hoge in-domain scores behalen op FHM/MAMI, maar catastrofaal falen op FBHM, wat wijst op een afhankelijkheid van spurieuze heuristieken.
3. Beperkingen van Standaard Adaptatie: Bewijs dat standaard technieken (PEFT en few-shot ICL) onvoldoende zijn om multimodale redenering op complexe haatvolle memes af te stemmen wanneer men beperkt is tot minimale sturingssets, wat vaak leidt tot degradatie van de prestaties in het bron-domein.
4. LSV Framework: Introductie van LSV, een methode die ICL-redenering destilleert in activatievectoren via een causale interventie-doelstelling, waarmee de generalisatie succesvol wordt hersteld zonder gewicht-updates.

4. Resultaten en Analyse

Prestatiewinst

Benchmarking onthult een enorme prestatiekloof. Modellen die zijn gefinetuned op FHM/MAMI dalen naar een prestatie nabij willekeur (bijv. ~45 Macro-F1) op FBHM.

• Effectiviteit van LSV: LSV verhoogt de FBFB-prestaties met ongeveer 30 Macro-F1 punten. Bijvoorbeeld, het Base Qwen-3 model verbetert van 45.99 naar 72.78 Macro-F1 op de FBHM testset.
• Vergelijking: LSV presteert aanzienlijk beter dan zowel PEFT (dat verwaarloosbare winst oplevert en de bron-prestaties degradeert) als 32-shot ICL (dat bescheiden winst biedt maar er niet in slaagt de volledige functionele ruimte te dekken vanwege context window-beperkingen).

Robuustheid en Rechtvaardigheid

• Behoud van Bron-domein: Cruciaal is dat omdat LSV de gewichten niet bijwerkt, het de prestaties op de originele FHM en MAMI benchmarks behoudt of zelfs verbetert, waardoor catastrofaal vergeten wordt voorkomen.
• Uniforme Afstemming: Analyse van de prestaties per doelgroep laat zien dat LSV de classificatiegrens uniform uitbreidt naar de 70–80% range over alle 10 doelgroepen, waardoor de doelgroep-specifieke knelpunten die bij ICL-baselines worden waargenomen, worden geëlimineerd.
• Functionele Dekking: Radar chart-analyse geeft aan dat LSV de structurele redeneercapaciteiten egaliseert, wat winst oplevert over bijna alle 25 functionaliteiten, terwijl ICL-varianten falen in specifieke, gelokaliseerde functionele segmenten.

Foutanalyse

Ondanks de verbeteringen blijven er residuele foutmodi bestaan:

• False Negatives: Complexe obfuscatie (algebraïsche/hexadecimale codering van scheldwoorden), retorische inversie ("opposite day" framing) en pseudo-positieve sarcasme blijven uitdagend.
• False Positives: Lettertype-perturbaties (gecorrumpeerde OCR) en counterspeech die haat-gerelateerd vocabulaire bevatten, worden vaak foutief geclassificeerd. Deze patronen komen terug in verschillende architecturen (Qwen, GPT-4/5), wat suggereert dat ze een dieper discoursbegrip vereisen dat verder gaat dan activatie-niveau sturing.

Inferentie Schaling

De optimale schalingsconstante $c$ blijkt architectuur- en fine-tuning-afhankelijk te zijn. Validatie op kleine hold-out splits voorspelt accuraat de optimale $c$ voor de testset, wat de praktische bruikbaarheid van de aanpak voor real-world deployment bevestigt zonder toegang tot de testset.

5. Betekenis en Claims

Het artikel claimt dat FBHM een kritiek gebrek blootlegt in de huidige VLM-alignment: hoge in-domain scores maskeren een falen om te generaliseren naar diverse functionele structuren. De betekenis van dit werk ligt in:

1. Diagnostische Rigor: Het bieden van een instrument om functionele en doelgroep-specifieke discrepanties te ontdekken die standaard benchmarks missen.
2. Efficiënte Alignment: Het aantonen dat causale interventie via leerbare sturingsvectoren de multimodale redenering kan afstemmen met slechts 500 samples, waarbij het prestaties van gewicht-gebaseerde adaptatie en context-zware methoden overtreft.
3. Veiligheid en Rechtvaardigheid: Het bieden van een methode om de robuustheid van haatdetectie over diverse demografieën te verbeteren zonder de prestaties op neutrale data op te offeren of massale hertraining te vereisen.

De auteurs concluderen dat hoewel LSV de zero-shot detectiecapaciteiten aanzienlijk verbetert, het dient als een diagnostisch hulpmiddel om menselijke moderatoren te ondersteunen, in plaats van een volledig autonome arbiter te zijn, vooral gezien de aanhoudende complexe pragmatische biases zoals ironie en wiskundige obfuscatie.