💻 computer science

MemeScouts@LT-EDI 2026: Asking the Right Questions -- Prompted Weak Supervision for Meme Hate Speech Detection

Dit artikel stelt een framework voor geprompte zwakke supervisie voor dat gebruikmaakt van een gekwantiseerde Qwen3-VLM om de detectie van haatzaaiende memes op te splitsen in gerichte labelingsfuncties op basis van vragen, waarmee het de uitdagingen van multimodale, cultureel genuanceerde en meertalige haatzaaiende taal effectief aanpakt en topklasseringen behaalt in het Engels, Chinees en Hindi voor de LT-EDI 2026 gedeelde taak.

Oorspronkelijke auteurs: Ivo Bueno, Lea Hirlimann, Enkelejda Kasneci

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ivo Bueno, Lea Hirlimann, Enkelejda Kasneci

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een specifiek type grap op te sporen dat eigenlijk kwaadaardig is (haatzaaiende taal) in een verzameling internetmemes. Memes zijn lastig, omdat ze als tweelaagse puzzels werken: ze hebben een afbeelding en tekst, en ze maken vaak gebruik van sarcasme, ironie of inside-jokes die alleen zin hebben als je de culturele context kent.

De auteurs van dit artikel probeerden een computersysteem te bouwen om deze puzzels op te lossen, specifiek gericht op het vinden van homofobe of transfobe grappen. Hier is hoe ze dat deden, eenvoudig uitgelegd:

Het Probleem: De "Grote Vraag" stellen werkte niet

De onderzoekers probeerden eerst een super-slimme AI (een Vision-Language Model) één enkele, gigantische vraag te stellen: "Is deze meme haatzaaiend?"

Stel je dit voor als een student vragen om een complex wiskundeprobleem op te lossen, een essay te schrijven en een tekening te maken, allemaal in één enkele zin. De AI raakte vaak in de war. Het probeerde het doelwit, de toon, de sarcasme en het eindoordeel tegelijk te raden, en maakte fouten. Dit is vooral moeilijk als de memes in verschillende talen zijn (Engels, Hindi en Chinees), omdat de "inside-jokes" veranderen afhankelijk van de cultuur.

De Oplossing: De "Verhoorkamer"-aanpak

In plaats van één grote vraag te stellen, veranderde het team hun strategie. Ze besloten het probleem op te splitsen in een reeks kleine, specifieke vragen, zoals een verhoor of een checklist.

Ze creëerden een systeem genaamd "Prompted Weak Supervision". Stel je een rechercheur (de AI) voor die niet zomaar raadt of een verdachte schuldig is. In plaats daarvan stelt de rechercheur 89 specifieke vragen over het bewijs:

"Is de grap gericht op een specifieke groep?"
"Is de toon sarcastisch?"
"Zegt de tekst eigenlijk het tegenovergestelde van wat het lijkt?"
"Toont de afbeelding een stereotype?"

De AI beantwoordt deze vragen met simpele "Ja/Nee" of korte categorieën. Deze antwoorden zijn niet het eindoordeel; het zijn aanwijzingen.

De Assemblagelijn

Zodra de AI alle 89 vragen voor een meme heeft beantwoord, neemt het team die antwoorden en voert ze in een eenvoudiger, klassiek computerprogramma in (een Random Forest-classificator). Stel je dit programma voor als een rechter die luistert naar alle aanwijzingen van de rechercheur.

De Rechercheur (AI): "De grap gaat over genderidentiteit, het is sarcastisch en het richt zich op een specifieke persoon."
De Rechter (Classificator): "Oké, op basis van die specifieke aanwijzingen ben ik 90% zeker dat dit haatzaaiende taal is."

Wat ze Vonden

De resultaten waren als een goocheltruc:

Betere Nauwkeurigheid: Deze "checklist"-methode was veel beter dan gewoon de AI één grote vraag te stellen. Het werkte vooral goed voor Hindi- en Chinese memes, waar de culturele nuances zeer subtiel zijn.
De "Uitdun"-stap: Aan het begin hadden ze te veel vragen (sommigen waren repetitief of verwarrend). Ze gebruikten een "uitdun"-tool om de slechte vragen weg te halen, zodat alleen de meest nuttige aanwijzingen overbleven. Dit maakte het systeem nog scherper.
De Ranglijsten: In de competitie waaraan ze deelnamen, behaalde hun systeem 1e plaats voor Engels, 2e voor Chinees en 3e voor Hindi.

De Haken (Beperkingen)

De auteurs zijn eerlijk over de gebreken in hun systeem:

Westerse Bias: De vragen waren grotendeels geschreven vanuit een westerse perspectief. Ze missen mogelijk specifieke culturele tekenen van haatzaaiende taal in India of China die er niet uitzien als de "Westerse" versie.
Tekst Lezen: De AI moet tekst in de afbeeldingen lezen. Soms mist het woorden of leest het ze verkeerd, wat de aanwijzingen verstoort.

De Conclusie

Het artikel laat zien dat wanneer je probeert subtiele, kwaadaardige grappen in memes op te sporen, het beter is om het probleem op te splitsen in kleine, hanteerbare vragen en een systeem de antwoorden te laten wegen, in plaats van een supercomputer te vragen het hele antwoord in één keer te raden. Het is het verschil tussen een student vragen "Wat is het antwoord?" versus hen vragen hun werk stap voor stap te tonen.

1. Probleemstelling

Het detecteren van haatzaaiende taal in memes is een complexe uitdaging vanwege hun multimodale aard (combinatie van tekst en afbeeldingen) en afhankelijkheid van cultureel verankerde aanwijzingen zoals sarcasme, ironie en gedeelde kennis.

Beperkingen van huidige benaderingen: Directe end-to-end prompting van Vision-Language Models (VLM's) is vaak breekbaar. Een enkele voorspelling moet tegelijkertijd doelidentificatie, houding, implicietheid en ironie oplossen, wat moeilijk is in meertalige contexten.
Meertalige en culturele kloven: Standaardmodellen worstelen met subtiele culturele nuances, straattaal en specifieke uitdrukkingen van homofobie en transfobie in verschillende talen (Engels, Hindi, Chinees).
Kosten: Het fijnafstemmen van grote modellen voor specifieke taken brengt hoge rekenkundige en datakosten met zich mee.

2. Methodologie: Prompted Weak Supervision (PWS)

De auteurs stellen een Prompted Weak Supervision (PWS)-raamwerk voor dat de complexe taak van memeclassificatie decomposeert in gestructureerde, vraaggebaseerde labelfuncties (LF's). In plaats van een enkele end-to-end label, genereert het systeem gestructureerde kenmerken voor een downstream-classificator.

Kerncomponenten van de pijplijn:

Vraaggeneratie (Labelfuncties):
- Het team construeerde 59 initiële vragen (later uitgebreid tot 89) die ontworpen waren om complementaire aspecten van haatzaaiende taal vast te leggen (bijv. doelidentificatie, expliciete/impliciete haat, identiteit van de verteller, houding).
- Antwoorden zijn beperkt tot binaire, ordinaal of categorische opties om gestructureerde output te garanderen.
Kenmerkextractie:
- Een gequantiseerde Qwen3-VLM (Qwen3-VL-30B-A3B-Instruct, nf4-gequantiseerd) wordt gebruikt om deze gerichte vragen voor elke meme te beantwoorden.
- Het model ontvangt de meme-afbeelding en de specifieke LF-vraag.
- Reacties worden gemapt naar gehele getallen, waardoor een kenmerkvector voor elke meme ontstaat.
Classificatie:
- Een lichtgewicht Random Forest-classificator (500 schatters) wordt getraind op deze kenmerkvectoren voor elke taal.
- Het model gebruikt gebalanceerde klassengewichten om onevenwichtige datasets te verwerken.
Iteratieve verfijning:
- AddLF (Label Function Expansion): Het team analyseerde verkeerd geclassificeerde voorbeelden om terugkerende patronen (bijv. identiteit van de verteller) te identificeren die niet door de initiële LF's werden vastgelegd, en voegde 30 nieuwe vragen toe.
- Pruning-strategieën: Twee methoden werden ingezet om redundantie en ruis te verminderen:
  - F1Prune: Verwijdert greedy kenmerken één voor één als de validatie Macro-F1 verbetert.
  - ImpPrune: Verwijdert de top $k$ minst belangrijke kenmerken op basis van Random Forest-kenmerkenbelang-scores.

3. Belangrijkste bijdragen

Nieuw raamwerk: Introductie van een PWS-benadering voor multimodale detectie van haatzaaiende taal die breekbare end-to-end prompting vervangt door gestructureerde, interpreteerbare vraaggebaseerde kenmerken.
Meertalige prestaties: De methode presteert aanzienlijk beter dan directe VLM-classificatie, vooral in talen met weinig bronnen of cultureel onderscheidend (Chinees en Hindi).
Interpreteerbaarheid: Door analyse van kenmerkenbelang en clustering (via UMAP) bieden de auteurs inzicht in waarom het model beslissingen neemt, waardoor redundantie en complementariteit tussen labelfuncties worden blootgelegd.
State-of-the-art resultaten: Het systeem behaalde topposities in de LT-EDI 2026 gedeelde taak (1e in Engels, 2e in Chinees, 3e in Hindi).

4. Experimentele resultaten

Het systeem werd geëvalueerd op de LT-EDI 2026 Homofobie en Transfobie Meme Classificatie-dataset (Engels, Hindi, Chinees).

Methode	Engels (Macro-F1)	Chinees (Macro-F1)	Hindi (Macro-F1)	Allemaal (Geaggregeerd)
Direct Qwen3-VL	0,77	0,32	0,21	0,13
Direct met Redenering	0,67	0,10	0,08	0,10
Basis PWS-model	0,85	0,66	0,64	0,47
AddLF + ImpPrune	0,85	0,72	0,67	0,44

Prestatiekloof: De PWS-benadering presteerde aanzienlijk beter dan directe VLM-prompting. De kloof was het meest uitgesproken in het Chinees en Hindi, waar directe prompting worstelde (0,32 en 0,21 versus 0,72 en 0,67).
Impact van verfijning:
- AddLF verbeterde of behaalde consistent de prestaties, vooral voor niet-Engelse talen.
- ImpPrune was effectiever dan F1Prune voor prestaties per taal, waarbij het aantal kenmerken voor Hindi werd gereduceerd van 89 naar 33 terwijl de scores verbeterden, wat aangeeft dat veel initiële LF's ruisend of redundant waren.
Cross-linguale analyse:
- F1Prune verwijderde voornamelijk taalspecifieke kenmerken (lage Jaccard-similariteit over talen).
- ImpPrune verwijderde een grote set gedeelde, oninformatieve kenmerken (hoge Jaccard-similariteit), wat wijst op het bestaan van taalagnostische "zwakke signalen" die de prestaties belemmerden.

5. Betekenis en inzichten

RQ1 (Effectiviteit): Prompted weak supervision is een superieure strategie voor detectie van haatzaaiende taal in memes, die robuustheid biedt tegen de breekbaarheid van single-shot VLM-prompting.
RQ2 (Taal/Cultuur): Hoewel de methode de meertalige prestaties verbetert, toonde de analyse aan dat Engelstalige LF's (die westerse perspectieven op queer-kwesties weerspiegelen) niet perfect overdraagbaar zijn. Pruning helpt echter om taalspecifieke signalen te isoleren.
RQ3 (Modelgedrag): Kenmerkanalyse toonde aan dat een kleine subset van LF's het grootste deel van de voorspellende gewicht draagt. Sommige kenmerken zijn redundant (bijv. vragen naar seksuele geaardheid op iets verschillende manieren), terwijl andere complementaire informatie bieden (bijv. het onderscheiden van neutrale houdingen).
Beperkingen & Toekomstig werk:
- Culturele bias: LF's waren voornamelijk ontworpen vanuit een westers perspectief, waardoor mogelijk cultureel specifieke markers in Hindi en Chinees worden gemist.
- OCR: Het ontbreken van een dedicated OCR-fase betekent dat tekst die in afbeeldingen is ingebed gezamenlijk met de afbeelding wordt verwerkt, wat mogelijk fouten introduceert.
- Toekomstige richtingen: Integratie van expliciete OCR, cultureel adaptieve prompting en diverse perspectieven in LF-ontwerp om generaliseerbaarheid te verbeteren zonder dure hertraining.

Conclusie

Het paper toont aan dat het decomponeren van complexe multimodale taken in gerichte vragen leidt tot robuustere en interpreteerbare detectie van haatzaaiende taal. Door gebruik te maken van een gequantiseerde VLM voor kenmerkextractie en een lichtgewicht classificator voor aggregatie, behaalden de auteurs state-of-the-art resultaten in een meertalige gedeelde taak, waarmee wordt bewezen dat "de juiste vragen stellen" effectiever is dan "in één keer het juiste antwoord raden".