🤖 AI

EVL-MCoT: Enhanced Vision-Language Multi-CoT for Harmful Meme Detection

Dit artikel stelt EVL-MCoT voor, een verbeterd vision-language framework dat gebruikmaakt van multi-perspectivische Chain-of-Thought redenering en een prototype-gestuurd decodeermechanisme om de detectie van schadelijke memes te verbeteren door beperkingen in de integratie van achtergrondkennis en fijnmazige visuele-tekst uitlijning aan te pakken.

Oorspronkelijke auteurs: Hao Yang, Jin Wang, Xuejie Zhang

Gepubliceerd 2026-07-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hao Yang, Jin Wang, Xuejie Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Verborgen Taal van het Internet

Stel je het internet voor als een enorme, chaotische speeltuin waar mensen niet alleen praten; ze vertellen grappen met een mix van plaatjes en woorden. Dit worden "memes" genoemd. Soms is een meme gewoon een grappige kat met een gek bijschrift. Maar andere keren is een meme een Trojaans paard: het ziet eruit als een onschuldige grap, maar er zit eigenlijk een gemene, racistische of haatdragende boodschap in verborgen. Dit is het lastige probleem dat wetenschappers proberen op te lossen. Om een meme te begrijpen, kun je niet alleen naar de afbeelding kijken of alleen de tekst lezen; je moet begrijpen hoe ze samen werken. Het is als proberen een goocheltruc te begrijpen door alleen naar de handen van de goochelaar te kijken of alleen naar de muziek te luisteren, maar nooit beide tegelijk te zien.

Een tijdlang probeerden computers deze slechte memes te ontdekken door naar de afbeelding en de tekst afzonderlijk te kijken, als twee verschillende detectives die geïsoleerd van elkaar werken. Maar dit mislukte vaak omdat ze subtiele aanwijzingen misten, zoals sarcasme of culturele referenties, die alleen verschijnen wanneer je de twee combineert. Recentelijk zijn wetenschappers begonnen met het gebruik van "Chain-of-Thought" (CoT) redenering. Denk hierbij aan een computer vragen om "hardop na te denken" voordat hij een antwoord geeft, waarbij hij zijn stappen uitlegt zoals een leerling zijn wiskunde-werk laat zien. Echter, de oude manier van dit doen was als een leerling vragen om een probleem op te lossen met slechts één enkele methode. Als die leerling een fout maakte in zijn eerste stap, was het hele antwoord fout, en had hij geen back-upplan. Dit artikel introduceert een nieuwe manier om computers te helpen nauwkeuriger na te denken, door gebruik te maken van meerdere perspectieven om de sluwe, schadelijke memes te vangen die anderen missen.

Het Detectivekwartet: EVL-MCoT

De onderzoekers, Hao Yang, Jin Wang en Xuejie Zhang van Yunnan University, stellen een nieuw systeem voor genaamd EVL-MCoT (Enhanced Vision-Language Multi-CoT). Je kunt dit systeem zien als een superkrachtig detectivekwartet dat niet vertrouwt op slechts één detective om een zaak op te lossen. In plaats daarvan stuurt het een heel team uit om dezelfde meme vanuit verschillende hoeken te onderzoeken.

Zo werkt de magie:

1. De "Denk twee keer na"-strategie (Multi-CoT)
In de oude dagen zou een computer naar een meme kijken en proberen te raden of deze slecht of goed was in één enkele poging. Als de computer in de war raakte, gokte hij maar wat. De nieuwe methode, EVL-MCoT, dwingt de computer om meerdere verschillende verklaringen voor dezelfde meme te genereren. Stel je voor dat je drie verschillende experts vraagt om een verwarrende grap uit te leggen: de een focust misschien op de geschiedenis, een ander op de visuele symbolen, en een derde op de toon van stem. Het systeem creëert een "schadelijke" verklaring en een "onschuldige" verklaring voor dezelfde afbeelding. Vervolgens vergelijkt het deze. Door naar de verschillen tussen deze meerdere paden te kijken, is de computer veel minder snel geneigd om in de strijd te worden gelokt door sarcasme of verborgen vooroordelen. Het is als het controleren van je werk met een tweede paar ogen voordat je een toets inlevert.

2. De "Zaklamp"-decoder (Prototype-Guided)
Een van de grootste problemen bij het opsporen van slechte memes is dat de computer vaak kleine, belangrijke details in de afbeelding mist. Hij ziet misschien een hele menigte, maar mist het specifieke boze gezicht in de hoek. Om dit op te lossen, hebben de onderzoekers een "Prototype-Guided Decoder" toegevoegd. Denk hierbij aan een speciale zaklamp die de computer gebruikt om de afbeelding te scannen. In plaats van de hele afbeelding in één keer te bekijken, belicht de zaklamp specifieke "prototypes" of sleutelpatronen (zoals een specifiek symbool of een bepaald type uitdrukking) die bekend staan als belangrijk. Dit helpt de computer om in te zoomen op de fijne details die normaal gesproken worden genegeerd, zodat hij niet de kleine aanwijzingen mist die een grappige foto veranderen in een haatdragende afbeelding.

3. De "Context"-decoder (Context-Guided)
Zelfs als de computer de details ziet, begrijpt hij misschien niet waarom ze belangrijk zijn zonder de juiste context. De "Context-Guided Decoder" werkt als een vertaler die de verbanden legt tussen de afbeelding en de woorden. Het neemt de visuele aanwijzingen die de zaklamp heeft gevonden en vraagt: "Hoe verandert deze afbeelding de betekenis van deze tekst?" Bijvoorbeeld, als de tekst zegt "Ga naar huis", is dat onschuldig. Maar als de afbeelding een specifieke groep mensen laat zien die wordt achtervolgd, verandert de betekenis volledig. Deze decoder dwingt de tekst en de afbeelding om diep met elkaar te communiceren, zodat de computer het volledige verhaal begrijpt, en niet alleen de onderdelen.

Wat ze hebben gevonden

Het team heeft hun nieuwe systeem getest op twee grote collecties memes: de Hateful Memes dataset (met meer dan 10.000 voorbeelden) en de MultiOFF dataset (met 743 voorbeelden). Ze vergeleken hun systeem met veel andere beroemde modellen, waaronder enkele die gebruikmaken van enorme AI-hersenen zoals GPT-4 en LLaVA.

De resultaten waren zeer veelbelovend. Op de Hateful Memes dataset behaalde EVL-MCoT een nauwkeurigheid van 75,88% op standaardtests en 75,57% op lastige, onbekende tests. Het scoorde ook een AUROC (een maatstaf voor hoe goed het onderscheid maakt tussen goed en slecht) van respectievelijk 79,25% en 79,40%. Deze cijfers waren hoger dan bijna alle andere methoden die ze hebben getest, inclusief enkele zeer geavanceerde modellen.

Op de MultiOFF dataset bereikte het systeem een nauwkeurigheid van 70,0% en een F1-score van 63,8, waarmee het opnieuw de andere modellen versloeg.

De onderzoekers hebben ook experimenten uitgevoerd om te zien wat er zou gebeuren als ze onderdelen van hun systeem zouden verwijderen. Wanneer ze de "Multi-CoT" (de meerdere denkpaden) weghaalden, daalde de nauwkeurigheid aanzienlijk. Wanneer ze de "Prototype-Guided" of "Context-Guided" decoders weghaalden, ging de prestatie ook omlaag. Dit suggereert dat elk deel van hun team noodzakelijk is voor de beste resultaten. Ze ontdekten dat het gebruik van meer denkpaden (specifiek het genereren van 3 schadelijke en 3 onschuldige verklaringen) beter werkte dan het gebruik van slechts één of twee.

Waarom het ertoe doet

Dit artikel suggereert dat de manier waarop we computers leren om internetcultuur te begrijpen, moet veranderen. In plaats van alleen naar een plaatje te kijken en te gokken, of een enkele redeneringslijn te gebruiken, hebben we systemen nodig die met zichzelf kunnen discussiëren, hun eigen werk kunnen controleren en details met een fijnmazige kam kunnen onderzoeken. Door dit "Multi-CoT" aanpak te gebruiken, laat het EVL-MCoT-systeem zien dat computers beter kunnen worden in het opsporen van de verborgen, schadelijke boodschappen die proberen zich achter een glimlach te verschuilen. Hoewel het systeem niet perfect is, vormt het een belangrijke stap vooruit in het veiliger maken van het internet door machines te helpen de complexe, vaak verraderlijke taal van memes te begrijpen.

Technische Samenvatting: EVL-MCoT voor de detectie van schadelijke memes

1. Probleemstelling

Schadelijke memes, die visuele en tekstuele elementen combineren om sarcasme, ironie of discriminatie over te brengen, vormen een aanzienlijke uitdaging voor automatische detectie. Bestaande benaderingen vertrouwen primair op dual-stream vision-language modellen die visuele en tekstuele kenmerken simultaan extraheren. Deze methoden lijden echter onder drie kritieke beperkingen:

Gebrek aan achtergrondkennis: Ze falen vaak in het integreren van de noodzakelijke achtergrondinformatie en voorkennis die vereist zijn om verborgen betekenissen en impliciete culturele referenties te interpreteren.
Onbetrouwbare enkelvoudige ketenredenering: Hoewel Chain-of-Thought (CoT) redenering is verkend, zijn eenvoudige single-path CoT-benaderingen gevoelig voor inconsistenties, fouten en bias vanwege hun afhankelijkheid van één enkele redeneertraject en de inherente biases van Large Language Models (LLM's).
Oppervlakkige feature fusie: Huidige methoden vertrouwen vaak op oppervlakkige fusiemechanismen die er niet in slagen lokale visuele details af te stemmen op fijnmazige tekstuele prompts, wat een diep begrip van de complexe verbindingen tussen modaliteiten verhindert.

2. Methodologie: EVL-MCoT

De auteurs stellen Enhanced Vision-Language Multi-CoT (EVL-MCoT) voor, een framework dat is ontworpen om deze beperkingen aan te pakken via meerperspectivische redenering en geavanceerde cross-modale uitlijning. De architectuur bestaat uit drie primaire componenten:

2.1 Multi-CoT Generatie

Om de betrouwbaarheid van de redenering te vergroten en bias te verminderen, genereert het framework meerdere redeneerketens in plaats van een enkel pad.

Dual-Perspective Prompting: Voor elk meme-instantie $M = \{I, T\}$ prompt het systeem een MLLM (bijv. GPT, LLaVA) om redeneerprocessen te genereren vanuit zowel schadelijke ($hatefult$) als onschuldige ($benignt$) perspectieven.
Vergelijkende Redenering: Door $n$ schadelijke CoT's te koppelen aan $m$ onschuldige CoT's, creëert het systeem $n \times m$ combinaties. Het model behandelt dit als een vergelijkende taak en selecteert de redeneerketen die het beste overeenkomt met de beeld-tekstrelatie. Deze multi-path benadering introduceert redundantie, wat het model helpt om genuanceerde culturele cues en impliciete biases robuuster te vangen.

2.2 Prototype-Guided Decoder

Om de uitdaging van fijnmazige visuele-tekst fusie aan te pakken, introduceren de auteurs een prototype-guided decoder.

Visuele Codering: Visuele inputs worden verwerkt met behulp van een bevroren Long-CLIP encoder om visuele tokens $H$ te extraheren.
Prototype Attention: Leerbare prototype features $Pr$ worden geïnitialiseerd. Een cross-attention mechanisme wordt toegepast waarbij prototypes dienen als queries ( $Q$ ) en visuele tokens dienen als keys ( $K$ ) en values ( $V$ ). Dit groepeert semantisch gelijkaardige tokens onder dezelfde prototype, waardoor globale contextuele informatie wordt gevangen.
Feature Fusie: Een attention-gebaseerde fusie-aanpak aggregeert deze prototype-verrijkte features tot een finale visuele representatie $S$ , wat het vermogen van het model verbetert om langetermijn-afhankelijkheden te vatten.

2.3 Context-Guided Decoder

Om de kloof tussen visie en tekst te overbruggen, wordt een context-guided decoder ingezet.

Tekst Codering: Tekstfeatures ( $T_{emb}$ ) worden geëxtraheerd met behulp van de bevroren Long-CLIP text encoder.
Visuele-Tekst Uitlijning: De visuele prototype features ($Pr$) fungeren als queries ( $Q$ ), terwijl de tekstfeatures dienen als keys ( $K$ ) en values ( $V$ ). Dit mechanisme stelt de tekstencoder in staat om dynamisch aandacht te besteden aan de visuele context, waardoor tekst-embeddings worden verrijkt met visuele priors en fijnmazige semantische verfijning mogelijk wordt.

2.4 Trainingsstrategie

De finale features (verrijkte tekst-embeddings $T_{embE}$ en verfijnde visuele features $S$ ) worden geconcateneerd en uitgelijnd met behulp van een contrastieve leerdoelstelling. Het model minimaliseert de cross-entropy loss tussen de alignment scores van de geconcateneerde schadelijke/onschuldige tekstfeatures en de visuele features tegen de ground truth labels.

3. Belangrijkste Bijdragen

Het paper zet drie belangrijke bijdragen uiteen:

Framework Integratie: De voorstel van EVL-MCoT, die multi-chain redenering (Multi-CoT) integreert met geavanceerde multimodale fusie om onbetrouwbare single-chain redenering en oppervlakkige cross-modale uitlijning te overwinnen.
Bias Reductie en Uitlijning: De generatie van diverse CoT's om bias en inconsistenties te verminderen, gekoppeld aan een nieuw decoding framework (prototype-guided en context-guided) dat de visuele-tekst uitlijning aanzienlijk verbetert.
Empirische Validatie: Demonstratie van competitieve prestaties op de HatefulMemes en MultiOFF datasets, waarbij bestaande unimodale, multimodale en large multimodal model baselines worden overtroffen.

4. Experimentele Resultaten

De auteurs hebben EVL-MCoT geëvalueerd op twee datasets:

HatefulMemes Dataset: Het model behaalde state-of-the-art resultaten op zowel de TestSeen (Nauwkeurigheid: 75,88%, AUROC: 79,25%) als de TestUnseen (Nauwkeurigheid: 75,57%, AUROC: 79,40%) splits, waarmee sterke baselines zoals Flamingo, IDEFICS en diverse CLIP-gebaseerde modellen werden overtroffen.
MultiOFF Dataset: Het model behaalde een Nauwkeurigheid van 70,0% en een F1-score van 63,8%, waarmee het unimodale baselines (bijv. ResNet50, BERT) en andere multimodale benaderingen (bijv. VisualBERT, CLIP, LLaVA varianten) overtrof.

Ablatie-studies:

Het verwijderen van Long-CLIP zorgde voor een significante verslechtering van de prestaties, wat de noodzaak van long-context verwerking voor CoT sequenties bevestigt.
Het verwijderen van de Prototype-Guided Decoder of de Context-Guided Decoder leidde tot vergelijkbare prestatiedalingen, wat hun rollen in gestructureerde feature learning en contextuele uitlijning valideert.
Het verminderen van het aantal CoT-paden (bijv. $n=1, m=1$ ) veroorzaakte een substantiële daling in nauwkeurigheid, wat bewijst dat meerdere redeneerpaden essentieel zijn voor robuustheid.

5. Betekenis en Claims

Het paper claimt dat EVL-MCoT de uitlijning tussen visuele en tekstuele modaliteiten aanzienlijk versterkt, wat uiteindelijk het vermogen tot detectie van schadelijke memes verbetert.

Interpreteerbaarheid: Het framework genereert gestructureerde CoT-verklaringen die verschillende aspecten van de meme-inhoud belichten (visueel, tekstueel of de geïmpliceerde betekenis), wat zorgt voor een grotere interpreteerbaarheid dan black-box classifiers.
Robuustheid: Door zowel ondersteunende als tegenstrijdige argumenten te simuleren via multi-CoT, vermindert het model willekeur en verbetert het de consistentie in besluitvorming.
Generalisatie: De aanpak vertoont superieure generalisatiecapaciteiten, met name op ongeziene datadistributies, door gebruik te maken van diep semantisch begrip in plaats van oppervlakkige feature matching.

De auteurs concluderen dat hoewel het huidige framework effectief is, toekomstig werk zich zal richten op strategieën om redeneerketens te verkorten zonder de prestaties in gevaar te brengen en de toepassing uit te breiden naar andere multimodale taken.