Stel je het internet voor als een gigantisch, chaotisch digitaal dorpsplein waar iedereen schreeuwt, fluistert en tekeningen op de muren maakt. In dit dorp zijn "memes" de populairste manier om te communiceren. Ze zijn als grappen die alleen door ingewijden worden begrepen, waarbij een grappige afbeelding wordt gecombineerd met een slimme onderschrift. Maar soms veranderen deze grappen in wapens, waarbij haatzaaiende taal of pestgedrag wordt verborgen achter een lach. Het lastige is dat een afbeelding er onschuldig uit kan zien, maar de tekst iets verschrikkelijks kan betekenen, of andersom. Om dit te stoppen, moeten computers leren om zowel de afbeelding als de woorden tegelijkertijd te "lezen", waarbij ze het hele verhaal begrijpen en niet alleen de losse onderdelen. Dit is een enorme uitdaging voor computers, vooral wanneer de grappen worden verteld in talen die ze niet goed kennen, zoals het Nepalees, waarbij het schrift (het Devanagari-schrift) direct op de afbeeldingen wordt getekend.

Wetenschappers hebben geprobeerd betere "digitale detectives" te bouwen om schadelijke memes op te sporen. Meestal proberen ze een lange lopende band te bouwen: eerst leest een machine de tekst van de afbeelding (zoals een scanner), dan vertaalt een andere machine het, en tot slot beslist een derde machine of het slecht is. Maar dit is als het proberen op te lossen van een puzzel door hem stukje bij beetje uit elkaar te halen; je kunt dan het beeld van het geheel verliezen. Dit papier introduceert een nieuw team van detectives dat geen lopende band nodig heeft. In plaats daarvan gebruiken ze een superintelligent, alles-in-één brein dat zowel naar de afbeelding kan kijken als de tekst tegelijkertijd kan lezen, precies zoals een mens dat doet. De onderzoekers testten dit brein op Nepalese memes om te zien of het haatzaaiende taalgebruik kon opsporen en of het de stemming kon bepalen: blij, verdrietig of neutraal.

Het Verhaal van het Papier: Een Detective-training in Twee Fasen

De onderzoekers, Nitiz Khanal en zijn team, namen deel aan een wedstrijd genaamd CHiPSAL 2026, waarbij het doel was om het beste systeem te bouwen voor het opsporen van haat en het analyseren van gevoelens in Nepalese memes. Ze gooiden niet zomaar een computer op het probleem; ze ontwierpen een slimme twee-fasen trainingskamp voor hun AI-model.

De Sterspeler: Qwen3-VL
In het hart van hun systeem zit een massief, vooraf getraind AI-model genaamd Qwen3-VL-8B-Instruct. Denk aan dit model als een genie-student die al miljoenen boeken heeft gelezen en miljoenen plaatjes van over de hele wereld heeft gezien. Cruciaal is dat deze student al weet hoe hij het Devanagari-schrift moet lezen dat in Nepal wordt gebruikt, dus de onderzoekers hoefden het niet vanaf nul te leren lezen of een aparte tool te gebruiken om de tekst te scannen. Het kon naar een meme kijken en de woorden geschreven op de afbeelding onmiddellijk "zien".

Fase 1: De Creatieve Schrijver
In de eerste fase van de training leerden de onderzoekers de AI om te handelen als een creatieve schrijver. Ze lieten het de AI duizenden memes zien en vroegen het om het antwoord op te schrijven: "Haat" of "Veilig", of "Negatief", "Neutraal" of "Positief". Om dit te doen zonder de computer te overbelasten, gebruikten ze een techniek genaamd LoRA (Low-Rank Adaptation). Stel je voor dat de AI een gigantische bibliotheek is met miljoenen boeken. In plaats van elk boek opnieuw te herschrijven om de AI over Nepalese memes te leren, voegden de onderzoekers slechts een paar post-its (kleine, trainbare lagen) toe aan de planken. Dit stelde de AI in staat om de nieuwe taak snel en efficiënt te leren.

Echter, de data die ze hadden was rommelig. Er waren veel meer "Veilige" memes dan "Haat"-memes, en veel meer "Neutrale" memes dan "Positieve" of "Negatieve". Het is alsof je probeert zeldzame dieren te identificeren wanneer je slechts één foto van een tijger hebt, maar duizend foto's van katten. Om dit op te lossen, gebruikten het team oversampling (het maken van extra kopieën van de zeldzame memes) en image augmentation (het spiegelen, draaien en aanpassen van de helderheid van de afbeeldingen), zodat de AI de plaatjes niet alleen zou memoriseren, maar ook echt de patronen zou leren. Voor de taak met drie klassen sentiment gebruikten ze ook een speciale wiskundige truc genaam Focal Loss, die de AI vertelde om extra aandacht te besteden aan de moeilijke voorbeelden die hij steeds weer fout had.

Fase 2: De Strenge Coach
De eerste fase was goed, maar de onderzoekers wilden dat de AI nog scherper werd. In de tweede fase voegden ze een "contrastieve leercoach" toe. Dit is als een spel van "zoek de verschillen". De coach liet de AI twee memes zien die beide "Haat" waren en zei: "Deze twee horen bij elkaar!" Daarna liet het een "Haat"-meme en een "Veilige" meme zien en zei: "Deze twee zijn totaal verschillend! Duw ze uit elkaar!" Dit hielp de AI om vergelijkbare ideeën nauw bij elkaar te groeperen en verschillende ideeën in zijn geest ver van elkaar weg te duwen. Deze fase vroeg niet alleen om een antwoord; het dwong de AI om de vorm van de data te begrijpen, waardoor de beslissingen robuuster werden.

Het Eindoordeel: Het Mengen van de Scores
Toen het tijd was voor het laatste examen, kozen het team niet simpelweg voor het antwoord uit Fase 1 of Fase 2. Ze creëerden een teamoverleg. Ze namen de waarschijnlijkheidsscore van de "Creatieve Schrijver" (Fase 1) en de score van de "Strenge Coach" (Fase 2) en mengden deze samen met een speciale weging. Ze testten verschillende mengverhoudingen op een oefenset om de perfecte balans te vinden die de hoogste score opleverde.

Wat Ze Vonden

De resultaten waren indrukwekkend. Het team behaalde met hun systeem de 2e plaats op de officiële ranglijst voor de taak van het detecteren van haatzaaiende taal, met een score (de Macro F1) van 0,797. Dit betekent dat het systeem erg goed was in het opsporen van schadelijke inhoud, zelfs met de lastige klassenonbalans. Voor de sentimentanalyse-taak (het bepalen of een meme positief, negatief of neutraal was), bezetten ze de 4e plaats op de ranglijst met een score van 0,518.

De onderzoekers ontdekten dat de twee-fasen aanpak het geheime ingrediënt was. Als ze alleen de eerste fase hadden gebruikt (alleen het antwoord opschrijven), zou hun score lager zijn geweest. Het toevoegen van de tweede fase (het contrastieve leren) verbeterde hun prestaties aanzienlijk. Ze ontdekten ook dat de twee taken verschillende trainingsstijlen vereisten. De taak voor haatzaaiende taal was wat eenvoudiger, maar de sentimenttaak was veel moeilijker te leren omdat de grenzen tussen "neutraal" en "positief" of "negatief" vaak vaag zijn, vooral bij humor. Het sentimentmodel had veel strengere regels (regularisatie) nodig om te voorkomen dat het in de war raakte.

Waarom Dit Belangrijk Is (en Wat Het Niet Is)

Dit papier suggereert dat voor talen met weinig middelen, zoals het Nepalees, het gebruik van een krachtig, alles-in-één vision-language model dat het schrift van nature begrijpt, een gamechanger is. Het bewijst dat je geen ingewikkelde keten van tools nodig hebt (zoals aparte tekstscanners en vertalers) om memes te begrijpen; één enkel, slim model kan het end-to-end doen.

De auteur wijst echter voorzichtig op het feit dat hun systeem niet perfect is. Ze geven toe dat de AI soms de diepe culturele context mist. Bijvoorbeeld, een meme kan een historisch figuur of een specifieke culturele grap bevatten die er onschuldig uitziet voor de AI, maar die eigenlijk beledigend is voor een Nepalees. De AI is slim, maar heeft nog niet de geleefde ervaring van de cultuur. Ze merken ook op dat omdat de dataset relatief klein was (ongeveer 1.000 memes per taak), er een risico bestaat dat het model de trainingsdata heeft gememoriseerd in plaats van het echt te hebben geleerd, en dat de resultaten kunnen variëren als ze met een andere willekeurige startwaarde (random seed) opnieuw zouden beginnen.

Uiteindelijk laat dit werk een veelbelovend pad zien: het leren aan grote, slimme AI-modellen om de rommelige, grappige en soms gevaarlijke wereld van memes te begrijpen in talen die door technologie zijn achtergelaten. Het is een stap naar het veiliger en inclusiever maken van het digitale dorpsplein voor iedereen.