NepOOC-M: Bilingual Nepali-English Benchmark and Comparative Analysis of Multimodal Architectures for OOC Detection

In het digitale tijdperk reist een leugen vaak sneller dan de waarheid, maar dat komt niet altijd doordat de waarheid verborgen wordt gehouden. Soms wordt de leugen gebouwd uit de waarheid zelf. Dit is de aard van misinformatie uit de context, een misleidende praktiek waarbij een echte, ongewijzigde foto wordt gekoppeld aan een vals of misleidend bijschrift. De afbeelding blijft onaangetast; een foto van een echte menigte, een echt gebouw of een echt persoon wordt meegenomen uit zijn oorspronkelijke moment en plaats. De misleiding ligt volledig in het verhaal dat erbij verteld wordt. Een foto van een overstroming van tien jaar geleden kan worden gepresenteerd als een actuele ramp, of een foto van een politicus in het ene land kan worden beweerd te laten zien dat hij in een ander land is. Omdat de afbeelding zelf authentiek is, slaagt deze voor de visuele controles die normaal gesproken vervalste foto's of deepfakes ontmaskeren. De uitdaging voor zowel computers als mensen is niet om een nepplaatje te herkennen, maar om te beseffen dat het verhaal dat erbij staat niet overeenkomt met de werkelijkheid die in het kader is vastgelegd.

Jarenlang hebben onderzoekers tools gebouwd om deze mismatches te detecteren, maar het grootste deel van hun werk richtte zich op Engelstalig nieuws en omgevingen met veel middelen. Dit liet een aanzienlijke kloof achter in het begrip van hoe deze misleidingen werken in andere delen van de wereld, met name in regio's waar talen en culturen verschillend zijn. In Nepal, waar misinformatie politieke spanningen kan aanwakkeren of paniek kan verspreiden tijdens natuurrampen, is het probleem urgent. De lokale context is essentieel; een bijschrift kan verwijzen naar een specifiek dorp, een lokale functionaris of een regionale gebeurtenis die een Engelstalig systeem nooit als verdacht zou herkennen. Om dit aan te pakken, zette een onderzoeker genaamd Sanjeev Khatiwada zich bezig met het bouwen van een nieuw soort testomgeving, specif으로 ontworpen voor de Nepalese taal en de unieke manieren waarop misinformatie daar verspreidt.

Het resultaat is een nieuwe collectie gegevens genaamd NepOOC, de eerste publieke benchmark van zijn soort voor het Nepalees. Het bevat 1.090 paren van afbeeldingen en bijschriften, evenredig verdeeld tussen eerlijke berichten en misleidende berichten. De misleidende berichten werden zorgvuldig gecategoriseerd in vijf soorten leugens: volledig verzonnen verhalen, bijschriften die feitelijk onjuist zijn maar niet gaan over tijd of plaats, afbeeldingen uit de verkeerde tijd, afbeeldingen van de verkeerde locatie en afbeeldingen van de verkeerde mensen. Om de betrouwbaarheid van de gegevens te garanderen, werden de paren door meerdere experts beoordeeld, en zij kwamen met een hoge mate van consistentie tot overeenstemming over de classificatie van de misleidende berichten. De dataset bevat real-world voorbeelden afkomstig van factcheck-rapporten, nieuwsportalen en sociale media-archieven, waarmee de rommelige realiteit van hoe deze leugens zich in de praktijk manifesteren, wordt gevangen.

Met deze nieuwe dataset in handen testte de onderzoeker vijf verschillende computersystemen om te zien welke het beste de leugens kon opsporen. Deze systemen varieerden van eenvoudige tekstlezers tot complexe machines die probeerden zowel naar de afbeelding als naar de woorden tegelijkertijd te kijken. Het doel was om te zien of het bekijken van de afbeelding de computer hielp om de leugen te begrijpen, of dat het lezen van het bijschrift voldoende was. De bevindingen waren verrassend en duidelijk. Het best presterende systeem was een multimodale model dat een visuele analyzer combineerde met een tekstlezer, maar het presteerde niet beter dan een systeem dat alleen de tekst las. Sterker nog, een model dat alleen naar de woorden keek, behaalde exact dezelfde hoge score als het meest complexe systeem dat naar zowel de afbeelding als de woorden keek.

De gegevens lieten zien dat het visuele deel van de afbeelding bijna geen hulp bood bij het oplossen van de puzzel. Wanneer de onderzoekers systemen testten die alleen naar de foto's keken en de tekst volledig negeerden, presteerden zij niet beter dan willekeurige gokken. De foto's zelf, die authentiek waren, bevatten geen aanwijzingen voor de misleiding. De leugen zat volledig in het verhaal. Het tekstgebaseerde systeem, dat het bijschrift las en dit controleerde tegen zijn kennis van de wereld, was in staat de mismatch met bijna perfecte nauwkeurigheid te identificeren. Dit suggereert dat voor dit specifieke type probleem, bij de huidige schaal van data, de woorden alle noodzakelijke informatie dragen. De visuele kenmerken, die zo vaak het middelpunt zijn van kunstmatige intelligentie-onderzoek, waren in deze context essentieel stil.

De studie onderzocht ook of het complexer of gespecialiseerder maken van de computersystemen tot betere resultaten zou leiden. Ze testten verschillende soorten neurale netwerken en probeerden modellen specifiek aan te passen voor het Devanagari-schrift dat voor het Nepalees wordt gebruikt. De resultaten gaven aan dat deze architecturale aanpassingen geen significant verschil maakten. Een standaard, goed getrainde tekstlezer werkte net zo goed als een gespecialiseerde versie. De belangrijkste factor voor succes was niet de verfijning van de machine, maar de hoeveelheid data waaruit het moest leren. Wanneer de onderzoekers de systemen testten met kleinere hoeveelheden trainingsdata, hadden de complexere modellen moeite, terwijl de eenvoudigere tekstgebaseerde modellen stabiel bleven. Dit wijst op een duidelijke weg voorwaarts: de sleutel tot betere detectie ligt niet in het bouwen van slimmere algoritmen, maar in het verzamelen van meer voorbeelden van deze leugens om de systemen te onderwijzen.

Dit werk daagt een algemeen aanvaarde aanname in het vakgebied van kunstmatige intelligentie uit, die vaak ervan uitgaat dat het combineren van visie en taal altijd leidt tot betere prestaties. In het geval van misinformatie uit de context in Nepal was de visuele component overbodig. De misleiding was een linguïstische misleiding, geworteld in de specifieke claims die werden gemaakt over mensen, plaatsen en gebeurtenissen. De studie concludeert dat voor talen met beperkte middelen en specifieke soorten misinformatie, het focussen op de tekst en het uitbreiden van de dataset een directere en effectievere weg naar vooruitgang is dan het proberen te ontwerpen van complexere multimodale systemen. Het benadrukt dat soms het krachtigste instrument simpelweg een beter begrip is van het verhaal dat wordt verteld.