💬 NLP

Disparities In Negation Understanding Across Languages In Vision-Language Models

Dit onderzoek introduceert een menselijk geverifieerde meerlinguïstische benchmark voor negatie in visueel-taalmodellen en toont aan dat bestaande oplossingen voor affirmatiebias ongelijkmatig presteren over verschillende talen heen, waardoor specifieke linguïstische eigenschappen en taalvaardigheid cruciaal zijn voor eerlijke AI-deployments.

Oorspronkelijke auteurs: Charikleia Moraitaki, Sarah Pan, Skyler Pulling, Gwendolyn Flusche, Kumail Alhamoud, Marzyeh Ghassemi

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Charikleia Moraitaki, Sarah Pan, Skyler Pulling, Gwendolyn Flusche, Kumail Alhamoud, Marzyeh Ghassemi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🌍 De Grootte van het Probleem: De "Ja, Ja"-Robot

Stel je voor dat je een slimme robot hebt die foto's kan bekijken en beschrijven. Deze robot is getraind om dingen te herkennen. Maar er zit een klein, gevaarlijk mankement in zijn brein: hij is verslaafd aan het woord "JA".

Als je hem een foto toont van een boot en vraagt: "Zie je hier een boot?", zegt hij: "Ja, ik zie een boot!" – dat is goed.
Maar als je vraagt: "Zie je hier geen boot?" (een ontkenning), dan kijkt de robot naar het woord "boot" op de foto en denkt hij: "O, boot! Dan is het antwoord: JA!" Hij negeert het woordje "geen" volledig. Dit noemen de onderzoekers bevestigingsbias. Het is alsof de robot alleen luistert naar de hoofdonderwerpen en de "niet"-woorden over het hoofd ziet.

🌐 Het Grote Mislukken: Niet voor iedereen hetzelfde

Tot nu toe hebben wetenschappers dit probleem alleen getest in het Engels. Maar de wereld spreekt niet alleen Engels. En in andere talen werken "niet"-woorden heel anders.

Stel je voor dat taal een kledingstuk is:

In het Engels is het "niet" een losse knoop die je makkelijk kunt zien (bijv. no boat).
In het Grieks of Russisch is het "niet" vaak ingeweven in het werkwoord zelf, alsof het een onzichtbare draad is die door de stof loopt.
In het Arabisch (dat van rechts naar links leest) of Chinees (waar elk woord een apart symbool is) is het "niet" weer een heel ander soort knoop.

De onderzoekers (van MIT) dachten: "Misschien werkt de oplossing die we voor het Engels hebben bedacht, ook voor deze andere kledingstukken?"

🔬 Het Experiment: Een Wereldwijde Test

Ze hebben een nieuwe test gemaakt (een "benchmark") met foto's en zinnen in zeven verschillende talen: Engels, Spaans, Grieks, Tagalog (Filipijnen), Russisch, Arabisch en Chinees. Ze hebben drie verschillende AI-modellen getest om te zien hoe goed ze deze "niet"-vragen konden beantwoorden.

De resultaten waren verrassend en soms zorgelijk:

De "Engelse" Robot (CLIP): Deze robot deed het goed in het Engels, maar in andere talen (zoals Arabisch en Tagalog) deed hij slechter dan een gok. Het was alsof hij in die talen helemaal blind was.
De "Wereldwijde" Robot (MultiCLIP): Deze robot was getraind in veel talen en deed het overal beter, maar zelfs hij maakte veel fouten bij het begrijpen van "niet".
De "Reparatie" (SpaceVLM): Er was een nieuwe techniek bedacht om de robot te helpen het woord "niet" te zien.
- Het goede nieuws: Voor talen waar "niet" als een los woordje staat (zoals Engels, Spaans, Grieks), werkte deze reparatie wonderlijk goed. De robot werd plotseling veel slimmer.
- Het slechte nieuws: Voor talen waar "niet" ingewikkeld in het woord zit (zoals Russisch, Arabisch, Chinees), werkte de reparatie niet goed, of maakte het de robot zelfs verwarder.

💡 De Grote Les: Eén maat past niet bij iedereen

De belangrijkste ontdekking van dit papier is dit: Taalstructuur bepaalt of een AI-oplossing werkt.

Stel je voor dat je een sleutel hebt die perfect past in een Engels slot. Als je diezelfde sleutel probeert te gebruiken in een Russisch of Chinees slot, past hij niet. Je kunt de sleutel niet "versterken" om hem in elk slot te laten werken; je moet een nieuwe sleutel maken die past bij de vorm van dat specifieke slot.

De onderzoekers zeggen: "We kunnen AI niet eerlijk maken door alleen maar de Engelse regels over de hele wereld te plakken." Als we AI gebruiken in ziekenhuizen (bijvoorbeeld om te zeggen of er geen breuk is in een röntgenfoto), dan is het levensgevaarlijk als de AI in het Arabisch of Russisch de "geen" over het hoofd ziet, terwijl hij dat in het Engels wel doet.

🚀 Conclusie

Dit onderzoek waarschuwt ons dat we AI niet zomaar wereldwijd kunnen uitrollen zonder te kijken naar de taal.

Voor de Engelse wereld: We hebben al goede oplossingen.
Voor de rest van de wereld: We moeten nieuwe, specifieke oplossingen vinden die rekening houden met hoe die talen "niet" bouwen.

Kortom: Om AI eerlijk te maken voor iedereen, moeten we stoppen met denken dat "Engels" de standaard is voor hoe de wereld werkt. We moeten leren kijken naar de unieke structuur van elke taal, net zoals een kleermaker die voor elke klant een maatpak op maat maakt, in plaats van één groot pak dat voor niemand echt goed zit.

Titel: Dispariteiten in het Begrip van Ontkenning in Vision-Language Modellen (VLM's) over Talen heen

1. Het Probleem: Affirmatiebias en Taalverschillen

Vision-Language Models (VLM's) vertonen een systematische affirmatiebias: ze hebben de neiging om positieve bijschriften ("X is aanwezig") te selecteren, zelfs wanneer de juiste beschrijving een ontkenning bevat ("geen X"). Hoewel dit probleem eerder is gedocumenteerd in het Engels, is er een kritieke kennislacune over hoe dit zich manifesteert in andere talen.

Ontkenning wordt niet universeel uitgedrukt. Talen verschillen aanzienlijk in:

Morfologie: Hoe ontkenning wordt gevormd (bijv. losse deeltjes vs. verbuigde werkwoorden).
Woordvolgorde: De positie van het ontkenningsteken in de zin.
Klitisering: Hoe ontkenningselementen aan andere woorden worden vastgeplakt.
Script: Links-naar-rechts (Latijns) versus rechts-naar-links (Arabisch) of niet-Latijnse scripts (Chinees).

De auteurs betogen dat oplossingen die in het Engels werken, mogelijk niet eerlijk of effectief zijn voor andere taalgemeenschappen, wat leidt tot een "digitale taalkloof" met ernstige gevolgen voor veiligheidskritieke toepassingen (zoals radiologie, waar het verschil tussen "geen pleurale effusie" en "wel pleurale effusie" cruciaal is).

2. Methodologie

De auteurs hebben een nieuwe, menselijk geverifieerde meerlingual benchmark ontwikkeld en deze gebruikt om bestaande VLM's en een voorgestelde correctiemethode te evalueren.

Benchmark Constructie (NegBench Multilingual):
- Uitgebreid vanuit het Engelse NegBench-dataset (5.914 beeld-bijschrift sets van COCO).
- Talen: Zeven taalkundig diverse talen: Engels, Mandarijn, Arabisch, Grieks, Russisch, Tagalog en Spaans.
- Typologische indeling:
  - Onafhankelijke deeltjes: Engels, Spaans, Grieks, Tagalog.
  - Morfologisch complex: Russisch, Arabisch.
  - Isolerend met specifieke deeltjes: Mandarijn.
- Validatie: Vertalingen via Google Translate, gevolgd door menselijke verificatie door native speakers (30 samples per taal) om semantische trouw en natuurlijke formulering te garanderen.
Geëvalueerde Modellen:
- CLIP: Voornamelijk getraind op Engels.
- SigLIP: Meertalig getraind.
- MultiCLIP: Meertalig getraind (geacht het meest eerlijk te zijn).
- SpaceVLM: Een recente correctiemethode die bijschriften decomposeert in affirmatieve en ontkende componenten (gebruikmakend van een drempelwaarde $\tau=0.92$ afgeleid van Engelse data).
Evaluatiemeta:
- Top-1 nauwkeurigheid op een 4-voudige meerkeuzetaak (kansniveau = 25%).

3. Belangrijkste Resultaten

A. Bestaande Modellen en Taaldispariteiten
Zelfs de meest geavanceerde meertalige modellen vertonen significante prestatiekloven:

CLIP: Toont de grootste dispariteit. Engels scoort 39,3%, maar talen als Arabisch (15,7%), Tagalog (11,8%) en Grieks (18,0%) presteren onder het willekeurige niveau (chance).
SigLIP & MultiCLIP: Verkleinen de kloof, maar presteren niet perfect. MultiCLIP heeft de meest consistente prestaties (standaardafwijking 1,3%), maar de gemiddelde nauwkeurigheid blijft laag (41,2%).
Conclusie: Meertalige training alleen lost het probleem van het begrijpen van ontkenning niet op.

B. Effectiviteit van SpaceVLM (Typologische Patronen)
De toepassing van SpaceVLM onthult een sterk patroon dat correleert met de taalkundige structuur van de taal:

Grote winst voor talen met onafhankelijke deeltjes: Talen zoals Engels, Spaans, Grieks en Tagalog (waar ontkenning vaak via losse deeltjes gebeurt) profiteren aanzienlijk van de correctie (+9,0 tot +38,9 procentpunten).
- Voorbeeld Tagalog: Van 11,8% naar 50,7% (+38,9pp) bij CLIP.
Variabele of negatieve effecten voor complexe systemen: Talen met morfologisch complexe ontkenning (Russisch, Arabisch) of specifieke semantische deeltjes (Chinees) tonen kleine verbeteringen of zelfs prestatiedalingen.
- Voorbeeld Chinees: Bij SigLIP daalt de score van 31,9% naar 12,4% (-19,5pp).
- Voorbeeld Russisch: Dalingen van -10,6pp bij SigLIP en -7,0pp bij MultiCLIP.

Dit patroon bleef consistent, zelfs bij fine-tuned modellen (NegCLIP, ConCLIP), wat suggereert dat het een fundamenteel kenmerk is van hoe deze talen ontkenning coderen, en niet slechts een artefact van specifieke modellen.

4. Belangrijkste Bijdragen

Eerste Meertalige Benchmark: Introductie van de eerste menselijk geverifieerde benchmark voor het testen van VLM's op het begrijpen van ontkenning in zeven typologisch diverse talen.
Kwantificering van Ongelijkheid: Aantonen dat zelfs "eerlijke" meertalige modellen systematisch falen voor niet-Engelse talen, met prestatieverschillen tot wel 27,5 procentpunten.
Typologische Inzicht: Het onthullen dat de effectiviteit van technische correcties (zoals SpaceVLM) afhankelijk is van de morfologische structuur van de taal. Oplossingen die werken voor Engelse-achtige structuren, werken niet noodzakelijk voor andere taalfamilies.

5. Betekenis en Implicaties

Eerlijke Deployments: De resultaten waarschuwen dat het wereldwijd inzetten van VLM's zonder rekening te houden met taalkundige diversiteit leidt tot ongelijke servicekwaliteit, vooral in veiligheidskritieke domeinen.
Toekomstige Richtingen:
- Data: Curatie van meerlinguale pretraining data rijk aan ontkenning.
- Tokenisatie: Ontwikkeling van strategieën die de reikwijdte van ontkenning behouden over verschillende morfologische systemen heen.
- Aanpassing: Het is waarschijnlijk nodig om correctiemethoden (zoals de drempelwaarde $\tau$ in SpaceVLM) per typologische groep aan te passen in plaats van één universele oplossing te gebruiken.
- Parsing: Fine-tuning van meertalige LLM's om affirmatieve en ontkende componenten beter te extraheren, rekening houdend met syntactische verschillen.

Conclusie: Het paper benadrukt dat linguïstische typologie de manier waarop modellen betekenis interpreteren, fundamenteel beïnvloedt. Om AI-systemen echt eerlijk en betrouwbaar te maken voor alle taalgemeenschappen, moeten benchmarks en oplossingen deze diversiteit expliciet omarmen in plaats van alleen te vertrouwen op Engelse patronen.