Shape vs. Context: Examining Human--AI Gaps in Ambiguous Japanese Character Recognition

Dit onderzoek toont aan dat Vision-Language Models en mensen verschillende beslissingsgrenzen hebben bij het herkennen van ambiguïteit in Japanse karakters, waarbij context de menselijke alignering in sommige gevallen kan verbeteren.

De kern

Titel: Waarom AI en Mensen soms anders kijken naar dezelfde vage teken

Stel je voor dat je naar een wazige foto kijkt. Is het een kat of een hond? Voor een mens is het vaak duidelijk: "Oh, dat is een kat, want hij zit op een kussen." Maar een computerprogramma dat net zo slim lijkt, zou misschien zeggen: "Het is een hond, want de vacht lijkt op die van een hond."

Dit is precies wat deze studie onderzoekt, maar dan met Japanse letters. De onderzoeker, Daichi Haraguchi, wil weten: Kijken AI-modellen (zoals ChatGPT of Gemini) echt op dezelfde manier als mensen naar onduidelijke beelden?

Hier is het verhaal van de studie, vertaald in simpele taal met een paar leuke vergelijkingen.

1. De Proef: Twee letters die bijna hetzelfde zijn

De studie focust op twee Japanse letters die op elkaar lijken als tweelingbroers die net een beetje anders geknipt zijn:

• ソ (uitgesproken als "so")
• ン (uitgesproken als "n")

Het enige verschil is de hoek van het laatste streepje. Voor een mens is het soms lastig om te zien welke het is als de letter wazig is getekend.

Om dit te testen, gebruikte de onderzoeker een slimme truc met een AI (een "β-VAE"). Hij liet de computer een gladde overgang maken tussen de letter "so" en de letter "n". Denk aan een kleurenmengsel: je begint met puur rood ("so"), mengt er gele "n" bij, en krijgt dan 15 stappen van oranje tinten.

• Stap 1 is duidelijk "so".
• Stap 15 is duidelijk "n".
• Stap 7 en 8 zijn zo wazig dat zelfs mensen twijfelen.

2. De Twee Tests: Alleen de vorm vs. De vorm in een zin

De onderzoekers deden twee dingen om te kijken hoe mensen en AI reageerden.

Test 1: Alleen de vorm (De "Vage Foto" test)
Je ziet alleen de wazige letter. Geen andere woorden eromheen.

• Mensen: Als de letter steeds meer op "n" gaat lijken, zeggen mensen steeds vaker "n". Het is een duidelijke lijn.
• AI (De robots): De AI's deden het anders.
  • Gemini twijfelde langer dan mensen. Zelfs als de letter bijna zeker "n" was, bleef hij soms nog "so" zeggen.
  • GPT deed iets raars: hij ging eerst naar "n", maar als de letter heel duidelijk "n" was, zei hij plotseling weer "so". Alsof hij in paniek raakte en terugkrabbelde.
  • Conclusie: Zelfs als de AI heel goed kan lezen, denkt hij niet op dezelfde manier als wij. Zijn "grenslijn" tussen ja en nee loopt anders.

Test 2: De vorm in een woord (De "Context" test)
Nu zetten ze die wazige letter in een echt woord.

• Voorbeeld: Het woord "Dance" (in het Japans: ダンス).
• Stel dat de 'n' wazig is. Is het ダンス (Dance) of ダソス (een nonsenswoord)?

Hier gebeurde er iets interessants:

• Mensen: Gebruiken de rest van het woord als hulpmiddel. Als het woord "Dance" moet zijn, zeggen mensen: "Ah, die wazige letter moet wel 'n' zijn, want 'so' zou geen woord zijn."
• AI:
  • Soms hielp de context de AI om zich meer als een mens te gedragen. Als er in het woord nog andere duidelijke letters stonden die op "n" leken, werd de AI slimmer en koos hij vaker het juiste woord.
  • Maar soms bleef de AI stubborn. Zelfs als het woord duidelijk "Dance" was, bleef hij soms vastzitten aan zijn eigen voorkeur voor de vorm van de letter, in plaats van naar de betekenis te kijken.

3. De Grote Les: Kijk niet alleen naar het cijfer

De belangrijkste boodschap van dit onderzoek is: Succes is niet alles.

Stel je voor dat je twee studenten een toets laat doen.

• Student A (de AI) haalt een 9,5.
• Student B (de mens) haalt een 9,0.

Je denkt: "Student A is beter!" Maar wat als Student A de vragen op een heel andere manier heeft opgelost? Wat als hij de vragen "raadt" op basis van patronen die voor mensen raar zijn?

Dit onderzoek laat zien dat AI-modellen vaak heel goed scores halen, maar dat ze niet denken zoals wij.

• Als je ze alleen een wazig plaatje geeft, maken ze andere keuzes dan wij.
• Als je ze een zin geeft, kunnen ze zich aanpassen, maar ze blijven soms vastzitten in hun eigen "robot-methode".

Waarom is dit belangrijk?

Als we AI gebruiken in de echte wereld (bijvoorbeeld om medische scans te lezen of verkeersborden te herkennen), willen we dat ze niet alleen het juiste antwoord geven, maar dat ze het antwoord op een manier vinden die voor mensen begrijpelijk en betrouwbaar is.

Als een AI een verkeersbord ziet dat half bedekt is door een tak, en hij denkt: "Dat is een stopbord" (omdat hij dat vaak ziet), maar een mens denkt: "Dat is een gevaarlijk bord omdat de vorm anders is", dan kan dat tot problemen leiden.

Samenvattend:
Deze studie is als een spiegel voor AI. Het laat zien dat hoewel robots heel slim lijken, ze soms op een heel vreemde manier naar de wereld kijken. Om te weten of we echt kunnen vertrouwen op AI, moeten we ze niet alleen testen op hun cijfers, maar ook kijken hoe ze denken, vooral als de situatie onduidelijk is. En ja, soms helpt het om ze een beetje context te geven, maar ze blijven toch een beetje "anders" dan wij.

Technische samenvatting

Probleemstelling

Hoewel Vision-Language Models (VLMs) zoals GPT en Gemini hoge nauwkeurigheidspercentages behalen bij tekstherkenning in afbeeldingen, garandeert dit niet dat deze modellen dezelfde besluitvormingspatronen hanteren als mensen, vooral bij het oplossen van visuele ambiguïteit. Mensen gebruiken context flexibel om onduidelijke visuele input te ontcijferen, maar het is onduidelijk of VLMs dit op een vergelijkbare manier doen of dat ze gebukt gaan onder andere, mogelijk vooroordeel-gebaseerde patronen. Het artikel onderzoekt deze gedragskloof door de beslissingsgrenzen van mensen en VLMs te vergelijken bij het herkennen van Japanse karakters die visueel zeer op elkaar lijken.

Methodologie

1. Stimuli Generatie via $\beta$-VAE
Om een gecontroleerde testomgeving voor visuele ambiguïteit te creëren, gebruikte de auteur een $\beta$-Variational Autoencoder ($\beta$-VAE).

• Doel: Het genereren van een continuüm van afbeeldingen die vloeiend interpoleren tussen twee visueel vergelijkbare Japanse karakters: 'ソ' (so) en 'ン' (n).
• Proces: Een dataset van 364 lettertypes (Google Fonts) werd gebruikt om het $\beta$-VAE te trainen. Latente representaties van 'so' en 'n' werden geëxtraheerd en lineair geïnterpoleerd in de latente ruimte.
• Output: 15 evenwijdig gespreide steekproeven ($\alpha$-waarden van 0.0 tot 1.0) die een continuüm vormen van puur 'so' naar puur 'n'.

2. Experimentele Opzet
Het onderzoek bestond uit twee hoofdvragen (RQs) en twee experimentele condities:

• RQ1: Shape-only (Slechts vorm)

  • Taak: Zowel menselijke deelnemers als VLMs kregen geïsoleerde karakters te zien (zonder context) en moesten bepalen of het 'so' of 'n' was.
  • Deelnemers: 30 menselijke deelnemers (30 reacties per stimulus).
  • VLMs: GPT-5.1 en Gemini-2.5-Flash (10 onafhankelijke queries per stimulus).

• RQ2: Shape-in-Context (Vorm in context)

  • Taak: Het ambigu karakter (X) werd ingevoegd in een woord. Deelnemers moesten de volledige woordlezing kiezen.
  • Condities:
    1. Sole-Occurrence: Het woord bevatte geen andere onduidelijke 'so' of 'n' karakters (lexicale context alleen).
    2. Co-Occurrence: Het woord bevatte extra onduidelijke 'so' of 'n' karakters elders in het woord (visuele cues binnen het woord).
  • Deelnemers: Ongeveer 390 menselijke deelnemers.
  • Selectie: Het ambigu karakter X werd gekozen op het punt van maximale ambiguïteit ($\alpha \approx 0.429$), waar mensen ongeveer 50% van de tijd 'so' en 50% 'n' kiezen.

Belangrijkste Bijdragen

1. Methodologische Innovatie: In plaats van statische datasets te gebruiken, introduceert het onderzoek een continuüm van gegenereerde stimuli via een $\beta$-VAE om beslissingsgrenzen met hoge precisie te scannen.
2. Beyond Accuracy: Het artikel beweegt voorbij traditionele nauwkeurigheidsmetingen en focust op kwalitatieve gedragsverschillen en de vorm van beslissingsgrenzen tussen mens en AI.
3. Diagnostisch Instrument: Het toont aan dat minimal-context inputs (geïsoleerde vormen) een nuttige diagnostische test zijn voor mens-AI-alignement, omdat context de gedragspatronen van VLMs aanzienlijk kan veranderen.

Resultaten

1. Shape-only Taak (RQ1)

• Mensen: Toonden een gladde, monotoon toenemende overgang van 'so' naar 'n' naarmate de interpolatieparameter $\alpha$ toenam, met een duidelijke verzadiging bij de eindpunten.
• VLMs (Gemini & GPT):
  • Hun responscurves verschilden significant van die van mensen.
  • Gemini: Volgde de trend maar verzadigde niet bij het menselijke niveau (bleef lager bij 'n').
  • GPT: Toonde een niet-monotoon patroon en schuifde zelfs bij het puurste 'n' beeld ($\alpha=1.0$) weer terug naar 'so'.
  • Conclusie: Zelfs bij visueel onduidelijke stimuli vertonen VLMs een residual bias en andere beslissingsgrenzen dan mensen.

2. Shape-in-Context Taak (RQ2)

• Algemeen Effect: Het plaatsen van het ambigu karakter in een woord veranderde het gedrag van de VLMs aanzienlijk, maar de alignement was niet uniform.
• Sole-Occurrence:
  • In 'so-biased' contexten (het woord was oorspronkelijk 'so') stemde Gemini goed overeen met mensen, maar GPT neigde meer naar 'n' en verschildde significant.
  • In 'n-biased' contexten stemde GPT beter overeen met mensen, terwijl Gemini extreem naar 'n' neigde (afwijkend van mensen).
• Co-Occurrence:
  • De toevoeging van extra onduidelijke karakters binnen hetzelfde woord verbeterde de alignement in veel gevallen.
  • In 'so-biased' contexten werden de VLMs (vooral GPT) menselijker dan in de sole-occurrence conditie.
  • In 'n-biased' contexten bleven model-specifieke tendensen bestaan, hoewel de algemene richting naar menselijk oordeel verschoof.

Significantie en Conclusie

Het onderzoek onthult dat hoge prestaties op standaard benchmarks niet garanderen dat AI-systemen op dezelfde manier "denken" als mensen bij het oplossen van perceptuele ambiguïteit.

• Context is cruciaal: VLMs reageren anders op minimale input dan op contextuele input. Het gedrag van een model kan verschuiven afhankelijk van de beschikbaarheid van contextuele cues (lexicaal vs. visueel binnen het woord).
• Benchmark Design: Om mens-AI-alignement zinvol te beoordelen, moeten evaluaties zowel deliberate minimal-context condities (om de inherente visuele bias van het model te testen) als gecontextualiseerde condities omvatten.
• Toekomst: Er is meer onderzoek nodig om te onderscheiden of VLMs driven worden door woordbetekenis of door lokale co-occurrence cues, bijvoorbeeld door pseudo-woorden te testen.

Samenvattend biedt deze studie een fundamenteel inzicht in de kwalitatieve verschillen in besluitvorming tussen mens en AI, wat essentieel is voor het bouwen van betrouwbare en voorspelbare AI-systemen in real-world scenario's waar interpretatie en vertrouwen een rol spelen.