ORIC: Benchmarking Object Recognition under Contextual Incongruity in Large Vision-Language Models

Dit paper introduceert het ORIC-framework om de prestaties van grote visueel-taalmodellen te evalueren en te verbeteren bij het herkennen van objecten in incongruente contexten, waarbij wordt aangetoond dat dergelijke situaties de herkenning bemoeilijken en dat visuele versterkingsfine-tuning de betrouwbaarheid kan vergroten.

De kern

Hier is een uitleg van het onderzoek "ORIC" in eenvoudig Nederlands, met behulp van alledaagse vergelijkingen.

Het Probleem: De "Verkeerde Verwachting"

Stel je voor dat je een zeer slimme robot hebt die foto's kan bekijken en erover kan praten. Deze robot is getraind op miljoenen foto's en weet precies hoe een keuken eruitziet of hoe een voetbalveld eruitziet.

Maar er is een probleem: De robot is te afhankelijk van wat hij verwacht te zien.

• Voorbeeld 1: Je laat de robot een foto zien van een kantoor met een computer. Vraag je: "Zie je hier een muis?" (een computermuis). De robot zegt: "Ja!" (Goed gedaan).
• Voorbeeld 2: Je laat dezelfde foto zien, maar deze keer staat er een trein op de foto (misschien als een poster of een vreemd object). Vraag je: "Zie je hier een trein?" De robot zegt: "Nee, dat past niet in een kantoor."* (Fout! De trein is er wel, maar de robot negeert het omdat het "onlogisch" is).
• Voorbeeld 3: Je laat een foto zien van een honkbalveld. Er ligt geen bal. Vraag je: "Zie je hier een honkbal?" De robot zegt: "Ja, natuurlijk ligt er een bal op een honkbalveld!" (Fout! Hij hallucineert een bal die er niet is, omdat het zo logisch klinkt).

De onderzoekers noemen dit "Contextuele Incongruïteit". Dat is een moeilijke term voor: "Dingen die er zijn waar ze niet horen, of dingen die er niet zijn waar ze wel horen."

De conclusie van het paper is schokkend: Zelfs de slimste AI-modellen van vandaag (zoals GPT-5 of Qwen) maken hier enorme fouten in. Ze vertrouwen meer op hun "algemene kennis" dan op wat ze daadwerkelijk op de foto zien.

---

De Oplossing: De "ORIC" Test

Om dit probleem op te lossen, hebben de onderzoekers een nieuwe test ontwikkeld genaamd ORIC (Object Recognition in Incongruous Context).

Stel je voor dat je een leerling wilt testen op zijn waarnemingsvermogen. Normaal gesproken geef je hem een foto van een hond in een park en vraag je: "Is dat een hond?" Dat is te makkelijk.

Met ORIC doen ze het anders:

1. De "Moeilijke Ja"-vraag: Ze zoeken foto's waar een object echt staat, maar waar het totaal niet thuishoort. Bijvoorbeeld: Een ijsje in een zwembad. Ze vragen de AI: "Zie je hier een ijsje?" Als de AI "nee" zegt omdat het een zwembad is, faalt hij.
2. De "Moeilijke Nee"-vraag: Ze zoeken foto's waar een object niet staat, maar waar het wel heel logisch zou zijn. Bijvoorbeeld: Een pizza op een strand. Ze vragen: "Zie je hier een pizza?" Als de AI "ja" zegt omdat hij pizza's op stranden verwacht, faalt hij.

Om deze test te maken, gebruikten ze twee slimme trucjes:

• De "Slimme Gokker" (LLM): Een AI die zegt: "Hé, in deze foto met een auto en een boom, zou er een bananenstok kunnen staan? Nee, dat is raar." Dan kiezen ze die bananenstok als testvraag.
• De "Zoeker" (CLIP): Een ander systeem dat zoekt naar objecten die er niet zijn, maar die er wel heel goed uitzien in de omgeving.

---

Wat hebben ze ontdekt?

Toen ze 18 verschillende AI-modellen op deze test lieten, zagen ze dat bijna allemaal zwaar faalden.

• Ze waren goed in simpele dingen (een hond in een park).
• Ze waren slecht in dingen die "raar" leken (een trein in een kantoor).

Het bleek dat de AI's vaak hallucineren. Ze zien dingen die logisch klinken, maar niet bestaan. Of ze missen dingen die er wel zijn, omdat ze denken: "Dat hoort hier niet."

De Remedie: "Visual Reinforcement Fine-Tuning"

Hoe maak je de AI slimmer? Je kunt hem niet gewoon meer foto's geven. Je moet hem leren om te twijfelen.

De onderzoekers gebruikten een methode genaamd Visual-RFT.

• Vergelijking: Stel je voor dat je een kind leert fietsen. Als het kind op een fiets zit die niet past, val je. In plaats van het kind te straffen, geef je een beloning als het zegt: "Ik val, want de fiets is te groot."
• In de AI: Ze trainden een model (Qwen3-VL) op deze "raar" foto's. Ze gaven de AI een beloning als het eerlijk zei: "Ik zie geen pizza, ook al denk ik dat er een zou moeten zijn."
• Resultaat: Na deze training werd de AI veel betrouwbaarder. Hij begon minder te hallucineren en keek beter naar wat er echt op de foto stond, in plaats van wat hij verwachtte.

Samenvatting in één zin

Dit paper laat zien dat onze slimste AI's vaak "blind" zijn voor dingen die niet in hun verwachtingen passen, en dat we ze moeten trainen om te kijken naar de realiteit in plaats van naar hun eigen fantasieën.

De kernboodschap: Een slimme AI moet niet alleen weten wat er logisch is, maar ook durven te zeggen wat er echt is, zelfs als het raar lijkt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ORIC: Benchmarking Object Recognition under Contextual Incongruity in Large Vision-Language Models", vertaald en samengevat in het Nederlands.

1. Het Probleem: Contextuele Incongruïteit en Onzekerheid

Grote Vision-Language Modellen (LVLMs) presteren uitstekend in taken zoals beeldbeschrijving en visuele vraagbeantwoording, maar vertonen ernstige tekortkomingen in atypische scènes. Het paper identificeert contextuele incongruïteit als een cruciale, maar vaak over het hoofd geziene bron van onzekerheid. Dit verwijst naar situaties waarin:

• Objecten voorkomen in onverwachte omgevingen (bijv. een trein in een kantoor).
• Objecten ontbreken in omgevingen waar ze logischerwijs wel zouden moeten zijn (bijv. geen sportbal op een honkbalveld).

In deze scenario's worden LVLMs vaak misleid door sterke contextuele priors (wat er zou moeten zijn) ten koste van zwakke lokale visuele bewijzen. Dit leidt tot twee soorten fouten:

1. Misidentificatie: Het negeren van een echt aanwezig object omdat het niet past bij de context.
2. Hallucinatie: Het "zien" van een niet-bestaand object omdat het plausibel is binnen de context.

Bestaande benchmarks (zoals POPE, AMBER, HallusionBench) testen vaak objecten die consistent zijn met hun omgeving, waardoor ze deze hoge-onzekerheidsregimes niet adequaat evalueren.

2. Methodologie: Het ORIC Framework

Om dit probleem systematisch te bestuderen, introduceren de auteurs ORIC (Object Recognition in Incongruous Context). Dit framework genereert zowel evaluatie- als trainingsdata door object-contextparen te construeren die bewust incongruent zijn.

De twee kernstrategieën voor datageneratie:

1. LLM-geleide sampling (Positieve vragen / "Ja"):
   • Doel: Identificeer bestaande objecten die moeilijk te herkennen zijn in atypische contexten.
   • Proces: Beeldobjecten worden gesplitst in ROI (Region of Interest, kleine objecten) en Non-ROI (achtergrond/context). Een LLM (GPT-5) wordt gevraagd om te voorspellen of een ROI-object logisch past bij de Non-ROI-context. Objecten waarvoor de LLM "nee" voorspelt op basis van gezond verstand en co-voorkomen, worden geselecteerd als "moeilijke" positieve voorbeelden.
2. CLIP-geleide sampling (Negatieve vragen / "Nee"):
   • Doel: Identificeer plausibele maar niet-bestaande objecten die de model hallucinatie uitlokken.
   • Proces: Er wordt een visueel vergelijkbaar beeld gevonden voor het origineel. Vervolgens wordt de CLIP-score berekend tussen deze context en tekstuele beschrijvingen van objecten die niet in het originele beeld voorkomen. Objecten met een hoge CLIP-score (hoge contextuele plausibiliteit) maar die afwezig zijn, worden geselecteerd als "moeilijke" negatieve voorbeelden.

ORIC-Bench:
Toegepast op de MSCOCO-validatieset, resulteert dit in ORIC-Bench, een diagnostische benchmark met 1.000 afbeeldingen (2.000 vragen: 1.000 "ja" en 1.000 "nee"). In tegenstelling tot bestaande benchmarks, garandeert ORIC-Bench dat de "ja"- en "nee"-vragen visueel zeer vergelijkbaar zijn (kleine CLIP-afstand), maar semantisch incongruent, waardoor de taak extreem uitdagend wordt.

3. Belangrijkste Resultaten

De auteurs hebben 18 LVLMs (zowel open-source als gesloten, met en zonder visuele encoder) en 2 open-vocabulary detectoren (Grounding DINO, OWLv2) geëvalueerd op ORIC-Bench.

• Significante Prestatieverval: Zelfs de beste modellen op standaard benchmarks (zoals GPT-5 en InternVL3) vertonen een drastische daling in prestaties op ORIC-Bench. Waar ze op POPE een F1-score van ~96% halen, zakken ze op ORIC-Bench vaak naar ~60-70%.
• Bias en Hallucinatie: Modellen vertonen duidelijke bias. Sommige modellen zijn te conservatief (veel "nee"-antwoorden, waardoor ze echte objecten missen), terwijl anderen te vaak hallucineren door te vertrouwen op context.
• Architectuurverschillen: Modellen met visuele encoders (ViT) presteren over het algemeen beter dan encoder-vrije modellen, omdat ze fijnmazigere visuele kenmerken kunnen extraheren.
• Objectgrootte: De prestatiedaling is consistent over kleine, middelgrote en grote objecten, wat aantoont dat contextuele incongruïteit een grotere factor is dan objectgrootte.

4. Oplossing: Visual Reinforcement Fine-Tuning (Visual-RFT)

Om de onzekerheidsgedreven fouten te mitigeren, hebben de auteurs Visual-RFT toegepast op het model Qwen3-VL-8B-Instruct.

• Aanpak: In plaats van supervisie op labels alleen, gebruikt Visual-RFT verifieerbare beloningen (rewards) gebaseerd op redenering en antwoordcorrectheid. Het model wordt getraind op 600 ORIC-stijl voorbeelden met een Group Relative Policy Optimization (GRPO) strategie.
• Resultaat:
  • De F1-score op ORIC-Bench steeg van 79,55 naar 82,79.
  • Er was een verbetering in zowel "ja"- als "nee"-herkenning, met name een betere balans tussen precisie en recall.
  • Generalisatie: Het getrainde model presteerde ook beter op externe benchmarks zoals HallusionBench en AMBER, wat aantoont dat het leren van contextuele incongruïteit de robuustheid van het model verhoogt voor andere soorten visuele en semantische verschuivingen.
  • Het model vertoonde meer menselijk redeneren en minder hallucinaties.

5. Betekenis en Bijdragen

Dit paper levert een aanzienlijke bijdrage aan het veld van multimodale AI door:

1. Probleemidentificatie: Het benadrukt dat contextuele incongruïteit een fundamentele bron van onzekerheid is die huidige state-of-the-art modellen faalt om te hanteren, ondanks hoge scores op traditionele benchmarks.
2. Nieuw Framework: Het introduceert ORIC, een methodologisch kader om zowel moeilijke evaluatiegegevens als trainingsdata te genereren die specifiek gericht zijn op het doorbreken van contextuele priors.
3. Validatie van RL-methoden: Het demonstreert dat Visual Reinforcement Fine-Tuning (Visual-RFT) effectief is om onzekerheidsgedreven fouten te verminderen en modellen meer betrouwbaar te maken in complexe, atypische scenario's.
4. Open Source: De dataset (ORIC-Bench) en de code zijn publiek beschikbaar, wat de gemeenschap in staat stelt om verder onderzoek te doen naar betrouwbare objectherkenning.

Conclusie:
ORIC toont aan dat LVLMs nog kwetsbaar zijn voor contextuele priors die hun visuele waarneming overstemmen. Door het gebruik van specifieke sampling-strategieën en reinforcement learning, kan deze kwetsbaarheid worden verminderd, wat een stap is naar meer betrouwbare AI-systemen voor toepassingen zoals robotica en veiligheidskritieke systemen.