Ref-Adv: Exploring MLLM Visual Reasoning in Referring Expression Tasks

Deze paper introduceert Ref-Adv, een nieuw benchmark voor het begrijpen van verwijzende uitdrukkingen dat kortere zinnen en afleidende factoren elimineert om de beperkingen van multimodale LLM's in visueel redeneren en gronding bloot te leggen, aangezien deze modellen ondanks sterke prestaties op bestaande benchmarks aanzienlijk falen op deze uitdagendere taak.

De kern

Stel je voor dat je een vriend vraagt: "Wijs me die rode auto." In een eenvoudige foto met maar één rode auto is dit makkelijk. Maar wat als er tien rode auto's zijn, en je vriend moet de enige rode auto vinden die een kras op de linkerdeur heeft, terwijl de andere negen perfect zijn?

Dat is precies wat dit nieuwe onderzoek, genaamd Ref-Adv, doet. Het is een nieuwe test voor slimme computerprogramma's (die we "Multimodale LLM's" noemen, of kortweg AI's die kunnen zien en lezen).

Hier is het verhaal in simpele taal:

1. Het Probleem: De "Snelweg" voor AI

De oude tests (zoals RefCOCO) waren als een snelweg zonder verkeerslichten.

• Te makkelijk: De zinnen waren vaak heel kort, zoals "de hond".
• Te weinig concurrentie: Er waren vaak maar één of twee andere honden in de foto.
• De valstrik: Omdat de foto's zo simpel waren, hoefde de AI niet echt na te denken. Ze konden een "kortsluiting" gebruiken. Ze hoefden niet de hele zin te lezen; ze konden gewoon kijken naar het woord "hond" en de enige hond in beeld aanwijzen. Het was alsof je een raadsel oplost door te gokken, in plaats van te redeneren.

De AI's deden het hier fantastisch op: ze haalden bijna 100% score. Maar dat was een leugen. Ze waren niet echt slim in het begrijpen van complexe situaties; ze waren gewoon goed in het herkennen van simpele patronen.

2. De Oplossing: Ref-Adv (De "Gymzaal" voor AI)

De onderzoekers hebben een nieuwe test gebouwd, Ref-Adv. Dit is geen snelweg meer, maar een moderne gymzaal met zware gewichten.

Hoe maken ze dit?

• De "Stoornis" (Distractors): Ze kiezen foto's waar er vele objecten van hetzelfde type zijn. Bijvoorbeeld: een foto met 10 mensen. De AI moet de ene vinden die een zonnebril draagt, terwijl de anderen dat niet doen.
• De "Truc" (Hard Distractors): Dit is het slimste deel. Ze zorgen dat er een "verkeerde" persoon is die bijna klopt. Bijvoorbeeld: de AI moet "de persoon zonder zonnebril" vinden. Er is iemand met een zonnebril, maar er is ook iemand die geen zonnebril draagt, maar wel een hoed (terwijl de opdracht zegt: "niet met een hoed"). De AI moet echt goed kijken en redeneren, niet alleen zoeken naar het woord "zonnebril".
• Geen "Korte Zinnen": De zinnen zijn langer en complexer, met woorden als "niet", "anders dan", of "die verder weg staat".

3. Het Experiment: De "Waarheidstest"

De onderzoekers lieten de slimste AI's van vandaag (zoals GPT-4o, Gemini, en Qwen) deze nieuwe test doen.

• Het Resultaat: De AI's, die op de oude tests bijna perfect waren, vielen hier zwaar doorheen. Hun score daalde drastisch.
• De Les: Het bleek dat de AI's vaak de "verkeerde" persoon aanwezen (de hard distractor). Ze probeerden te kortsluiten, maar de test was zo ontworpen dat die kortsluiting niet werkte. Ze moesten echt begrijpen wat er gezegd werd en dan precies kijken.

4. De "Denk-Mode" (Chain-of-Thought)

De onderzoekers gaven de AI's ook de opdracht om eerst hardop na te denken (een soort "denk-stap" voordat ze antwoorden).

• Op de oude tests hielp dit niet veel (soms zelfs niet, omdat het te veel gedoe was voor een makkelijk vraagje).
• Op de nieuwe Ref-Adv-test hielp dit enorm! Het was alsof je een student een wiskundig probleem geeft: als je ze dwingt om de stappen op te schrijven, maken ze minder fouten. De AI's die eerst "dachten" over de zin en de foto, deden het veel beter.

Samenvatting in één zin

Ref-Adv is een nieuwe, eerlijke test die laat zien dat veel AI's die we vandaag als "slim" beschouwen, eigenlijk alleen maar goed zijn in simpele taken; zodra je ze vraagt om echt na te denken en te zoeken in een rommelige wereld, zien we dat ze nog veel moeten leren.

Het is alsof we een auto hebben getest op een lege parkeerplaats (oude test) en denken dat het een Formule 1-auto is, maar Ref-Adv rijdt die auto door een drukke stad met regen en verkeersopstoppingen, en daar blijkt hij toch wat minder snel te zijn dan gedacht.

Technische samenvatting

Probleemstelling

Het paper adresseert de beperkingen van bestaande benchmarks voor Referring Expression Comprehension (REC), zoals RefCOCO, RefCOCO+ en RefCOCOg. Hoewel Multimodale Large Language Models (MLLMs) op deze benchmarks vaak prestaties van boven de 90% behalen, wijzen de auteurs aan dat deze resultaten de werkelijke visuele redeneer- en groundingscapaciteiten van de modellen overschatten. De huidige benchmarks lijden aan drie fundamentele tekortkomingen die "shortcuts" (korte wegjes) mogelijk maken:

1. Te korte expressies: De gemiddelde lengte is slechts ongeveer 3 woorden, wat weinig taalredenering vereist.
2. Weinig distractoren: Beelden bevatten vaak slechts één of geen objecten van dezelfde categorie als het doelwit, waardoor modellen het doel kunnen vinden zonder de beschrijving volledig te analyseren.
3. Overbodige beschrijvingen: Lange, gedetailleerde expressies worden vaak gekoppeld aan beelden met weinig distractoren. Hierdoor kunnen modellen een subset van de beschrijvingen gebruiken om het doel te lokaliseren, zonder de volledige zin te begrijpen of visuele redenering toe te passen.

Methodologie: De Ref-Adv Dataset

Om deze problemen op te lossen, stellen de auteurs Ref-Adv voor, een moderne REC-benchmark die is ontworpen om shortcuts te onderdrukken en echte redeneerprestaties te testen.

Dataverzameling en Pipeline:
De dataset is samengesteld uit geselecteerde beelden van COCO en OpenImages v7, met een specifieke focus op panoptische instantie-annotaties. Het verzamelpad bestaat uit vier fasen (geautomatiseerd door LLMs met menselijke verificatie):

1. Beeldselectie: Alleen beelden met minimaal 3 kandidaat-instanties van dezelfde categorie als het doelwit worden geselecteerd om "harde distractoren" te garanderen.
2. Similariteitsbeoordeling: Een LLM (GPT-4o) identificeert het meest vergelijkbare paar (doelwit en harde distractor) en genereert attributen die deze onderscheiden van elkaar en van andere objecten.
3. Generatie van Verwijzende Expressies: De LLM composeert een minimaal voldoende verwijzende expressie. Dit betekent dat de expressie precies genoeg informatie bevat om het doelwit uniek te identificeren, maar geen overbodige details. Er wordt gebruik gemaakt van negatie (bijv. "niet de persoon met een hoed") om de redeneerlast te verhogen.
4. Menselijke Verificatie: Drie annotatoren verifiëren of de expressie correct, eenduidig is en of de harde distractoren daadwerkelijk aanwezig zijn. Alleen data waar alle drie het mee eens zijn, wordt opgenomen.

Kernkenmerken van Ref-Adv:

• Gemiddelde lengte: 11,5 woorden (vs. ~3,6 in RefCOCO).
• Aantal distractoren: Gemiddeld 4,01 per beeld (vs. ~1,6 in RefCOCOg).
• Negatie: 21,25% van de expressies bevat expliciete negatie.
• Focus: Het elimineren van "grounding shortcuts" door een balans te vinden tussen de complexiteit van de tekst en de visuele moeilijkheidsgraad.

Evaluatie en Resultaten

De auteurs hebben 13 hedendaagse MLLMs (zowel gesloten als open source, waaronder Qwen2.5-VL, InternVL-3, Gemini 2.5, GPT-4o en Claude-3.5) geëvalueerd op Ref-Adv.

Belangrijkste bevindingen:

• Daling in prestaties: Modellen die op RefCOCO(+/g) >90% halen, tonen een drastische daling op Ref-Adv. Bijvoorbeeld, Qwen2.5-VL-72B scoort 58,3% op Ref-Adv (zonder Chain-of-Thought), wat een groot gat in visuele redenering aantoont.
• Invloed van Chain-of-Thought (CoT): Het gebruik van CoT (Chain-of-Thought) leidt over het algemeen tot betere prestaties op Ref-Adv, wat aangeeft dat het taak meer stap-voor-stap redenering vereist dan traditionele benchmarks.
• Invloed van Distractoren: De prestaties nemen af naarmate het aantal distractoren toeneemt. Modellen worstelen vooral met beelden waar 7 of meer distractoren aanwezig zijn.
• Ablatiestudies:
  • Woordvolgorde: Het randomiseren van de woordvolgorde (Bag-of-Words) zorgt voor een significante prestatiedaling op Ref-Adv, wat bewijst dat modellen de tekstuele structuur echt moeten begrijpen (in tegenstelling tot RefCOCOg waar dit weinig effect had).
  • Descriptorverwijdering: Het verwijderen van één descriptor uit de expressie heeft een grotere impact op Ref-Adv dan op andere benchmarks, wat bevestigt dat er geen overbodige informatie is en dat elke descriptor noodzakelijk is voor de groundings.

Kernbijdragen

1. Ref-Adv Dataset: Een nieuwe, rigorously gecurateerde benchmark die korte redeneerpaden elimineert door een balans te vinden tussen linguïstische complexiteit en visuele moeilijkheidsgraad (harde distractoren).
2. Kwantificering van Shortcuts: Het paper demonstreert empirisch dat bestaande benchmarks modellen toestaan om te "sluipen" via overbodige beschrijvingen of gebrek aan distractoren, wat leidt tot een overschatting van hun vaardigheden.
3. Uitgebreide Evaluatie: Een brede evaluatie van de staat-van-de-kunst MLLMs, inclusief analyse van het effect van CoT en de impact van het aantal distractoren.
4. Open Source: Publicatie van een subset van 1.142 gevallen (Ref-Adv-s) met evaluatiecode om reproduceerbaarheid te garanderen.

Betekenis en Impact

Het paper is van groot belang voor de community van Multimodale AI omdat het aantoont dat de huidige "near-saturated" prestaties op klassieke benchmarks een illusie zijn van echte visuele redeneerkracht. Ref-Adv biedt een striktere test die de kloof tussen statische beeldherkenning en dynamisch, multi-stap redeneren blootlegt. De resultaten suggereren dat toekomstige ontwikkelingen in MLLMs zich moeten richten op het verbeteren van visuele groundings en het vermogen om complexe, negatieve en contextuele instructies te verwerken in beelden met veel visuele ruis. Dit is essentieel voor het toepassen van MLLMs in real-world scenario's waar fouten in grounding kritiek kunnen zijn.