GroundingME: Exposing the Visual Grounding Gap in MLLMs through Multi-Dimensional Evaluation

Dit paper introduceert GroundingME, een nieuw meerdimensionaal benchmark dat de aanzienlijke kloof tussen de huidige prestaties van multimodale grote taalmodellen en menselijke visuele gronding blootlegt door complexe scenario's te testen en verbeterstrategieën te onderzoeken.

De kern

Stel je voor dat je een groep zeer slimme, maar nog jonge kunstenaars hebt die zowel kunnen tekenen als schrijven. Ze noemen deze kunstenaars MLLM's (Multimodale Large Language Models). Ze kunnen foto's bekijken en er verhalen over vertellen.

De vraag is: Begrijpen ze echt wat ze zien, of raden ze gewoon?

Tot nu toe dachten we dat ze geweldig waren. Maar de onderzoekers van dit paper (van o.a. Peking University en Xiaomi) zeggen: "Wacht even, we hebben ze tot nu toe alleen getest op heel simpele tekeningen."

Hier is het verhaal van hun nieuwe test, GroundingME, verteld in simpele taal:

1. Het Probleem: De "Kip met een Klap"

Stel je voor dat je een kind leert een kip te herkennen. Je laat hem alleen een tekening zien van een witte kip op een witte achtergrond. Het kind leert: "Wit + veren = kip."
Vervolgens laat je hem een foto zien van een kip in het gras, of een kip die op één poot staat. Het kind faalt, omdat het alleen de simpele tekening heeft geleerd, niet het echte concept.

Dit is wat er gebeurt met deze slimme AI-modellen. De oude tests waren te makkelijk. De AI's leerden "trucs" (zoals zoeken naar het woord 'kip') in plaats van echt te kijken. Ze scoorden 90% of meer, maar dat was een leugen.

2. De Oplossing: GroundingME (De "Grote Droom")

De onderzoekers hebben een nieuwe, zeer moeilijke test gemaakt genaamd GroundingME. Ze noemen het een "multidimensionale evaluatie". Laten we dat vertalen naar vier soorten uitdagingen, alsof je een detective bent:

• De "Tweeling" (Discriminative):
  • De uitdaging: Er staan 50 identieke rode ballonnen in de lucht. De opdracht is: "Kies de ballon die net iets meer links staat dan de andere."
  • De valkuil: De AI moet niet alleen "rode ballon" zien, maar heel precies kijken naar de positie.
• De "Labyrint" (Spatial):
  • De uitdaging: "Zoek de auto die achter de rode vrachtwagen staat, maar voor de blauwe bus, en die half verscholen zit achter een boom."
  • De valkuil: De AI moet complexe relaties begrijpen, niet alleen één object.
• De "Nadruk" (Limited):
  • De uitdaging: Zoek een heel klein horloge op een pols in een foto van 8K (super scherp), of zoek een auto die bijna volledig door een muur wordt bedekt.
  • De valkuil: De details zijn zo klein of bedekt dat je heel goed moet "kijken".
• De "Nee, dat is het niet" (Rejection):
  • De uitdaging: De opdracht zegt: "Zoek de blauwe hond." Maar in de foto zit geen blauwe hond.
  • De valkuil: De slimste AI's zeggen dan toch: "Hier is een hond!" en wijzen op een bruine hond. Ze durven niet te zeggen: "Ik zie dit niet." Dit is gevaarlijk in de echte wereld (bijvoorbeeld bij een robot die een medicijn moet halen).

3. De Resultaten: Een koude douche

Toen ze 25 van de slimste AI-modellen (zoals Qwen, Gemini, Llama) deze test lieten doen, was het resultaat schokkend:

• De beste AI haalde maar 45%. Dat is net iets beter dan gokken met een muntje, zeker als je bedenkt dat ze op de oude tests 90% haalden.
• Op de "Nee, dat is het niet" (Rejection) test haalde niemand iets. De meeste AI's haalden 0%. Ze gaven gewoon een antwoord, zelfs als de opdracht onmogelijk was. Ze zijn zo bang om "fout" te zijn, dat ze liever een fout antwoord geven dan "ik weet het niet" te zeggen.

4. De Remedie: Hoe maken we ze slimmer?

De onderzoekers probeerden twee trucs om de AI's te helpen:

• Truc 1: "Denk eerst na" (Test-Time Scaling):
  In plaats van dat de AI direct antwoordt, laten we haar eerst een "gedachtepad" schrijven (net als een mens die hardop nadenkt).

  • Analogie: Het is alsof je een student vraagt: "Geef me direct het antwoord" versus "Schrijf eerst je redenering op".
  • Resultaat: Als de AI eerst nadenkt, wordt ze iets slimmer. Maar de onderzoekers gingen nog verder: ze lieten de AI 16 keer nadenken en kozen dan het beste denkproces uit. Dit hielp een beetje, maar niet genoeg.

• Truc 2: "Leer van fouten" (Data Mixture Training):
  De AI's leren slecht omdat ze in hun training nooit hebben geleerd dat "niet vinden" een goed antwoord is.

  • Analogie: Het is alsof je een kind alleen leert wat een hond is, maar nooit leert dat een kat geen hond is.
  • Resultaat: Ze gaven de AI extra voorbeelden van situaties waar ze moesten zeggen: "Dit bestaat niet." Hierdoor sprong hun score op de "Rejection" test van 0% naar bijna 28%. Ze leerden eindelijk om eerlijk te zeggen: "Ik zie het niet."

Conclusie

Dit paper is een wake-up call. Het zegt: "Onze slimme AI's zijn nog niet zo slim als we denken. Ze zijn goed in simpele trucs, maar falen in de echte, complexe wereld."

Met GroundingME hebben de onderzoekers een nieuwe meetlat gemaakt om te zien wie echt kan kijken en wie alleen maar giswerk doet. Het is een stap in de richting van AI die we echt kunnen vertrouwen, bijvoorbeeld voor robots in ziekenhuizen of zelfrijdende auto's, waar een foutje levens kan kosten.

Technische samenvatting

Titel: GroundingME: Het blootleggen van de Visual Grounding-kloof in MLLMs via Multidimensionale Evaluatie

1. Het Probleem

Multimodale Grootte Taalmodellen (MLLMs) hebben indrukwekkende prestaties geboekt op bestaande benchmarks voor visuele grounding (het lokaliseren van objecten in een afbeelding op basis van een natuurlijke taalbeschrijving). Echter, het paper stelt dat deze benchmarks fundamenteel tekortschieten in het beoordelen van de werkelijke vaardigheden van deze modellen in complexe, real-world scenario's.

De huidige problemen zijn:

• Te eenvoudig: Bestaande datasets (zoals RefCOCO) bevatten vaak simpele zinnen en ongeordende scènes, waardoor modellen "shortcuts" kunnen nemen (bijv. op basis van unieke objectnamen in plaats van complexe attributen).
• Gebrek aan complexiteit: Ze testen niet de vermogens om subtiele visuele verschillen te onderscheiden, complexe ruimtelijke relaties te begrijpen of om te gaan met verduistering.
• Afwezigheid van afwijzing: Bestaande benchmarks testen niet of modellen kunnen herkennen wanneer een beschrijving niet overeenkomt met de visuele data (het vermogen om een query af te wijzen), wat cruciaal is voor veiligheid en betrouwbaarheid.

2. Methodologie: GroundingME

De auteurs introduceren GroundingME, een nieuw, rigoureus benchmark dat is ontworpen om de echte capaciteiten van MLLMs te testen. Het dataset bevat 1.005 zorgvuldig samengestelde voorbeelden en wordt opgebouwd via een drie-traps proces:

1. Annotatie van Bounding Boxes: Geautomatiseerde pipelines (RAM++, GroundingDINO) voor SA-1B data en handmatige annotatie voor HR-Bench (8K-resolutie) data.
2. Generatie van Beschrijvingen: Gebruik van krachtige MLLMs (Gemini-2.5-Flash) om initiële beschrijvingen te genereren, inclusief visuele attributen en ruimtelijke relaties.
3. Handmatige Selectie en Verfijning: Menselijke annotatoren filteren en verfijnen de data om hallucinaties, redundantie en onnauwkeurigheden te elimineren. Ze zorgen ervoor dat elke beschrijving uniek is, duidelijk het doelwit identificeert en specifiek is voor de taak.

De Vier Kritische Dimensies (L-1):
GroundingME evalueert modellen op vier uitdagende dimensies:

1. Discriminatie (Discriminative): Het onderscheiden van sterk vergelijkbare objecten op basis van subtiele visuele verschillen (kleur, textuur, componenten, tekst, staat).
2. Ruimtelijk (Spatial): Het begrijpen van complexe ruimtelijke en relationele beschrijvingen (relaties tussen objecten, tellen).
3. Beperkt (Limited): Het lokaliseren van objecten die moeilijk te zien zijn door verduistering (occlusie) of vanwege hun kleine omvang in ultra-hoge resolutie afbeeldingen.
4. Afwijzing (Rejection): Het herkennen van misleidende beschrijvingen die feitelijke fouten bevatten en het correct afwijzen van deze queries (output: null).

3. Belangrijkste Resultaten

De auteurs evalueerden 25 state-of-the-art MLLMs (zowel open-source als commercieel, variërend van 2B tot 235B parameters) op GroundingME. De resultaten onthullen een diepgaande kloof:

• Algemene Prestaties: Zelfs het beste model (Qwen3-VL-235B-A22B) bereikte slechts 45,1% nauwkeurigheid. De meeste modellen scoorden tussen de 10% en 40%. Dit staat in schril contrast met de >90% scores op oudere benchmarks.
• Afwijzingsvermogen: Dit is het grootste falen. De meeste modellen scoorden 0% op de Rejection-taak. Ze kunnen niet herkennen wanneer een beschrijving onjuist is en proberen altijd een object te vinden, zelfs als er geen match is.
• Schalingswetten: Er is een duidelijke correlatie tussen modelgrootte en prestaties, maar zelfs de grootste modellen worstelen met de complexiteit van GroundingME.
• Commercieel vs. Open Source: Commerciële modellen (zoals Gemini-2.5) tonen geen overtuigend voordeel ten opzichte van de beste open-source modellen.

4. Verbeteringsstrategieën en Analyse

Het paper onderzoekt twee strategieën om de prestaties te verbeteren:

1. Test-Time Scaling (TTS) met "Thinking":

   • Het inschakelen van een "thinking mode" (Chain-of-Thought) verbetert de prestaties over het algemeen.
   • De auteurs introduceren een TTS-methode waarbij een "judge model" de beste response selecteert uit 16 gegenereerde antwoorden op basis van de kwaliteit van het denktraject.
   • Resultaat: Dit leidt tot een verbetering van tot 4,5% in de algehele nauwkeurigheid, vooral op redeneringsintensieve taken.

2. Data-Mixture Training:

   • De auteurs hypotheseren dat het gebrek aan afwijzingsvermogen komt door een tekort aan negatieve voorbeelden in trainingsdata.
   • Ze fine-tunen een model (Qwen3-VL-8B) met een dataset die negatieve voorbeelden bevat (beschrijvingen die niet matchen).
   • Resultaat: De nauwkeurigheid op de Rejection-taak stijgt van 0% naar 27,9%. Echter, dit leidt tot een lichte daling in prestaties op positieve (out-of-domain) taken, wat aangeeft dat dit een trade-off is die verder onderzoek vereist.

5. Betekenis en Conclusie

GroundingME dient als een diagnostisch instrument dat aantoont dat huidige MLLMs nog niet het menselijke niveau van visuele grounding hebben bereikt, ondanks hun hoge scores op bestaande benchmarks.

• Diagnose: Het blootlegt specifieke zwaktes in fijnmazige discriminatie, ruimtelijk redeneren en het vermogen om "nee" te zeggen tegen onjuiste queries.
• Roadmap: Het biedt een duidelijke richting voor toekomstig onderzoek, met name door het belang van negatieve voorbeelden in training en het gebruik van test-time compute (thinking) voor betere redenering.
• Impact: Voor toepassingen zoals robotica en beeldbewerking is het vermogen om fouten te herkennen en complexe instructies te volgen cruciaal. GroundingME is een noodzakelijke stap naar het bouwen van meer betrouwbare en veilige multimodale systemen.

Projectpagina: https://groundingme.github.io