VLM-SubtleBench: How Far Are VLMs from Human-Level Subtle Comparative Reasoning?

Dit paper introduceert VLM-SubtleBench, een nieuw meetinstrument dat VLM's evalueert op hun vermogen om subtiele verschillen in diverse domeinen zoals industrie en medische beeldvorming te onderscheiden, en blootlegt dat er nog een aanzienlijke kloof bestaat tussen model- en menselijke prestaties.

De kern

VLM-SubtleBench: Een nieuwe test voor het "oog" van kunstmatige intelligentie

Stel je voor dat je twee bijna identieke foto's van een appel naast elkaar legt. Op de ene foto zit er een heel klein, nauwelijks zichtbaar bruin vlekje op de schil, en op de andere is dat vlekje net iets groter. Voor een mens is dit misschien lastig te zien, maar het is een duidelijke verschil. Voor een computerprogramma (een zogenaamd Vision-Language Model of VLM) is dit echter vaak een onmogelijke opgave.

Dit is precies waar het nieuwe onderzoek VLM-SubtleBench over gaat. De onderzoekers van KRAFTON en KAIST hebben een nieuwe "proef" bedacht om te kijken hoe goed deze slimme programma's echt zijn in het zien van subtiele verschillen.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het probleem: De "olifant in de kamer" vs. de "muizen"

Tot nu toe werden slimme beeldprogramma's getest met vragen als: "Wat is het verschil tussen een hond en een kat?" of "Welke auto is rood en welke is blauw?"

• De analogie: Dit is alsof je een kind test door te vragen of het een olifant kan onderscheiden van een muis. Dat is makkelijk! Iedereen kan dat.
• Het echte probleem: In de echte wereld moeten deze programma's vaak veel lastiger dingen doen. Denk aan een arts die twee röntgenfoto's vergelijkt om een heel klein tumorletsel te zien, of een inspecteur in een fabriek die een microscopisch krasje op een chipe moet vinden. Hier gaat het om het vinden van de muizen, niet de olifanten. De bestaande tests waren te makkelijk en deelden de echte moeilijkheid niet.

2. De oplossing: De "Subtiele Bende" (VLM-SubtleBench)

De onderzoekers hebben een nieuwe testbank gemaakt, een soort "olympiade voor subtiele waarneming".

• De inhoud: Ze hebben 13.000 paren foto's verzameld. Deze foto's lijken bijna hetzelfde, maar hebben een klein verschil.
• De 10 soorten verschillen: Ze hebben 10 categorieën bedacht, zoals:
  • Kleur: Is deze appel iets roder?
  • Staat: Is de appel al gepeld of nog niet?
  • Emotie: Lijkt deze persoon bozer dan die?
  • Ruimte: Is de stoel een beetje naar links geschoven?
  • Tijd: Welke foto is eerst gemaakt?
  • En nog zes andere soorten, variërend van "wat ontbreekt er?" tot "hoeveel zijn er?".
• De locaties: Ze kijken niet alleen naar gewone foto's van honden en parken, maar ook naar medische foto's (longen), industriële foto's (machineonderdelen), luchtfoto's (steden) en zelfs game-achtige beelden.

3. Wat hebben ze ontdekt? (De resultaten)

Toen ze de slimste computers (zoals GPT-4o, GPT-5 en andere) deze test lieten doen, kwam er een verrassend resultaat naar boven:

• Mensen winnen: Mensen zijn nog steeds veel beter in het zien van deze subtiele verschillen dan de computers.
• De zwakke plekken: Computers doen het goed bij emoties (wie kijkt bozer?), maar ze zakken volledig door bij ruimtelijke en tijdelijke vragen.
  • Vergelijking: Het is alsof de computer een briljant filosoof is die over emoties kan praten, maar een slechte detective is die niet ziet dat een spoor van modder op de vloer net iets naar links is verschoven.
• De "Grootte" en "Aantal" valkuil: Als er heel veel objecten op een foto staan (bijvoorbeeld een menigte mensen), of als het verschil heel klein is, raken de computers in de war. Ze tellen dan verkeerd of zien het verschil helemaal niet.

4. Waarom is dit belangrijk?

Je zou kunnen denken: "Maar ja, als een computer een auto kan herkennen, is dat toch genoeg?"
Nee, want voor de toekomstige toepassing van AI (zoals robots die in fabrieken werken, of artsen die diagnoses stellen) moet de computer nauwkeurig zijn.

• Voorbeeld: Stel je een robot voor die een medicijn moet pakken. Als hij niet ziet dat het flesje op de tweede foto een millimeter naar rechts is geschoven, kan hij het verkeerde pakje grijpen.
• De conclusie: De huidige AI is nog niet "menselijk" genoeg voor deze fijne taken. Ze hebben nog veel meer training nodig om die subtiele details te begrijpen.

Samenvattend

De onderzoekers hebben een nieuwe, moeilijke test gemaakt om te zien hoe goed computers echt kijken. Ze hebben ontdekt dat hoewel computers slim zijn, ze nog steeds "blind" zijn voor de kleine details die voor ons mensen vanzelfsprekend zijn. Deze test helpt ontwikkelaars om hun AI's te trainen tot ze net zo scherpziend zijn als wij, zodat ze in de echte wereld veilig en betrouwbaar kunnen werken.

Kortom: De computer kan de olifant zien, maar moet nog leren om de muis te vinden.

Technische samenvatting

Probleemstelling

De huidige generatie Vision-Language Models (VLMs) heeft aanzienlijke vooruitgang geboekt in taken zoals visuele vraagbeantwoording (VQA) en scènebeschrijving. Echter, de meeste bestaande benchmarks focussen op het vergelijken van beelden met grote, opvallende verschillen (bijvoorbeeld twee verschillende objecten) of beperken zich tot natuurlijke afbeeldingen.

Er is een kritisch gat in de evaluatie van subtiele vergelijkende redenering: het vermogen om kleine, nuanceverschillen te detecteren tussen visueel zeer vergelijkbare afbeeldingen. Dit vermogen is essentieel voor real-world toepassingen zoals industriële anomaliedetectie, medische beeldvorming (bijv. het onderscheiden van ziektestadia), en luchtfoto-analyse. Bestaande benchmarks falen hierin omdat ze te makkelijk zijn voor state-of-the-art modellen en geen diversiteit in domeinen (zoals industrie of medisch) bieden.

Methodologie: VLM-SubtleBench

De auteurs introduceren VLM-SubtleBench, een nieuw benchmark-dataset specifiek ontworpen om het vermogen van VLMs te evalueren om subtiele verschillen te herkennen.

1. Dataset Samenstelling:

• Omvang: 13.000 tripletten bestaande uit beeldparen, vragen en antwoorden.
• Domeinen: De dataset beslaat zes diverse domeinen: Natuurlijk, Game, Industrieel, Luchtfoto (Aerial), Synthetisch en Medisch.
• Verschilsoorten: Er zijn 10 categorieën van verschillen gedefinieerd:
  1. Attribuut (kleur, grootte, vorm)
  2. Staat (beschadiging, geschilderd fruit)
  3. Emotie (intensiteit van gezichtsuitdrukking)
  4. Temporeel (volgorde van gebeurtenissen)
  5. Ruimtelijk (positie-veranderingen)
  6. Existentie (aan- of afwezigheid van objecten)
  7. Kwantiteit (aantal objecten)
  8. Kwaliteit (onscherpte, ruis, overbelichting)
  9. Viewpoint (camera-rotatie of -translatie)
  10. Actie (veranderingen in houding of activiteit)

2. Dataverzameling en Cureringsproces:
De dataset is samengesteld via een hybride aanpak:

• Bestaande datasets: Gebruik van datasets zoals MVTec-AD (industrie), COCO, MIMIC-Diff-VQA (medisch), en diverse videodatasets (YT8M, VLM4D, CameraBench).
• Synthetische generatie: Gebruik van primitieve vormen en beeldbewerkingsmodellen (zoals "nano-banana") om gecontroleerde, subtiele wijzigingen aan te brengen (bijv. kleurveranderingen of objectverwijdering).
• Validatie: Menselijke annotatoren en LLM's (GPT-4o) worden gebruikt voor het genereren van vragen, het controleren van de consistentie van de verschillen en het creëren van multiple-choice vragen (MCQ) en beschrijvende bijschriften (captions).
• Kwaliteitscontrole: Alleen beeldparen met een hoge DINOv3-embeddingsimilariteit (gemiddeld ≥ 0,8) worden geselecteerd om te garanderen dat de verschillen echt subtiel zijn.

3. Evaluatie Setup:

• Modellen: Er zijn zowel open-source modellen (Qwen2.5-VL, LLaVA-familie) als proprietaire modellen (GPT-4o, GPT-5-main/thinking, o3, Claude-sonnet-4, Gemini-2.5) geëvalueerd.
• Strategieën: Er zijn verschillende prompting-strategieën getest, waaronder Chain-of-Thought (CoT), twee-staps redenering, rasterlay-outs, en visuele fusietechnieken (concatenatie, overlap, aftrekking, en highlighten van veranderingszones).
• Metrics: Nauwkeurigheid voor MCQ-taken, en Cosine Similarity Score (CSS) plus "LLM-as-a-judge" voor captioning-taken.

Belangrijkste Resultaten

1. Prestatiegaten tussen Mens en Model:

• Mensen behalen een gemiddelde nauwkeurigheid van 95,5%.
• De beste modellen (GPT-5-thinking) halen 77,8%, wat een significant gat van bijna 18 procentpunten laat zien.
• Zwakke punten: Modellen presteren het slechtst op temporele, ruimtelijke en viewpoint-verschillen (vaak <60% nauwkeurigheid), waar menselijke redenering over ruimtelijk-temporele relaties en gezond verstand cruciaal is. Op emotionele taken presteren ze juist goed (>90%).

2. Effect van Prompting:

• Chain-of-Thought (CoT): Levert over het algemeen een kleine verbetering op (bijv. +2% voor GPT-5-main), wat suggereert dat expliciete redenering helpt bij subtiele perceptie.
• Visuele Fusie: Het samenvoegen van twee afbeeldingen in één input (concatenatie) leidt vaak tot slechtere prestaties (daling in 9 van de 10 domeinen).
• Highlighting: Het markeren van veranderingszones met bounding boxes helpt vooral bij synthetische data, maar faalt bij complexe, natuurlijke scènes met variaties in helderheid.

3. Gecontroleerde Analyse (Synthetische Data):
Door de moeilijkheidsgraad systematisch te variëren, werden specifieke faalmodi ontdekt:

• Attribuut: Modellen hebben grote helderheidsverschillen (>25%) nodig om goed te presteren; kleine verschuivingen (<5%) worden als willekeurig behandeld.
• Existentie/Kwantiteit: De prestatie daalt drastisch naarmate de complexiteit van de scène (aantal objecten) toeneemt. Bij >32 objecten daalt de nauwkeurigheid onder de 60%.
• Viewpoint: Interessant genoeg verbetert de prestatie bij complexere scènes, omdat er meer visuele aanwijzingen (parallax) beschikbaar zijn.

4. Transfer naar Real-World Taken:

• Fine-tuning op VLM-SubtleBench leidt tot betere prestaties op downstream taken zoals industriële anomaliedetectie (MMAD) en luchtfoto-analyse (QAG-360k).
• Fine-tuning op bestaande benchmarks (zoals MLLM-CompBench) leverde weinig of zelfs negatieve transfer op, wat aantoont dat VLM-SubtleBench betere cues bevat voor real-world perceptie.

Bijdragen

1. Nieuwe Benchmark: Introductie van VLM-SubtleBench, de eerste benchmark die zich specifiek richt op subtiele verschillen over 10 categorieën en 6 domeinen, inclusief medische en industriële toepassingen.
2. Systematische Analyse: Een uitgebreide evaluatie die aantoont dat zelfs de meest geavanceerde VLMs (zoals GPT-5) significant achterblijven bij menselijke prestaties in subtiele vergelijkende redenering, vooral bij ruimtelijke en temporele taken.
3. Diagnostisch Inzicht: Identificatie van specifieke faalmodi (bijv. gevoeligheid voor objectgrootte en scènecomplexiteit) en het effect van prompting-strategieën, wat richtlijnen biedt voor toekomstige modelontwikkeling.
4. Validatie van Relevantie: Bewijs dat deze benchmark beter correleert met real-world prestaties dan bestaande benchmarks, waardoor het een essentieel hulpmiddel is voor het trainen van VLM-agents in dynamische omgevingen.

Significantie

Dit werk benadrukt dat het bereiken van "menselijk niveau" voor VLMs niet alleen gaat over het herkennen van grote objecten, maar over het vermogen om nuances te detecteren. De resultaten tonen aan dat huidige modellen nog niet klaar zijn voor kritieke toepassingen zoals medische diagnose of industriële inspectie zonder verdere verbeteringen in ruimtelijk-temporele redenering. VLM-SubtleBench biedt een noodzakelijke basis om deze kloof te dichten en fungeert als een diagnostisch instrument voor de volgende generatie multimodale modellen.