Blind-Spots-Bench: Evaluating Blind Spots in Multimodal Models
Het artikel introduceert "Blind-Spots-Bench", een nieuwe benchmark bestaande uit 235 voor mensen eenvoudige maar voor AI uitdagende taken die significante prestatiekloven tussen closed-source en open-weight modellen onthult, terwijl het ook aanhoudende zwakheden in huidige multimodale systemen belicht die bestaande benchmarks niet detecteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een videogame speelt waarin de AI-baas zojuist elk niveau heeft verslagen dat je ooit hebt uitgespeeld. Hij verbreekt highscores, lost wiskundige puzzels sneller op dan een rekenmachine en schrijft poëzie waar je van moet huilen. Je zou denken: "Oké, deze AI is eigenlijk een supergenie." Maar dan stel je een simpele vraag aan de AI: "Kun je een hond tekenen met precies vijf poten?" of "Schrijf een zin die precies 31 tekens lang is."
Plotseling struikelt dit supergenie over zijn eigen voeten. Het tekent een hond met zes poten, of schrijft een zin van 32 tekens lang. Het is alsoals een wereldkampioen schaken die plotseling vergeet hoe hij zijn veters moet strikken.
Dit is precies wat de onderzoekers van EPFL ontdekten met hun nieuwe test, genaamd blind-spots-bench. Ze keken niet alleen naar hoe slim deze AI-modellen zijn op de grote, chique examens waar iedereen het over heeft. In plaats daarvan creëerden ze een "stress-test" bestaande uit 235 kleine, lastige taken die voor mensen supergemakkelijk zijn, maar zelfs de meest geavanceerde AI lijken te laten struikelen.
De ontdekking van de "Blinde Vlek"
Het team verzamelde deze lastige vragen van studenten in een graduate AI-cursus. De studenten kregen de opdracht om de specifieke zaken te vinden die de slimste AI-chatbots van eind 2025 net niet goed konden krijgen. Ze hebben de vragen opgeschoond en een systeem gebouwd om de antwoorden automatisch te beoordelen.
Toen ze hun tests uitvoerden, ontdekten ze een paar verrassende dingen:
1. Het "Rijk Kind"-voordeel
Het paper suggereert dat de peperdure, "closed-source" modellen (de modellen die je niet zelf kunt downloaden en draaien) aanzienlijk beter zijn in deze blinde vlekken dan de "open-weight" modellen (de modellen die iedereen kan gebruiken). Zelfs wanneer beide typen modellen ongeveer even hoog scoren op reguliere benchmarks, verslaan de closed-source modellen de open modellen met ongeveer 10% op deze specifieke stress-test. Het is als twee hardlopers die er op het atletiekbaan even snel uitzien, maar wanneer je ze vraagt door een doolhof te rennen terwijl ze jongleren, wint degene met de dure trainingsuitrusting.
2. Groter is niet altijd beter
Je zou denken dat het groter maken van een AI-model (het toevoegen van meer "hersencapaciteit") deze simpele fouten zou oplossen. Maar het paper heeft dit gemeten en stelde vast dat opschalen niet altijd helpt. In sommige gevallen presteerde een kleinere versie van een model zelfs beter dan zijn gigantische broer. Zo presteerde bijvoorbeeld de 35-miljard-parameters versie van de Qwen3.5-familie soms beter dan de enorme 397-miljard-parameters versie op bepaalde logische puzzels. Het is als hoe een enorme olifant moeite kan hebben om door een kleine deur te passen waar een kat gemakkelijk doorheen glipt.
3. Tools lossen niet alles op
Sommige mensen dachten: "Als de AI niet kan tellen, geef hem dan een rekenmachine!" De onderzoekers testten dit door de modellen gebruik te laten maken van code-executie-tools. De resultaten waren een gemengde werkelijkheid. Voor sommige modellen hielp het gebruik van tools hen om het juiste antwoord te krijgen en bespaarde het tijd. Maar voor anderen, zoals GPT-5.4, maakte het gebruik van tools hen juist slechter. Het is alsof je een chef-kok een nieuw chic mes geeft; soms snijden ze sneller, maar soms snijden ze ook in hun eigen duim en verpesten ze de maaltijd.
4. De "Tellingscrisis"
Een van de grootste blinde vlekken die het paper mat, is tellen. Of het nu gaat om het tellen van objecten in een afbeelding of het genereren van een afbeelding met een specifiek aantal items, de modellen hadden moeite. Zelfs de beste modellen kregen ongeveer 60% van deze tel-taken goed. Het is een hardnekkige zwakte, als een muzikant die een complexe symfonie kan spelen maar geen eenvoudige 4/4 maat kan aanhouden.
Wat deze test niet zegt
De auteurs zijn zeer voorzichtig om hun resultaten niet te overhypen. Ze geven expliciet aan dat dit geen "eindbaas"-test is die bewijst dat AI voor altijd kapot is. Ze geven toe dat de dataset relatief klein is (slechts 235 vragen) en is samengesteld door studenten, wat betekent dat het bevooroordeeld kan zijn naar de specifieke zwakheden van de modellen die zij op dat moment testten. Ze merken ook op dat ze geen menselijke baseline hebben opgenomen om scores direct te vergelijken, dus we weten niet precies hoeveel "beter" mensen zijn, alleen dat mensen deze taken triviaal vinden.
De Kern van het Verhaal
Het paper suggereert dat hoewel AI ongelooflijk goed wordt in algemene taken, het nog steeds "blinde vlekken" heeft op zeer specifieke, concrete vaardigheden zoals tellen, ruimtelijk inzicht en het volgen van strikte karakterlimieten. De closed-source modellen hebben momenteel een kleine voorsprong in het oplossen van deze punten, maar nog geen enkel model heeft ze allemaal onder de knie.
Beschouw blind-spots-bench niet als een rapportcijfer dat zegt "AI faalt", maar als een diagnostisch hulpmiddel. Het is als een monteur die een specifieke test uitvoert op een auto die perfect rijdt op de snelweg, maar afslaat bij een stoplicht. Het helpt ons precies te zien waar de motor hapert, zodat we het kunnen repareren, in plaats van er simpelweg vanuit te gaan dat de auto perfect is omdat hij snel is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.