Blind-Spots-Bench: Evaluating Blind Spots in Multimodal Models
Das Paper stellt „Blind-Spots-Bench“ vor, einen neuartigen Benchmark bestehend aus 235 für Menschen einfachen, aber für KI anspruchsvollen Aufgaben, der signifikante Leistungsunterschiede zwischen Closed-Source- und Open-Weight-Modellen aufzeigt und gleichzeitig anhaltende Schwächen in aktuellen multimodalen Systemen hervorhebt, die von bestehenden Benchmarks nicht erkannt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spielen ein Videospiel, in dem der KI-Boss gerade jedes Level besiegt hat, das Sie jemals gemeistert haben. Er zertrümmert Bestleistungen, löst mathematische Rätsel schneller als ein Taschenrechner und schreibt Poesie, die Sie zu Tränen rührt. Man würde denken: „Okay, diese KI ist im Grunde ein Supergenie.“ Aber dann stellt man ihr eine einfache Frage: „Kannst du einen Hund mit genau fünf Beinen zeichnen?“ oder „Schreibe einen Satz, der exakt 31 Zeichen lang ist.“
Plötzlich stolpert das Supergenie über seine eigenen Füße. Es zeichnet einen Hund mit sechs Beinen oder schreibt einen Satz, der 32 Zeichen lang ist. Es ist wie ein Weltklasse-Schachspieler, der plötzlich vergisst, wie man sich die Schnürsenkel bindet.
Genau das haben die Forscher am EPFL mit ihrem neuen Test namens blind-spots-bench entdeckt. Sie haben nicht nur untersucht, wie klug diese KI-Modelle bei den großen, schicken Prüfungen sind, über die alle reden. Stattdessen haben sie einen „Stresstest“ aus 235 winzigen, kniffligen Aufgaben erstellt, die für Menschen super einfach sind, aber selbst die fortschrittlichsten KIs aus dem Tritt zu bringen scheinen.
Die Entdeckung der „blinden Flecken“
Das Team hat diese kniffligen Fragen von Studierenden aus einem Graduate-Kurs für KI gesammelt. Die Studierenden wurden gebeten, die spezifischen Dinge zu finden, die die klügsten KI-Chatbots der Spätphase 2025 einfach nicht richtig hinbekamen. Sie haben die Fragen bereinigt und ein System entwickelt, um die Antworten automatisch zu bewerten.
Als sie ihre Tests durchführten, fanden sie einige überraschende Dinge:
1. Der „Reiche-Kid“-Vorteil
Die Arbeit legt nahe, dass die superteuren, „Closed-Source“-Modelle (die man nicht selbst herunterladen und ausführen kann) bei diesen blinden Flecken deutlich besser abschneiden als die „Open-Weight“-Modelle (die jeder nutzen kann). Selbst wenn beide Modelltypen in regulären Benchmarks etwa gleich gut zu sein scheinen, übertreffen die Closed-Source-Modelle die Open-Source-Modelle bei diesem speziellen Stresstest um etwa 10 %. Es ist wie bei zwei Läufern, die auf der Laufbahn gleich schnell aussehen, aber wenn man sie bittet, durch ein Labyrinth zu rennen, während sie jonglieren, gewinnt derjenige mit der teuren Trainingsausrüstung.
2. Größer ist nicht immer besser
Man könnte denken, dass es hilft, das KI-Modell größer zu machen (mehr „Gehirnleistung“ hinzuzufügen), um diese albernen Fehler zu beheben. Aber die Arbeit hat dies gemessen und festgestellt, dass Skalierung nicht immer hilft. In einigen Fällen schnitt eine kleinere Version eines Modells tatsächlich besser ab als ihre gigantische Geschwisterversion. In der Qwen3.5-Familie zum Beispiel übertraf das 35-Milliarden-Parameter-Modell manchmal die massive 397-Milliarden-Parameter-Version bei bestimmten Logikrätseln. Es ist wie bei einem riesigen Elefanten, der Schwierigkeiten hat, durch eine kleine Tür zu passen, durch die eine Katze problemlos schlüpft.
3. Werkzeuge lösen nicht alles
Einige dachten: „Wenn die KI nicht zählen kann, geben wir ihr einfach einen Taschenrechner!“ Die Forscher testeten dies, indem sie den Modellen ermöglichten, Code-Ausführungswerkzeuge zu nutzen. Die Ergebnisse waren gemischt. Bei einigen Modellen half die Nutzung von Werkzeugen, die richtige Antwort zu finden und Zeit zu sparen. Aber bei anderen, wie GPT-5.4, machte die Nutzung von Werkzeugen sie sogar schlechter. Es ist, als würde man einem Koch ein fancy neues Messer geben; manchmal schneidet er damit schneller, aber manchmal schneidet er sich auch nur in den Daumen und ruiniert das Essen.
4. Die „Zähl-Krise“
Einer der größten blinden Flecken, den die Arbeit gemessen hat, ist das Zählen. Ob es nun darum geht, Objekte in einem Bild zu zählen oder ein Bild mit einer spezifischen Anzahl von Gegenständen zu generieren – die Modelle hatten Schwierigkeiten. Selbst die besten Modelle bekamen etwa 60 % dieser Zählaufgaben richtig. Es ist eine hartnäckige Schwäche, wie ein Musiker, der eine komplexe Sinfonie spielen kann, aber keinen einfachen 4/4-Takt halten kann.
Was dieser Test nicht sagt
Die Autoren sind sehr vorsichtig, ihre Ergebnisse nicht zu überhypen. Sie stellen explizit klar, dass dies kein „Endgegner-Test“ ist, der beweist, dass KI für immer kaputt ist. Sie geben zu, dass der Datensatz relativ klein ist (nur 235 Fragen) und von Studierenden erstellt wurde, was bedeutet, dass er auf die spezifischen Schwächen der zum Zeitpunkt des Tests verwendeten Modelle voreingenommen sein könnte. Sie merken auch an, dass sie keinen menschlichen Baseline-Vergleich für die Scores einbezogen haben, sodass wir nicht genau wissen, wie viel „besser“ Menschen sind, sondern nur, dass Menschen diese Aufgaben als trivial empfinden.
Das Fazbeurteilungen
Die Arbeit legt nahe, dass KIs zwar unglaublich gut in allgemeinen Aufgaben werden, aber immer noch „blinde Flecken“ bei sehr spezifischen, konkreten Fähigkeiten wie dem Zählen, dem räumlichen Vorstellungsvermögen und dem Einhalten strikter Zeichenlimits haben. Die Closed-Source-Modelle haben derzeit einen leichten Vorsprung bei der Behebung dieser Punkte, aber kein einzelnes Modell hat sie alle bisher gemeistert.
Betrachten Sie blind-spots-bench nicht als einen Bericht, der besagt: „KI versagt“, sondern als ein Diagnosewerkzeug. Es ist wie ein Mechaniker, der einen spezifischen Test an einem Auto durchführt, das auf der Autobahn perfekt läuft, aber an einer Haltelinie liegen bleibt. Es hilft uns zu sehen, wo genau der Motor stottert, damit wir ihn reparieren können, anstatt einfach nur anzunehmen, dass das Auto perfekt ist, weil es schnell fährt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.