An Exam for Active Observers
Das Paper stellt ActiveVision vor, einen Benchmark, der zeigt, dass aktuellen multimodalen großen Sprachmodellen die Fähigkeit zur aktiven visuellen Beobachtung grundlegend fehlt, wie das nahezu vollständige Versagen bei Aufgaben, die im Vergleich zur menschlichen Leistung iteratives Wahrnehmen erfordern, belegt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie blicken in ein unordentliches Zimmer. Eine Kamera macht eine einzige, eingefrorene Momentaufnahme davon. Wenn Sie einen Computer bitten, den Raum basierend auf nur diesem einen Foto zu beschreiben, sagt er vielleicht: „Da liegen Kleidung auf dem Boden und Bücher im Regal.“ Aber was, wenn Sie eine bestimmte rote Socke finden müssen, die unter einem Haufen blauer Jeans versteckt ist, oder einen einzelnen Faden verfolgen müssen, der sich durch ein Knäuel aus Kabeln windet? Um das zu tun, können Sie nicht einfach nur einmal hinsehen. Sie müssen Ihre Augen bewegen, sich auf einen Punkt konzentrieren, raten, wo die Socke sein könnte, wieder hinsehen und Ihre Suche anpassen. Das nennt man aktive Beobachtung. Es ist der Unterschied zwischen dem bloßen Aufnehmen einer Momentaufnahme und dem tatsächlichen Suchen nach Antworten. Seit Jahrzehnten wissen Wissenschaftler, die untersuchen, wie Menschen sehen und denken, dass unsere Gehirne wie Detektive sind, die ständig Beweise immer wieder neu prüfen, anstatt nur einen kurzen Blick darauf zu werfen.
Heute haben wir leistungsstarke Computergehirne, sogenannte Multimodale Large Language Models (MLLMs). Dies sind KI-Systeme, die Texte lesen und Bilder betrachten können und oft perfekte Punktzahlen bei Tests erreichen, die verlangen, ein Foto zu beschreiben oder eine einfache Frage dazu zu beantworten. Aber hier ist die große Frage: Schauen diese KI-Modelle wirklich so, wie Menschen es tun? Besitzen sie diese detektivähnliche Fähigkeit, das Bild immer wieder zu prüfen, neue Vermutungen anzustellen und die verborgenen Details zu finden? Oder machen sie nur eine schnelle Momentaufnahme, wagen eine Schätzung und bleiben dabei, selbst wenn sie falsch liegt? Dies ist das Rätsel, das ein neues Paper lösen möchte.
Das Paper mit dem Titel „An Exam for Active Observers“ stellt einen brandneuen Test vor: ActiveVision. Denken Sie an ein „Finde den Fehler“-Spiel auf Steroiden, das speziell darauf ausgelegt ist, die KI dazu zu bringen, ihre wahre Natur zu zeigen. Die Forscher haben 17 verschiedene Rätsel entwickelt, die mit nur einem einzigen Blick unmöglich zu lösen sind. Bei einigen Aufgaben geht es darum, verstreute Formen in einem komplexen Muster zu zählen, bei anderen darum, einem gewundenen Pfad durch ein Labyrinth zu folgen, ohne sich zu verirren, und bei wieder anderen darum, winzige Details zwischen zwei ähnlich aussehenden Bildern zu vergleichen. Der entscheidende Punkt ist, dass diese Rätsel so gestaltet wurden, dass sie wie echte, unordentliche Fotos aussehen (wie verschlungene Seile oder Luftaufnahmen) und nicht wie einfache Cartoons, und dass die Antworten erfordern, dass die KI immer wieder „zurückblickt“.
Als die Forscher die klügsten KI-Modelle der Welt dem Test unterzogen, waren die Ergebnisse ein Schock. Selbst die fortschrittlichsten Modelle versagten kläglich. Das leistungsstärkste Modell, GPT-5.5 (bei seinem höchsten Denkaufwand), löste nur etwa 10,6 % der Rätsel. Tatsächlich erzielte GPT-5.5 bei 11 von 17 Aufgabentypen eine perfekte Null. Ein weiterer Top-Konkurrent, Claude Fable 5, schnitt mit nur 3,5 % gelösten Problemen noch schlechter ab. Menschen hingegen, die einfach nur normale Personen waren, die den Test absolvierten, lösten im Durchschnitt 96,1 % der Probleme. Die Lücke war riesig: Menschen waren etwa neunmal besser als die beste KI.
Die Forscher versuchten auch einen cleveren Umweg. Sie baten die KI-Modelle, ihren eigenen Computercode zu schreiben und auszuführen, in der Hoffnung, dass ein Skript das „Hinschauen“ für sie übernehmen könnte. Dies half zwar ein wenig, löste das Problem aber nicht. Die codebasierten Agenten konnten bestenfalls etwa 50,6 % der Aufgaben lösen (unter Verwendung des stärksten Agenten), aber sie hatten immer noch mit den schwierigsten Rätseln zu kämpfen, wie etwa dem Verfolgen verschlungener Schleifen. Der Code scheiterte oft, weil die realitätsnahen Bilder zu chaotisch für Standard-Computer-Vision-Tools waren und die KI nicht „sah“, dass der Code einen Fehler gemacht hatte.
Das Paper kommt zu dem Schluss, dass aktuelle KI-Modelle im Wesentlichen „passive Wahrnehmer“ sind. Sie machen ein Foto, wandeln es in eine Liste von Daten um und versuchen dann, von dieser Liste aus eine Antwort zu finden. Ihnen fehlt die Fähigkeit, ihre Aufmerksamkeit aktiv umzulenken, eine Hypothese aufzustellen und wieder zum Bild zurückzukehren, um es zu überprüfen. Die Autoren legen nahe, dass wir KI erst lehren müssen, wirklich immer und immer wieder zu „sehen“ – den Kreislauf zwischen Sehen und Denken zu schließen –, bevor sie für reale Aufgaben zuverlässig sein können, die eine sorgfältige Beobachtung erfordern, wie etwa die Untersuchung medizinischer Scans, die Inspektion von Fabrikteilen oder die Navigation in komplexen Umgebungen. Die „ActiveVision“-Prüfung beweist, dass heutige KI-Modelle trotz all ihrer anderen Klugheit beim einfachen menschlichen Akt des echten Hinschauens noch immer katastrophal schlecht sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.