VistaHop: Benchmarking Multi-hop Visual Reasoning for Visual DeepSearch
Dieses Paper stellt VistaHop vor, einen neuen Benchmark und eine Evaluierungsumgebung, die darauf ausgelegt sind, die Fähigkeiten multimodaler großer Reasoning-Modelle bei der Durchführung komplexer, mehrstufiger visueller Schlussfolgerungen (multi-hop visual reasoning) und iterativer Bildinspektion für Visual DeepSearch zu bewerten, wobei sich zeigt, dass aktuelle State-of-the-Art-Modelle bei diesen Aufgaben immer noch erheblich Schwierigkeiten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen Detektiv ein, um ein Rätsel zu lösen. In der Vergangenheit waren die meisten „Detektiv-Tests“ für KI wie einfache Rätsel: Man zeigte der KI ein einzelnes Foto und fragte: „Welche Farbe hat das Auto?“ Die KI schaute nur einmal hin, errat die Farbe und war fertig.
Aber echte Ermittlungsarbeit ist viel schwieriger. Manchmal muss man, um einen Fall zu lösen, ganz nah an ein winziges Logo auf einem Schuh heranzoomen, die Geschichte dieser Marke recherchieren, herausfinden, wo deren Fabrik steht, das Wetter dort prüfen und dann all diese Punkte miteinander verknüpfen, um herauszufinden, wer am Tatort war.
Dieses Paper, VistaHop, handelt davon, einen viel härteren Test zu entwickeln, um zu sehen, ob KI-Detektive tatsächlich diese Art von tiefgründiger, mehrstufiger Arbeit leisten können.
Das Problem: Die „Ein-Blick-Falle“
Die Autoren argumentieren, dass aktuelle KI-Tests zu einfach sind. Sie sind so, als würde man einem Detektiv ein Foto geben und fragen: „Ist ein Hund auf diesem Bild?“ Die KI wirft nur einen kurzen Blick darauf und sagt: „Ja.“
Echte „Visual DeepSearch“ (Visuelle Tiefensuche) ist etwas anderes. Sie erfordert von der KI:
- Genau hinsehen: In spezifische Teile eines Bildes hineinzoomen (wie einen winzigen Text auf einem Schild).
- Hin und her gehen: Merken, dass man einen Hinweis übersehen hat, erneut heranzoomen und einen anderen Teil des Bildes betrachten.
- Die Punkte verbinden: Was sie im Foto sieht, mit Außenwissen kombinieren (wie das Abfragen einer Datenbank) über viele Schritte hinweg.
Die Autoren sagen, dass bestehende Tests versagen, weil sie es der KI ermöglichen zu schummeln, indem sie Text-Hinweise nutzen oder einfach raten, ohne die Details wirklich zu „sehen“.
Die Lösung: VistaHop (Der „Hindernisparcours“)
Um dies zu beheben, hat das Team VistaHop entwickelt, einen neuen Benchmark (eine Testreihe), der wie ein komplexer Hindernisparcours konzipiert ist.
- Das Setup: Sie haben 300 hochwertige Fotos gesammelt (wie eine belebte Straße in einer Stadt oder ein Museum).
- Die Aufgabe: Sie haben 350 Fragen erstellt, die die KI zwingen, eine lange Reise anzutreten.
- Beispiel: „Schau dir den orangefarbenen Versandcontainer unten rechts an. Finde das Firmenlogo. Finde heraus, wann diese Firma gegründet wurde. Finde nun die Stadt, in der ihr Hauptsitz ist. In welchem Jahr wurde diese Stadt gegründet? Subtrahiere die beiden Jahreszahlen.“
- Die Regeln: Die KI darf nicht einfach raten. Sie muss beweisen, dass sie auf den spezifischen Teil des Bildes geschaut, das Logo gefunden und der Kette der Hinweise gefolgt ist. Wenn sie versucht, die Antwort allein aus dem Text der Frage zu generieren (ohne das Bild wirklich betrachtet zu haben), erkennt der Test dies und lehnt die Antwort ab.
Sie haben auch VistaArena gebaut, ein „Fitnessstudio“, in dem sie die KI trainieren lassen können. Es erlaubt der KI, Werkzeuge wie eine Lupe (um Bilder zuzuschneiden/heranzuzoomen), eine Suchmaschine (um Fakten zu finden) und einen Taschenrechner zu benutzen.
Das Ergebnis: Die KI ist noch ein Anfänger
Die Autoren ließen die klügsten verfügbaren KI-Modelle (wie SenseNova, GPT-5 und Gemini) durch diesen Hindernisparcours laufen.
Das Urteil? Die KI hatte schwer zu kämpfen.
- Selbst das beste Modell bekam beim ersten Versuch nur etwa 24 % der Antworten richtig.
- Wenn die KI gezwungen war, nur das Bild zu betrachten, ohne Suchwerkzeuge zu verwenden, kam sie auf weniger als 8 % richtige Antworten.
- Die KI wurde besser, wenn sie erlaubt war, Werkzeuge zu nutzen (Zoomen und Suchen), aber sie scheiterte immer noch oft, wenn die „Kette der Hinweise“ zu lang wurde oder das Betrachten mehrerer verschiedener Stellen im Foto erforderte.
Das Fazit
Das Paper kommt zu dem Schluss, dass KI zwar gut darin wird, Bilder zu „sehen“, aber immer noch sehr schlecht darin ist, ein beharrlicher Ermittler zu sein. Sie neigt dazu, zu schnell aufzugeben, winzige Details zu übersehen oder zu vergessen, noch einmal zurückzugehen und das Bild zu prüfen.
Die Autoren haben VistaHop nicht gebaut, um ein Produkt zu verkaufen, sondern um der Welt zu zeigen, dass wir bessere Tests und bessere Trainingsmethoden brauchen, wenn wir wollen, dass KI wirklich komplexe visuelle Rätsel versteht. Sie haben ihre Daten und ihren Code öffentlich gemacht, damit andere Forscher versuchen können, bessere „Detektive“ zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.