InterLV-Search: Benchmarking Interleaved Multimodal Agentic Search
Dieser Beitrag stellt InterLV-Search vor, einen umfassenden Benchmark und Evaluierungsrahmen für interleaved multimodale agentenbasierte Suche, der erhebliche aktuelle Einschränkungen der Fähigkeit von Systemen hervorhebt, textuelle und visuelle Beweise dynamisch über aktive Suchen, kontrollierte Offline-Szenarien und Open-Web-Suche hinweg zu integrieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, ein komplexes Rätsel zu lösen, wie etwa die Suche nach einer bestimmten Person anhand einer Reihe von Hinweisen.
Der alte Weg (frühere Benchmarks):
Die meisten aktuellen KI-Detektive werden so trainiert: Sie erhalten ein Foto eines Verdächtigen und werden gefragt: „Wer ist das?" oder „Welche Farbe hat sein Hut?" Die KI betrachtet das Foto und antwortet. Wenn das Foto nicht ausreicht, sucht die KI möglicherweise im Internet nach Texten über die Person, behandelt das Foto jedoch nur als Ausgangspunkt oder als Endergebnis. Sie nutzt selten ein Foto, das sie in der Mitte ihrer Ermittlungen findet, um ihre Richtung zu ändern. Es ist wie ein Detektiv, der sich ein Foto vom Tatort ansieht, dann einfach einen Zeitungsartikel liest und niemals erkennt, dass ein neues Foto auf Seite 3 des Artikels ihn tatsächlich zu einer völlig anderen Stadt führt.
Der neue Weg (InterLV-Search):
Die Autoren dieses Papiers, „InterLV-Search", haben einen neuen Trainingsplatz (ein Benchmark) entwickelt, um zu testen, ob KI etwas viel Schwierigeres leisten kann: Interleaved Multimodal Agentic Search (Verflochtene multimodale agentische Suche).
Stellen Sie sich dies als einen Detektiv vor, der ständig zwischen dem Betrachten von Karten (Text) und dem Betrachten von Fotos (Bilder) wechseln muss, um den Fall zu lösen.
- Der Twist: Die KI findet ein Foto, betrachtet es und erkennt: „Oh! Das Logo auf diesem Gebäude auf dem Foto sagt mir, dass ich nach einem bestimmten Markennamen suchen muss." Sie sucht dann nach dieser Marke, findet ein neues Foto eines Autos, sieht ein Kennzeichen, und dieses Kennzeichen sagt ihr, dass sie nach einer bestimmten Stadt suchen muss.
- Das Ziel: Das Foto ist nicht nur die Antwort; das Foto ist ein Lenkrad. Es sagt der KI, wohin sie als Nächstes fahren soll.
Die drei Schwierigkeitsgrade
Das Papier testet die KI auf drei Ebenen, wie bei einem Videospiel mit zunehmender Schwierigkeit:
Level 1: Die „Finde das Bild"-Herausforderung.
- Die Aufgabe: Die KI erhält eine Textbeschreibung wie: „Finde das Spiel, das dieses Piratenschiff zeigt." Sie muss herausfinden, was das Schiff ist, danach suchen, das Bild finden und dann eine Frage zum Bild beantworten (z. B. „Welchen Motor verwendet das Schiff?").
- Die Metapher: Ihnen wird ein Rätsel über ein verstecktes Objekt gegeben. Sie müssen das Objekt zuerst finden, bevor Sie das Rätsel lösen können.
Level 2: Die „Kontrolliertes Labyrinth"-Herausforderung.
- Die Aufgabe: Die KI befindet sich in einem geschlossenen Raum (einer kontrollierten Offline-Datenbank) mit einer Karte. Sie beginnt mit einem Texthinweis, findet ein Bild, das Bild liefert einen neuen Hinweis, sie findet ein weiteres Bild und so weiter.
- Die Metapher: Stellen Sie sich eine Schnitzeljagd vor, bei der das Finden eines Fotos einer roten Tür Sie zu einem Texthinweis über ein blaues Auto führt, das Sie zu einem Foto eines gelben Vogels führt. Die KI muss das Foto der Tür nutzen, um zu entscheiden, nach dem Auto zu suchen. Wenn sie das Foto ignoriert und einfach nur Text weiterliest, verirrt sie sich.
Level 3: Die „Wildes Internet"-Herausforderung.
- Die Aufgabe: Jetzt ist die KI im echten, chaotischen Internet unterwegs. Sie muss nach Hinweisen suchen, Fotos finden, erkennen, dass einige Fotos gefälscht oder irrelevant sind, verschiedene Pfade vergleichen (z. B. „Ist dieser Film 60 Minuten oder 90 Minuten lang?") und den richtigen Pfad wählen, um fortzufahren.
- Die Metapher: Dies ist wie ein Detektiv, der versucht, einen Fall unter Verwendung des gesamten Internets zu lösen. Er muss durch Millionen von Websites wühlen, einige mit schlechten Fotos, einige mit falschen Daten, und entscheiden, welchem Pfad er basierend auf dem, was er auf den Bildern sieht, folgen soll.
Was haben sie herausgefunden?
Die Autoren testeten viele der intelligentesten KI-Modelle (wie GPT-5, Gemini und Claude) an diesem neuen Test.
- Das Ergebnis: Die KI-Modelle sind derzeit sehr schlecht darin. Selbst die besten erhielten weniger als 50 % der Antworten richtig.
- Das Problem: Die KI-Modelle sind hervorragend im Lesen von Text und hervorragend im Betrachten eines einzelnen Bildes. Aber sie haben Schwierigkeiten, die Punkte zu verbinden, wenn ein Bild, das in der Mitte einer Suche gefunden wird, den gesamten Suchplan ändern muss. Oft bleiben sie stecken, wenn sie nach Text suchen sollten, wo sie ein Foto betrachten sollten, oder sie behandeln das Foto nur als „endgültige Überprüfung" statt als „neuen Hinweis".
Das Werkzeugset (InterLV-Agent)
Um sicherzustellen, dass alle nach den gleichen Regeln spielen, bauten die Autoren einen standardisierten „Spielcontroller" namens InterLV-Agent. Dieses Tool ermöglicht es der KI, einen Webbrowser zu nutzen, nach Bildern zu suchen, Bilder zuzuschneiden und ein „Notizbuch" (Gedächtnis) über das, was sie bisher gefunden hat, zu führen. Dies stellt sicher, dass, wenn wir sagen, eine KI habe versagt, es daran liegt, dass sie das Rätsel nicht lösen konnte, und nicht daran, dass sie nicht die richtigen Werkzeuge hatte.
Zusammenfassung
Einfach ausgedrückt sagt dieses Papier: „Wir haben einen neuen, härteren Test für KI-Detektive entwickelt. Wir haben festgestellt, dass KI, obwohl sie intelligenter wird, immer noch nicht effektiv Bilder nutzen kann, die sie während einer Suche findet, um ihre Meinung zu ändern und den nächsten Hinweis zu finden. Es ist wie ein Detektiv, der eine Karte lesen und ein Foto betrachten kann, aber nicht herausfinden kann, dass das Foto ihm tatsächlich sagt, eine andere Straße zu nehmen."
Die Autoren haben diesen Test und die Werkzeuge veröffentlicht, damit andere Forscher versuchen können, eine KI zu entwickeln, die besser in diesem „verflochtenen" Denkstil ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.