From Web to Pixels: Bringing Agentic Search into Visual Perception
Dieser Beitrag stellt „Perception Deep Research" vor, eine neue Herausforderung für die visuelle Wahrnehmung in offenen Welten, bei der Objekte vor der Lokalisierung mithilfe externen Wissens identifiziert werden müssen, und adressiert diese mit dem WebEye-Benchmark und dem agentic Framework Pixel-Searcher, das state-of-the-art-Leistung in Open-Source-Umgebungen bei suchbasiertem Grounding, Segmentierung und VQA demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie spielen ein Spiel namens „Wo ist Willi?" (oder „Wo ist Wally?"), aber mit einer Wendung.
Im klassischen Spiel betrachten Sie ein überfülltes Bild und finden Willi anhand seines Aussehens: ein rot-weiß gestreiftes Hemd, eine Mütze und eine Brille. Sie müssen nicht wissen, wer Willi ist; Sie müssen lediglich das visuelle Muster erkennen.
Diese Arbeit argumentiert, dass die meisten aktuellen KI-Visionssysteme im klassischen Spiel stecken bleiben. Sie sind hervorragend darin, Dinge zu finden, die wie ein „rotes Auto" oder eine „Person in einem blauen Hemd" aussehen. Doch sie haben Schwierigkeiten, wenn die Frage nicht danach lautet, wie etwas aussieht, sondern danach, wer es ist, basierend auf Fakten, die Sie auf dem Bild nicht sehen können.
Die neue Herausforderung: „Der mysteriöse Gast"
Die Autoren stellen eine neue, schwierigere Version des Spiels vor, die Perception Deep Research (Tiefgehende Wahrnehmungsforschung) genannt wird.
Stellen Sie sich ein Foto einer überfüllten Party vor. Die Frage lautet nicht: „Finden Sie die Person im roten Hemd." Stattdessen lautet die Frage:
„Finden Sie die Person, die im Januar 2026 zum globalen Botschafter einer Hautpflege-Marke wurde, nachdem diese Marke von einem Unternehmen für 2,7 Milliarden Dollar gekauft worden war."
Sie können dies nicht allein durch das Betrachten des Fotos lösen. Das Foto zeigt weder das Preisschild der Übernahme noch das Datum der Botschafterankündigung. Um die richtige Person zu finden, muss die KI:
- Eine Web-Suche durchführen: Das Internet durchsuchen, um herauszufinden, welche Marke gekauft wurde, in welchem Monat und wer der Botschafter war.
- Das Rätsel lösen: Erkennen: „Aha, die Person auf dem Foto namens 'Winter' ist die, nach der wir suchen."
- Auf den Pixel zeigen: Schließlich zum Bild zurückkehren und einen Kasten um Winter zeichnen.
Die Arbeit nennt dies „From Web to Pixels" (Vom Web zu den Pixeln). Es geht darum, Internetfakten mit spezifischen Stellen in einem Bild zu verknüpfen.
Die entwickelten Werkzeuge
Um zu testen, ob KI dies leisten kann, entwickelte das Team zwei Hauptkomponenten:
1. WebEyes (Der Testkurs)
Stellen Sie sich dies als einen spezialisierten Hindernisparcours für KI vor. Er enthält 120 komplexe Bilder und hunderte kniffliger Fragen.
- Die Wendung: Jede Frage erfordert, dass die KI versteckte Fakten nachschlägt (wie die jüngste Rolle eines Prominenten, das Startdatum eines Produkts oder die Hintergrundgeschichte eines Charakters), bevor sie überhaupt raten kann, wo sie im Bild suchen soll.
- Das Ziel: Die KI muss nicht nur die Frage beantworten; sie muss die genaue Person oder das genaue Objekt auf dem Bild zeigen, das der Antwort entspricht.
2. Pixel-Searcher (Der clevere Detektiv)
Dies ist der neue KI-Agent, den die Autoren entwickelt haben, um den Test zu bestehen. Anstatt nur auf das Bild zu starren und zu raten, agiert Pixel-Searcher wie ein Detektiv mit Lupe und Laptop.
- Schritt 1: Die Suche. Er zerlegt die Frage. „Wer war der Botschafter?" „Wann wurde der Deal abgeschlossen?" Er durchsucht das Web und liest die Ergebnisse.
- Schritt 2: Die Deduktion. Er verbindet die Punkte. „Okay, der Deal wurde im Januar abgeschlossen, und der Botschafter ist Winter."
- Schritt 3: Die Jagd. Er kehrt zum Bild zurück. Er sucht nach einer Person, die wie Winter aussieht (vielleicht unter Prüfung bestimmter Kleidungsstücke oder Merkmale, die in der Suche erwähnt wurden), und zeichnet einen Kasten um sie.
Was sie herausfanden
Die Forscher testeten Pixel-Searcher gegen andere intelligente KI-Modelle. Hier ist das Urteil:
- Alte KI-Modelle: Konfrontiert mit diesen „Mysteriöser Gast"-Fragen gerieten Standard-KI-Modelle in Verwirrung. Sie versuchten, nur basierend auf dem, was sie auf dem Bild sahen, oder auf dem, was sie bereits aus ihrem Training „wussten", zu raten. Oft wählten sie die falsche Person aus, weil sie die versteckten Fakten nicht finden konnten.
- Pixel-Searcher: Dieser neue Agent schnitt unter den Open-Source-Modellen am besten ab. Indem er tatsächlich das Web durchsuchte und die Hinweise logisch verknüpfte, fand er die richtigen Ziele deutlich häufiger erfolgreich.
Wo er noch Schwierigkeiten hat:
Die Arbeit stellt fest, dass die KI nicht daran scheitert, dass sie keinen perfekten Kasten um eine Person zeichnen kann. Sie scheitert früher im Prozess:
- Schlechte Suche: Sie sucht manchmal nach dem Falschen oder übersieht eine Schlüsselfakten.
- Falsche Identität: Sie ermittelt die richtigen Fakten, wählt aber die falsche Person auf dem Foto aus (z. B. weiß sie, dass der Botschafter „Winter" ist, zeigt aber auf die falsche Person namens Winter).
- Verknüpfung (Binding): Sie hat Schwierigkeiten, die „Fakten" (Winter) mit dem „Visuellen" (die Person auf dem Foto) zu verbinden.
Das große Ganze
Die Arbeit kommt zu dem Schluss, dass KI, um die Welt wirklich zu verstehen, nicht nur eine „Kamera" sein kann, die Formen sieht. Sie muss ein „Forscher" sein, der Informationen nachschlägt, Rätsel löst und dieses Wissen dann nutzt, um auf das Richtige auf einem Bild zu zeigen. Sie nennen dieses neue Feld Perception Deep Research, und sie haben die Werkzeuge (WebEyes und Pixel-Searcher) bereitgestellt, um anderen Wissenschaftlern zu helfen, bessere „Detektiv"-KIs zu entwickeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.