💻 computer science

Beyond Thinking: Imagining in 360 $^\circ$ for Humanoid Visual Search

Dieser Artikel schlägt „Imagining in 360°" vor, ein neuartiges Framework, das die menschähnliche visuelle Suche in einen probabilistischen Imaginator und einen Akteur entkoppelt, um semantische räumliche Priors in einem einzigen Schritt abzuleiten, wodurch die Notwendigkeit teurer Trajektorien-Annotationen entfällt und gleichzeitig die Sucheffizienz sowie die Erfolgsraten in komplexen 360°-Umgebungen erheblich verbessert werden.

Ursprüngliche Autoren: Jingdong Zhang, Yizhou Wang, Zhengzhong Tu, Xin Li, Wenping Wang, Xiaohang Zhan

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jingdong Zhang, Yizhou Wang, Zhengzhong Tu, Xin Li, Wenping Wang, Xiaohang Zhan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen bestimmten Gegenstand, wie etwa einen verlorenen Schlüsselbund, in einem riesigen, dunklen Lagerhaus zu finden. Sie können nur einen kleinen Lichtkreis vor sich sehen.

Der alte Weg: Der „Überdenker"
Frühere Methoden versuchten, dieses Problem zu lösen, indem sie dem Roboter ein einziges Gehirn gaben, das alles gleichzeitig erledigen musste. Es musste den kleinen Lichtkreis betrachten, sich alles Erinnerte merken, erraten, was in den dunklen Ecken sein könnte, und dann entscheiden, wohin es als Nächstes wenden sollte.

Das Problem: Das ist so, als würde man eine Person bitten, ein komplexes mathematisches Problem zu lösen und gleichzeitig ein Labyrinth zu navigieren. Es gerät in Verwirrung, trifft langsame Vermutungen und dreht sich oft im Kreis, weil es zu sehr damit beschäftigt ist, „nachzudenken", um den gesamten Raum „vorzustellen". Außerdem erfordert es einen menschlichen Lehrer, der für jedes mögliche Szenario jeden einzelnen Schritt des Denkprozesses des Roboters aufschreibt, was unglaublich teuer und langsam zu erstellen ist.

Der neue Weg: „360-Grad-Vorstellung"
Dieser Artikel schlägt einen intelligenteren Teamansatz vor. Statt eines überarbeiteten Gehirns wird die Arbeit in zwei spezialisierte Rollen aufgeteilt: Der Imaginator (der Vorstellende) und Der Akteur.

1. Der Imaginator (der „mentale Kartenmacher")

Stellen Sie sich den Imaginator als einen psychischen Kartographen vor. Seine einzige Aufgabe ist es, in der Mitte des Raumes zu stehen und zu sagen: „Okay, ich sehe hier eine Tür. Basierend darauf, wie Räume normalerweise funktionieren, gibt es wahrscheinlich links einen Flur und hinter mir eine Treppe, auch wenn ich sie noch nicht sehen kann."

Wie es funktioniert: Anstatt einen bestimmten Ort zu erraten, erstellt es eine Liste von Möglichkeiten. Es sagt: „Es besteht eine 60-prozentige Wahrscheinlichkeit, dass die Schlüssel in der Nähe der Treppe sind, eine 30-prozentige Wahrscheinlichkeit, dass sie bei der Tür sind, und eine 10-prozentige Wahrscheinlichkeit, dass sie im Regal sind."
Die Magie: Es muss den ganzen Raum nicht sehen, um diese Vermutungen anzustellen. Es nutzt „gesunden Menschenverstand" darüber, wie Räume gebaut sind (z. B. führen Treppen normalerweise zu Etagen, Türen zu anderen Räumen). Es generiert diese Vermutungen sofort und kostengünstig, ohne dass ein Mensch jeden einzelnen Schritt beibringen muss.

2. Der Akteur (der „Entdecker")

Der Akteur ist der Körper und die Augen des Roboters. Er erhält die Liste der Vermutungen vom Imaginator.

Der Prozess: Anstatt blind umherzuwandern, betrachtet der Akteur die Liste des Imaginators. „Hmm, der Imaginator denkt, die Schlüssel sind wahrscheinlich in der Nähe der Treppe. Lassen Sie uns zuerst dorthin drehen."
Das Ergebnis: Der Akteur bewegt sich effizient und überprüft zuerst die wahrscheinlichsten Stellen. Wenn er etwas sieht, das der Vermutung widerspricht (z. B. keine Treppe, nur eine Wand), aktualisiert er seinen Plan und überprüft den nächsten Punkt auf der Liste.

Warum das eine große Sache ist

Geschwindigkeit und Effizienz: Durch die Trennung des „Erratens" vom „Bewegen" hört der Roboter auf, im Kreis zu drehen. Er geht direkt zu den wahrscheinlichsten Stellen. In den Tests des Artikels half diese Methode Robotern, Objekte viel schneller und häufiger zu finden als zuvor, selbst in sehr unordentlichen oder komplexen Umgebungen.
Die „kostenlosen" Trainingsdaten: Der größte Durchbruch ist, wie sie den Imaginator trainiert haben. Da der Imaginator nur die Raumaufteilung basierend auf einem winzigen Ausschnitt erraten muss, konnten die Forscher einen Computer verwenden, um automatisch 1,92 Millionen Trainingsbeispiele zu generieren. Sie brauchten keine Menschen, um Millionen von Geschichten darüber zu schreiben, wie ein Roboter suchen sollte. Sie ließen den Computer einfach immer wieder das Erraten von Raumaufteilungen üben.
Funktioniert mit jedem Gehirn: Dieses System ist wie ein „Plug-and-Play"-Upgrade. Sie können ein Standard-Roboterhirn (selbst ein kleineres, günstigeres) nehmen und dieses „Imaginator"-Modul einstecken, und plötzlich wird es viel besser im Suchen.

Das Fazit

Der Artikel argumentiert, dass man, um Dinge in einer großen, 360-Grad-Welt zu finden, nicht einfach „härter" denken sollte. Man muss zuerst den gesamten Raum vorstellen. Indem ein Teil des Systems eine mentale Karte der unsichtbaren Welt erstellt und ein anderer Teil auf dieser Karte handelt, wird der Roboter zu einem viel effizienteren und selbstbewussteren Entdecker.

Technische Zusammenfassung: Imaginieren in 360° für die visuelle Suche humanoider Agenten

Problemdefinition

Die visuelle Suche humanoider Agenten (Humanoid Visual Search, HVS) erfordert, dass verkörperte Agenten immersive 360°-Panoramaumgebungen aktiv erkunden, um spezifische Objekte (Humanoid Object Search, HOS) oder begehbare Pfade (Humanoid Path Search, HPS) zu lokalisieren. Im Gegensatz zur passiven Wahrnehmung erfordert HVS einen geschlossenen Wahrnehmungs-Aktions-Zyklus, bei dem Agenten ihren „Kopf" (Kamera) neu ausrichten müssen, um verdeckte Informationen aufzudecken.

Derzeitige State-of-the-Art-Ansätze, wie Thinking in 360° (Yu et al., 2025), behandeln HVS als monolithische Aufgabe, die von multimodalen großen Sprachmodellen (MLLMs) unter Verwendung kumulativer Chain-of-Thought (CoT)-Schlussfolgerungen gesteuert wird. Diese Methoden leiden unter drei primären Engpässen:

Kognitive Überlastung: Die Kopplung komplexer 3D-räumlicher Verständnisse mit Aktionsplanung in einem einzigen Modell erzeugt erhebliche Schlussfolgerungslasten für aktuelle MLLMs.
Implizites Raten: Ohne explizite Modellierung räumlicher Beziehungen sind Agenten gezwungen, das Layout unsichtbarer Regionen implizit zu raten, was zu inaktiven oder ungenauen Erkundungen führt.
Daten-Skalierbarkeit: Das Training dieser monolithischen Agenten erfordert teure, hochwertige, mehrstufige CoT-Trajektorien-Annotationen, die in großem Maßstab schwer zu kuratieren sind und die Generalisierung auf diverse, reale Szenarien behindern.

Methodik: Eine entkoppelte Architektur

Die Arbeit schlägt Imagining in 360° vor, ein Framework, das den Erkundungsprozess in zwei spezialisierte Komponenten entkoppelt: einen probabilistischen Imaginator und einen ausführenden Actor.

1. Der Imaginator (Probabilischer räumlicher Prior-Generator)

Der Imaginator ist darauf ausgelegt, die 360°-Umgebung explizit zu modellieren, indem er das semantische Layout sowohl beobachteter als auch unbeobachteter Regionen in einem einzigen Schritt vorhersagt, anstatt eine kumulative Schlussfolgerungskette aufrechtzuerhalten.

Aufgabe: Gegeben eine begrenzte Narrow Field-of-View (NFoV)-Beobachtung und eine natürliche Sprachanweisung, gibt der Imaginator einen strukturierten Block aus, der Folgendes enthält:
- [Beobachtet]: Landmarken, die aktuell oder zuvor sichtbar waren.
- [Imaginiert]: Probabilistische Vorhersagen von Objekten, die wahrscheinlich in unsichtbaren Regionen existieren (z. B. „Treppe: (-45, -10)").
Probabilistisches Sampling: Anstatt einer einzigen deterministischen Vermutung generiert der Imaginator mehrere räumliche Hypothesen durch Temperatur-Sampling. Dies erfasst die inhärente Unsicherheit verdeckter Umgebungen.
Ausgabe: Eine sortierte Liste von Vorschlägen (z. B. „Suggest Check (φ, µ)"), die eine Verteilung räumlicher Priors darstellt.

2. Der Actor (Ausführender Agent)

Der Actor ist für die physische Suche verantwortlich und kann jedes handelsübliche MLLM oder ein feinabgestimmtes Suchmodell sein.

Integration: Der Actor erhält die aktuelle NFoV-Beobachtung, historische Erinnerung und die räumlichen Vorschläge, die vom Imaginator generiert wurden.
Schlussfolgerung: Durch diese Priors gestärkt, bewertet der Actor die Plausibilität der vorgeschlagenen Layouts gegen sein visuelles Gedächtnis, um eine Schlussfolgerungskette zu generieren.
Aktion: Der Actor gibt eine nächste Aktion aus, entweder eine Rotation (Rot) zu einer neuen Koordinate oder eine Einreichung (Sub) der finalen Zielansicht.

3. Skalierbare Daten-Engine

Eine Schlüsselinnovation ist die Fähigkeit, Trainingsdaten ohne manuelle Trajektorien-Annotationen zu generieren.

Pseudo-Labeling: Die Autoren nutzen ein leistungsstarkes Lehrermodell (Qwen3-VL-235B), um vollständige 360°-Panoramen zu labeln.
Synthetische Trajektorien: Aus diesen vollständig annotierten Panoramen werden synthetisch Trajektorien gesampelt, wobei pro Instanz nur 1–8 NFoV-Beobachtungen sichtbar gemacht werden, während 50 % der Ziele außerhalb des Sichtfelds bleiben.
Skala: Diese automatisierte Pipeline liefert etwa 1,92 Millionen hochwertige, einstufige räumliche Schlussfolgerungs-Beispiele über ~20.000 diverse Szenen hinweg und umgeht die Kosten der Trajektorien-Level-CoT-Kuration.

4. Inferenz-Pipeline

Während der Inferenz generiert der Imaginator $K$ Kandidatenkoordinaten pro Schritt:

Einen gierigen Anker ( $T=0$ ) für die vertrauenswürdigste Vorhersage.
$K-1$ stochastische Samples ( $T>0$ ), um diverse Hypothesen zu erfassen.
Diese absoluten Koordinaten werden in relative Rotationsaktionen für den Actor umgewandelt. Ein Temperatur-Abkling-Schema wird über die Suchschritte angewendet, wobei von einer breiten Erkundung zu einer fokussierten Vorhersage übergegangen wird, sobald visuelle Beweise vorliegen.

Hauptbeiträge

Entkoppeltes HVS-Paradigma: Die Arbeit definiert die visuelle Suche neu, indem sie intuitive räumliche Imagination von der Aktionsplanung trennt. Dies ermöglicht Agenten, fundierter und selbstbewusster zu erkunden, basierend auf soliden räumlichen Annahmen statt ausschließlich auf exhaustiven logischen Ketten.
Probabilistischer Imaginator: Einführung eines spezialisierten Modells, das intuitive räumliche Priors (z. B. architektonische Layouts) lernt und den Actor mit probabilistischen Schätzungen leitet, wodurch räumliche Unsicherheit effektiv abgefedert wird.
Skalierbare Daten-Engine: Eine vollständig automatisierte Pipeline, die das Training auf ~1,92 Millionen Samples skaliert, ohne manuelle Trajektorien-Labels, und damit robuste Leistung in der realen Welt ohne die prohibitiven Kosten von Experten-Annotationen ermöglicht.

Experimentelle Ergebnisse

Das Framework wurde auf H*Bench über verschiedene Open-Source-, proprietäre und feinabgestimmte MLLMs hinweg evaluiert.

Leistungssteigerungen: Die entkoppelte Pipeline übertrifft monolithische Baselines signifikant.
- Qwen3-VL (235B): Die Erfolgsrate bei HOS stieg von 23,62 % auf 65,04 %; bei HPS von 21,44 % auf 38,25 %.
- HVS-3B (RL-feinabgestimmte Baseline): Die Erfolgsrate bei HOS sprang von 48,04 % auf 62,75 %, wenn sie mit dem Imaginator integriert wurde.
- Proprietäre Modelle: Gemini-2.5 Pro verbesserte sich bei HOS von 55,00 % auf 66,10 %.
Effizienz: Die gemeinsame Pipeline verschiebt die Suchverteilung, wobei die meisten Suchen innerhalb von 1–3 Schritten konvergieren, im Vergleich zur Baseline, die oft das 10-Schritt-Fehlerlimit erreicht. Die Inferenz-Latenz wird auf ~2,5 s pro Schritt reduziert (vs. 20–30 s für pixelbasierte Imaginations-Baselines wie FLUX).
Ablationsstudien:
- Das Entfernen des strukturierten Layout-Kontexts senkt die Leistung unter die Baseline, was die Notwendigkeit einer expliziten globalen räumlichen Modellierung bestätigt.
- Probabilistisches Sampling ( $T>0$ ) übertrifft deterministisches gieriges Decoding ( $T=0$ ) und validiert die Bedeutung der Erfassung räumlicher Unsicherheit.
- Skalierungsgesetze zeigen eine monotone Verbesserung, wenn die Pretraining-Daten des Imaginator von 0 auf 1,92 Millionen Samples erhöht werden.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Imagining in 360° grundlegend verändert, wie verkörperte Agenten unbeobachteten Raum angehen. Durch die explizite Modellierung räumlicher Priors im Sprachraum anstatt der Abhängigkeit von pixelbasierter Rekonstruktion oder monolithischer CoT-Schlussfolgerung, ermöglicht das Framework:

Reduzierung der kognitiven Belastung: Trennung der schwierigen Aufgabe der räumlichen Layout-Vorhersage von der Aktionsplanung.
Ermöglichung von Skalierbarkeit: Lösung des Datenengpasses durch automatische Generierung von Millionen von Trainingsbeispielen, was Hochleistungs-HVS ohne teure Experten-Annotationen zugänglich macht.
Verbesserung der Robustheit: Demonstration überlegener Leistung in komplexen, realen Umgebungen, in denen Agenten typischerweise aufgrund räumlicher Unsicherheit oder Halluzinationen versagen.

Die Autoren schließen, dass das aktuelle Framework zwar in einem Open-Loop-Ausführungsparadigma operiert (wobei der Actor kein Feedback an den Imaginator geben kann), es jedoch erfolgreich eine komplementäre Architektur etabliert, die generative räumliche Priors mit logischer Aktionsplanung verankert und einen skalierbaren und effizienten Weg für die visuelle Suche humanoider Agenten bietet.