🤖 AI

ProCompNav: Proactive Instance Navigation with Comparative Judgment for Ambiguous User Queries

ProCompNav ist ein zweistufiges Framework, das mehrdeutige Instanz-Navigationsanfragen löst, indem es schrittweise einen Kandidatenpool aufbaut und binäre Vergleichsfragen einsetzt, um das Ziel effizient von Ablenkungen zu unterscheiden, wodurch es bestehende Methoden sowohl in der Erfolgsrate übertrifft als auch die Länge der Benutzerantworten erheblich reduziert.

Ursprüngliche Autoren: Junhyuk Kwon, Seungjoon Lee, Hyejin Park, Kyle Min, Jungseul Ok

Veröffentlicht 2026-05-18

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Junhyuk Kwon, Seungjoon Lee, Hyejin Park, Kyle Min, Jungseul Ok

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Roboter, der beauftragt ist, in einem riesigen, unordentlichen Lagerhaus voller gleich aussehender Gegenstände ein spezifisches Objekt zu finden. Der Chef (der Benutzer) gibt Ihnen einen vagen Befehl: „Finden Sie den Schrank."

Das Problem? Es gibt 50 Schränke im Lagerhaus. Sie sehen alle irgendwie ähnlich aus. Manche stehen in Badezimmern, manche in Schlafzimmern, einige sind aus Holz, andere aus Metall. Wenn Sie einfach den ersten Schrank erraten, den Sie sehen, könnten Sie den falschen greifen. Wenn Sie den Chef fragen: „Wie sieht der Schrank aus?" und er Ihnen eine lange, abschweifende Beschreibung gibt, dauert es ewig, und Sie könnten trotzdem verwirrt sein, weil diese Beschreibung auf mehrere Schränke zutrifft.

Diese Arbeit stellt eine neue Methode vor, mit der Roboter dieses Problem lösen können, namens ProCompNav. Denken Sie daran als an ein Spiel „20 Fragen", gespielt mit einem Twist.

So funktioniert es, aufgeschlüsselt in einfache Schritte:

1. Der alte Weg: „Raten und Prüfen" (Unabhängiges Matching)

Stellen Sie sich einen Roboter vor, der die alte Methode verwendet. Er sieht einen Schrank und fragt: „Ist er blau?" Der Chef sagt: „Ja." Der Roboter sieht einen anderen Schrank, fragt: „Ist er blau?" Der Chef sagt: „Ja."

Der Fehler: Der Roboter sammelt weiterhin Fakten (blau, in der Nähe eines Spiegels, aus Holz) und versucht, sie auf einen Schrank nach dem anderen abzugleichen.
Das Ergebnis: Oft wählt er zu früh einen „Ablenkungsschrank" (einen falschen Schrank) aus, weil dieser zufällig auch blau ist und in der Nähe eines Spiegels steht. Der Roboter gerät in eine Schleife aus langen, verwirrenden Fragen oder gibt auf und wählt das Falsche.

2. Der neue Weg: „Der Sortierhut" (ProCompNav)

ProCompNav ändert die Strategie komplett. Anstatt zu versuchen, den einen richtigen Schrank zu beschreiben, konzentriert es sich darauf, die gesamte Gruppe der Schränke zu sortieren.

Schritt 1: Die Menge sammeln (Pool-Konstruktion)
Zuerst entscheidet der Roboter noch nichts. Er läuft durch das Lagerhaus und findet alle Schränke, die er kann. Er legt sie alle in einen mentalen „Kandidatenpool". Anstatt nun nach einer Nadel im Heuhaufen zu suchen, hat er einen Haufen von 10 Nadeln und muss die richtige finden.

Schritt 2: Der magische Schnitt (Vergleichende Beurteilung)
Anstatt zu fragen: „Welche Farbe hat das Ziel?", betrachtet der Roboter den Haufen und stellt eine vergleichende Frage, die darauf ausgelegt ist, die Gruppe in zwei Hälften zu teilen.

Schlechte Frage: „Ist das Ziel aus Holz?" (Vielleicht sind alle 10 aus Holz. Das hilft nicht.)
ProCompNav-Frage: „Steht eine rote Kiste neben dem Schrank?"
- Gruppe A (Die „Ja"-Gruppe): 3 Schränke haben eine rote Kiste daneben.
- Gruppe B (Die „Nein"-Gruppe): 7 Schränke haben keine rote Kiste daneben.

Schritt 3: Der binäre Schnitt
Der Roboter stellt dem Benutzer eine einfache Ja/Nein-Frage: „Hat der Schrank, den Sie wollen, eine rote Kiste daneben?"

Wenn der Benutzer „Ja" sagt: Der Roboter wirft sofort die 7 Schränke in Gruppe B weg. Er behält nur die 3 in Gruppe A.
Wenn der Benutzer „Nein" sagt: Der Roboter wirft die 3 Schränke in Gruppe A weg. Er behält die 7 in Gruppe B.

Schritt 4: Wiederholen, bis einer übrig bleibt
Der Roboter wiederholt diesen Prozess. Er betrachtet die verbleibende Gruppe, findet ein neues Merkmal, das sie teilt (z. B. „Ist ein Fernseher oben drauf?"), stellt eine Ja/Nein-Frage und teilt die Gruppe erneut in zwei Hälften.

Runde 1: 10 Schränke $\rightarrow$ 3 übrig.
Runde 2: 3 Schränke $\rightarrow$ 1 übrig.
Fertig! Der Roboter hat das Ziel gefunden.

Warum ist das besser?

Die Arbeit behauptet, diese Methode sei aus drei Hauptgründen eine enorme Verbesserung:

Sie vermeidet „vorzeitige Entscheidungen": Indem der Roboter wartet, bis er eine Gruppe gesammelt hat, bevor er eine Wahl trifft, wählt er nicht versehentlich einen falschen Schrank nur deshalb aus, weil er der erste war, den er sah.
Es ist einfacher für den Benutzer: Anstatt einen langen Absatz zu schreiben, der den Schrank beschreibt („Es ist ein dunkler Eichen-Schrank mit silbernen Griffen, in einem Raum mit blauen Wänden stehend..."), muss der Benutzer nur „Ja" oder „Nein" antworten. Das ist viel schneller und weniger anstrengend.
Es ist intelligenter bei Fragen: Der Roboter stellt keine zufälligen Fragen. Er sucht spezifisch nach einer Frage, die die Anzahl der Verdächtigen halbiert, wie ein Detektiv, der eine Liste von Verdächtigen eingrenzt, indem er prüft, wer am Tatort war.

Die Ergebnisse

Die Forscher testeten dies in Computersimulationen (wie einer Videospielwelt).

Erfolgsrate: ProCompNav fand das richtige Objekt häufiger als frühere Methoden, selbst wenn der Benutzer sehr vage Anweisungen gab.
Effizienz: Es erforderte weit weniger Fragen und viel kürzere Antworten vom Benutzer im Vergleich zu den alten Methoden.
Vielseitigkeit: Es funktionierte sogar gut in einer „nicht-interaktiven" Umgebung (wo der Roboter eine detaillierte Beschreibung liest, aber dennoch das richtige Objekt unter vielen finden muss), was beweist, dass diese „Vergleiche und teile"-Logik ein mächtiges Werkzeug zum Finden von Dingen ist.

Kurz gesagt: ProCompNav verhindert, dass der Roboter rät, und lässt ihn stattdessen sortieren. Es verwandelt eine verwirrende Suche in ein einfaches Ausscheidungsspiel, was es für den Roboter schneller und für den Menschen einfacher macht.

Technische Zusammenfassung: ProCompNav

Problemdefinition

Die Arbeit behandelt die Kollaborative Instanznavigation (CoIN), eine Aufgabe, bei der ein embodimentierter Agent eine unbekannte 3D-Umgebung navigieren muss, um eine spezifische Zielinstanz (z. B. „der Schrank") basierend auf einer mehrdeutigen natürlichen Sprachabfrage (z. B. „Finde den Schrank") zu lokalisieren. Im Gegensatz zur Standard-Instanznavigation, bei der eine detaillierte, eindeutige Beschreibung im Voraus bereitgestellt wird, befasst sich CoIN mit Szenarien, in denen das Ziel anhand minimaler Anfangsinformationen nicht von Ablenkungen derselben Kategorie unterschieden werden kann.

Bestehende Ansätze setzen typischerweise eine unabhängige Matching-Strategie ein, bei der der Agent den Benutzer nach Attributen des Ziels (z. B. Farbe, nahegelegene Objekte) fragt und getroffene Kandidaten basierend auf gesammelten Informationen bewertet. Die Autoren argumentieren, dass dieser Ansatz zwei Hauptmängel aufweist:

Vorzeitige Entscheidungen: Agenten verpflichten sich häufig einer Ablenkung, die Attribute mit dem wahren Ziel teilt, bevor ausreichende Beweise gesammelt wurden.
Ineffiziente Disambiguierung: Selbst wenn mehrere Kandidaten gesammelt werden, werden Fragen oft aus einzelnen Kandidaten abgeleitet, anstatt so gestaltet zu sein, dass sie den gesamten Pool unterscheiden. Dies führt zu langen, offenen Benutzerantworten und dem Scheitern, visuell ähnliche Ablenkungen zu trennen.

Methodik: ProCompNav

Die Autoren schlagen Proaktive Instanznavigation mit Vergleichendem Urteil (ProCompNav) vor, ein zweistufiges Framework, das das Paradigma von „Beschreibung des Ziels" zu „Ausdünnen des Kandidatenpools" verschiebt.

1. Pool-Konstruktionsphase

Der Agent erkundet die Umgebung, um einen Kandidatenpool $C$ aus $N$ verschiedenen Instanzen der angeforderten Kategorie zu erstellen.

Repräsentation: Jeder Kandidat wird durch ein Collage-Bild mit mehreren Ansichten und eine Beschreibung mit mehreren Ansichten repräsentiert, die von einem Multimodalen Large Language Model (MLLM) generiert wurde.
Aggregation: Der Agent aggregiert 3D-Punktwolken und RGB-Ansichten aus verschiedenen Blickwinkeln, um eine umfassende Beschreibung jedes Kandidaten zu erstellen, die Attribute erfasst, die aus einer einzelnen Ansicht möglicherweise übersehen werden.
Auslöser: Sobald die Poolgröße einen Mindestschwellenwert ( $N_{min}$ ) erreicht, wechselt der Agent zur Vergleichsphase.

2. Rekursive Vergleichsphase (RCJ)

Anstatt offene Fragen zu stellen, schneidet RCJ den Kandidatenpool iterativ mittels binärer Ja/Nein-Fragen auf Basis von Vergleichendem Urteil zu.

Auswahl des Kernsets: In jeder Runde $t$ wird der aktuelle aktive Pool $U_t$ in ein Kernset ( $G_c$ ) und ein Restset ( $G_r$ ) unterteilt. Das Kernset wird so ausgewählt, dass die Intra-Set-Ähnlichkeit maximiert wird (unter Verwendung eines gierigen Peeling-Algorithmus auf Text- und visuellen Embeddings), wodurch sichergestellt wird, dass $G_c$ semantisch ähnliche Instanzen enthält.
Entdeckung diskriminierender Attribute (DA): Das System identifiziert ein Attribut $a^*_t$ $a_{t}^{*}$ , das in $G_c$ $G_{c}$ vorhanden, aber in $G_r$ $G_{r}$ nicht vorhanden ist.
- Attribute werden aus $G_c$ unter Verwendung eines LLM extrahiert.
- Ein Natural Language Inference (NLI)-Modell fungiert als Verifizierer, um die Implikation jedes Attributs für jede Instanz zu bewerten und den Kontrast zwischen $G_c$ und $G_r$ zu quantifizieren.
- Das Attribut, das die erwartete Differenz der Implikationswerte zwischen den beiden Sets maximiert, wird ausgewählt.
Verfeinerung: Das Restset wird durch erneute Bewertung der Kandidaten gegen das ausgewählte DA verfeinert, um sicherzustellen, dass die Aufteilung sauber ist.
Interaktives Beschneiden: Der Agent fragt den Benutzer: „Hat das Ziel [Attribut]?"
- Wenn Ja: Der Pool wird auf $G_c$ aktualisiert.
- Wenn Nein: Der Pool wird auf $G_r$ aktualisiert.
- Wenn die Poolgröße 1 wird, ist das Ziel identifiziert. Wenn der Pool leer wird (was darauf hindeutet, dass das Ziel nicht im ursprünglichen Pool war), nimmt der Agent die Erkundung wieder auf, um weitere Kandidaten hinzuzufügen.

Hauptbeiträge

Strategie des Vergleichenden Urteils: Die Arbeit führt einen Wechsel von der unabhängigen Matching-Strategie zu einer „Sammeln-dann-Vergleichen"-Pipeline ein. Dies stellt die Disambiguierung als Prozess der Auswahl von Fragen neu dar, die den Kandidatenpool aufteilen, anstatt Fakten über ein einziges hypothetisches Ziel zu sammeln.
Rekursives Vergleichendes Urteil (RCJ): Ein spezifischer Algorithmus, der iterativ diskriminierende Attribut-Wert-Paare extrahiert, um den Kandidatenpool mittels binärer Fragen zu beschneiden. Es wird lediglich gefordert, dass ein Attribut den aktuellen Pool in zwei nicht-leere Gruppen aufteilt, nicht dass es das Ziel sofort eindeutig identifiziert.
Reduzierte Benutzerbelastung: Durch das Stellen binärer Fragen, die gleichzeitig mehrere Kandidaten eliminieren, reduziert die Methode die Länge der Benutzerantworten im Vergleich zu offenen Beschreibungen erheblich.

Experimentelle Ergebnisse

Die Methode wurde auf CoIN-Bench (interaktive, mehrdeutige Abfragen) und TextNav (nicht-interaktive, detaillierte Abfragen) evaluiert.

CoIN-Bench (Interaktiv): ProCompNav erzielte über alle Aufteilungen hinweg (Seen, Seen Synonyms, Unseen) die höchste Erfolgsrate (SR) im Vergleich zu interaktiven Baselines wie AIUTA und nicht-interaktiven Baselines wie 3D-Mem.
- SR-Verbesserung: Erzielte 23,7 % SR auf Val Seen und übertraf die beste interaktive Baseline (AIUTA*) mit 10,5 %.
- Effizienz: Deutliche Reduzierung der durchschnittlichen Antwortlänge (RL) von ca. 109,5 Tokens (AIUTA) auf 4,2 Tokens und Reduzierung der Anzahl der Fragen (NQ) auf 2,2.
TextNav (Nicht-interaktiv): Bei Anpassung an ein nicht-interaktives Setting (direktes Extrahieren von Attributen aus detaillierten Beschreibungen) erzielte ProCompNav eine state-of-the-art SR von 28,5 % und übertraf andere trainingsfreie Methoden.
Ablationsstudien: Die Ergebnisse bestätigten die Notwendigkeit der Multi-View-Aggregation, des NLI-basierten Verifizierers (gegenüber reinem LLM-Scoring) und der ähnlichkeitsbasierten Kernset-Auswahl (überlegen gegenüber KMeans).

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ProCompNav zeigt, dass vergleichendes Urteil ein breit nutzbarer Mechanismus für die Instanznavigation ist, insbesondere wenn Ablenkungen visuell ähnlich sind.

Robustheit: Die Methode ist robuster gegen vorzeitige Entscheidungen, da sie die endgültige Entscheidung hinauszögert, bis ein Kandidatenpool erstellt und verglichen wurde.
Generalisierung: Der Kernmechanismus des Hinauszögerns von Entscheidungen und des Beschneidens durch diskriminierende Attribute ist auch in nicht-interaktiven Settings wirksam, in denen detaillierte Beschreibungen verfügbar sind, was nahelegt, dass Kandidaten stets miteinander verglichen werden sollten, anstatt unabhängig bewertet zu werden.
Benutzererfahrung: Der Ansatz senkt die kognitive und verbale Belastung der Benutzer erheblich, indem lange Beschreibungen durch kurze binäre Bestätigungen ersetzt werden.

Die Autoren weisen auf Einschränkungen hin, darunter die aktuelle Abhängigkeit von Simulation und MLLM-Benutzersimulatoren sowie die potenzielle Ineffizienz der Pool-Konstruktionsphase in Umgebungen mit sehr wenigen Instanzen derselben Kategorie. Sie schlagen zukünftige Arbeiten in der realen robotischen Bereitstellung und der dynamischen Anpassung der Poolgröße vor.