🤖 AI

ProCompNav: Proactive Instance Navigation with Comparative Judgment for Ambiguous User Queries

ProCompNav is een tweestapskader dat ambiguïteit in navigatievragen over objecten oplost door iteratief een kandidatenpool op te bouwen en binaire vergelijkende vragen in te zetten om het doelobject efficiënt te onderscheiden van afleidende elementen, waardoor het bestaande methoden overtreft in slagingspercentage terwijl het de reactielengte van de gebruiker aanzienlijk verkort.

Oorspronkelijke auteurs: Junhyuk Kwon, Seungjoon Lee, Hyejin Park, Kyle Min, Jungseul Ok

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junhyuk Kwon, Seungjoon Lee, Hyejin Park, Kyle Min, Jungseul Ok

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot bent die de opdracht heeft om een specifiek object te vinden in een gigantische, rommelige magazijn vol met identiek ogende items. De baas (de gebruiker) geeft je een vaag commando: "Vind de kast."

Het probleem? Er staan 50 kasten in het magazijn. Ze lijken allemaal op elkaar. Sommige staan in badkamers, sommige in slaapkamers, sommige zijn van hout, sommige van metaal. Als je gewoon de eerste die je ziet raadt, pak je misschien de verkeerde. Als je de baas vraagt: "Hoe ziet de kast eruit?" en ze geven je een lang, warrig verhaal, duurt het eeuwen, en je bent misschien nog steeds in de war omdat die beschrijving op meerdere kasten van toepassing is.

Dit artikel introduceert een nieuwe manier voor robots om dit probleem op te lossen, genaamd ProCompNav. Denk er als een spelletje "20 Vragen" dat met een draai wordt gespeeld.

Zo werkt het, opgesplitst in simpele stappen:

1. De Oude Weg: "Gissen en Controleren" (Onafhankelijke Matching)

Stel je een robot voor die de oude methode gebruikt. Het ziet een kast en vraagt: "Is het blauw?" De baas zegt: "Ja." De robot ziet een andere kast, vraagt: "Is het blauw?" De baas zegt: "Ja."

De Fout: De robot blijft feiten verzamelen (blauw, in de buurt van een spiegel, hout) en probeert ze één voor één op één kast te matchen.
Het Resultaat: Het kiest vaak te vroeg een "afleider" (een verkeerde kast) omdat die verkeerde kast toevallig ook blauw is en in de buurt van een spiegel staat. De robot blijft hangen in een lus van het stellen van lange, verwarrende vragen, of het geeft op en kiest het verkeerde ding.

2. De Nieuwe Weg: "De Sorteerhoed" (ProCompNav)

ProCompNav verandert de strategie volledig. In plaats van te proberen de één juiste kast te beschrijven, richt het zich op het sorteren van de hele groep kasten.

Stap 1: Verzamel de Menigte (Pool Constructie)
Eerst beslist de robot nog niets. Het rent door het magazijn en vindt alle kasten die het kan. Het zet ze allemaal in een mentale "kandidatenpool". Nu, in plaats van te zoeken naar één naald in een hooiberg, heeft het een hoop van 10 naalden en moet het de juiste vinden.

Stap 2: De Magische Split (Comparatieve Beoordeling)
In plaats van te vragen: "Wat is de kleur van het doel?", kijkt de robot naar de hoop en stelt een comparatieve vraag die ontworpen is om de groep in tweeën te splitsen.

Slechte Vraag: "Is het doel van hout?" (Misschien zijn alle 10 van hout. Dit helpt niet.)
ProCompNav Vraag: "Is er een rode doos naast de kast?"
- Groep A (De "Ja" groep): 3 kasten hebben een rode doos ernaast.
- Groep B (De "Nee" groep): 7 kasten hebben geen rode doos.

Stap 3: De Binaire Snit
De robot stelt de gebruiker een simpele Ja/Nee-vraag: "Heeft de kast die je wilt een rode doos ernaast?"

Als de gebruiker "Ja" zegt: De robot gooit direct de 7 kasten in Groep B weg. Het houdt alleen de 3 in Groep A over.
Als de gebruiker "Nee" zegt: De robot gooit de 3 kasten in Groep A weg. Het houdt de 7 in Groep B over.

Stap 4: Herhaal tot er Eén Overblijft
De robot herhaalt dit proces. Het kijkt naar de overgebleven groep, vindt een nieuw kenmerk dat ze splitst (bijvoorbeeld: "Is er een tv bovenop?"), stelt een Ja/Nee-vraag en snijdt de groep weer in tweeën.

Ronde 1: 10 kasten $\rightarrow$ 3 over.
Ronde 2: 3 kasten $\rightarrow$ 1 over.
Klaar! De robot heeft het doel gevonden.

Waarom is dit beter?

Het artikel beweert dat deze methode een enorme verbetering is om drie hoofdredenen:

Het voorkomt "Voorbarige Beslissingen": Door te wachten tot een groep is verzameld voordat er een keuze wordt gemaakt, kiest de robot niet per ongeluk een verkeerde kast alleen maar omdat het de eerste was die het zag.
Het is makkelijker voor de gebruiker: In plaats van een lang alinea te schrijven om de kast te beschrijven ("Het is een donkere eiken kast met zilveren handvatten, in een kamer met blauwe muren..."), hoeft de gebruiker alleen maar "Ja" of "Nee" te beantwoorden. Dit is veel sneller en minder vermoeiend.
Het is slimmer met vragen: De robot stelt geen willekeurige vragen. Het zoekt specifiek naar een vraag die het aantal verdachten halveert, net als een detective die een lijst van verdachten inperkt door te controleren wie op het toneel was.

De Resultaten

De onderzoekers testten dit op computersimulaties (zoals een videowereld).

Succespercentage: ProCompNav vond het juiste object vaker dan eerdere methoden, zelfs wanneer de gebruiker zeer vage instructies gaf.
Efficiëntie: Het vereiste veel minder vragen en veel kortere antwoorden van de gebruiker vergeleken met de oude methoden.
Veelzijdigheid: Het werkte zelfs goed in een "niet-interactieve" setting (waar de robot een gedetailleerde beschrijving leest maar nog steeds het juiste object moet vinden tussen vele), wat bewijst dat deze "vergelijk en split"-logica een krachtig hulpmiddel is voor het vinden van dingen.

Kortom: ProCompNav stopt de robot met gissen en start het met sorteren. Het verandert een verwarrende zoektocht in een eenvoudig spelletje eliminatie, waardoor het sneller is voor de robot en makkelijker voor de mens.

Technische Samenvatting: ProCompNav

Probleemdefinitie

Het artikel behandelt Collaborative Instance Navigation (CoIN), een taak waarbij een embodied agent een onbekende 3D-omgeving moet navigeren om een specifiek doelobject te vinden (bijvoorbeeld "de kast") op basis van een dubbelzinnige natuurlijke taalquery (bijvoorbeeld "Zoek de kast"). In tegenstelling tot standaard instance navigation, waarbij ervan wordt uitgegaan dat er vooraf een gedetailleerde, unieke beschrijving wordt gegeven, gaat CoIN uit van scenario's waarin het doelobject niet kan worden onderscheiden van distractors van dezelfde categorie met minimale initiële informatie.

Bestaande benaderingen maken doorgaans gebruik van een onafhankelijke matching-strategie, waarbij de agent de gebruiker vraagt naar attributen van het doelobject (bijvoorbeeld kleur, nabijgelegen objecten) en aangetroffen kandidaten scoort op basis van verzamelde informatie. De auteurs stellen dat deze aanpak twee hoofdzakelijke gebreken heeft:

Voorbarige beslissingen: Agenten kiezen vaak te vroeg voor een distractor die attributen deelt met het echte doelobject, voordat er voldoende bewijs is verzameld.
Inefficiënte ontmaskering: Zelfs wanneer meerdere kandidaten zijn verzameld, worden vragen vaak afgeleid van individuele kandidaten in plaats van ontworpen om het volledige aanbod te onderscheiden. Dit leidt tot langdurige, open vragen en het falen om visueel vergelijkbare distractors te scheiden.

Methodologie: ProCompNav

De auteurs stellen Proactive Instance Navigation with Comparative Judgment (ProCompNav) voor, een tweestapskader dat het paradigma verschuift van "het doel beschrijven" naar "het kandidatenpool inkrimpen".

1. Pool Constructie Fase

De agent verkent de omgeving om een kandidatenpool $C$ op te bouwen van $N$ distincte instanties van de gevraagde categorie.

Representatie: Elke kandidaat wordt weergegeven door een collage van meerdere beelden en een beschrijving gegenereerd door een Multimodaal Groot Taalmodel (MLLM).
Aggregatie: De agent aggregeert 3D-puntenwolken en RGB-weergaven vanuit verschillende gezichtspunten om een uitgebreide beschrijving van elke kandidaat te creëren, waarbij attributen worden vastgelegd die vanuit één gezichtspunt zouden kunnen worden gemist.
Trigger: Zodra de poolgrootte een minimumdrempel ( $N_{min}$ ) bereikt, schakelt de agent over naar de vergelijkingsfase.

2. Recursieve Vergelijkingsfase (RCJ)

In plaats van open vragen te stellen, pruneert RCJ de kandidatenpool iteratief met behulp van binair ja/nee-vragen gebaseerd op Comparative Judgment.

Selectie van de Kernset: In elke ronde $t$ wordt de huidige actieve pool $U_t$ verdeeld in een Kernset ( $G_c$ ) en een Restset ( $G_r$ ). De kernset wordt geselecteerd om de intraset-similariteit te maximaliseren (met behulp van een greedy peeling-algoritme op tekst- en visuele embeddings), zodat $G_c$ semantisch vergelijkbare instanties bevat.
Ontdekking van Discriminerend Attribuut (DA): Het systeem identificeert een attribuut $a^*_t$ $a_{t}^{*}$ dat aanwezig is in $G_c$ $G_{c}$ maar afwezig in $G_r$ $G_{r}$ .
- Attributen worden uit $G_c$ gehaald met behulp van een LLM.
- Een Natural Language Inference (NLI)-model fungeert als verificateur om de entailment van elk attribuut voor elke instantie te scoren, waardoor het contrast tussen $G_c$ en $G_r$ wordt gekwantificeerd.
- Het attribuut dat het verwachte verschil in entailment-scores tussen de twee sets maximaliseert, wordt geselecteerd.
Verfijning: De restset wordt verfijnd door kandidaten opnieuw te evalueren tegen het geselecteerde DA om te waarborgen dat de splitsing schoon is.
Interactieve Pruning: De agent vraagt de gebruiker: "Heeft het doelobject [attribuut]?"
- Als Ja: De pool wordt bijgewerkt naar $G_c$ .
- Als Nee: De pool wordt bijgewerkt naar $G_r$ .
- Als de poolgrootte 1 wordt, is het doel geïdentificeerd. Als de pool leeg wordt (wat aangeeft dat het doel niet in de initiële pool zat), hervat de agent de verkenning om meer kandidaten toe te voegen.

Belangrijkste Bijdragen

Comparative Judgment Strategie: Het artikel introduceert een verschuiving van onafhankelijke matching naar een "verzamel- en vergelijk"-piplijn. Dit herformuleert ontmaskering als een proces van het selecteren van vragen die de kandidatenpool splitsen, in plaats van feiten te verzamelen over een enkele gehypotheetiseerde doelwit.
Recursieve Comparative Judgment (RCJ): Een specifiek algoritme dat iteratief discriminerende attribuut-waardeparen extrahert om de kandidatenpool te prune met behulp van binaire vragen. Het vereist slechts dat een attribuut de huidige pool splitst in twee niet-lege groepen, niet dat het het doel direct uniek identificeert.
Verminderde Gebruikerslast: Door binaire vragen te stellen die meerdere kandidaten gelijktijdig elimineren, reduceert de methode de lengte van gebruikersantwoorden aanzienlijk in vergelijking met open beschrijvingen.

Experimentele Resultaten

De methode werd geëvalueerd op CoIN-Bench (interactieve, dubbelzinnige queries) en TextNav (niet-interactieve, gedetailleerde queries).

CoIN-Bench (Interactief): ProCompNav behaalde de hoogste Success Rate (SR) over alle splits (Seen, Seen Synonyms, Unseen) in vergelijking met interactieve baselines zoals AIUTA en niet-interactieve baselines zoals 3D-Mem.
- SR Verbetering: Behaalde 23,7% SR op Val Seen, wat beter is dan de beste interactieve baseline (AIUTA*) met 10,5%.
- Efficiëntie: Verminderde de gemiddelde Response Length (RL) aanzienlijk van ~109,5 tokens (AIUTA) naar 4,2 tokens, en verlaagde het Aantal Vragen (NQ) naar 2,2.
TextNav (Niet-Interactief): Wanneer aangepast aan een niet-interactieve setting (attributen direct extraheren uit gedetailleerde beschrijvingen), behaalde ProCompNav een state-of-the-art SR van 28,5%, wat beter is dan andere training-free methoden.
Ablatiestudies: Resultaten bevestigden de noodzaak van multi-view aggregatie, de NLI-gebaseerde verificateur (boven LLM-only scoring), en de op similariteit gebaseerde kernset-selectie (beter dan KMeans).

Betekenis en Claims

Het artikel stelt dat ProCompNav aantoont dat comparative judgment een breed bruikbaar mechanisme is voor navigatie op instantieniveau, vooral wanneer distractors visueel vergelijkbaar zijn.

Robuustheid: De methode is robuuster tegen voorbarige beslissingen omdat het de definitieve beslissing uitstelt totdat een kandidatenpool is opgebouwd en vergeleken.
Generalisatie: De kernmechaniek van het uitstellen van beslissingen en het prune via discriminerende attributen is effectief, zelfs in niet-interactieve settings waar gedetailleerde beschrijvingen beschikbaar zijn, wat suggereert dat kandidaten altijd tegen elkaar moeten worden vergeleken in plaats van onafhankelijk te worden gescoord.
Gebruikerservaring: De aanpak verlaagt de cognitieve en verbale last voor gebruikers aanzienlijk door lange beschrijvingen te vervangen door korte binaire bevestigingen.

De auteurs merken beperkingen op, waaronder de huidige afhankelijkheid van simulatie en MLLM-gebruikerssimulatoren, en de potentiële inefficiëntie van de poolconstructiefase in omgevingen met zeer weinig instanties van dezelfde categorie. Zij suggereren toekomstig werk in echte robotische implementatie en dynamische aanpassing van de poolgrootte.