💻 computer science

User-Centric Object Navigation: A Benchmark with Integrated User Habits for Personalized Embodied Object Search

Dit artikel introduceert User-centric Object Navigation (UcON), de eerste grootschalige benchmark die gebruikersspecifieke gewoonten met betrekking tot de plaatsing van objecten incorporeert om gepersonaliseerde belichaamde objectzoekopdrachten te evalueren en te verbeteren, waarbij wordt aangetoond dat het integreren van deze gewoonten de succespercentages van navigatie aanzienlijk verhoogt in vergelijking met bestaande methoden.

Oorspronkelijke auteurs: Hongcheng Wang, Jinyu Zhu, Hao Dong

Gepubliceerd 2026-02-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hongcheng Wang, Jinyu Zhu, Hao Dong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je je zonnebril kwijt bent. Je weet dat je ze gisteren droeg tijdens het eten. Als je een standaard robot vraagt om ze te zoeken, zou die kunnen zeggen: "Oké, zonnebrillen liggen meestal op een tafel of een plank," en dan de woonkamer gaan controleren. Maar wat als jouw specifieke gewoonte is om ze op het aanrecht te laten liggen, omdat dat de plek is waar je eet? Een standaard robot, die alleen vertrouwt op algemene regels, zou ze waarschijnlijk missen.

Dit artikel introduceert een nieuwe manier om robots te leren dingen te vinden door jouw specifieke gewoonten te leren, in plaats van alleen algemene regels. Hier is een eenvoudige uitsplitsing van hun werk:

1. Het Probleel: De "One-Size-Fits-All" Robot

De meeste robots van nu zijn als toeristen die de algemene regels van een stad kennen (bijv. "Bedden staan in slaapkamers"). Ze werken geweldig in hotels of showrooms waar alles perfect georganiseerd is. Maar echte huizen zijn rommelig en persoonlijk.

De Analogie: Stel je voor dat je het huis van een vriend probeert te vinden. Een toerist zoekt misschien naar een huis met een rode deur (de algemene regel). Maar jouw vriend woont misschien in een huis met een blauwe deur omdat hij een hekel heeft aan rood. Als de robot alleen de "rode deur regel" kent, zal hij de vriend nooit vinden.
Het Probleen: Huidige robots weten niet dat jij altijd je sleutels in de koelkast laat liggen of dat jij je krant op de bank leest, en niet aan de eettafel.

2. De Oplossing: De "Habit Library" (UcON)

De onderzoekers hebben een nieuwe testomgeving gebouwd genaamd UcON (User-centric Object Navigation). Zie dit als een enorme bibliotheek van "Gebruikersgewoonten".

In plaats van alleen te vragen "Waar zijn de boeken?", krijgt de robot een spiekbriefje dat zegt: "Deze specifieke gebruiker leest op de bank," of "Deze gebruiker bewaart bananen in de koelkast om ze vers te houden."
Ze hebben meer dan 22.600 verschillende gewoonten gemaakt voor 489 verschillende objecten. Het is alsof je de robot een dagboek geeft van hoe een specifiek persoon leeft, in plaats van alleen een kaart van een generiek huis.

3. De Uitdaging: Te Veel Informatie

Het geven van een heel dagboek aan de robot is overweldigend. Als je een robot vraagt om "kranten" te vinden en je geeft hem een lijst met 300 gewoonten (inclusclusief hoe ze koffie bewaren, waar ze hun schoenen neerzetten en wat ze ontbijten), raakt de robot in de war. Het is alsof je een naald in een hooiberg probeert te vinden terwijl iemand 300 verschillende feiten tegen je schreeuwt.

De Bottleneck: Het "brein" van de robot (een Large Language Model) raakt vermoeid en maakt fouten wanneer de instructies te lang zijn.

4. De Truc: De "Habit Retriever"

Om de verwarring op te lossen, voegden de auteurs een speciaal hulpmiddel toe genaamd de Habit Retrieval Module.

De Analogie: Stel je voor dat je naar je verloren sleutels zoekt. In plaats van je hele dagboek van 500 pagina's te lezen, heb je een slimme assistent die direct naar de pagina bladert die zegt: "Ik laat mijn sleutels meestal bij de deur liggen." De assistent negeert de pagina's over wat je afgelopen dinsdag hebt geluncht.
Hoe het werkt: Wanneer de robot een object moet vinden, scant deze module snel de "Habit Library" en haalt alleen de gewoonten eruit die relevant zijn voor dat specifieke object. Dit maakt de taak van de robot veel gemakkelijker en slimmer.

5. Wat Ze Vonden

Ze hebben dit getest op robots (zowel in computersimulaties als met een echte robot hond in een huis).

Zonder Gewoonten: De robots waren vaak fout omdat ze vertrouwden op "gezond verstand" (bijv. "Boeken zijn in de bibliotheek") wat niet overeenkwam met de werkelijke gewoonten van de gebruiker.
Met Gewoonten: De robots werden veel beter in het vinden van objecten.
Met de "Retriever": De robots presteerden het best. Door de ruis weg te filteren en zich te concentreren op de relevante gewoonten, vonden ze objecten sneller en nauwkeuriger.

De Kernboodschap

Dit artikel laat zien dat voor robots om echt nuttig te zijn in onze huizen, ze niet alleen algemene regels kunnen volgen. Ze moeten onze specifieke eigenaardigheden leren. Echter, ze kunnen niet ons hele levensverhaal tegelijk lezen; ze hebben een slimme manier nodig om de specifieke gewoonte op te zoeken die relevant is voor de taak van dat moment. De auteurs bewezen dat wanneer robots dit doen, ze veel beter worden in het vinden van verloren voorwerpen.

Technisch Overzicht: Gebruikerscentrische Objectnavigatie (UcON)

Probleemstelling

Bestaande benchmarks voor Objectnavigatie (ON) vertrouwen primair op algemene scène-priors, uitgaande van de aanname dat objectplaatsing voldoet aan algemene kennisregels (bijv. bedden staan in slaapkamers, banken nabij televisies). Echter, in realistische huishoudelijke omgevingen wordt de plaatsing van objecten vaak bepaald door individuele gebruikersgewoonten in plaats van universele regels. Een gebruiker kan bijvoorbeeld gewend zijn om een boek op de bank te laten liggen in plaats van in een studeerkamer. Deze discrepantie beperkt het aanpassingsvermogen van navigatie-agenten in gepersonaliseerde omgevingen. Huidige State-of-the-Art (SOTA) methoden, die vaak gebruikmaken van Large Language Models (LLMs) voor redeneren op basis van scène-priors, houden geen rekening met deze specifieke, door gewoonten gestuurde plaatsingen, wat leidt tot een significante prestatiedegeneratie wanneer objecten zich niet bevinden waar de algemene kennis dit voorspelt.

Methodologie

1. De UcON Benchmark

De auteurs introduceren User-centric Object Navigation (UcON), een nieuwe benchmark die ontworpen is om objectzoeken in gepersonaliseerde omgevingen te evalueren en te verbeteren.

Schaal en Omvang: UcON beslaat 489 verschillende objectcategorieën en bevat ongeveer 22.600 gebruikersgewoonten. Het is de eerste benchmark die expliciet de vorm en evaluatie van gewoonte-geconditioneerde objectnavigatie op deze schaal formaliseert.
Taakgeneratie: De benchmark maakt gebruik van een driestaps-pipeline met GPT-4 om natuurlijke taal gebruikersgewoonten en bijbehorende objectplaatsingen te genereren. Deze plaatsingen worden gevalideerd op fysieke plausibiliteit en semantische consistentie binnen de Omnigibson simulator.
Omgeving: Elke episode begint met een "gewoonte-gevormde scène" waarbij specifieke objecten worden herplaatst volgens een gesamplede User Habit Knowledge Base (UHKB). De agent moet naar een doelobject navigeren met behulp van een set acties (Move, Rotate, Look, Open, Done) binnen een limiet van 300 stappen.
Uitdaging: De kern van de moeilijkheid ligt in het oplossen van ruimtelijke conflicten waarbij meerdere gewoonten kunnen bestaan, en waarbij de agent bewijs uit exploratie moet gebruiken om de juiste gewoonte-gestuurde locatie boven algemene scène-priors te prioriteren.

2. Habit Retrieval Module (HRM)

Om de beperkingen van LLM's bij het verwerken van lange prompts die honderden gewoonten bevatten aan te pakken, stellen de auteurs een Habit Retrieval Module (HRM) voor.

Mechanisme: Geïnspireerd door Retrieval-Augmented Generation (RAG), gebruikt de HRM het BGE-M3 model om de gelijkenis te berekenen tussen een query-template (bijv. "Retrieve habits about {TargetObject}") en de opgeslagen gewoonten in de UHKB.
Functie: Het selecteert de top- $p$ meest relevante gewoonten om in de prompt voor het fundamentele model op te nemen. Dit vereenvoudigt het redeneerproces door irrelevante informatie te filteren en de focus van de LLM te leggen op taakrelevante gebruikersgedragingen.

3. Experimentele Opstelling

Simulaties: Uitgevoerd op 22 scènes in Omnigibson.
Validatie in de echte wereld: Experimenten werden uitgevoerd op een Unitree GO2 Edu robot uitgerust met een Astra Pro Plus RGB-D camera, draaiend op consumentenhardware (RTX 3090 workstation).
Baselines: De studie evalueert SOTA-methoden inclusief PixelNav, LGX, L3MVN, VTN en ZSON. Deze methoden zijn aangepast om gebruikersgewoonten als input te accepteren, waarbij sommige componenten (zoals objectdetectoren) zijn vervangen door de grondwaarheid (ground truth) om bovengrenzen vast te stellen.

Belangrijkste Resultaten

Prestatiedegeneratie van SOTA: Huidige SOTA-methoden vertonen substantiële prestatiedalingen in de UcON-benchmark vergeleken met traditionele ON-benchmarks. End-to-end methoden (VTN, ZSON) en foundation model-gebaseerde benaderingen (PixelNav, LGX) worstelen omdat hun redenering gebaseerd is op algemene kennis, die wordt geschonden door gewoonte-gestuurde objectplaatsing.
Voordeel van Gebruikersgewoonten: Het integreren van gebruikersgewoonten verbetert de Success Rate (SR) en de Success weighted by Path Length (SPL) aanzienlijk voor de meeste methoden. Bijvoorbeeld, de LGX-methode met GPT-4 zag de SR stijgen van 25,1% (Geen Gewoonten) naar 27,8% (Volledige Gewoonten) en 30,6% (Retrieval Gewoonten).
Effectiviteit van HRM: De voorgestelde Habit Retrieval Module presteert zelfs beter dan de "Ground Truth" gewoonte-instelling (waarbij alleen de directe gewoonte voor het doelobject wordt verstrekt). De auteurs hypothetiseren dat dit komt omdat het retrieval-mechanisme indirect gerelateerde gewoonten naar voren brengt (bijv. gewoonten over een "ontbijttafel" bij het zoeken naar een "theezakje") die cruciale contextuele oriëntatiepunten bieden, wat efficiëntere exploratiestrategieën mogelijk maakt.
Real-World Leefbaarheid: Casestudies in zowel kleine als grote real-world omgevingen laten zien dat agenten die gebruikmaken van opgehaalde gewoonten er succesvol in zijn om objecten te lokaliseren die door direct zicht worden afgeschermd door te redeneren over gebruikersgedrag (bijv. zoeken nabij een bank omdat de gebruiker daar leest), terwijl agenten zonder gewoonten falen of doelloos zoeken.

Betekenis en Claims

Het artikel beweert dat UcON het eerste uitgebreide evaluatiekader is voor gewoonte-geïntegreerde navigatie, dat uniek een breed scala aan objectcategorieën combineert met gepersonaliseerde gedragspatronen.

De auteurs benadrukken dat:

Gebruikersgewoonten een cruciaal signaal zijn: Effectieve huishoudelijke service-agenten moeten niet alleen gewoonten herkennen, maar ze ook moeten benutten om efficiënt objectzoeken te faciliteren, vooral wanneer objecten de algemene kennis tarten.
Redeneerbeperkingen: Alleen vertrouwen op LLM's voor redeneren over lange lijsten met gewoonten is onvoldoende; retrieval-mechanismen zijn noodzakelijk om de nauwkeurigheid van inferentie te verbeteren, met name voor kleinere modellen.
Toekomstige Richtingen: Hoewel dit werk zich richt op het gebruik van gewoonten (redeneren over een bekende set gewoonten), identificeert het gewoonte-verwerving (leren van gewoonten door langdurige observatie) en contextbewuste retrieval als belangrijke richtingen voor toekomstig onderzoek.

Het artikel concludeert dat het integreren van gebruikersgewoonten en het benutten van retrieval-modules essentiële stappen zijn naar het creëren van robuuste, gepersonaliseerde embodied agents die in staat zijn om mensen te dienen in dynamische, real-world huishoudelijke omgevingen.