🤖 AI

UESF-Bench: Benchmarking and Probing for Unified Embodied Seeking and Following

Dit artikel introduceert UESF-Bench, een grootschalige benchmark voor verenigd belichaamd menselijk zoeken en volgen die de beperkingen van bestaande evaluaties aanpakt door agenten te vereisen eerst een in taal beschreven doelwit te lokaliseren voordat ze hen persistent volgen, en stelt het SeekFollow-VLA-framework voor om de overgang tussen deze twee fasen effectief te beheren.

Oorspronkelijke auteurs: Kun Yu, Jianhua Yang, Yixiang Chen, Changwei Wang, Hongyuan Yu, Yan Huang, Fushuo Huo, Ya Jing, Zhumin Chen, Keji He

Gepubliceerd 2026-07-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kun Yu, Jianhua Yang, Yixiang Chen, Changwei Wang, Hongyuan Yu, Yan Huang, Fushuo Huo, Ya Jing, Zhumin Chen, Keji He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om de ultieme sidekick te zijn. In de wereld van de robotica is er een groot verschil tussen simpelweg "zien" en "begrijpen". Voor een robot om echt behulpzaam te zijn, heeft het Embodied AI nodig—een brein dat in een lichaam leeft, waardoor het door de echte wereld kan bewegen, in plaats van alleen naar een scherm te staren. Het heeft ook Vision-Language-Action vaardigheden nodig, wat een chique manier is om te zeggen dat het moet kijken naar wat er gebeurt, moet luisteren naar wat je zegt, en vervolgens fysiek moet bewegen om daar iets mee te doen. Denk aan een spelletje verstoppertje waarbij de robot een aanwijzing moet volgen zoals "Zoek de man met het rode jasje", door een huis moet rennen om hem te vinden, en vervolgens dicht bij hem moet blijven zonder tegen hem aan te botsen. Waarom is dit belangrijk? Omdat mensen in het echte leven niet altijd recht voor een robot staan te wachten om gevolgd te worden. Vaak zijn ze in een andere kamer aan het verstoppen, of heeft de robot het zicht op hen verloren. Als een robot alleen iemand kan volgen die hij al ziet, is hij niet echt nuttig. De robot moet eerst naar hen toe kunnen jagen, en dan van modus kunnen wisselen om hen te volgen, terwijl hij tegelijkertijd moet uitzoeken wie wie is in een drukke kamer.

Dit artikel introduceert een nieuwe uitdaging en een nieuwe oplossing voor precies dat probleem. De auteurs, een team van onderzoekers van diverse universiteiten en bedrijven, realiseerden zich dat de meeste bestaande tests voor volgendende robots te makkelijk waren: ze gingen ervan uit dat de doelpersoon al direct daar stond en zichtbaar was vanaf het begin. Ze stellen dat dit het belangrijkste deel van de taak mist: de zoektocht. Om dit op te lossen, hebben ze een enorme nieuwe speeltuin gebouwd genaamd UESF-Bench (Unified Embodied Seeking and Following Benchmark). Het is als een gigantisch level in een videogame met meer dan 1,43 miljoen verschillende scenario's, met 4.800+ unieke digitale mensen en 770+ verschillende omgevingen. In deze benchmark krijgt de robot één instructie zoals, "Zoek de kleine man met bruin haar in de keuken en volg hem," en hij moet twee dingen doen: eerst actief naar hem zoeken wanneer hij buiten het zicht is, en vervolgens naadloos overschakelen naar het volgen van hem zodra hij gevonden is, zelfs als hij weer eens tussen een menigte verdwijnt.

De onderzoekers ontdekten dat simpelweg tegen een robot zeggen "doe beide" niet genoeg is; de robot raakt in de war. Ze testten drie verschillende manieren om het brein van de robot te bouwen. De eerste was een "Single Head", waarbij de robot probeerde één brein te gebruiken voor zowel zoeken als volgen. De tweede was een "Dual Head" met een basis-schakelaar, en de derde was een "Task-Driven Router", een slimmer systeem dat werkt als een verkeersregelaar, die expliciet de robot vertelt wanneer hij moet stoppen met zoeken en moet beginnen met volgen op basis van wat hij ziet. De resultaten toonden aan dat de "Single Head"-aanpak een ramp was, waarbij de robot slechts in 4% van de gevallen slaagde bij de tests met één persoon. Zelfs de basis "Dual Head" had moeite en bleef steken op 5%. De "Task-Driven Router" (die zij SeekFollow-VLA noemen) was echter een gamechanger. In tests met één persoon slaagde het 35% van de tijd, en in de veel moeilijkere tests met meerdere personen (waarbij nep-mensen ergens verstopt zitten om de robot te misleiden), behaalde het nog steeds een succespercentage van 20%, waarmee het de anderen ruim versloeg.

Het artikel suggereert dat de sleutel tot succes niet alleen het hebben van een betere camera of een sneller brein is, maar het hebben van een duidelijk intern signaal dat weet wanneer de taak is veranderd van "jagen" naar "herder zijn". De onderzoekers lieten zien dat hun slimme router leert om eerst als een detective te handelen, de kamer met hoge intensiteit te scannen, en dan direct over te schakelen naar een loyale lijfwacht-modus zodendat de juiste persoon wordt gespot. Ze merkten ook op dat hoewel deze nieuwe methode veel beter is in het vinden en volgen, het ook iets vaker tegen dingen aanbotst in drukke kamers, wat suggereert dat een geweldige jager soms een beetje onhandig kan zijn. Uiteindelijk betoogt het artikel dat om robots te bouwen die ons echt kunnen helpen in de echte wereld, we ze niet moeten testen op makkelijke, statische taken, maar ze moeten uitdagen met de rommelige, verwarrende realiteit van het vinden van iemand die zich verstopt, en het vervolgens volgen door de chaos heen.

Technische Samenvatting: UESF-Bench en SeekFollow-VLA

Probleemdefinitie

Huidige benchmarks voor embodied AI gericht op het volgen van mensen, zoals EVT-Bench, gaan er doorgaans van uit dat de doelpersoon zichtbaar is aan het begin van een episode. Deze vereenvoudiging negeert een cruciale realistische vereiste: een agent moet vaak eerst een doelwit lokaliseren dat via taal is beschreven en aanvankelijk buiten beeld is, om vervolgens naadloos over te gaan naar persistent volgen in dynamische omgevingen.

Bestaand onderzoek behandelt het zoeken naar mensen en het volgen van mensen als afzonderlijke taken, waarbij vaak wordt vertrouwd op sterke omgevingspriors of expliciete signalen. Bovendien adresseren zij de continuïteit van interactie niet, specif wrong de uitdaging van impliciete fase-transities. Een agent moet autonoom bepalen wanneer hij moet overschakelen van zoeken naar volgen, en omgekeerd, of hij de zoektocht moet hervatten of een lokale herstelpoging moet doen wanneer een doelwit tijdelijk verloren is gegaan. Dit artikel formuleert Embodied Visual Seek-and-Follow als een unificerende taak waarbij een agent semantisch gestuurde exploratie, betrouwbare gedragsverandering en vertraagde identiteitsgronding onder afleiders moet afhandelen, alles gebaseerd op één gefuseerde natuurlijke taalinstructie.

Methodologie: SeekFollow-VLA

Om deze uitdagingen aan te pakken, stellen de auteurs SeekFollow-VLA voor, een Vision-Language-Action (VLA) framework dat is ontworpen voor verenigd zoeken en volgen.

Architectuur

Backbone: Het model maakt gebruik van een vooraf getraind Vision-Language Model, Qwen3-4B, als backbone.
Visuele Codering: Het gebruikt een dual-tower visuele encoder (DINO-V3 en SigLIP) om egocentrische RGB-observaties te verwerken. Kenmerken worden geëxtraheerd op een uniforme resolutie (384×384) en gefuseerd. Om een balans tussen detail en efficiëntie te vinden, gebruikt het systeem een sliding window-mechanisme: fijnmazige tokens voor het huidige frame en grofmazige tokens voor historische frames ( $k=31$ ).
Multimodale Fusie: Visuele tokens worden via een cross-modality projector geprojecteerd in de taal-latente ruimte en geconcateneerd met gefuseerde instructie-tokens.

Ontwerpen van de Action Head

De kerninnovatie ligt in de investigatie van drie alternatieve actiehoofd-architecturen om de impliciete transitie tussen zoeken en volgen te beheren:

Single Head: Een gedeelde MLP brengt de multimodale representatie direct in kaart naar waypoints. Dit dient als baseline, maar loopt het risico op "mode confusion" tussen de verschillende doelstellingen van zoeken en volgen.
Dual Heads met Phase-Aware Router: Twee aparte heads (Seeking en Following) worden gecombineerd met behulp van routing-gewichten die uitsluitend zijn geleerd uit de uiteindelijke waypoint-voorspellingsdoelstelling.
Dual Heads met Task-Driven Router (Voorgesteld): Deze variant introduceert expliciete supervisie voor het routingproces. Naast routing-gewichten voorspelt de router task-type logits ( $g_T$ $g_{T}$ ) die worden gesuperviseerd door een ground-truth fase-label ( $z_T$ $z_{T}$ ).
- $z_T = 0$ (Seeking) totdat het doelwit voor het eerst succesvol is gevonden (gedefinieerd als binnen 1,7 m en gericht naar de agent).
- $z_T = 1$ (Following) daarna.
- Loss Functie: De trainingsdoelstelling combineelt de waypoint-voorspellingsverlies ( $L_{wp}$ ) met een aanvullende stage-aware cross-entropy loss ( $L_{stage}$ ), gewogen door $\beta_{nav} = 10$ . Dit stimuleert het model expliciet om de juiste taakbewuste routing tussen modi te leren.

Belangrijkste Bijdragen

Taakformulering: Het artikel definieert embodied visual seek-and-follow als een unificerende taak die een agent vereist om een via taal beschreven doelwit te lokaliseren dat aanvankelijk buiten beeld is, en vervolgens over te gaan naar persistent volgen zonder expliciete fasesignalen.
UESF-Bench: De auteurs construeren de Unified Embodied Seeking and Following Benchmark, een grootschalige dataset met 1,43 miljoen samples verspreid over 770+ omgevingen en 4.800+ diverse avatars. Het dekt zowel single-person als multi-person (drukke) scenario's, waarmee het gebrek aan een unificerende evaluatiestandaard voor deze specifieke taak wordt geadresseerd.
SeekFollow-VLA Framework: Een VLA-framework met een task-driven routing mechanisme dat latente fase-inferentie en transitie-modellering mogelijk maakt, wat de mode confusion tussen zoek- en volggedrag effectief vermindert.
Empirische Validatie: Uitgebreide experimenten tonen aan dat het task-driven dual-head ontwerp aanzienlijk beter presteert dan de single-head en phase-aware dual-head baselines, met name in uitdagende multi-person omgevingen.

Experimentele Resultaten

Experimenten werden uitgevoerd op de UESF-Bench testset met behulp van metrieken waaronder Task Success Rate (TSR), Collision Rate (CR), Following Ratio (FR) en Search SPL.

Single-Person Setting:
- DualHead-TD behaalde een TSR van **0,35, wat aanzienlijk hoger is dan SingleHead (0,04) en DualHead-PA (0,05).
- Het behaalde ook de hoogste FR (0,92) en Search SPL (0,53).
- De resultaten wijzen erop dat expliciete taakgestuurde supervisie noodzakelijk is om gedragsambiguïteit op te lossen en de zoekefficiëntie te verbeteren.
Multi-Person Setting:
- De prestaties daalden over het algemeen door interferentie van distractoren, maar DualHead-TD behield de hoogste TSR (0,20) vergeleken met 0,04 voor de andere baselines.
- DualHead-TD behaalde een Search SPL van **0,55, wat duidt op superieure doelwitidentificatie en zoekefficiëntie, zelfs in drukke scènes.
- Hoewel DualHead-PA een iets hogere FR liet zien (0,85 vs. 0,82), benadrukken de superieure TSR en Search SPL van DualHead-TD de effectiviteit ervan in de unificerende taak, waarbij succesvolle transitie en doelwitherstel cruciaal zijn.
Routing Dynamiek: Visualisatie van de router-gewichten bevestigde dat de Task-Driven Router een duidelijke functionele scheiding leert: het toekennen van bijna 100% gewicht aan de seeking head tijdens exploratie en een scherpe transitie naar de following head bij ontdekking van het doelwit, waarbij de stabiliteit daarna behouden blijft.

Betekenis en Claims

Het artikel claimt dat UESF-Bench de eerste grootschalige benchmark is voor unificerend taalgestuurd zoeken en volgen van mensen in embodied settings. Door verder te gaan dan de assumptie van initiële zichtbaarheid van het doelwit, adresseert dit werk een realistischere vorm van embodied interactie.

De auteurs stellen dat het behandelen van zoeken en volgen als onafhankelijke taken faalt in het vastleggen van de continuïteit van real-world interactie. Het voorgestelde SeekFollow-VLA demonstreert dat een unificerend framework met expliciete taakgestuurde routing effectief de impliciete fase-transities en de vertraagde identiteitsgronding kan beheren die vereist zijn voor robuuste mens-robot interactie. De resultaten suggeren dat voor complexe embodied taken, architecturale inductieve biases die fase-transities expliciet modelleren, cruciaal zijn voor prestaties, met name in omgevingen met distractoren.