🤖 AI

CoFL-S: Spatially Queryable Sector Flow Fields for Local Language-Conditioned Navigation

Het artikel stelt CoFL-S voor, een low-level vision-language-action framework dat taal-geconditioneerde flowvelden voorspelt voor continue trajectgeneratie, waarbij een superieure prestatie wordt aangetoond ten opzichte van bestaande baselines in zowel een nieuwe continue-tijd Habitat-benchmark als bij zero-shot real-world deployment.

Oorspronkelijke auteurs: Haokun Liu, Zhaoqi Ma, Yicheng Chen, Wentao Zhang, Masaki Kitagawa, Zicen Xiong, Jinjie Li, Moju Zhao

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Haokun Liu, Zhaoqi Ma, Yicheng Chen, Wentao Zhang, Masaki Kitagawa, Zicen Xiong, Jinjie Li, Moju Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert navigeren door een huis met behulp van alleen gesproken instructies zoals: "Loop door de eerste deur aan de rechterkant." De meeste huidige robots zijn als studenten die een strikte lijst met stappen uit het hoofd leren: "Stap vooruit, draai links, stop." Als de vloer iets anders is of de robot een klein beetje te laat draait, raken ze in de war en botsen ze op.

Dit artikel introduceert CoFL-S, een nieuwe manier om robots te leren hoe ze moeten bewegen. In plaats van ze een lijst met stappen te geven, geeft CoFL-S ze een levende, ademende kaart van "duwen" en "trekken" gebaseerd op wat ze zien en horen.

Hier is een eenvoudige uitleg van hoe het werkt, met alledaagse analogieën:

1. De Oude Manier vs. De Nieuwe Manier

De Oude Manier (Action Tokens/Chunks): Stel je een robot voor die alleen weet hoe hij moet zeggen: "Ik zal nu naar links draaien," of "Ik zal 3 seconden vooruit lopen." Het is als een bestuurder die alleen weet wanneer hij het gaspedaal moet indrukken of de rem moet gebruiken. Als de weg onverwacht buigt, zit de bestuurder vast omdat hij alleen heeft gepland voor de volgende seconde.
De Nieuwe Manier (CoFL-S): Stel je voor dat de robot niet alleen één stap plant; het creëert een windkaart over de vloer voor zich.
- Als de instructie "Ga naar de stoel" is, heeft de kaart een zachte wind die richting de stoel blaast.
- Als er een muur is, heeft de kaart een sterke wind die de robot weg van de muur duwt.
- De robot kiest niet zomaar één richting; het voelt de wind overal om zich heen. Als het een beetje uit koers raakt, duwt de "wind" het automatisch weer op koers zonder dat er een nieuwe opdracht nodig is.

2. Hoe het de wereld ziet

De robot gebruikt een camera (RGB) en een dieptesensor (zoals een 3D-oog) om de kamer te zien. Het luistert ook naar een korte, lokale instructie (bijv. "Loop langs de bank").

Het "Sector Flow Field": Denk aan het gezichtsveld van de robot als een punt van een taart (een sector). CoFL-S schildert een kleurrijk stromingsveld over deze sector.
- Blauwe pijlen wijzen misschien naar het doel.
- Rode pijlen wijzen misschien weg van obstakels.
- De robot bevraagt deze kaart: "Als ik hier sta, welke kant blaast de wind dan?" Het beweegt vervolgens in die richting.

3. De Robot Trainen

Om deze robot te leren, hebben de onderzoekers niet alleen een afgeronde video van iemand die loopt getoond. Ze hebben de video frame voor frame afgebroken.

De Analogie: Stel je voor dat je een film bekijkt van iemand die naar een deur loopt. In plaats van alleen te zeggen: "Ze liepen naar de deur," hebben de onderzoekers de film op elke seconde gepauzeerd. Ze vroegen: "Als deze persoon op dit exacte moment naar de deur wil gaan, welke kant zou hij dan geduwd moeten worden?"
Ze creëerden miljoenen van deze "micro-momenten", waarbij het beeld van de robot werd gekoppeld aan een kleine instructie en de juiste "windkaart" voor dat specifieke moment. Dit leerde de robot niet alleen waar hij heen moest, maar ook hoe hij soepel rond meubels moest bewegen.

4. De Resultaten: Simulatie en de Echte Wereld

De onderzoekers hebben dit op twee manieren getest:

In de Computer (Habitat): Ze plaatsten de robot in een virtuele wereld. Ze vergeleken CoFL-S met robots die de oude "stap-voor-stap" methode gebruiken. CoFL-S won consequent. Het was beter in het bereiken van het doel, de bewegingen waren soepeler en het kwam minder vaak vast te zitten. Het werkte goed, of de robot zijn kaart nu 2 keer per seconde of 10 keer per seconde controleerde.
In de Echte Wereld: Ze namen de robot die in de computer was getraind en plaatsten deze in een echt gebouw (kantoren en buiten) zonder hem iets nieuws te leren.
- Het Resultaat: De robot navigeerde succesvol door echte gangen, vermeed echte stoelen en volgde menselijke instructies op.
- Waarom het werkte: De "windkaart"-aanpak was robuust. Zelfs als de robot een kleine vertraging had in het verwerken van het beeld (een veelvoorkomend probleem bij echte computers), bood de kaart nog steeds een veilige route. De oude "stap-voor-stap" robots hadden de neiging om te oscilleren (heen en weer wiebelen) of tegen muren aan te botsen omdat ze zich niet snel genoeg konden aanpassen.

De Kernboodschap

CoFL-S verandert het brein van de robot van een stapenteller naar een voeler. In plaats van een rigide reeks bewegingen uit het hoofd te leren, leert het de "stroom" van de omgeving te voelen. Dit stelt de robot in staat om soepel en veilig te navigeren, zelfs wanneer de omstandigheden niet precies zijn zoals verwacht, waardoor het veel beter is in het volgen van taalinstructies in de echte wereld.

Technische Samenvatting: CoFL-S

Probleemstelling

Vision-Language Navigation (VLN) heeft aanzienlijke vooruitgang geboekt in hoogwaardige semantische redenering, geheugenconstructie en instructiedecompositie. Echter, de laag-niveau actie-representatie—het mechanisme dat lokale semantische intentie vertaalt naar uitvoerbare robotbeweging—blijft onderbelicht. Standaard VLN-evaluaties verstrengelen vaak hoogwaardige redenering met laag-niveau uitvoering, wat het moeilijk maakt om de effectiviteit van verschillende actie-interfaces te isoleren. Bestaande interfaces, zoals discrete actietokens (bijv. "draai links") of eindige horizon actie-chunks, specificeren acties voor de huidige staat of een korte toekomstige sequentie, maar falen erin om expliciet te modelleren hoe de gewenste beweging moet variëren over nabijgelegen werkruimte-locaties, obstakelconfiguraties of herplanningsfrequenties. Het artikel stelt dat een laag-niveau interface die in staat is om ruimtelijk geïndexeerde begeleiding te representeren, vergelijkbaar met klassieke potentiaalvelden, noodzakelijk is voor robuuste, continue controle in gedeeltelijk observeerbare omgevingen.

Methodologie: CoFL-S Framework

De auteurs stellen CoFL-S voor (Continuous Flow-field Language-conditioned Sectorial navigation, Spatially Queryable Sector Flow Fields), een framework dat een taal-geconditioneerd flowveld voorspelt over de lokale zichtbare sector van de robot om continue trajecten te genereren.

1. Sector Flow Field Representatie

In plaats van een enkel traject of een discrete actie te regresseren, voorspelt CoFL-S een 2D flowveld $v_\phi$ over de lokale grondvlak-sector van de robot.

Input: Een ego-centrische RGB-D observatie $(I, D)$ en een laag-niveau lokale sub-instructie $\ell$ .
Output: Een ruimtelijk querybare snelheidveld. Het veld wordt bevraagd in genormaliseerde polaire sectorcoördinaten $q = (\tilde{\theta}, \tilde{r})$ die zijn uitgelijnd met het gezichtsveld van de camera, maar geeft Cartesiaanse snelheden $(v_{fwd}, v_{lft})$ terug in het robot-centrische grondvlak-frame.
Generatie: Het traject $\tau(t)$ wordt gegenereerd door het voorspelde veld uit te rollen met een eerste-orde bewegingsmodel: $\dot{\tau}(t) = v_\phi(\Pi_{polar}(\tau(t)) | I, D, \ell)$ .

2. Architectuur

Het model bestaat uit drie hoofdcomponenten (Fig. 2):

Vision-Language Encoder: Gebruikt een bevroren SigLIP2-encoder om RGB en tekst naar gedeelde embeddings te mappen. Diepte-informatie wordt in visuele tokens geïnjecteerd via een convolutionele patchifier en een FiLM (Feature-wise Linear Modulation) pathway om geometrisch bewustzijn te bieden.
Sector Decoder: Een query-gebaseerde Transformer-decoder die coördinaat-queries (geëmbed via Gaussian Fourier features) en de gefuseerde context neemt om snelheidsvectoren voor elke sectorlocatie te voorspellen.
Action Module: Een lichtgewicht hulpbranch die gebruikmaakt van leerbare actie-queries om een discrete terminatiekans (STOP) te voorspellen, ter aanvulling op de continue field rollout.

3. Continuous-Control Supervisie

Om deze representatie te trainen, converteren de auteurs standaard VLN-CE episodes (R2R en RxR) naar frame-niveau lokale supervisie:

Fine-Grained Alignment: Elk RGB-D frame wordt gekoppeld aan een lokale sub-instructie afgeleid van fijnmazige annotaties (Fine-Grained R2R, Landmark RxR).
Instruction Expansion: Om diversiteit te vergroten, wordt elk frame uitgebreid naar $K$ instructie-slots, inclusclusief de menselijke anker, object-gegronde commando's, regio-gegronde commando's en terminale commando's.
Target Generation: Voor elk instructie-slot wordt een dicht sector flowveld target gegenereerd door een geodetische attractie naar een gegronde doelstelling te combineren met obstructie/onzichtbare-regio repulsie. Dit creëert een potentiaalveld waarvan de negatieve gradiënt dient als de target snelheidveld.
Loss Function: Het model wordt getraind met een combinatie van richtingverlies (cosine similarity), magnitudeverlies (distance-to-go scaling) en actie-terminatieverlies.

4. Evaluatie Benchmark

De auteurs introduceren een continuous-time Habitat benchmark om laag-niveau actie-interfaces te isoleren:

Protocol: Alle methoden (CoFL-S, Action Token, Action Chunk) worden geëvalueerd onder dezelfde continue-tijd simulatie waarbij de robotstatus wordt bijgewerkt op 60 Hz en observaties op 30 Hz.
Controller: Een gedeelde laag-niveau snelheidcontroller voert de outputs van alle methoden uit, wat ervoor zorgt dat prestatieverschillen voortkomen uit de actie-representatie in plaats van de controller.
Decomposition Independence: Bij elke stap wordt de positie van de agent geprojecteerd op het referentiepad om de bijbehorende lokale sub-instructie op te halen, waardoor de variabele van hoogwaardige instructiedecompositie wordt verwijderd.

Belangrijkste Bijdragen

CoFL-S Framework: Een nieuwe sector flow-field representatie voor first-person, taal-geconditioneerde lokale navigatie die observaties en instructies mapt naar een ruimtelijk querybaar controleveld.
Supervision Conversion: Een methode om volledige episode VLN-CE traces te converteren naar frame-niveau lokale supervisie, waarbij observaties worden gekoppeld aan uitgelijnde sub-instructies en dichte flow-field targets.
Continuous-Time Benchmark: Een nieuw evaluatieprotocol dat actie-token, actie-chunk en flow-field interfaces vergelijkt met gematchte encoders, instructies en controllers, wat een decompositie-onafhankelijke vergelijking tussen planner-frequenties mogelijk maakt.

Experimentele Resultaten

Het artikel evalueert CoFL-S tegen Action Token en Action Chunk baselines in zowel simulatie als real-world zero-shot settings.

Simulatie (R2R-CE en RxR-CE): CoFL-S presteert consistent beter dan beide baselines over alle geteste planner-frequenties (2 Hz, 5 Hz, 10 Hz) in termen van Navigation Error (NE), Oracle Success (OS), Success Rate (SR) en Success weighted by Path Length (SPL). Merkwaardig genoeg bereikt het hogere taakvoltooide-percentages dan Action Chunk, ondanks het feit dat dat laatste een grotere prediction head heeft, en behoudt het concurrerende Blocked-Step Rate (BSR) en Heading Smoothness (HS) metrieken.
Real-World Zero-Shot: Geïmplementeerd op een fysieke mobiele robot zonder fine-tuning, behaalde CoFL-S een Success Rate van 0.75 vergeleken met 0.46 voor Action Token en 0.33 voor Action Chunk. Het vertoonde minder botsingen, kortere voltooiingstijden en stabielere navigatie, vooral in smalle doorgangen waar discrete baselines de neiging hadden te oscilleren of vast te lopen.

Betekenis en Claims

Het artikel claimt dat de laag-niveau actie-representatie een kritieke, vaak over het hoofd geziene component van VLN is. Door over te stappen van discrete of eindige-horizon actievoorspellingen naar een ruimtelijk querybaar flowveld, biedt CoFL-S een "familie van corrigerende bewegingsdoelwitten" in plaats van een enkele huidige-staat beslissing. Deze dichte werkruimte-niveau supervisie stelt de policy in staat om lokale instructie-semantiek beter te koppelen aan geometrische beperkingen, wat resulteert in robuustere continue controle.

De auteurs benadrukken dat hoewel CoFL-S ervan uitgaat dat een lokale sub-instructie beschikbaar is (door te vertrouwen op een hoogwaardige planner voor decompositie), het effectief het executielaag-probleem oplost. De resultaten suggeries dat flow-field policies met dichte supervisie superieure geometrische bewustheid en stabiliteit bieden vergeleken met traditionele actie-interfaces, vooral in zero-shot real-world deployments waar latentie en omgevingsvariabiliteit significante factoren zijn.