🤖 AI

From Imitation to Alignment: Human-Preference Flow Policies for Long-Horizon Sidewalk Navigation

Dit artikel introduceert FlowPilot, een kaartloze navigatiepolicy voor langdurige stoep-taken die gebruikmaakt van anchored flow matching voor pre-training op grootschalige fleet-data en human-in-the-loop preference learning om sociale naleving en contrafactisch redeneren te verbeteren, waarbij een robuuste prestatie wordt bereikt met slechts één monoculaire RGB-camera.

Oorspronkelijke auteurs: Honglin He, Zhizheng Liu, Yukai Ma, Bolei Zhou

Gepubliceerd 2026-06-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Honglin He, Zhizheng Liu, Yukai Ma, Bolei Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwe bezorgrobot leert hoe hij door een drukke stadsstoep moet navigeren. Je wilt dat hij kilometers wandelt, voetgangers ontwijkt, geparkeerde scooters vermijdt en sociale regels volgt (zoals niet voor mensen voor te snijden) met behulp van slechts één camera op zijn hoofd.

Dit artikel introduceert FlowPilot, een nieuwe "hersenen" voor deze robots die drie grote problemen met de huidige technologie oplost. Hier is hoe het werkt, uitgelegd aan de hand van eenvoudige analogieën.

Het Probleem: De "Overmoedige Student"

Huidige robots worden getraind met Imitation Learning (imitatie-leren). Denk hierbij aan een student die urenlang video's bekijkt van een meesterchauffeur.

Het Probleem: Als de student alleen de video kopieert, kan hij in de war raken wanneer de echte wereld chaotisch wordt. Hij kan kleine foutjes maken die zich opstapelen (zoals een sneeuwbal die een berg afrolt), vast komen te zitten omdat hij niet weet hoe hij met een situatie moet omgaan die hij nog niet eerder heeft gezien, of onbeleefd reageren tegen voetgangers omdat hij de "sociale regels" van de stoep niet heeft geleerd.
De Kloof: Alleen video's kijken (imitatie) is niet genoeg om een robot te maken die zowel veilig als sociaal beleefd is.

De Oplossing: De Tweestaps-training van FlowPilot

De auteurs hebben een tweestaps-trainingsproces ontwikkeld om dit op te lossen: Stap 1 is "De Basis Leren" en Stap 2 is "De Nuance Leren."

Stap 1: De "Anchored Flow" (De Basis Leren)

In plaats van simpelweg één enkel pad te raden, moet de robot begrijpen dat er veel manieren zijn om een obstakel te omzeilen (bijv. linksaf gaan, rechtsaf gaan, of afremmen).

De Analogie: Stel je een rivier voor die om rotsen heen stroomt. Soms splitst het water zich in meerdere stromen. Oude methoden probeerden slechts één stroom te voorspellen, of ze waren te chaotisch.
De Innovatie: FlowPilot gebruikt iets dat "Anchored Flow Matching" wordt genoemd.
- Anchors (Ankers): Denk aan deze als "mentale bladwijzers" of duidelijke rijstijlen (bijv. "De Agressieve Passer" of "De Beleefde Wachtende"). De robot leert eerst deze verschillende stijlen.
- Flow (Stroming): Zodra de robot deze bladwijzers heeft, leert hij hoe hij soepel tussen deze stijlen kan bewegen. Dit stelt de robot in staat om vloeiende, realistische paden te genereren die alle verschillende manieren dekken waarop een mens een lastig punt zou kunnen navigeren, in plaats van vast te komen zitten in één enkel, rigide patroon.

Stap 2: De "Human-in-the-Loop" (De Nuance Leren)

Zelfs met goede basisvaardigheden kan de robot nog steeds een beetje onhandig of sociaal onhandig zijn wanneer hij wordt ingezet op een specifieke robot met specifieke camera's en wielen.

De Analogie: Stel je voor dat de robot een nieuwe werknemer is. Hij kent de functiebeschrijving (van Stap 1), maar hij kent de specifieke kantoorcultuur van jouw kantoor nog niet.
De Innovie: Het team heeft een Preference Learning (voorkeursleren) systeem geïntroduceerd.
- Een menselijke supervisor kijkt naar de robot in het echte leven.
- Als de robot iets onveiligs of onbeleefds begint te doen, stuurt de mens hem voorzichtig weer op het juiste pad.
- De robot leert: "Ah, de mens gaf de voorkeur aan deze actie boven die actie."
- In plaats van alleen de correctie van de mens te memoriseren, leert de robot de voorkeur. De robot begrijpt: "In deze situatie is beleefd zijn beter dan snel zijn." Deze stap overbrugt de kloof tussen "een video kopiëren" en "afgestemd zijn op menselijke waarden."

De Resultaten: Een Slimere, Veiligere Robot

Het team heeft dit systeem getest in zowel computersimulaties als op echte stadswegen.

In de Simulatie: De basisversie van FlowPilot was 42% van de tijd succesvol (een enorme sprong ten opzien van andere methoden).
**In de Wereld: ** Wanneer ze de "Human Preference" training toevoegden (FlowPilot-HP), werd de robot veel beter in het volgen van regels.
- De robot had 40% minder vaak menselijke interventie nodig.
- Hij maakte 52% minder fouten waarbij een mens moest ingrijpen.
- Hij was veel beter in "sociale naleving", wat betekent dat hij mensen niet afsneed en niet te dicht bij obstakels kwam.

Samenvatting

Beschouw FlowPilot als een robotchauffeur die eerst de complexe fysica van het rijden leert van een enorme bibliotheek aan video's (Stap 1), en vervolgens een "mentorschap" krijgt van een menselijke supervisor die zijn slechte gewoonten corrigeert en hem de ongeschreven regels van de weg leert (Stap 2). Het resultaat is een robot die veilig, soepel en beleefd lange afstanden op drukke stoepen kan navigeren, met behulp van niets anders dan een enkele camera.

Technische Samenvatting: Van Imitatie naar Alignment: Human-Preference Flow Policies voor Lange-Termijn Stoepnavigatie

Probleemstelling

Autonome navigatie op lange termijn op stoepen is cruciaal voor micro-mobiliteitstoepassingen zoals robotische voedselbezorging en ondersteunende rolstoelen. In tegenstelling tot rijden op de weg, omvat navigatie op de stoep onvoorspelbare terreinen, dichte voetgangersinteracties en strikte sociale normen, terwijl er tegelijkertijd gewerkt wordt onder strikte beperkingen van onboard computing en batterijduur. De auteurs identificeren drie primaire uitdagingen in bestaande benaderingen:

Cumulatieve Fouten en Distributieverschuiving: Standaard Imitation Learning (IL) policies die getraind zijn op grootschalige offline data, falen vaak bij het herstellen van fouten in closed-loop settings, wat leidt tot cumulatieve fouten.
Gebrek aan Sociale Compliance: Policies die puur getraind zijn op demonstraties, houden mogelijk geen rekening met impliciete sociale normen (bijv. voorrang verlenen aan voetgangers) of het effectief afhandelen van veiligheidskritieke staten.
Beperkingen in Actie-Representatie: Veelvoorkomende actie-parametrisaties worstelen met de multimodale aard van stoepnavigatie (bijv. een obstakel aan één of de andere kant passeren). Unimodale Gaussische verdelingen zijn te restrictief, terwijl diffusion- of flow-matching policies excessieve willekeur of temporele inconsistentie kunnen introduceren.
Generalisatie-Precisie Dilemma: Hoewel trainen op diverse data de generalisatie over verschillende omgevingen verbetert, kan dit vaak ten koste gaan van de precisie die vereist is voor specifieke robotinstanties met unieke cameraparameters en mechanische attributen.

Methodologie: FlowPilot

Het artikel stelt FlowPilot voor, een mapless navigatiepolicy die gebruikmaakt van slechts een enkele monoculaire RGB-camera en GPS. Het framework overbrugt de kloof tussen grootschalige imitatie en robot-specifieke alignment via een tweestaps-proces.

1. Anchored Flow Matching voor Pre-training

Om de multimodale aard van stoepnavigatie aan te pakken, introduceren de auteurs anchored flow matching als de actie-representatie.

Anchor Generatie: Een geconstreerde K-means clustering wordt toegepast op genormaliseerde actieruimtes uit demonstratiedata om een set van $K$ anchor-acties te genereren. Deze anchors dienen als prototypische multimodale gedragingen.
Flow Matching: De policy leert een snelheidveld (velocity field) om trajecten te genereren. In plaats van direct naar een enkel traject te regresseren, interpoleert het model tussen ruis en een expert-traject, geconditioneerd op een specifieke anchor. Dit stelt het model in staat om diverse, complexe, multimodale distributies te vangen terwijl het gladde, temporeel consistente toekomstige trajecten waarborgt.
Gated Cross-Attention: Om te voorkomen dat het model te zwaar leunt op doelcoördinaten (wat kan leiden tot "shortcut"-gedrag waarbij obstakels worden genegeerd), gebruikt de architectuur een gated cross-attention mechanisme. Dit verzacht de "attention sink" op het doel, waardoor de policy wordt gedwongen beslissingen te funderen in de scène-context (obstakels, grenzen van de stoep) in plaats van alleen op de bestemming.
Pre-training: Het model wordt voorgetraind op een grootschalige dataset (SideWalks-300, 300 uur teleoperatie-data van 281 robotinstanties) gecombineerd met andere visuele-actie datasets. Deze fase maakt gebruik van supervised losses voor visuele odometrie, mode-classificatie (anchor assignment) en traject-regressie.

2. Human-in-the-Loop Preference Alignment

Om de kloof tussen algemene imitatie en specifieke robot-precisie te overbruggen, gebruikt FlowPilot een reward-free preference learning schema.

Dataverzameling: Tijdens de inzet monitort een menselijke operator de robot via een teleoperatieplatform. Wanneer de policy een onveilige of sociaal niet-conforme actie voorspelt, grijpt de operator in met een corrigerend commando.
Preference Pairs: Deze interventies creëren preference pairs $(x^+, x^-)$ , waarbij $x^+$ de door de mens gecorrigeerde actie is en $x^-$ de oorspronkelijke (ongewenste) voorspelling van de policy.
Alignment Objective: De policy wordt verfijnd met behulp van een preference loss die de waarschijnlijkheid van de geprefereerde actie ( $x^+$ $x^{+}$ ) vergroot terwijl de afgewezen actie ( $x^-$ $x^{-}$ ) wordt onderdrukt.
- Score-Level Alignment: Er wordt een scoring head getraind om een hogere waarschijnlijkheid toe te kennen aan de geprefereerde anchor mode dan aan de afgewezen mode, geregulariseerd door een KL-divergentie term om de pre-trained prior te behouden.
- Velocity-Level Alignment: Er wordt een asymmetrisch traject-niveau objectief gebruikt. De geprefereerde actie dient als een positief regressiedoel. Cruciaal is dat de afgewezen actie niet direct wordt weggeduwd (wat de gradiënten in continue flow matching zou kunnen destabiliseren); in plaats daarvan wordt deze geregulariseerd richting zijn anchor prior. Dit behoudt de continuïteit van de actieruimte terwijl specifieke ongewenste gedragingen worden ontmoedigd.

Belangrijkste Bijdragen

Anchored Flow-Matching Policy: Een nieuwe actie-representatie die discrete gedragspriors (anchors) combineert met continue flow-verfijning om complexe, multimodale actie-distributies te modelleren voor lange-termijn navigatie.
Gated Conditioning Mechanisme: Een architecturale vormgeving die doel-gestuurde shortcuts mitigeert door de policy aan te moedigen de scène-context te gebruiken boven directe doelcoördinaten.
Reward-Free Preference Learning: Een human-in-the-loop fine-tuning algoritme dat de policy aligneert met sociale normen en robot-specifieke veiligheidseisen met behulp van interventie-data, zonder expliciete beloningsfuncties te vereisen.
Uitgebreide Evaluatie: Uitgebreide validatie in zowel simulatie als real-world omgevingen over diverse stoepscenario's en robot-embodiments.

Experimentele Resultaten

Open-Loop Evaluatie

Op een hold-out evaluatieset behaalde FlowPilot-Base state-of-the-art prestaties in traject-voorspellingsnauwkeurigheid:

minMOE: 6.63 (laagst onder de baselines)
mAP: 0.87 (hoogste betrouwbaarheid in correcte modi)
L2 Error: 1.04 (laagste endpoint error)

Closed-Loop Simulatie

In een closed-loop simulatie benchmark met 300 trials per scenario:

Success Rate (SR): FlowPilot-Base behaalde 42%, wat significant beter is dan baselines zoals S2E (35%) en ViNT (27%).
Route Completion (RC): Behaalde 66%.
Collision Rate (CR): Verminderd tot 0.43, vergeleken met 0.61 voor de ablatie zonder Gated Cross-Attention.
Cross-Embodiment: FlowPilot-HP (met preference tuning) behield hoge prestaties (SR 0.44–0.55) over nieuwe robotconfiguraties (R1, R2) met verschoven dynamiek en cameraparameters, waarmee het standaard adaptatiemethoden zoals DAgger overtreft.

Real-World Deployment

Geëvalueerd op wielenrobots en robot-honden over 2.8 km diverse routes (inclusclusief nacht en complexe verlichting):

Intervention Rate (IR): FlowPilot-HP verminderde de IR met 40.0% en de Normalized Intervention Rate (NIR) met 52.1% vergeleken met het basismodel (FlowPilot-Base).
Social Compliance: Het model demonstreerde een significant hogere Distance Compliance Rate (DCR) en Time Compliance Rate (TCR) dan de baselines, waarbij het een veiligere afstand tot voetgangers en obstakels handhaafde.
Robuustheid: Het systeem navigeerde succesvol lange-termijn routes (tot 100m+ segmenten) en uitdagende condities, inclusief omgevingen met weinig licht.

Betekenis en Claims

Het artikel beweert dat FlowPilot een belangrijke stap voorwaarts vertegenwoordigt voor autonome stoepnavigatie door de beperkingen van pure imitation learning aan te pakken. De auteurs stellen dat:

Anchored Flow Matching een noodzakelijke representatie biedt voor het vangen van de multimodale en controle-gevoelige aard van stoepnavigatie, waar standaard Gaussische of diffusion policies moeite mee hebben.
Alignment via Preference Learning essentieel is voor de transitie van een breed inzetbare, algemene policy naar een precieze, sociaal conforme en veilige robot-specifieke controller. De resultaten tonen aan dat zelfs een kleine hoeveelheid menselijke interventie-data, wanneer verwerkt via hun preference learning framework, drastisch onveilige gedragingen kan verminderen en sociale compliance kan verbeteren.
Schaalbaarheid en Robuustheid: Het framework schaalt succesvol van grootschalige pre-training naar specifieke deployment, waarbij robuustheid behouden blijft over verschillende robot-embodiments en omgevingscondities zonder dat zware sensoren of expliciete mapping nodig zijn.

De auteurs concluderen dat hoewel hun monoculaire aanpak beperkingen heeft wat betreft schaalambiguïteit en fijnmazige 3D-kenmerken, het voorgestelde framework effectief de balans vindt tussen generalisatie en precisie, wat een praktische oplossing biedt voor real-world micro-mobiliteitstoepassingen.