🤖 AI

From Imitation to Alignment: Human-Preference Flow Policies for Long-Horizon Sidewalk Navigation

Questo articolo introduce FlowPilot, una politica di navigazione senza mappa per compiti su marciapiedi a lungo raggio che sfrutta l'anchored flow matching per il pre-addestramento su dati di flotta su larga scala e l'apprendimento delle preferenze con intervento umano per migliorare la conformità sociale e il ragionamento controfattuale, ottenendo prestazioni robuste con una sola telecamera RGB monoculare.

Autori originali: Honglin He, Zhizheng Liu, Yukai Ma, Bolei Zhou

Pubblicato 2026-06-12

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Honglin He, Zhizheng Liu, Yukai Ma, Bolei Zhou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un nuovo robot da consegna come navigare in un trafficato marciapiede cittadino. Vuoi che cammini per miglia, schivi i pedoni, eviti i monopattini parcheggiati e segua le regole sociali (come non tagliare la strada alla gente) usando solo una singola telecamera sulla sua testa.

Questo articolo presenta FlowPilot, un nuovo "cervello" per questi robot che risolve tre grandi problemi con la tecnologia attuale. Ecco come funziona, spiegato attraverso semplici analogie.

Il Problema: Lo "Studente Presuntuoso"

I robot attuali vengono addestrati usando l'Apprendimento per Imitazione (Imitation Learning). Immagina questo come uno studente che guarda ore di video di un pilota esperto.

Il Problema: Se lo studente si limita a copiare il video, potrebbe confondersi quando il mondo reale diventa caotico. Potrebbe commettere piccoli errori che si accumulano (come una palla di neve che rotola in discesa), rimanere bloccato perché non sa come gestire una situazione che non ha mai visto prima, o comportarsi in modo maleducato con i pedoni perché non ha imparato le "regole sociali" del marciapiede.
Il Vuoto: Limitarsi a guardare video (imitazione) non è sufficiente per creare un robot che sia allo stesso tempo sicuro e socialmente educato.

La Soluzione: L'Addestramento in Due Fasi di FlowPilot

Gli autori hanno creato un processo di addestramento in due fasi per risolvere questo problema: La Fase 1 è "Imparare le Basi" e La Fase 2 è "Imparare le Sfumature".

Fase 1: L' "Ancoraggio del Flusso" (Imparare le Basi)

Inveve di limitarsi a indovinare un singolo percorso, il robot deve capire che ci sono molti modi per aggirare un ostacolo (ad esempio, andare a sinistra, andare a destra o rallentare).

L'Analogia: Immagina un fiume che scorre intorno alle rocce. A volte l'acqua si divide in più flussi. I vecchi metodi cercavano di prevedere un solo flusso, oppure erano troppo caotici.
L'Innovazione: FlowPilot utilizza qualcosa chiamato "Anchored Flow Matching" (Corrispondenza di Flusso Ancorato).
- Ancore: Immaginale come "segnalibri mentali" o stili di guida distinti (ad esempio, "Il Passante Aggressivo", "Il Cedevole Educato"). Il robot impara prima questi stili distinti.
- Flusso: Una volta ottenuti questi segnalibri, impara come fluire fluidamente tra di essi. Questo permette al robot di generare percorsi fluidi e realistici che coprono tutti i diversi modi in cui un essere umano potrebbe navigare in un punto complicato, invece di rimanere bloccato in un unico schema rigido.

Fase 2: L' "Umano nel Ciclo" (Imparare le Sfumature)

Anche con ottime basi, il robot potrebbe ancora essere un po' goffo o socialmente imbranato quando viene distribuito su un robot specifico con telecamere e ruote specifiche.

L'Analogia: Immagina che il robot sia un nuovo dipendente. Conosce la descrizione del lavoro (dalla Fase 1), ma non conosce ancora la tua specifica cultura aziendale.
L'Innovazione: Il team ha introdotto un sistema di Apprendimento delle Preferenze (Preference Learning).
- Un supervisore umano osserva il robot nella vita reale.
- Se il robot inizia a fare qualcosa di non sicuro o maleducato, l'umano lo riporta gentilmente sulla strada giusta.
- Il robot impara: "Ah, l'umano preferiva questa azione rispetto a quella".
- Invece di limitarsi a memorizzare la correzione dell'umano, il robot impara la preferenza. Capisce: "In questa situazione, essere educati è meglio che essere veloci". Questo passaggio colma il divario tra "copiare un video" e "allinearsi ai valori umani".

I Risultati: Un Robot Più Intelligente e Sicuro

Il team ha testato questo sistema sia in simulazioni informatiche che nelle strade cittadine reali.

Nella Simulazione: La versione base di FlowPilot ha avuto successo il 42% delle volte (un salto enorme rispetto ad altri metodi).
Nel Mondo Reale: Quando hanno aggiunto l'addestramento della "Preferenza Umana" (FlowPilot-HP), il robot è diventato molto più bravo a seguire le regole.
- Ha avuto bisogno dell'intervento umano il 40% in meno.
- Ha commesso il 52% in meno di errori che richiedevano l'intervento di un essere umano.
- È stato molto più bravo nella "conformità sociale", il che significa che non ha tagliato la strada alle persone o si è avvicinato troppo agli ostacoli.

Riassunto

Pensa a FlowPilot come a un robot conducente che prima impara la complessa fisica della guida da una vasta libreria di video (Fase 1), e poi riceve una "mentorship" da un supervisore umano che corregge le sue cattive abitudini e gli insegna le regole non scritte della strada (Fase 2). Il risultato è un robot che può navigare lunghe distanze sui marciapiedi affollati in modo sicuro, fluido e cortese, usando nulla più di una singola telecamera.

Sintesi Tecnica: Dall'Imitazione all'Allineamento: Politiche di Flusso basate sulle Preferenze Umane per la Navigazione su Marciapiede a Lungo Horizonte

Definizione del Problema

La navigazione autonoma su marciapiedi a lungo horizonte è critica per le applicazioni di micro-mobilità come la consegna robotica di cibo e le sedie a rotelle assistive. A differenza della guida stradale, la navigazione sui marciapiedi comporta terreni imprevedibili, interazioni dense con i pedoni e norme sociali rigorose, il tutto operando sotto severi vincoli sulle capacità di calcolo a bordo e sulla durata della batteria. Gli autori identificano tre sfide primarie negli approcci esistenti:

Errori Composti e Spostamento della Distribuzione (Distribution Shift): Le politiche di Apprendimento per Imitazione (IL) standard, addestrate su dati offline su larga scala, spesso non riescono a recuperare dagli errori in contesti a ciclo chiuso (closed-loop), portando a errori cumulativi.
Mancanza di Conformità Sociale: Le politiche addestrate puramente su dimostrazioni potrebbero non aderire alle norme sociali implicite (ad esempio, dare la precedenza ai pedoni) o gestire efficacemente gli stati critici per la sicurezza.
Limitazioni della Rappresentazione delle Azioni: Le comuni parametrizzazioni delle azioni faticano a gestire la natura multimodale della navigazione sui marciapiedi (ad esempio, passare un ostacolo da un lato o dall'altro). Le Gaussiane unimodali sono troppo restrittive, mentre le politiche di diffusione o di flow-matching possono introdurre un eccessivo caso o incoerenza temporale.
Dilemma tra Generalizzazione e Precisione: Sebbene l'addestramento su dati diversificati migliori la generalizzazione in vari ambienti, ciò spesso compromette la precisione richiesta per specifiche istanze di robot con parametri unici della telecamera e attributi meccanici.

Metodologia: FlowPilot

Il documento propone FlowPilot, una politica di navigazione senza mappa che utilizza esclusivamente una singola telecamera RGB monoculare e il GPS. Il framework colma il divario tra l'imitazione su larga scala e l'allineamento specifico per il robot attraverso un processo in due fasi.

1. Anchored Flow Matching per il Pre-addestramento

Per affrontare la natura multimodale della navigazione sui marciapiedi, gli autori introducono l'anchored flow matching come rappresentazione dell'azione.

Generazione degli Ancoraggi (Anchor Generation): Un clustering K-means vincolato viene applicato agli spazi di azione normalizzati dai dati di dimostrazione per generare un insieme di $K$ azioni ancora (anchor). Questi ancoraggi fungono da comportamenti multimodali prototipici.
Flow Matching: La politica apprende un campo di velocità per generare traiettorie. Invece di regredire direttamente verso una singola traiettoria, il modello interpola tra il rumore e una traiettoria esperta condizionata da un particolare ancoraggio. Ciò consente al modello di catturare distribuzioni multimodali diverse e complesse, garantendo al contempo traiettorie future fluide e temporalmente coerenti.
Gated Cross-Attention: Per evitare che il modello faccia un affidamento eccessivo sulle coordinate dell'obiettivo (il che può portare a comportamenti di tipo "scorciatoia" ignorando gli ostacoli), l'architettura impiega un meccanismo di gated cross-attention. Questo mitiga l'effetto "sink" dell'attenzione sul goal, costringendo la politica a fondare le decisioni sul contesto della scena (ostacoli, bordi del marciapiede) piuttosto che solo sulla destinazione.
Pre-addestramento: Il modello viene pre-addestrato su un dataset su larga scala (SideWalks-300, 300 ore di dati di teleoperazione da 281 istanze di robot) combinato con altri dataset visivi-azione. Questa fase utilizza perdite supervisionate per l'odometria visiva, la classificazione del modo (assegnazione dell'ancoraggio) e la regressione della traiettoria.

2. Allineamento delle Preferenze Human-in-the-Loop

Per colmare il divario tra l'imitazione generale e la precisione specifica del robot, FlowPilot impiega uno schema di apprendimento delle preferenze privo di ricompensa (reward-free).

Raccolta dei Dati: Durante l'impiego, un operatore umano monitora il robot tramite una piattaforma di teleoperazione. Quando la politica predice un'azione non sicura o socialmente non conforme, l'operatore interviene con un comando correttivo.
Coppie di Preferenza: Questi interventi creano coppie di preferenza $(x^+, x^-)$ , dove $x^+$ è l'azione corretta dall'umano e $x^-$ è la predizione originale (indesiderata) della politica.
Obiettivo di Allineamento: La politica viene perfezionata (fine-tuned) utilizzando una perdita di preferenza che aumenta la probabilità dell'azione preferita ( $x^+$ $x^{+}$ ) mentre sopprime l'azione rifiutata ( $x^-$ $x^{-}$ ).
- Allineamento a livello di Score: Uno score head viene addestrato per assegnare una probabilità più alta al modo dell'ancoraggio preferito rispetto a quello rifiutato, regolarizzato da un termine di divergenza KL per preservare il prior pre-addestrato.
  la regressione asimmetrica a livello di traiettoria. L'azione preferita funge da target di regressione positivo. Fondamentalmente, l'azione rifiutata non viene direttamente allontanata (il che potrebbe destabilizzare i gradienti nel flow matching continuo); viene invece regolarizzata verso il suo prior di ancoraggio. Ciò preserva la continuità dello spazio delle azioni pur scoraggiando comportamenti specifici indesiderati.

Contributi Chiave

Politica di Anchored Flow-Matching: Una nuova rappresentazione dell'azione che combina prior comportamentali discreti (ancore) con il raffinamento del flusso continuo per modellare distribuzioni di azione multimodali e complesse per la navigazione a lungo horizonte.
Meccanismo di Gated Conditioning: Un design architettonico che mitiga le scorciatoie guidate dal goal, incoraggiando la politica a utilizzare il contesto della scena rispetto alle coordinate dirette del goal.
Apprendimento delle Preferenze Reward-Free: Un algoritmo di fine-tuning human-in-the-loop che allinea la politica con le norme sociali e i requisiti di sicurezza specifici del robot utilizzando dati di intervento, senza richiedere funzioni di ricompensa esplicite.
Valutazione Esaustiva: Validazione estesa sia in simulazione che in ambienti reali attraverso diversi scenari di marciapiede e diverse incarnazioni di robot.

Risultati Sperimentali

Valutazione Open-Loop

Su un set di valutazione tenuto separato (held-out), FlowPilot-Base ha raggiunto prestazioni allo stato dell'arte nella precisione della predizione della traiettoria:

minMOE: 6.63 (il più basso tra i baseline)
mAP: 0.87 (massima fiducia nei modi corretti)
Errore L2: 1.04 (errore finale più basso)

Simulazione a Ciclo Chiuso (Closed-Loop)

In un benchmark di simulazione a ciclo chiuso con 300 prove per scenario:

Tasso di Successo (SR): FlowPilot-Base ha raggiunto il 42%, superando significativamente i baseline come S2E (35%) e ViNT (27%).
Completamento del Percorso (RC): Raggiunto il 66%.
Tasso di Collisione (CR): Ridotto a 0.43, rispetto allo 0.61 della versione senza Gated Cross-Attention.
Cross-Embodiment: FlowPilot-HP (con tuning delle preferenze) ha mantenuto alte prestazioni (SR 0.44–0.55) su nuove configurazioni di robot (R1, R2) con dinamiche e parametri della telecamera spostati, superando i metodi di adattamento standard come DAgger.

Distribuzione nel Mondo Reale

Valutato su robot con ruote e robot quadrupedi su 2.8 km di percorsi diversificati (inclusi scenari notturni e illuminazione complessa):

Tasso di Intervento (IR): FlowPilot-HP ha ridotto l'IR del 40.0% e il Normalized Intervention Rate (NIR) del 52.1% rispetto al modello base (FlowPilot-Base).
Conformità Sociale: Il modello ha dimostrato tassi di conformità alla distanza (DCR) e alla tempistica (TCR) significativamente più alti rispetto ai baseline, mantenendo una distanza di sicurezza maggiore da pedoni e ostacoli.
Robustezza: Il sistema è riuscito a navigare percorsi a lungo horizonte (segmenti di oltre 100m+) e in condizioni difficili, inclusi ambienti a bassa luminosità.

Significato e Rivendicazioni

Il documento sostiene che FlowPilot rappresenti un passo avanti significativo nella navigazione autonoma sui marciapiedi affrontando i limiti del puro apprendimento per imitazione. Gli autori sostengono che:

L'Anchored Flow Matching fornisce una rappresentazione necessaria per catturare la natura multimodale e sensibile al controllo della navigazione sui marciapiedi, che le standard politiche Gaussiane o di diffusione faticano a gestire.
L'allineamento tramite l'apprendimento delle preferenze è essenziale per la transizione da una politica generalmente capace e general-purpose a un controllore preciso, socialmente conforme e sicuro specifico per il robot. I risultati dimostrano che anche una piccola quantità di dati di intervento umano, se elaborata attraverso il loro framework di apprendimento delle preferenze, può ridurre drasticamente i comportamenti non sicuri e migliorare la conformità sociale.
Scalabilità e Robustezza: Il framework scala con successo dal pre-addestramento su larga scala allo specifico deployment, mantenendo la robustezza attraverso diverse incarnazioni di robot e condizioni ambientali senza richiedere sensori pesanti o mappatura esplicita.

Gli autori concludono che, sebbene il loro approccio monoculare presenti limitazioni riguardo all'ambiguità di scala e ai segnali 3D fini, il framework proposto bilancia efficacemente il compromesso tra generalizzazione e precisione, offrendo una soluzione pratica per le applicazioni di micro-mobilità nel mondo reale.