Technische Samenvatting: Seeing-to-Experiencing (S2E)

Probleemstelling

Navigatie-fundamentmodellen die getraind zijn op enorme web-schaal offline data hebben een sterke generalisatie getoond over diverse omgevingen. Deze modellen vertrouwen echter primair op passieve visuele imitatie, waarbij ze statistische correlaties vastleggen in plaats van gegronde causaliteit. Hierdoor missen ze het vermogen om te redeneren over de gevolgen van acties, zich aan te passen aan contrafeitelijke scenario's of reactief gedrag te vertonen dat noodzakelijk is voor veilige stedelijke navigatie (bijv. het vermijden van dynamische obstakels of voetgangers). Hoewel Reinforcement Learning (RL) een paradigma biedt voor interactief leren, hebben eerdere pogingen om RL voor navigatie te schalen moeite gehad met een gebrekkige sampling-efficiëntie, een gebrek aan inductieve priors en de moeilijkheid om agenten vanaf nul te trainen in nauwe synthetische omgevingen. Bovendien leidt het simpelweg opschalen van offline supervised data vaak tot afnemende meeropbrengsten in prestaties.

Methodologie: Het S2E-framework

De auteurs stellen Seeing-to-Experiencing (S2E) voor, een hybride leersframework dat grootschalige offline pre-training combineert met online reinforcement learning in simulatie. Het framework beoogt de generaliseerbare visuele representaties geleerd van real-world video's te behouden, terwijl het via RL interactieve capaciteiten verwerft.

1. Pre-training: Anchor-Guided Distribution Matching (AGDM)

Om de multimodale aard van navigatie aan te pakken (waarbij meerdere geldige acties bestaan voor één observatie), introduceren de auteurs een Anchor-Guided Distribution Matching strategie.

• Architectuur: In plaats van discrete bins of unimodale Gaussische verdelingen te gebruiken, voorspelt het model een Gaussian Mixture Model (GMM) waarbij de mengcomponenten worden gestuurd door "anchors".
• Mechanisme: $M$ representatieve intentiepunten (anchors) worden gesampled via K-Means op de unificerende dataset. Deze anchors dienen als queries in een cross-attention mechanisme. Elke anchor komt overeen met een Gaussische modus met geleerde scores, gemiddelden, standaarddeviaties en correlaties.
• Voordeel: Deze aanpak biedt een gestructureerde, multimodale verdeling die expressiviteit balanceert met trainingsstabiliteit. Het stelt het model in staat om diverse gedragingen te vangen (bijv. rechtdoor gaan, afslaan, wijken) terwijl een betrouwbare backbone voor daaropvolgende adaptatie behouden blijft.

2. Post-training: Residual-Attention Module (RAM)

Om interactieve capaciteiten te injecteren zonder de gepre-trainde kennis te wissen of te lijden onder domeinverschuiving (sim-to-real), stellen de auteurs een Residual-Attention Module voor voor RL fine-tuning.

• Motivatie: Full-parameter fine-tuning met RL brengt het risico met zich mee op "Forgetting of Pre-trained Capabilities" (FPC) en zorgt ervoor dat de visuele encoder overfit op simulator-texturen, wat de real-world prestaties verslechtert.
• Mechanisme: De originele pre-trained cross-attention parameters worden bevroren. Een parallelle, trainbare kopie van de attention block wordt geïntroduceerd, gestuurd door met nul geïnitialiseerde lineaire lagen.
• Trainingsdynamiek: De zero-initialisatie zorgt ervoor dat de residual branch bij de start van de fine-tuning niets bijdraagt ($Q' = \psi_{pre}(Q)$). Naarmate de training vordert, activeren de gate-gewichten geleidelijk, waardoor het model selectief reactief gedrag kan leren (bijv. het vermijden van obstakels) uit het RL-signaal, terwijl de generaliseerbare visuomotorische representaties uit de offline pre-training behouden blijven.
• Efficiëntie: Deze aanpak is parameter-efficiënt; er wordt slechts een lichtgewicht plugin bijgewerkt in plaats van het gehele model, en de visuele encoder wordt niet bijgewerkt om domeinverschuiving te voorkomen.

3. Evaluatie Benchmark: NavBench-GS

De auteurs vestigen NavBench-GS, een uitgebreide end-to-end evaluatie benchmark.

• Kenmerken: Gebouwd op fotorealistische 3D Gaussian Splatting reconstructies van real-world scènes, bevat het nauwkeurige fysieke interacties en dynamiek.
• Omvang: Het omvat 26 scenario's met vier taakvariaties: lege omgevingen, statische obstakels, bewegende voetgangers, en gecombineerde obstakels/voetgangers.
• Metrieken: Success Rate (SR), Route Completion (RC) en Collision Times (CT).

Belangrijkste Resultaten

Schalingsprestaties

Experimenten demonstreren dat S2E de afnemende meeropbrengsten die geassocieerd worden met het enkel schalen van offline data, mitigeert.

• RL vs. Data Scaling: Het verhogen van offline data van 250k naar 750k samples leverde slechts een verbetering van 2% in success rate op. In contrast hiermee resulteerde het toepassen van RL fine-tuning op een model getraind op 100 uur data in een verbetering van 15% in success rate zonder extra offline data.
• RL vs. SFT: Vergeleken met Supervised Fine-Tuning (SFT), dat lijdt onder ernstige overfitting naarmate de trainingskosten toenemen, behoudt RL of verbetert het de success rates en demonstreert het een hogere sampling-efficiëntie.

Benchmark Prestaties (NavBench-GS)

S2E presteerde beter dan state-of-the-art navigatie-fundamentmodellen (inclusief GNM, ViNT, NoMaD, MBRA, en CityWalker) in alle testscenario's.

• Efficiëntie: S2E, getraind op slechts 100 uur aan data, overtrof CityWalker, dat getraind is op meer dan 2000 uur aan data.
• Veiligheid: S2E behaalde de hoogste Success Rates en laagste Collision Times, met name in complexe scenario's met zowel statische obstakels als bewegende voetgangers.

Real-World Deployment

Het framework werd uitgerold op twee verschillende robotische platformen: een wieltrobot en een Unitree GO2 quadruped robot.

• Zero-Shot Generalisatie: S2E bereikte zero-shot transfer naar ongeziene real-world stedelijke scenario's.
• Prestaties: In real-world tests behaalde S2E-Full een success rate van 0.51 (wielrobot) en 0.55 (quadruped), wat aanzienlijk beter is dan baselines zoals NoMaD en CityWalker, die moeite hadden met collision avoidance.

Betekenis en Claims

Het artikel claimt dat de integratie van interactieve online ervaringen via Reinforcement Learning cruciaal is voor het schalen van fundamentmodellen in robotica. De belangrijkste bijdragen zijn:

1. Overbruggen van de Kloof: S2E slaagt erin de kloof te overbruggen tussen de brede generalisatie van offline pre-training en de reactieve veiligheid van online interactie.
2. Technische Innovatie: De Anchor-Guided Distribution Matching stabiliseert het leren van complexe multimodale verdelingen, terwijl de Residual-Attention Module incrementeel en veilig leren van interactieve gedragingen mogelijk maakt zonder catastrofale vergetelheid of domeinverschuiving.
3. Nieuw Paradigma: Dit werk daagt het idee uit dat het schalen van offline data de primaire drijfveer voor prestaties is, door aan te tonen dat RL post-training een efficiënter pad biedt naar robuuste, veilige navigatiepolicies.
4. Reproduceerbaarheid: De auteurs bieden een nieuwe benchmark (NavBench-GS) en verbinden zich aan het vrijgeven van code en modellen om gemeenschapsverificatie te faciliteren.

De auteurs erkennen beperkingen, waarbij zij opmerken dat huidige systemen vertrouwen op 2D visuele inputs en een gebrek hebben aan expliciete 3D perceptie, wat nog steeds kan leiden tot botsingen in complexe 3D-structuren. Zij suggereren dat toekomstig werk diepte of occupancy predictie zou kunnen integreren.