TADPO: Reinforcement Learning Goes Off-road

Dit paper introduceert TADPO, een nieuwe versterkingsleerbenadering die PPO uitbreidt met off-policy trajecten voor begeleiding en on-policy trajecten voor exploratie, waarmee voor het eerst een op visie gebaseerd RL-systeem succesvol is ingezet voor hoogwaardig off-road rijden op een volledig schaalvoertuig via zero-shot sim-naar-real-overdracht.

De kern

Stel je voor dat je een auto bestuurt die nog nooit eerder een weg heeft gezien. Geen asfalt, geen verkeersborden, geen GPS-kaartjes. Alleen maar zand, modder, steile hellingen en rotsen. Dit is de wereld van "off-road" rijden. Voor een mens is dit al lastig, maar voor een computer is het een nachtmerrie.

De onderzoekers van deze paper (TADPO) hebben een slimme oplossing bedacht om een robotauto dit te laten leren. Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Gokke" en de "Lange Reis"

Normale zelfrijdende auto's op de snelweg zijn als een speler die een spelletje speelt met een perfecte handleiding. Maar in het bos of de woestijn is er geen handleiding.

• Het is een lange reis: De auto moet kilometers vooruit plannen, niet alleen de volgende seconde.
• De beloning is vaag: Als de auto 100 meter rijdt zonder te crashen, is dat goed. Maar waarom was het goed? Welke stuurknopdruk was precies goed? Dat is moeilijk te zeggen voor een computer.
• Gokken is duur: Als een computer zomaar alles probeert (zoals een peuter die alles aanraakt), crasht hij constant. In de echte wereld is dat duur en gevaarlijk.

2. De Oplossing: De "Meester" en de "Leerling"

De onderzoekers hebben een nieuw systeem bedacht dat ze TADPO noemen. Je kunt het zien als een school voor auto's, maar dan met een heel slimme methode.

Stel je voor dat je een Leerling hebt (de auto die we willen trainen) en een Meester (een slimme computer die al weet hoe het moet, maar die we niet direct in de echte auto willen zetten).

• De Meester (De Expert): Deze Meester heeft een "superkracht". Hij kan zien wat er onder de grond zit en weet precies hoe de auto zich moet gedragen. Hij rijdt rond in een simpele computerwereld (een simulator) en maakt een perfecte route. Hij is als een ervaren bergbeklimmer die de weg kent.
• De Leerling (De Student): Deze auto heeft geen superkrachten. Hij ziet alleen wat een gewone camera ziet (net als wij). Hij moet leren van de Meester, maar hij mag ook zelf experimenteren.

3. De Slimme Truc: Hoe ze samenwerken

Normaal gesproken zou de Leerling alleen van de Meester kopiëren (nabootsen) of alleen maar zelf proberen (gokken). TADPO doet beide tegelijk, maar op een slimme manier:

• Het "Kijk-en-Leren" Moment: Als de Meester een perfecte bocht neemt, kijkt de Leerling toe en zegt: "Oh, zo moet ik dat doen!" De Leerling leert van de ervaringen van de Meester.
• Het "Zelf-Proberen" Moment: Maar de Leerling is niet alleen een kopie. Soms zegt hij: "Ik ga het zelf proberen!" Hij rijdt dan zelf door het terrein.
• De Gouden Regel: Als de Leerling iets doet wat beter is dan wat de Meester zou doen, mag hij dat onthouden. Als hij iets doet wat slechter is, wordt hij gecorrigeerd door de Meester.

Dit is als een skateboarder die een pro-rijder observeert. De pro rijdt over een muur (de Meester). De leerling kijkt toe, probeert het na te doen, en als hij valt, kijkt hij naar de pro om te zien wat hij verkeerd deed. Maar als de leerling een nieuwe, coole truc bedenkt die de pro niet kent, leert de pro misschien ook van de leerling (in dit geval helpt de leerling de Meester om de leerling te verbeteren).

4. Het Resultaat: Van Computer naar Echt Leven

Het meest verbazingwekkende deel van dit onderzoek is wat ze daarna deden.

1. Ze trainden de auto alleen maar in de computer (in de simulator).
2. Ze namen die exacte "hersenen" van de auto en zetten ze in een echte, grote terreinwagen (een Sabercat van 2 ton).
3. Ze reden de auto de echte wereld in, zonder de auto nog maar één keer aan te passen of te "fijntunen".

Het resultaat? De auto kon:

• Over steile hellingen rijden zonder om te vallen.
• Snel door modder en stenen rijden.
• Obstakels (zoals vaten) ontwijken alsof hij daar altijd al gereden had.

Waarom is dit belangrijk?

Vroeger moest je een auto programmeren met duizenden regels: "Als je een steen ziet, draai dan links." Maar de wereld is te complex voor regels.
Met TADPO hebben ze een auto gemaakt die leert zoals een mens: door te kijken naar een expert en door zelf te proberen. En het beste? Het werkt direct in de echte wereld, zonder dat je eerst maandenlang in de modder moet rijden om het te leren.

Kortom: Ze hebben een auto getraind in een virtueel bos, en die auto rijdt nu als een pro in het echte bos, zonder ooit daar te zijn geweest. Dat is de kracht van TADPO.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "TADPO: Reinforcement Learning Goes Off-road" in het Nederlands.

Probleemstelling

Autonome voertuigen hebben aanzienlijke vooruitgang geboekt in gestructureerde omgevingen (zoals snelwegen en steden), maar off-road autonomie blijft een grote uitdaging. In ongestructureerde omgevingen (zand, grind, vegetatie, steile hellingen) zijn de interacties tussen voertuig en terrein complex, onzeker en moeilijk te modelleren.
De kernproblemen zijn:

1. Lange horizon planning: Voertuigen moeten op lange termijn plannen zonder gedetailleerde kaarten.
2. Lage signaal-reward: In Reinforcement Learning (RL) zijn beloningen vaak zeldzaam (bijv. alleen bij succes of crash), wat exploratie bemoeilijkt.
3. Exploratie in complexe dynamiek: Standaard RL-methoden (zoals PPO) hebben moeite om effectieve beleidsstrategieën te leren in omgevingen met veel obstakels en variabele dynamica, omdat willekeurige exploratie inefficiënt is en vaak leidt tot crashes.
4. Sim-to-Real Transfer: Het overbrengen van in simulatie getrainde modellen naar echte, grote off-road voertuigen zonder fine-tuning is extreem moeilijk.

Methodologie: TADPO

De auteurs introduceren TADPO (Teacher Action Distillation with Policy Optimization), een nieuwe beleidsgradiëntformulering die een uitbreiding is van Proximal Policy Optimization (PPO). Het doel is om tegelijkertijd te leren van expert-demonstraties (off-policy) en eigen interacties (on-policy).

Kerncomponenten:

• Leraar-Leerling Architectuur:
  • Een leraar ($\mu$) wordt getraind met een hoge kwaliteit, maar rekenkundig zware planner (MPPI) die dichte waypoints genereert. Deze leraar heeft toegang tot "privilege" informatie (zoals hoge resolutie kaarten).
  • Een leerling ($\pi_\theta$) wordt getraind om te navigeren met alleen spare waypoints (van een globale planner) en visuele input, zonder toegang tot de leraar's privilegiële data tijdens de deploy.
• De TADPO Loss Functie:
  De methode combineert de standaard PPO-loss met een nieuwe distillatie-loss ($L_{TAD}$) die alleen wordt berekend op rollouts van de leraar.
  • De update gebeurt alleen als de leraar beter presteert dan de verwachte return van de leerling ($\hat{\Delta}_t > 0$).
  • Er wordt een "clipping"-mechanisme toegepast op de kansverhouding ($\rho_t$) tussen de leerling en de leraar. Dit voorkomt dat de leerling te snel afwijkt van het gedrag van de leraar, maar staat wel toe om te exploreren buiten het bereik van de leraar als dat nodig is voor het doel.
  • Tijdens de update wordt de critic (waarde-functie) "bevroren" en alleen de actor en feature encoder worden bijgewerkt. Dit zorgt ervoor dat de waarde-functie gebaseerd blijft op de ervaringen van de leerling zelf, wat stabiliteit garandeert.
• Training Procedure:
  Het algoritme wisselt af tussen het sampleen van de leraar-buffer (voor distillatie) en de leerling-buffer (voor standaard PPO-exploratie). Dit gebeurt met een bepaalde waarschijnlijkheid $p$.

Systeemarchitectuur:

• End-to-End Visie: Het systeem gebruikt een hiërarchische aanpak. Een globale planner geeft sparse waypoints, en de RL-controller (TADPO) regelt de lage niveau besturing (gas en stuur) om deze waypoints te volgen en obstakels te ontwijken.
• Input: Proprioceptieve data (snelheid, helling, roll) en visuele input (stack van frames vanuit vooruit- en bovenaanzicht). In de simulatie wordt NatureCNN gebruikt; voor de real-world deploy wordt een bevroren DinoV2 (Vision Transformer) gebruikt als visuele backbone om de domein-kloof te overbruggen.

Belangrijkste Bijdragen

1. TADPO Algoritme: Een novel extensie van PPO die het leren van lange-horizon taken en moeilijke exploratie-problemen mogelijk maakt door gelijktijdig te leren van expert-demonstraties en eigen interacties.
2. End-to-End Off-Road Systeem: Een volledig visueel gebaseerd RL-systeem voor hoge snelheden, getest op extreme hellingen en terrein vol obstakels.
3. Eerste Full-Scale Deploy: Voor zover bekend is dit de eerste keer dat RL-beleidsstrategieën succesvol zijn ingezet op een volledig groot off-road voertuig (een 2-ton Sabercat) met zero-shot sim-to-real transfer. Dit betekent dat het model, volledig getraind in simulatie, direct in de echte wereld werkt zonder aanpassingen of fine-tuning.

Resultaten

Simulatie (BeamNG.tech):

• TADPO presteert aanzienlijk beter dan bestaande baselines zoals DAgger, standaard PPO, SAC en MPC-methoden (CEM, MPPI) onder real-time rekenbeperkingen.
• Success Rate (SR): TADPO bereikt een SR van ~75-85% in diverse scenario's (extreme hellingen, obstakels, hybride), terwijl andere real-time RL-methoden vaak faalden (0% SR) of zeer voorzichtig waren.
• Snelheid: TADPO behoudt een hoge gemiddelde snelheid (~5 m/s) terwijl het veilig navigeert, in tegenstelling tot andere methoden die snelheid moeten verlagen om veilig te blijven.

Real-World Evaluatie (Sabercat Voertuig):

• Zero-Shot Transfer: Het model werd getraind in BeamNG.tech en direct gedeployed op een Sabercat in Pittsburgh, PA, zonder enige fine-tuning op echte data.
• Prestaties:
  • Lange afstand / Hoge snelheid: De auto volgde waypoints over 800m met een gemiddelde snelheid van 3.41 m/s en een zeer lage cross-track error (0.45m).
  • Obstakelontwijkking: In een 120m baan met willekeurig geplaatste verkeersvaten (barrels) bereikte het systeem een succesrate van 71% met een gemiddelde snelheid van 2.29 m/s.
• Het systeem toonde vermogen om steile hellingen te beklimmen, obstakels te ontwijken en in bochten hoge snelheden te handhaven.

Betekenis en Conclusie

Dit paper is een mijlpaal in het veld van autonome off-road voertuigen. Het bewijst dat Reinforcement Learning, wanneer gecombineerd met een slimme distillatie-methode (TADPO) en moderne visuele foundation models (DinoV2), in staat is om complexe, ongestructureerde omgevingen te navigeren zonder expliciete dynamische modellen of gedetailleerde kaarten.

De succesvolle zero-shot sim-to-real transfer op een groot, fysiek voertuig lost een van de grootste knelpunten in RL voor robotica op: de hoge kosten en risico's van training in de echte wereld. TADPO biedt een robuust kader voor het ontwikkelen van autonome systemen die niet alleen "leren" maar ook "redeneren" over lange afstanden in onvoorspelbare omgevingen.