Technische Samenvatting: CoIRL-AD

1. Probleemstelling

End-to-end (E2E) autonome rijmodellen vertrouwen voornamelijk op Imitation Learning (IL), getraind om expert-demonstraties na te bootsen. Hoewel dit effectief is in veelvoorkomende scenario's, lijden deze modellen aan een gebrekkige generalisatie in 'long-tail' situaties waar expert-data schaars is. Kleine voorspellingsfouten kunnen zich in de loop van de tijd opstapelen, waardoor de agent in onbekende toestanden terechtkomt (distributionele verschuiving).

Reinforcement Learning (RL) biedt een potentiële oplossing door te leren van beloningssignalen in plaats van alleen demonstraties. Het toepassen van RL op real-world autonoom rijden in een offline setting (zonder interactieve simulators) brengt echter aanzienlijke uitdagingen met zich mee:

• Data Bias: Real-world datasets worden gedomineerd door bijna optimale expert-trajecten, wat zorgt voor beperkte dekking van suboptimale of alternatieve gedragen, wat het leren van waardeverschillen bemoeilijkt.
• Objectief Conflict: Het gezamenlijk optimaliseren van IL (behavior cloning) en RL (beloningsmaximalisatie) binnen één enkel beleid leidt vaak tot gradiëntconflicten.
• Model Bias: In offline settings kunnen wereldmodellen die getraind zijn op expert-data bevooroordeelde voorspellingen genereren voor out-of-distribution acties, wat leidt tot te optimistische waardeschattingen en instabiele training als ze voor RL-exploratie worden gebruikt.

Bestaande benaderingen vertrouwen ofwel op externe simulators (het probleem omzetten naar online RL) of gebruiken twee-fasen strategieën (pretrainen met IL, finetunen met RL) die gevoelig zijn voor instabiliteit bij offline real-world data.

2. Methodologie: CoIRL-AD

De auteurs stellen CoIRL-AD voor (Collaborative-Competitive Imitation-Reinforcement Learning), een framework dat IL en RL integreert onder een verenigd offline trainingsregime met behulp van een gedeeld Latent World Model.

Kernarchitectuur

Het framework maakt gebruik van een dual-policy architectuur bestaande uit twee afzonderlijke actors:

1. IL Actor: Geoptimaliseerd via behavior cloning (imitation loss) om expert-trajecten na te bootsen.
2. RL Actor: Geoptimaliseerd via reinforcement learning om cumulatieve beloningen te maximaliseren.
   Beide actors delen een perceptiemodule en een latent world model, maar worden apart bijgewerkt om imitation learning te isoleren van RL-exploratie-ruis.

Belangrijke Technische Componenten

A. Latent World Model & Backward Planning

• Latent World Model: In plaats van pixel-niveau generatie, opereert het model in de latente ruimte om toekomstige toestanden ($\hat{s}'$) te voorspellen gegeven de huidige staat ($s$) en een actiesequentie ($\tau_a$). Dit dient als een "reactieve simulator" voor de RL-actor om toekomstige rollouts te visualiseren.
• Backward Planning (Inverse Causaliteit): In tegenstelling tot standaard forward-causale planning, stellen de auteurs een backward planning strategie voor waarbij de $i$-de actie wordt geconditioneerd op huidige en toekomstige waypoint-features ($\pi_i(a_i | s_{w,i}, ..., s_{w,n})$). Deze "doel-naar-actie" redenering voorziet vroege acties van rijkere contextuele informatie, wat volgens de auteurs gunstig is voor het doel van de RL-actor om cumulatieve beloningen te maximaliseren.

B. RL Formulering voor Offline Data

• Group Sampling (Geïnspireerd door GRPO): Om de gebrekkige gedragsdiversiteit in door experts gedomineerde datasets aan te pakken, samplet de RL-actor $G$ actie-trajecten uit zijn stochastische beleid.
• Beloningsfunctie: Beloningen worden berekend met behulp van regelgebaseerde signalen afgeleid van dataset-annotaties (kaarten en bounding boxes), waaronder:
  • Imitation Reward: Nabijheid tot expert-acties.
  • Collision Reward: Vermijden van statische en dynamische obstakels.
• Advantage Estimation: Het framework gebruikt het latent world model om toekomstige toestanden te voorspellen voor de gesamplede trajecten. Een critic-netwerk schat de waarde van de huidige en geïmagineerde toekomstige toestanden. De advantage wordt berekend met behulp van een Z-score normalisatie van de totale beloning (inclusief gedisconteerde toekomstige waarde) binnen de groep.
• Stochastisch Beleid: De RL-actor geeft een Gaussische distributie voor acties uit om exploratie mogelijk te maken, met een "step-aware" mechanisme dat de traject-smoothness waarborgt door slechts één actie per sequentie stochastisch te maken terwijl anderen de modus volgen.

C. Competitief Dual-Policy Mechanisme

Om de instabiliteit van offline RL en de gradiëntconflicten van gezamenlijke optimalisatie op te lossen, nemen de twee actors deel aan een competitief leermechanisme:

• Periodieke Vergelijking: Elke $k$ iteraties wordt de prestatie (cumulatieve beloning) van de IL- en RL-actors vergeleken.
• Adaptieve Transfer:
  • Als de prestaties vergelijkbaar zijn, blijven beide ongewijzigd.
  • Als het verschil matig is, vindt een "soft merge" plaats waarbij kennis wordt overgedragen van de winnaar naar de verliezer.
  • Als het verschil groot is, worden de parameters van de verliezer direct vervangen door die van de winnaar.
• Rol: Dit mechanisme verankert de RL-actor aan expert-achtig rijgedrag (om catastrofale divergentie door world model bias te voorkomen) terwijl het de RL-actor toestaat om selectief voordelige exploratieve gedragen terug te geven aan de IL-actor.

3. Belangrijkste Bijdragen

1. Offline RL Framework voor E2E Driving: Een nieuwe aanpak om RL te integreren in end-to-end autonoom rijden zonder externe simulators, gebruikmakend van een latent world model dat getraind is op real-world data voor geïmageerde rollouts.
2. Ontkoppelde Competitieve Training: Een dual-policy framework dat IL en RL scheidt in afzonderlijke actors om gradiëntconflicten te vermijden, verbonden via een competitief mechanisme dat de training stabiliseert en kennisuitwisseling faciliteert.
3. Backward Planning Strategie: De introductie van inverse causale masking in de planning head, wat de RL-prestaties verbetert door het beleid af te stemmen op doelgerichte redenering.
4. Group Sampling voor Offline Data: Een adaptatie van group sampling (GRPO) om gedragsdiversiteit te genereren uit door experts gedomineerde datasets, wat effectieve waardeschatting mogelijk maakt.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op de nuScenes dataset.

• Hoofdbenchmarks: CoIRL-AD presteert consequent beter dan sterke IL-gebaseerde baselines (bijv. LAW) in zowel L2-verplaatsingsfout als botsingspercentages. Het bereikt de beste gecombineerde metriek ($L2 \cdot Col$) en behoudt een lage inferentie-latentie.
• Cross-City Generalisatie: Wanneer getraind op nuScenes-Singapore en getest op nuScense-Boston, demonstreerde CoIRL-AD een aanzienlijk hogere robuustheid (77% reductie in de $L2 \cdot Col$ metriek vergeleken met de baseline), toegeschreven aan de exploratiecapaciteiten van de RL-actor.
• Long-Tail Scenario's: Op subsets van data met hoge botsingspercentages of hoge L2-fouten (zeldzame/uitdagende gevallen), vertoonde CoIRL-AD substantiële verbeteringen ten opzichte van de baseline, terwijl de baseline daar moeite mee had.
• Ablatie Studies:
  • Ontkoppeling & Competitie: Alleen de ontkoppelde actors met het competitieve mechanisme verbeterden zowel nauwkeurigheid als veiligheid. Twee-fasen en loss-merging strategieën faalden of presteerden slechter.
  • World Model: Het verwijderen van het latent world model verslechterde de prestaties aanzienlijk, met name bij botsingsvermijding op de lange termijn.
  • Inverse Causaliteit: De backward planning strategie was specifiek voordelig voor de RL-actor; het toepassen ervan op pure IL verslechterde de prestaties, wat de specifieke bruikbaarheid voor beloningsmaximalisatie benadrukt.

5. Betekenis en Claims

Het artikel claimt dat CoIRL-AD aantoont dat reinforcement learning effectief kan zijn in het verbeteren van offline end-to-end autonome rij-systemen wanneer dit correct gestructureerd is.

• Stabiliteit boven Simulators: Door een geleerd latent world model te gebruiken in plaats van een externe simulator, vermijdt de methode de sim-to-real kloof en simulator-specifieke aannames.
• Oplossen van de Offline Uitdaging: Het competitieve dual-policy framework adresseert de specifieke instabiliteit van offline RL (veroorzaakt door world model bias en gebrek aan diverse data) door de IL-actor te gebruiken als een stabiliserende verankering.
• Gerichte Verbetering: De auteurs benadrukken dat RL de meest significante voordelen biedt in uitdagende, ondervertegenwoordigde en long-tail scenario's waar expert-demonstraties schaars zijn, terwijl de prestaties in standaard scenario's behouden blijven.
• Generaliseerbaarheid: De aanpak wordt gepresenteerd als een algemeen bruikbaar framework voor het combineren van imitation en reinforcement learning in embodied AI, wat een veelbelovende richting biedt voor het verbeteren van generalisatie zonder afhankelijk te zijn van interactieve simulatie.