On-Policy Distillation of Language Models for Autonomous Vehicle Motion Planning

Probleemstelling

Grote Taalmodellen (LLMs) tonen veelbelovende resultaten voor bewegingsplanning in autonoom rijden door trajectvoorspelling te herformuleren als een taalgeneratieprobleem (bijv. het genereren van waypoints als tekst). Echter, het implementeren van deze krachtige LLMs in de beperkte hardware van voertuigen (onboard-systemen) is een fundamentele uitdaging vanwege de hoge inferentiekosten en het grote geheugenverbruik.

Een natuurlijke oplossing is kennisdistillatie: het trainen van een kleiner "student"-model om het gedrag van een groot "docent"-model na te bootsen. De traditionele aanpak (supervised distillation) lijdt echter onder een mismatch tussen trainings- en inferentieverdeling. Omdat het student-model tijdens het trainen op perfecte (docent-gegenereerde) sequenties wordt getraind, maar tijdens het gebruik op zijn eigen (mogelijk foutieve) voorspellingen moet vertrouwen, kunnen kleine fouten in vroege waypoints zich versterken en de hele trajectvoorspelling onbruikbaar maken. Dit is kritiek voor bewegingsplanning, waar fysieke consistentie en veiligheid essentieel zijn.

Methodologie

De auteurs onderzoeken hoe men bewegingsplanningskennis effectief kan overdragen van een groot docent-LLM naar een kleiner, deploybaar student-model binnen het GPT-Driver-kader. In dit kader worden rij-scènes vertaald naar taalprompts en genereert het model waypoints-trajecten met een "chain-of-thought" (redenatie) trace.

De studie vergelijkt twee trainingsparadigma's voor het student-model (Qwen3-1.7B) tegenover een docent-model (Qwen3-8B):

1. On-Policy Generalized Knowledge Distillation (GKD):

   • Dit is de voorgestelde hoofdmethodiek. Het student-model wordt getraind op zijn eigen gegenereerde sequenties (on-policy).
   • In plaats van alleen het juiste antwoord te leren, krijgt het student-model dichte feedback op token-niveau van de docent. De docent's volledige kansverdeling over het vocabulaire wordt gebruikt als supervisie voor de tokens die het student-model heeft gegenereerd.
   • Er wordt gebruikgemaakt van de generalized Jensen-Shannon divergence (JSD) om de afstand tussen de docent- en student-verdelingen te minimaliseren. Dit zorgt voor een gebalanceerde leercurve die zowel kwaliteit als diversiteit behoudt.
   • Belangrijk: De gradienten worden niet teruggepropageerd via het steekproefproces van het student-model (stop-gradient), wat zorgt voor stabielere training.

2. Dense-Feedback Reinforcement Learning (RL) Baseline:

   • Als vergelijkingspunt wordt een RL-aanpak gebruikt waarbij de log-kansen van de docent worden gebruikt als dichte beloningssignalen per token.
   • Hierbij krijgt het student-model feedback alleen voor het specifieke token dat het heeft gekozen (een scalair signaal), in plaats van de volledige verdeling van de docent. Dit is vergelijkbaar met het gebruik van een "advantage"-functie in policy gradient methoden.

Data en Setup:

• Dataset: nuScenes (verwerkt via GPT-Driver), met prompts die waarnemingen en ego-toestanden vertalen naar natuurlijke taal.
• Output: Het model genereert een gestructureerde output met: (i) opmerkelijke objecten, (ii) potentiële effecten, (iii) meta-actie (bijv. "draai rechts"), en (iv) het numerieke traject (6 waypoints).
• Hardware: Training uitgevoerd op 8 NVIDIA H200 GPU's.

Belangrijkste Bijdragen

1. Effectieve compressie: Demonstratie dat on-policy distillatie een LLM-gebaseerde planner succesvol kan comprimeren met een factor 5 (van 8B naar 1.7B parameters) terwijl de prestaties dicht bij het docent-niveau blijven.
2. Gestuurde vergelijking: Een eerlijke, gecontroleerde vergelijking tussen GKD (volledige verdelingsovereenkomst) en een RL-baseline (gescaldeerd token-beloning), waarbij alle andere factoren identiek zijn gehouden.
3. Prestatie en Veiligheid: Het aantonen dat de GKD-student niet alleen nauwkeuriger is, maar ook aanzienlijk veiliger (minder botsingen) presteert dan de RL-baseline, en de docent nauwkeurig volgt op zowel trajectnauwkeurigheid als botsingsvermijding.

Resultaten

De experimenten op het nuScenes-validatie-set (5.119 frames) tonen de volgende resultaten:

• Trajectnauwkeurigheid (L2 Error):

  • De GKD-student bereikt een gemiddelde L2-fout van 0,373 m (STP-3), slechts 5% hoger dan de docent (0,355 m).
  • De RL-student presteert aanzienlijk slechter met 0,579 m, wat 55% slechter is dan de GKD-student.
  • De fout van de RL-student neemt sterker toe naarmate het tijdsvenster langer wordt (compounding errors), wat wijst op een gebrek aan stabiliteit in langere sequenties.

• Veiligheid (Collision Rate):

  • De docent heeft een botsingspercentage van 0,101%.
  • De GKD-student volgt hier dichtbij met 0,138%.
  • De RL-student heeft een veel hoger percentage van 0,363% (2,6x slechter dan GKD).

• Format Betrouwbaarheid:

  • Beide student-modellen genereren 0% formatfouten, wat aantoont dat ze de complexe gestructureerde output (redenatie + coördinaten) correct hebben geleerd.

• Kwalitatieve Analyse:

  • In visuele vergelijkingen (bijv. een moeilijke bocht) blijft de GKD-student dichter bij het grondwaarheidstraject dan de RL-student, hoewel beide de bocht niet perfect uitvoeren. De RL-student vertoont grotere afwijkingen.

Betekenis en Conclusie

De studie concludeert dat on-policy distillatie (GKD) een principieel en effectieve aanpak is voor het implementeren van LLM-gebaseerde planners in autonoom rijden.

• Superioriteit van GKD: De volledige verdelingsfeedback van GKD is superieur aan de scalare token-feedback van RL, vooral bij het genereren van coördinaten waar de docent's verdeling impliciete kennis bevat over fysiek haalbare voertuigdynamiek.
• Stabiliteit: GKD toont stabielere trainingsdynamiek (verbetering tot epoch 3) in tegenstelling tot RL, dat vaak overfitting vertoont (beste prestatie bij epoch 1).
• Praktische Toepasbaarheid: Met een compressie van 5x en slechts een minimale degradatie in prestaties, biedt GKD een haalbare weg om krachtige, interpreteerbare planners te draaien op de beperkte rekenkracht van embedded voertuigsystemen.

De auteurs suggereren toekomstig werk gericht op gesloten-lus simulaties, het integreren van vectoriële kaartgegevens en het onderzoeken van de verhouding tussen docent- en student-capaciteit.