On-Policy Distillation of Language Models for Autonomous Vehicle Motion Planning

1. Il Problema

La pianificazione del movimento è una funzione fondamentale per i veicoli autonomi, richiedendo la generazione di traiettorie sicure, confortevoli e orientate agli obiettivi in ambienti dinamici complessi. Sebbene i recenti Large Language Models (LLM) abbiano dimostrato un potenziale notevole in questo settore (riformulando la previsione della traiettoria come un problema di generazione del linguaggio, come nel framework GPT-Driver), il loro impiego pratico è ostacolato da vincoli computazionali.
I modelli LLM capaci sono troppo grandi per essere eseguiti in tempo reale sull'hardware di bordo dei veicoli. La soluzione naturale è la distillazione della conoscenza (trasferire la conoscenza da un modello "insegnante" grande a un modello "studente" più piccolo). Tuttavia, la distillazione supervisionata standard soffre di un mismatch tra distribuzione di addestramento e inferenza: lo studente viene addestrato su sequenze perfette (ground truth o generate dal teacher), ma durante l'inferenza deve basarsi sui propri token generati, che possono contenere errori. In un contesto sequenziale come la pianificazione di traiettorie, un errore iniziale può propagarsi e degradare l'intera traiettoria.

2. Metodologia

Gli autori propongono di applicare la distillazione della conoscenza on-policy (Generalized Knowledge Distillation - GKD) per risolvere il problema del mismatch distributivo. Lo studio si basa sul framework GPT-Driver, che rappresenta le scene di guida come prompt linguistici e genera waypoint con ragionamento "chain-of-thought".

L'approccio sperimentale prevede:

• Modello Insegnante: Un modello Qwen3-8B addestrato tramite Supervised Fine-Tuning (SFT) sul dataset nuScenes (derivato da GPT-Driver).
• Modello Studente: Un modello più piccolo, Qwen3-1.7B (5 volte più piccolo dell'insegnante).
• Paradigmi di Addestramento Confrontati:
  1. GKD (On-Policy Generalized Knowledge Distillation): Lo studente viene addestrato sulle proprie sequenze generate (on-policy). Utilizza le distribuzioni di probabilità a livello di token del teacher come supervisione densa. L'obiettivo minimizza una divergenza (Jensen-Shannon Divergence) tra la distribuzione completa del teacher e quella dello studente per ogni token, fornendo un segnale di feedback ricco su tutte le possibili continuazioni, non solo su quella campionata.
  2. Baseline RL (Reinforcement Learning): Un approccio alternativo che utilizza le log-probabilità del teacher come segnali di ricompensa densa (per-token) all'interno di un framework di policy gradient. In questo caso, lo studente riceve un feedback scalare solo sul token effettivamente campionato, perdendo le informazioni sulle alternative plausibili.

3. Contributi Chiave

1. Compressione Efficace: Dimostrazione che la distillazione on-policy può comprimere un pianificatore basato su LLM, raggiungendo prestazioni vicine a quelle del teacher con un modello 5 volte più piccolo (1.7B vs 8B parametri).
2. Confronto Controllato: Fornitura di un confronto rigoroso e controllato tra GKD e un baseline RL guidato dal teacher, isolando l'effetto dell'algoritmo di apprendimento mantenendo invariati tutti gli altri fattori (dataset, architettura, iperparametri).
3. Superiorità della GKD: Evidenza empirica che la GKD supera significativamente il baseline RL su tutte le metriche, tracciando da vicino le prestazioni del teacher sia in termini di accuratezza della traiettoria che di evitamento delle collisioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark di validazione nuScenes (5.119 frame).

• Accuratezza della Traiettoria (Errore L2):

  • Il modello Teacher ottiene un errore medio L2 (STP-3) di 0.355 m.
  • Lo studente GKD raggiunge 0.373 m, con un gap di prestazione di soli il 5-6% rispetto al teacher, nonostante la riduzione dimensionale.
  • Lo studente RL ottiene 0.579 m, risultando il 55% peggiore dello studente GKD.
  • L'errore del metodo RL tende ad accumularsi più rapidamente all'aumentare dell'orizzonte temporale (3 secondi).

• Tasso di Collisione:

  • Il teacher ha un tasso di collisione medio dello 0.101%.
  • Lo studente GKD ottiene 0.138%, dimostrando una sicurezza molto simile.
  • Lo studente RL ha un tasso significativamente più alto (0.363%), circa 2.6 volte peggio della GKD.

• Affidabilità del Formato: Entrambi gli studenti addestrati hanno prodotto uno 0% di errori di formato, confermando che entrambi gli algoritmi riescono a imparare la struttura complessa dell'output (ragionamento + coordinate), sebbene la GKD lo faccia con maggiore accuratezza geometrica.

5. Significato e Conclusioni

Il paper stabilisce che la distillazione on-policy è un approccio pratico e fondato teoricamente per il deployment di pianificatori basati su LLM in sistemi di guida autonoma con risorse limitate.

• Perché la GKD funziona meglio: Nel contesto della generazione di coordinate, la supervisione a distribuzione completa della GKD è cruciale. Il teacher fornisce informazioni su quali caratteri (cifre, punti decimali) sono plausibili in un dato contesto fisico. Il baseline RL, fornendo un feedback solo sul token campionato, perde queste informazioni sulle alternative valide, portando a traiettorie meno coerenti fisicamente e a un'instabilità nell'addestramento (il modello RL ha mostrato il picco di prestazioni già all'epoca 1, mentre la GKD ha migliorato le prestazioni fino all'epoca 3).
• Impatto Pratico: I risultati suggeriscono che è possibile implementare pianificatori basati su LLM di alta qualità su hardware automobilistico embedded riducendo drasticamente la dimensione del modello senza compromettere la sicurezza o l'accuratezza, risolvendo il problema del train-inference distribution mismatch che affligge i metodi supervisionati tradizionali.

In sintesi, il lavoro dimostra che per compiti sequenziali critici per la sicurezza come la pianificazione del movimento, la ricchezza del segnale di supervisione (distribuzione completa vs. reward scalare) è determinante per il successo della distillazione.