Riepilogo Tecnico: DriveJudge: Ripensare la Valutazione della Guida Autonoma con i Modelli Vision-Language

1. Definizione del Problema

Il campo della guida autonoma si sta spostando sempre più verso l'apprendimento di policy end-to-end, che performano bene in scenari nominali ma faticano con eventi non nominali e a "coda lunga" (long-tail). Un collo di bottiglia critico per far avanzare queste policy è la mancanza di metriche di valutazione affidabili, interpretabili e consapevoli del contesto. I paradigmi di valutazione esistenti soffrono di significativi limiti:

• Metriche basate su regole (es. EPDMS): Sebbene interpretabili e fondate sulla fisica, sono intrinsecamente prive di consapevolezza del contesto. Applicano regole fisse in modo uniforme, penalizzando spesso comportamenti ragionevoli in scenari complessi (ad esempio, il rilassamento temporaneo dei vincoli di mantenimento della corsia per aggirare un ostacolo).
• Valutazioni basate su Modelli Vision-Language (VLM): Sebbene consapevoli del contesto, spesso si affidano a confronti di preferenza ambigui o a previsioni di punteggio dirette. Questi approcci mancano di una precisa base fisica e spaziale, rendendoli inaffidabili per valutazioni di sicurezza granulari e difficili da scomporre in specifici aspetti della guida (sicurezza, comfort, progresso).

La sfida centrale è sviluppare un framework di valutazione che combini la comprensione contestuale dei VLM con la precisione spaziale e il fondamento fisico delle metriche deterministiche basate su regole.

2. Metodologia: DriveJudge

Gli autori propongono DriveJudge, un agente di valutazione guidato da VLM e fondato su regole. A differenza dei lavori precedenti che si affidano esclusivamente ai giudizi dei VLM, DriveJudge formula la valutazione della guida come un processo decisionale agentico.

2.1 Architettura Core

DriveJudge opera interpretando il contesto della scena ambientale e invocando selettivamente funzioni di regole deterministiche.

• Input: L'agente riceve input multimodali, inclusi immagini della telecamera frontale e visualizzazioni Bird's-Eye View (BEV) contenenti box degli oggetti, mappe delle corsie e traiettorie previste.
• Ragionamento Contestuale: Un VLM (specificamente Qwen-3) analizza la scena per determinare quali regole di valutazione siano rilevanti. Produce un vettore di gating $\hat{g}_i$, dove ogni elemento indica la rilevanza di una specifica regola (ad esempio, Mantenimento della Corsia, Tempo di Collisione) per l'attuale stato di guida.
• Invocazione delle Regole: In base al vettore di gating, il sistema esegue selettivamente funzioni di regole deterministiche ($f^m$) da un set predefinito (ad esempio, regole EPDMS che coprono sicurezza, conformità alla corsia, progresso e comfort).
• Aggregazione del Punteggio: Il punteggio finale di guida viene calcolato aggregando gli output delle regole selezionate, pesandoli in base alla loro rilevanza. Ciò consente al sistema di ignorare vincoli irrilevanti (ad esempio, ignorare le penalità di mantenimento della corsia quando un leggero spostamento è necessario per evitare un ostacolo).

2.2 Pipeline di Addestramento

Per addestrare e validare DriveJudge, gli autori hanno curato un dataset su larga scala e impiegato una pipeline di post-addestramento in due fasi:

1. Curatela del Dataset: Un dataset di 33.577 campioni di guida impegnativi è stato creato dal dataset PhysicalAI-Autonomous-Vehicles. Si concentra su scenari a "coda lunga" dove la guida umana può violare regole specifiche pur rimanendo "ragionevole" nel contesto. Gli annotatori umani hanno etichettato se il comportamento fosse ragionevole e hanno fornito le relative giustificazioni.
2. Supervised Fine-Tuning (SFT): Il modello viene addestrato per prevedere il corretto vettore di gating (quali regole invocare) basandosi sulle annotazioni umane. La verità di base (ground truth) per l'invocazione delle regole deriva dall'identificazione delle regole che penalizzerebbero erroneamente una traiettoria umana etichettata come "ragionevole".
3. Reinforcement Learning (RL): Dopo l'SFT, il modello subisce un'ottimizzazione tramite RL (utilizzando la Group Relative Policy Optimization, GRPO) per migliorare le prestazioni sui compiti a valle, specificamente la selezione della preferenza della traiettoria. La ricompensa si basa sul fatto che il ranking delle traiettorie fornito dal modello sia in linea con le preferità umane.

3. Benchmark di Valutazione

Il paper introduce due compiti di benchmark allineati agli umani per valutare la qualità delle metriche di guida stesse:

1. Classificazione della Qualità di Guida: La metrica deve distinguere tra comportamenti di guida ragionevoli e irragionevoli (classificazione binaria). Le prestazioni sono misurate tramite Accuratezza, AUC e Average Precision (AP).
2. Selezione della Preferenza della Traiettoria: Data una coppia di traiettorie candidate, la metrica deve assegnare un punteggio più alto a quella preferita dagli umani. Le prestazioni sono misurate tramite l'accuratezza di selezione.

4. Risultati Chiave

Gli esperimenti dimostrano che DriveJudge supera significativamente i baseline esistenti in entrambi i compiti di benchmark:

• Classificazione della Qualità di Guida: DriveJudge (modello da 8B) raggiunge un AUC di 78,90, superando la metrica deterministica basata su regole EPDMS di +21,23 AUC. Mostra anche un enorme miglioramento nel rilevamento dei fallimenti (AP-), passando da 26,34 (EPDMS) a 59,04.
• Selezione della Preferenza della Traiettoria: DriveJudge raggiunge l'82,83% di accuratezza, superando l'immediato concorrente basato su VLM, DriveCritic (76,33%), e altri modelli come GPT-5 e Gemini.
• Studi di Ablazione:
  • VLM + Strumenti: Combinare il ragionamento VLM con l'invocazione di strumenti basati su regole è essenziale. Il punteggio diretto del VLM (senza strumenti) o gli agenti non-VLM performano significativamente peggio.
  • SFT + RL: L'apprendimento per rinforzo produce guadagni sostanziali solo quando inizializzato da un modello sottoposto a Supervised Fine-Tuning. Partire dall'RL da un modello zero-shot risulta in un miglioramento trascurabile, evidenziando la necessità dell'SFT per ancorare il modello alla struttura del compito.
  • Scaling: Le prestazioni dell'SFT scalano linearmente con la dimensione dei dati, mentre l'RL mostra rendimenti decrescenti dopo un certo punto, suggerendo la necessità di dati di preferenza di alta qualità piuttosto che di semplice volume.

5. Significato e Claim

Il paper sostiene che DriveJudge stabilisca un nuovo standard per la valutazione della guida interpretabile e precisa, colmando il divario tra ragionamento semantico e fondamento fisico.

• Consapevolezza del Contesto: Affronta con successo il problema della "coda lunga" dove le regole rigide falliscono, permettendo la valutazione di manovre che richiedono un temporaneo rilassamento delle regole.
• Interpretabilità: Invocando esplicitamente le regole, il processo di valutazione è trasparente e scomponibile, a differenza del punteggio black-box dei VLM.
• Benchmarking delle Policy: Quando applicato a modelli di pianificazione allo stato dell'arte (es. Hydra-MDP, DriveSuprim), DriveJudge assegna punteggi più alti rispetto a EPDMS, suggerendo che le attuali policy potrebbero essere più capaci di quanto indichino le metriche convenzionali. Indica inoltre che gli attuali benchmark (come NAVSIM) potrebbero aver raggiunto la saturazione, rendendo necessari metodi di valutazione più sfumati.

Gli autori concludono che DriveJudge fornisce una base più solida per la futura ricerca sulla guida autonoma, in particolare per l'addestramento di policy in scenari complessi e a coda lunga dove le metriche tradizionali sono insufficienti.