TrafficAlign: Aligning Large Language Models for Traffic Scenario Generation

Sintesi Tecnica: TrafficAlign

Problematica

Sebbene i grandi modelli linguistici (LLM) siano stati esplorati per la generazione di scenari di traffico per testare i sistemi di guida autonoma (AD), gli approcci attuali affrontano limitazioni significative. Gli LLM pre-addestrati spesso mancano di sufficienti conoscenze specifiche del dominio, portando alla generazione di scenari omogenei che non riescono ad allinearsi con le distribuzioni del traffico reale, in particolare in contesti geografici specifici (ad esempio, grandi città rispetto a regioni montuose). I metodi esistenti che si affidano a descrizioni manuali in linguaggio naturale sono laboriosi e non scalabili, mentre gli approcci automatizzati come ChatScene, che interrogano direttamente gli LLM, faticano a catturare caratteristiche del traffico fini e specifiche della località. Di conseguenza, è necessario un framework automatizzato in grado di sintetizzare scenari di traffico realistici e specifici per regione e di allineare gli LLM con le effettive distribuzioni del traffico del mondo reale per migliorare sia il testing che l'addestramento dei modelli AD.

Metodologia

Il documento propone TrafficAlign, un framework automatizzato progettato per sintetizzare, validare e allineare gli LLM con scenari di traffico reali derivati da video di guida. La pipeline consiste in tre fasi primarie:

1. Sintesi dei Dati

TrafficAlign utilizza video di guida reali come fonte primaria di dati per catturare la distribuzione sottostante del traffico nelle regioni target.

• Raccolta Video: Il sistema campiona fotogrammi da diversi video di guida (ad esempio, da YouTube) che coprono varie regioni geografiche, inclusi aree metropolitane, parchi nazionali, piccole città e località internazionali.
• Estrazione degli Scenari: Un LLM multimodale (specificamente GPT-4.1 nano) viene impiegato per analizzare frame video selezionati. Utilizzando una strategia di prompt compositiva (che incorpora role-playing, ragionamento chain-of-thought e few-shot learning), l'LLM genera descrizioni in linguaggio naturale degli scenari di traffico. Queste descrizioni coprono la rete stradale, il contesto ambientale (meteo, ora del giorno) e il comportamento/posizione di tutti gli attori (veicolo ego, NPC, pedoni).

2. Validazione dei Dati

Per garantire la qualità e la validità dei dati sintetizzati, TrafficAlign impiega un ciclo di validazione rigoroso:

• Traduzione in DSL: Le descrizioni in linguaggio naturale vengono tradotte in una rappresentazione formale di un linguaggio specifico del dominio (DSL). Questa conversione è eseguita da un LLM (GPT-5) che agisce come esperto di traffico, guidato da una grammatica specifica.
• Controllo Sintattico e Semantico: Il sistema eseglie controlli sintattici per garantire che il DSL sia ben formato. Successivamente, conduce una validazione semantica per verificare che gli attributi essenziali (ad esempio, ora del giorno, meteo, comportamenti degli attori) siano presenti.
• Auto-raffinamento: Se uno scenario viene identificato come semanticamente incompleto ma recuperabile, il sistema appone messaggi diagnostici al prompt e richiede all'estrattore di scenari di rigenerare la descrizione. I frame irrilevanti (ad esempio, titoli o schermate) vengono scartati.

3. Allineamento dell'LLM

Una volta validati, le descrizioni degli scenari sintetizzati vengono utilizzate per allineare l'LLM con le distribuzioni del traffico reale.

• Fine-Tuning: Il framework esegue un fine-tuning supervisionato standard (SFT) su un modello generatore (Llama-3.2-3B-Instruct) utilizzando le descrizioni degli scenari validate.
• Tuning Efficiente dei Parametri: Il processo utilizza la Low-Rank Adaptation (LoRA) applicata ai layer di attenzione e MLP per adattare efficientemente il modello.
• Output: L'LLM allineato risultante può essere interrogato per generare descrizioni di scenari di traffico che siano statisticamente coerenti con le distribuzioni del traffico del mondo reale della regione target.

Contributi Chiave

1. Proposta di Framework: L'introduzione di TrafficAlign, una pipeline automatizzata che sintetizza scenari di traffico da video reali, li valida tramite traduzione in DSL e allinea gli LLM con queste distribuzioni.
2. Efficacia del Testing: Dimostrazione che gli scenari generati da TrafficAlign sono significativamente più efficaci nel sottoporre a stress-test i modelli di guida autonoma rispetto ai baseline allo stato dell'arte.
3. Miglioramento dell'Addestramento: Evidenza che il fine-tuning dei modelli di guida su scenari generati da TrafficAlign migliora significativamente la loro sicurezza e robustezza.
4. Allineamento Regionale: Uno studio qualitativo che mostra come il framework riesca a catturare e replicare con successo le distribuzioni del traffico attraverso regioni geograficamente diverse.

Risultati Sperimentali

Gli autori hanno valutato TrafficAlign contro cinque baseline (inclusi ChatScene, metodi basati su avversari e metodi basati su regole) e cinque baseline di LLM non allineati utilizzando tre modelli di guida autonoma (PPO, SAC, TD3) all'interno della piattaforma SafeBench e del simulatore CARLA.

• Efficacia del Testing: Gli scenari generati da TrafficAlign hanno rivelato fino al 10,8% in più di collisioni in media tra i tre modelli di guida rispetto alla baseline più forte (ChatScene). In termini di punteggio complessivo, TrafficAlign ha indotto una riduzione relativa dal 5,0% al 35,6%, indicando che genera scenari più impegnativi e critici per la sicurezza.
• Miglioramento dell'Addestramento: Quando i modelli di guida sono stati sottoposti a fine-tuning su scenari generati da TrafficAlign, il tasso di collisioni è diminuito del 36,1% rispetto ai modelli originali pre-fine-tuning. Questo miglioramento è stato superiore al fine-tuning con scenari della baseline ChatScene, che ha mostrato una riduzione minore dei tassi di collisione.
• Allineamento della Distribuzione: L'analisi qualitativa tramite visualizzazione UMAP degli embedding degli scenari ha dimostrato che gli scenari generati da TrafficAlign si co-localizzano e si sovrappongono significativamente ai cluster del traffico reale. Al contrario, le baseline di LLM non allineati formano cluster distinti e spostati con una sovrapposizione minima con i dati reali.

Significato e Rivendicazioni

Il documento afferma che TrafficAlign colma il divario critico tra la conoscenza generale degli LLM e le specifiche distribuzioni del traffico del mondo reale. Automatizzando l'estrazione di scenari dai video e allineando gli LLM attraverso un ciclo di validazione, il framework consente:

• Un Testing più Rigoroso: La capacità di generare scenari diversificati e specifici per regione che espongono le vulnerabilità di sicurezza nei modelli AD in modo più efficace rispetto ai metodi attuali.
• Miglioramento Mirato del Modello: La capacità di utilizzare questi scenari realistici per il fine-tuning dei modelli AD, ottenendo riduzioni sostanziali dei tassi di collisione e migliorando le prestazioni complessive di guida.
• Scalabilità: Un passaggio dal design manuale di scenari laborioso verso un approccio automatizzato e basato sui dati che può adattarsi a vari contesti geografici.

Gli autori concludono che TrafficAlign facilita la costruzione automatica di benchmark di scenari di sicurezza del traffico, offrendo una via per il testing costante e il miglioramento mirato dei sistemi di guida autonoma.