Operating Within the Operational Design Domain: Zero-Shot Perception with Vision-Language Models

Sintesi Tecnica: Operare all'interno del Dominio di Progetto Operativo con Modelli Vision-Language a Zero-Shot

Enunciato del Problema
L'adozione diffusa dei Sistemi di Guida Autonoma (ADS) è limitata non solo dalle capacità, ma dalla necessità di sicurezza verificabile e conformità a rigorosi standard normativi. Un concetto centrale in queste normative è il Dominio di Progetto Operativo (ODD), che definisce le specifiche condizioni ambientali e operative in cui un ADS è destinato a funzionare in sicurezza. Garantire la conformità all'ODD richiede sistemi di percezione capaci di rilevare una vasta gamma di elementi ambientali statici e transitori (ad esempio, segnaletica stradale, condizioni meteorologiche, cartelli e stati della superficie). Gli approcci tradizionali basati su modelli di percezione specifici per compito, sviluppati manualmente, sono inefficienti per la natura diversificata ed evolutiva delle tassonomie ODD. Esiste un bisogno critico di un sistema di percezione flessibile e adattabile in grado di riconoscere elementi ODD complessi senza un addestramento estensivo, in particolare per condizioni rare o in evoluzione che è poco pratico mappare preventivamente in modo esaustivo.

Metodologia
Gli autori investigano il potenziale dei Modelli Vision-Language (VLM) di funzionare come "sensori ODD a zero-shot". Lo studio impiega un disegno sperimentale multiphase:

1. Costruzione del Dataset: Gli autori hanno curato un dataset personalizzato, ODD-TAX-232, composto da 2.320 immagini che rappresentano 232 concetti ODD distinti. Questi concetti sono suddivisi in cinque gruppi: Segnaletica Stradale, Segnaletica Orizzontale, Elementi del Paesaggio, Condizioni Meteorologiche e Condizioni di Attivazione. Il dataset si concentra su caratteristiche ambientali fini rilevanti per le infrastrutture europee, del Regno Unito e degli Stati Uniti, escludendo oggetti in movimento per isolare le capacità di percezione statica.
2. Ottimizzazione a Zero-Shot: Prima di confrontare i modelli, gli autori hanno condotto uno studio di ablazione sul modello GPT-4o per identificare le strategie di prompting ottimali. Hanno testato vari approcci, tra cui:
   • Baseline: Liste tassonomiche piatte e alias di etichette.
   • Orientato al Processo: Auto-raffinamento, pipeline a due stadi (ad esempio, classificazione dipendente dalla strada) e Decomposizione della Persona (assegnazione di ruoli specializzati come "Esperto Meteo" o "Esperto Segnaletica").
   • Miglioramenti del Ragionamento: Prompting Chain-of-Thought (CoT) per imporre passaggi intermedi di ragionamento.
   • Generazione Aumentata dal Recupero (RAG): Integrazione di basi di conoscenza esterne per ridurre l'utilizzo di token.
   • Concatenazione: Pipeline multistadio in cui gli output di una fase informano la successiva.
3. Valutazione del Modello: Utilizzando la strategia di prompting migliore (Persona + CoT), gli autori hanno valutato quattro VLM:
   • Generici Closed-source: GPT-4o e Gemini 2.5 Pro.
   • Generici Open-source: Llama 4 Maverick.
   • Specializzati Open-source: Molmo-72B.
4. Compiti: La valutazione ha coperto due compiti:
   • Classificazione: Determinare se un'immagine contiene un specifico elemento ODD ground-truth (misurato tramite Recall).
   • Rilevamento: Localizzare l'elemento all'interno dell'immagine utilizzando coordinate di bounding box (misurato tramite Precisione, F1-score e accuratezza spaziale tramite Errore L2 Medio). Ciò è stato testato sia sul dataset personalizzato ODD-TAX-232 che sul dataset Mapillary Vistas (che forniva annotazioni bounding box).

Contributi Chiave
Il paper contribuisce con tre artefatti principali al settore:

1. Studio Empirico: Un'analisi completa della classificazione e del rilevamento ODD a zero-shot su quattro VLM, inclusa un'analisi dettagliata dei fallimenti e dei modelli di errore comuni.
2. Analisi di Ottimizzazione: Un'ablazione delle strategie di ottimizzazione a zero-shot, fornendo una panoramica costo-prestazioni (budget di token vs recall) e identificando che il prompting Chain-of-Thought ancorato alla definizione con decomposizione della persona produce i migliori risultati.
3. Risorse Aperte: Una suite pubblicamente disponibile di template di prompting riutilizzabili, linee guida di adattamento e il dataset ODD-TAX-232 per facilitare ricerche e estensioni future.

Risultati

• Strategia di Prompting: La strategia Persona + CoT ha ottenuto la recall più alta (0,73) su ODD-TAX-232, superando significativamente la baseline (0,40) e altre strategie come RAG o pipeline a cascata (che spesso riducevano le prestazioni a causa della propagazione degli errori). Tuttavia, queste elevate prestazioni sono state accompagnate da un costo sostanziale in termini di token (~25.000 token per campione).
• Prestazioni del Modello (Classificazione): I modelli closed-source (GPT-4o e Gemini 2.5 Pro) hanno dimostrato prestazioni superiori (Recall ~0,72–0,73) rispetto alle alternative open-source (Llama 4 Maverick a 0,67, Molmo-72B a 0,45). Sebbene GPT-4o e Gemini 2.5 Pro fossero comparabili nel complesso, GPT-4o ha mostrato un vantaggio nel riconoscimento di segnaletica e condizioni meteorologiche, mentre Gemini ha eccelso nella segnaletica orizzontale e nel paesaggio.
• Prestazioni del Modello (Rilevamento): Sul dataset Mapillary Vistas, GPT-4o ha raggiunto il miglior equilibrio tra precisione (0,82) e recall (0,922), risultando nel F1-score più alto (0,87). Gemini 2.5 Pro ha avuto la recall più alta (0,977) ma una precisione inferiore. Llama 4 Maverick ha dimostrato la massima accuratezza spaziale (errore L2 più basso) ma è rimasto indietro nel F1-score complessivo. Molmo-72B ha performato male in precisione e F1-score.
• Discrepanza del Dataset: Tutti i modelli hanno performato significativamente meglio su Mapillary Vistas rispetto a ODD-TAX-232. Gli autori attribuiscono questo fatto alle categorie più grossolane e comuni in Mapillary rispetto ai concetti fini, rari e critici per la sicurezza in ODD-TAX-232, che sono meno frequenti nei dati di pre-addestramento.

Significato e Affermazioni
Gli autori concludono che, sebbene i VLM mostrino un potenziale promettente per il riconoscimento ODD, una recall a zero-shot di circa 0,73 è insufficiente per il dispiegamento autonomo in produzione a bordo in applicazioni critiche per la sicurezza, dove violazioni ODD non rilevate potrebbero portare a un'attivazione del sistema non sicura.

Invece, il paper posiziona i VLM come strumenti altamente fattibili per applicazioni offline, quali:

• Audit ODD pre-percorso.
• Reporting di conformità normativa.
• Innesco di simulazioni.

In questi contesti, il costo delle mancate rilevazioni è inferiore e la supervisione umana può compensare gli errori residui. Lo studio sottolinea che la progettazione dei prompt (specificamente CoT con decomposizione della persona) è critica quanto la selezione del modello. Inoltre, gli autori sostengono che le metriche aggregate su dataset generali come Mapillary Vistas possono sovrastimare la prontezza per la percezione ODD; sono necessarie valutazioni consapevoli della tassonomia, focalizzate su elementi fini e critici per la sicurezza, per una valutazione accurata. Il lavoro apre la strada a sistemi di percezione basati su ODD trasparenti, efficaci e adattabili, a condizione che vengano utilizzati entro appropriate frontiere di sicurezza.