VLM-VPI: A Vision-Language Reasoning Framework for Improving Automated Vehicle-Pedestrian Interactions

Riassunto Tecnico: VLM-VPI

1. Il Problema (Problem Statement)

I sistemi di guida autonoma (AV) attuali si basano prevalentemente su segnali geometrici e cinematici (posizione, velocità, traiettoria) per prevedere il comportamento dei pedoni. Tuttavia, questa architettura presenta tre limiti critici:

• Mancanza di ragionamento semantico: I sistemi faticano a interpretare l'intento sociale (es. un pedone che esita o stabilisce un contatto visivo) prima che questo si traduca in un movimento fisico rilevabile.
• Inefficienza decisionale: L'incapacità di distinguere tra pedoni che intendono cedere il passo (yielding) e quelli che non lo faranno porta a frenate improvvise e non necessarie, disturbando il flusso del traffico.
• Cecità demografica: I modelli attuali applicano margini di sicurezza uniformi, ignorando che i rischi e i pattern comportamentali variano sistematicamente con l'età (es. l'imprevedibilità dei bambini o la mobilità ridotta degli anziani).

2. Metodologia (Methodology)

Il framework proposto, VLM-VPI, introduce un livello di ragionamento semantico tra la percezione e il controllo, operando in un ciclo chiuso (closed-loop) all'interno dell'ambiente di simulazione CARLA. L'architettura si divide in tre componenti principali:

1. Livello di Percezione Multimodale: Cattura dati visivi (tramite telecamera RGB) e dati cinematici (traiettorie storiche di veicolo e pedone). Quando il veicolo si avvicina a un incrocio, il sistema attiva un trigger che invia un'immagine e un log JSON dei dati cinematici al livello successivo.
2. Livello di Ragionamento Vision-Language (VLM):
   • Vision Model (Qwen3-VL 8B): Converte l'immagine in una descrizione testuale strutturata (postura, direzione dello sguardo, posizione rispetto alle strisce pedonali).
   • Reasoning Model (GPT-OSS 20B): Utilizza la descrizione testuale e i dati cinematici per inferire l'intento (yielding vs non-yielding) e la categoria demografica (bambino, adulto, anziano). Il modello utilizza una metodologia di few-shot learning, integrando nel prompt sei esempi reali annotati dal dataset PIE per calibrare il ragionamento su pattern comportamentali autentici.
3. Modulo di Controllo di Sicurezza a Livelli (Tiered Safety Control): Traduce le inferenze in comandi di frenata. Se il pedone è classificato come "non-yielding", il sistema applica una strategia di frenata adattiva basata sull'età, utilizzando moltiplicatori di sicurezza ($\alpha_{demo}$) per espandere i margini di distanza per bambini (1.4x) e anziani (1.2x).

3. Contributi Chiave (Key Contributions)

• Spostamento di paradigma: Passaggio dalla previsione puramente geometrica al ragionamento semantico nello spazio sociale e comportamentale.
• Metodologia Few-Shot: Dimostrazione che l'integrazione di pochi esempi reali di comportamento umano è più efficace di grandi quantità di dati sintetici per l'addestramento di sistemi critici per la sicurezza.
• Controllo Demografico-Adattivo: Implementazione di un framework di controllo che differenzia i margini di sicurezza in base alla vulnerabilità della popolazione, migliorando sia la sicurezza che l'efficienza.

4. Risultati (Results)

Il framework è stato testato in 112 scenari CARLA e validato su 24 scenari reali (dataset PIE).

• Accuratezza dell'intento: VLM-VPI ha raggiunto il 92,3% di accuratezza, superando i modelli basati su regole (78,4%), i modelli di traiettoria supervisionati (73,5-82,4%) e le configurazioni LLM zero-shot (88,4%).
• Sicurezza (Safety):
  • Il numero di conflitti (eventi con TTC < 2s) è diminuito drasticamente da 124 a 33.
  • Il tempo medio minimo di collisione (min TTC) è migliorato da 1,92s a 4,47s.
  • Il controllo adattivo ha ridotto i conflitti del 60% per i bambini e del 54,5% per gli anziani.
• Efficienza del traffico:
  • Il tasso di falsi allarmi (frenate non necessarie) è sceso dal 7,4% al 2,8%.
  • Il tempo medio di attraversamento dell'incrocio è stato ridotto da 13,5s a 11,8s.
• Sim-to-Real: La validazione su dati reali ha mostrato un'accuratezza dell'87,5%, confermando la capacità di trasferimento del modello dalla simulazione al mondo reale.

5. Significato (Significance)

Questo lavoro dimostra che l'integrazione di modelli linguistici di grandi dimensioni (LLM) e modelli di visione (VLM) non serve solo per compiti generici, ma può fornire un motore di ragionamento interpretabile per la guida autonoma. Fornendo una "catena di ragionamento" (Visual Analysis $\rightarrow$ Kinematic Analysis $\rightarrow$ Decision $\rightarrow$ Reason), il sistema non solo prende decisioni più sicure ed efficienti, ma permette anche la verifica post-hoc delle decisioni, un requisito fondamentale per la certificazione normativa dei veicoli autonomi.