Multi-modal Rail Crossing Safety Analysis

Sintesi Tecnica: Analisi Multimodale della Sicurezza dei Passaggi a Livello Ferroviari

Definizione del Problema
I passaggi a livello strada-ferrovia rappresentano una sfida critica per la sicurezza negli Stati Uniti, causando oltre 2.000 collisioni e 200 vittime ogni anno. Gli attuali metodi di valutazione del rischio, come il modello di Previsione e Severità degli Incidenti (APS) della Federal Railroad Administration (FRA), si basano pesantemente su dati statistici strutturati (ad esempio, frequenza dei treni, volume del traffico). Tuttavia, questi modelli spesso non riescono a catturare fattori visivi e dipendenti dal contesto osservabili dagli utenti stradali, come le linee di vista, le ostruzioni visive e la visibilità dei dispositivi di segnalazione. Inoltre, l'ispezione manuale è difficile da scalare a causa dell'elevato numero di passaggi e delle limitate risorse specialistiche. Gli autori sostengono che l'integrazione di prove visive a livello stradale con i record storici degli incidenti potrebbe fornire un metodo più robusto e scalabile per la valutazione della sicurezza.

Metodologia
Gli autori propongono una prova di concetto di una pipeline multimodale che combina immagini a livello stradale con i record degli incidenti FRA Form 57. Il sistema utilizza Modelli Vision-Language (VLM), nello specifico la variante E4B di Google Gemma 4, per eseguire due compiti complementari:

1. Analisi Basata su Punteggio (Scoring del Rischio):

   • Input: Il modello riceve una sequenza di immagini a livello stradale (catturate entro 20 metri dal passaggio a livello) e i relativi record degli incidenti Form 57.
   • Compiti:
     • Classificazione Binaria: Determinare se un passaggio è ad ALTO RISCHIO (incidenti previsti annui > 0,09) o a BASSO RISCHIO.
     • Regressione Continua: Stimare il punteggio medio annuo di incidenti previsti.
   • Strategia di Addestramento: Per gestire la complessità degli input multimodali e dei formati di output vincolati, gli autori utilizzano la Low-Rank Adaptation (LoRA) per il fine-tuning del VLM di base.
   • Regressione Instradata (Routed Regression): Per affrontare la distribuzione fortemente asimmetrica dei punteggi di rischio (dove la maggior parte dei passaggi è a basso rischio), gli autori introducono una pipeline instradata. Un classificatore binario instrada prima i passaggi verso un modello di regressione specializzato "LOW-RISK" o "HIGH-RISK". Questo viene confrontato con un router "oracle" (che utilizza le etichette reali) per stabilire un limite superiore.

2. Analisi Basata su Descrizione (Ispezione Visiva del Rischio):

   • Framework: Questo compito è basato sulla teoria degli incidenti utilizzando un framework "diagramma a papillon" (bowtie diagram), che categorizza gli elementi di sicurezza in Minacce, Barriere (Preventive/Mitigatrici) e Fattori di Escalation.
   • Processo: Il VLM viene istruito per identificare minacce strutturali predefinite (es. angoli acuti, più corsie), infrastrutture di sicurezza (es. bracci delle barriere, segnali crossbuck) e fattori di escalation (es. luce solare accecante, vegetazione che oscura i segnali).
   • Augmentation: Per valutare la robustezza, le immagini vengono aumentate per simulare diverse condizioni meteorologiche e di illuminazione (pioggia, forte luce solare, notte) utilizzando l'IA generativa, consentendo al modello di valutare come i fattori ambientali influenzino la visibilità delle caratteristiche di sicurezza.

Contributi Chiave

• Pipeline Multimodale: La proposta di una nuova pipeline che fonde immagini non strutturate a livello stradale con record strutturati di incidenti FRA Form 57 per la valutazione della sicurezza dei passaggi ferroviari.
• Stima del Rischio tramite VLM: Uno studio che dimostra come i VLM possano stimare i punteggi di sicurezza in stile FRA e classificare i livelli di rischio da dati multimodali, andando oltre i modelli tradizionali basati solo su variabili.
• Analisi Qualitativa e Quantitativa: Una valutazione che mostra come i VLM possano identificare fattori di sicurezza visivi dal punto di vista dell'utente stradale (es. segnali ostruiti, linee di vista scarse) che non sono catturati dalle variabili di punteggio standard.
• Strategia di Predizione Instradata: L'implementazione di un approccio di regressione instradata per gestire meglio la distribuzione a coda lunga dei punteggi di incidente, separando il problema in sotto-compiti specializzati.

Risultati

• Classificazione Binaria: Il VLM sottoposto a fine-tuning ha raggiunto un macro F1 score di 0,757 e una accuratezza bilanciata di 0,767 nel distinguere tra passaggi ad ALTO RISCHIO e a BASSO RISCHIO. Ciò ha superato significativamente le baseline di solo prompting, in particolare nell'identificazione dei casi ad ALTO RISCHIO (il Recall è migliorato da 0,175 a 0,635 con il fine-tuning).
• Predizione del Punteggio: Per la stima del punteggio continuo, la pipeline fine-tuned instradata ha raggiunto un Root Mean Square Error (RMSE) di 0,078 e una correlazione di Pearson di 0,492. Sebbene un singolo modello fine-tuned avesse una correlazione inferiore (0,245), l'approccio instradata ha migliorato le prestazioni, sebbene gli autori notino che il router "oracle" (correlazione 0,756) suggerisce che il meccanismo di routing rimanga un collo di bottiglia.
• Ispezione Visiva: I risultati qualitativi hanno indicato che il modello poteva identificare con successo minacce predefinite e segnali di avvertimento con alta precisione (es. 100% di rilevamento per passaggi ad angolo acuto e colli di bottiglia del traffico). Il modello ha anche dimostrato la capacità di valutare i fattori di escalation, identificando correttamente la luce solare come fattore di rischio critico in scenari aumentati di notte/giorno.

Significatività e Rivendicazioni
L'articolo sostiene che i VLM offrano una via promettente per un'analisi scalabile e automatizzata della sicurezza dei passaggi ferroviari. Gli autori affermano che il loro sistema si allinea con l'opinione degli esperti e gli standard di punteggio FRA, catturando al contempo evidenze visive che i modelli statistici tradizionali perdono. Essi enfatizzano che il fine-tuning è essenziale per adattare i VLM compatti a questo dominio specifico e che un approccio multi-modulo (instradato) è necessario per gestire la natura asimmetrica dei dati sugli incidenti. Il lavoro è presentato come una prova di concetto che valida il potenziale di combinare dati visivi e strutturati per supportare valutazioni sistematiche della sicurezza, sebbene gli autori riconoscano i limiti riguardanti il collo di bottiglia del routing e la necessità di lavori futuri su scenari dinamici come l'analisi video.