Multi-modal Rail Crossing Safety Analysis

Resumen Técnico: Análisis de Seguridad de Cruces Ferroviarios Multimodal

Planteamiento del Problema
Los cruces a nivel entre autopistas y ferrocarriles representan un desafío crítico de seguridad en los Estados Unidos, siendo responsables de más de 2,000 colisiones y 200 fatalidades anualmente. Los métodos actuales de evaluación de riesgos, como el modelo de Predicción de Accidentes y Severidad (APS) de la Administración Federal de Ferrocarriles (FRA), dependen en gran medida de datos estadísticos estructurados (por ejemplo, frecuencia de trenes, volumen de tráfico). Sin embargo, estos modelos a menudo no logran capturar factores visuales y dependientes del contexto observables por los usuarios de las autopistas, tales como líneas de visión, obstrucciones visuales y la visibilidad de los dispositivos de advertencia. Además, la inspección manual es difícil de escalar debido a la gran cantidad de cruces y los limitados recursos expertos. Los autores postulan que la integración de evidencia visual a nivel de calle con registros históricos de accidentes podría proporcionar un método más robusto y escalable para la evaluación de la seguridad.

Metodología
Los autores proponen un esquema de prueba de concepto multimodal que combina imágenes de cruces a nivel de calle con los registros de incidentes del Formulario 57 de la FRA. El sistema utiliza Modelos de Lenguaje y Visión (VLM), específicamente la variante E4B de Gemma 4 de Google, para realizar dos tareas complementarias:

1. Análisis Basado en Puntuación (Calificación de Riesgo):

   • Entrada: El modelo recibe una secuencia de imágenes a nivel de calle (capturadas dentro de 20 metros del cruce) y los registros de incidentes asociados del Formulario 57.
   • Tareas:
     • Clasificación Binaria: Determinar si un cruce es de ALTO RIESGO (accidentes predichos anuales > 0.09) o de BAJO RIESGO.
     • Regresión Continua: Estimar la puntuación promedio anual de accidentes predichos.
   • Estrategia de Entrenamiento: Para manejar la complejidad de las entradas multimodales y los formatos de salida restringidos, los autores emplean la Adaptación de Bajo Rango (LoRA) para el ajuste fino (fine-tuning) del VLM base.
   • Regresión Dirigida (Routed Regression): Para abordar la distribución altamente sesgada de las puntuaciones de riesgo (donde la mayoría de los cruces son de bajo riesgo), los autores introducen un flujo de trabajo dirigido. Un clasificador binario dirige primero los cruces hacia un modelo de regresión especializado de "BAJO RIESGO" o de "ALTO RIESGO". Esto se compara con un enrutador "oráculo" (que utiliza etiquetas de verdad fundamental) para establecer un límite superior.

2. Análisis Basado en Descripción (Inspección de Riesgo Visual):

   • Marco de Trabajo: Esta tarea se fundamenta en la teoría de accidentes utilizando un marco de "diagrama de lazo" (bowtie diagram), que categoriza los elementos de seguridad en Amenazas, Barreras (Preventivas/Mitigadoras) y Factores de Escalada.
   • Proceso: El VLM es instruido para identificar amenazas estructurales predefinidas (por ejemplo, ángulos agudos, múltiples carriles), infraestructura de seguridad (por ejemplo, brazos de barrera, señales de cruce/crossbucks) y factores de escalada (por ejemplo, deslumbramiento por luz solar, vegetación que obstruye señales).
   • Aumentación: Para evaluar la robustez, las imágenes se aumentan para simular diversas condiciones climáticas e de iluminación (lluvia, luz solar intensa, noche) utilizando IA generativa, permitiendo al modelo evaluar cómo los factores ambientales impactan la visibilidad de las características de seguridad.

Contribuciones Clave

• Pipeline Multimodal: La propuesta de un nuevo flujo de trabajo que fusiona imágenes no estructuradas a nivel de calle con registros estructurados de incidentes del Formulario 57 de la FRA para la evaluación de la seguridad en cruces ferroviarios.
• Estimación de Riesgo Basada en VLM: Un estudio que demuestra cómo los VLM pueden estimar puntuaciones de seguridad al estilo de la FRA y clasificar niveles de riesgo a partir de datos multimodales, yendo más allá de los modelos tradicionales de solo variables.
• Análisis Cualitativo y Cuantitativo: Una evaluación que muestra que los VLM pueden identificar factores de seguridad visual desde la perspectiva del usuario de la autopista (por ejemplo, señales ocluidas, líneas de visión deficientes) que no son capturados por las variables de puntuación estándar.
• Estrategia de Predicción Dirigida: La implementación de un enfoque de regresión dirigida para manejar mejor la distribución de cola larga de las puntuaciones de accidentes, separando el problema en subtareas especializadas.

Resultados

• Clasificación Binaria: El VLM ajustado alcanzó una puntuación F1 macro de 0.757 y una precisión balanceada de 0.767 para distinguir entre cruces de ALTO RIESGO y BAJO RIESGO. Esto superó significativamente a las líneas base de solo instrucción (prompting-only), particularmente en la identificación de casos de ALTO RIESGO (el Recall mejoró de 0.175 a 0.635 mediante el ajuste fino).
• Predicción de Puntuación: Para la estimación de la puntuación continua, el pipeline de ajuste fino dirigido logró un Error Cuadrático Medio (RMSE) de 0.08 y una correlación de Pearson de 0.492. Aunque el modelo de ajuste fino único tuvo una correlación menor (0.245), el enfoque dirigido mejoró el rendimiento, aunque los autores señalan que el enrutador "oráculo" (correlación de 0.756) sugiere que el mecanismo de enrutamiento sigue siendo un cuello de botella.
• Inspección Visual: Los resultados cualitativos indicaron que el modelo podía identificar con éxito amenazas y señales de advertencia predefinidas con alta precisión (por ejemplo, 100% de detección para cruces de ángulos agudos y cuellos de botella de tráfico). El modelo también demostró la capacidad de evaluar factores de escalada, identificando correctamente la luz solar como un factor de riesgo crítico en escenarios aumentados de noche/día.

Significancia y Reivindicaciones
El artículo afirma que los VLM ofrecen una vía prometedora para el análisis de seguridad de cruces ferroviarios escalable y automatizado. Los autores sostienen que su sistema se alinea con la opinión experta y los estándares de puntuación de la FRA, mientras captura la evidencia visual que los modelos estadísticos tradicionales omiten. Enfatizan que el ajuste fino es esencial para adaptar los VLM compactos a este dominio específico y que un enfoque de múltiples módulos (dirigido) es necesario para manejar la naturaleza sesgada de los datos de accidentes. El trabajo se presenta como una prueba de concepto que valida el potencial de combinar datos visuales y estructurados para apoyar evaluaciones de seguridad sistemáticas, aunque los autores reconocen limitaciones respecto al cuello de botella del enrutamiento y la necesidad de trabajos futuros sobre escenarios dinámicos como el análisis de video.