Multi-modal Rail Crossing Safety Analysis

Resumo Técnico: Análise Multimodal de Segurança em Passagens de Nível Ferroviárias

Definição do Problema
As passagens de nível entre rodovias e ferrovias representam um desafio crítico de segurança nos Estados Unidos, sendo responsáveis por mais de 2.000 colisões e 200 fatalidades anualmente. Os métodos atuais de avaliação de risco, como o modelo de Predição de Acidentes e Severidade (APS) da Administração Ferroviária Federal (FRA), dependem fortemente de dados estatísticos estruturados (ex: frequência de trens, volume de tráfego). No entanto, esses modelos frequentemente falham em capturar fatores visuais e dependentes de contexto observáveis pelos usuários das rodovias, como linhas de visão, obstruções visuais e a visibilidade dos dispositivos de advertência. Além disso, a inspeção manual é difícil de escalar devido ao grande número de passagens e aos recursos especializados limitados. Os autores postulam que a integração de evidências visuais ao nível da rua com registros históricos de acidentes pode fornecer um método mais robusto e escalável para a avaliação de segurança.

Metodologia
Os autores propõem um pipeline multimodal de prova de conceito que combina imagens de nível de rua com os registros de acidentes do Formulário 57 da FRA. O sistema utiliza Modelos de Linguagem e Visão (VLMs), especificamente o Gemma 4 da Google (variante E4B), para realizar duas tarefas complementares:

1. Análise Baseada em Pontuação (Pontuação de Risco):

   • Entrada: O modelo recebe uma sequência de imagens de nível de rua (capturadas a menos de 20 metros da passagem) e registros de incidentes associados do Formulário 57.
   • Tarefas:
     • Classificação Binária: Determinar se uma passagem é de ALTO RISCO (acidentes previstos anuais > 0,09) ou BAIXO RISCO.
     • Regressão Contínua: Estimar a pontuação média anual de acidentes previstos.
   • Estratégia de Treinamento: Para lidar com a complexidade das entradas multimodais e formatos de saída restritos, os autores utilizam a Adaptação de Baixo Rank (LoRA) para o ajuste fino (fine-tuning) do VLM base.
   • Regressão Direcionada (Routed Regression): Para abordar a distribuição altamente assimétrica das pontuações de risco (onde a maioria das passagens é de baixo risco), os autores introduzem um pipeline direcionado. Um classificador binário primeiro direciona as passagens para um modelo de regressão especializado em "ALTO RISCO" ou "BAIXO RISCO". Isso é comparado a um roteador "oráculo" (usando rótulos de verdade fundamental) para estabelecer um limite superior.

2. Análise Baseada em Descrição (Inspeção Visual de Risco):

   • Estrutura: Esta tarefa é fundamentada na teoria de acidentes usando uma estrutura de "diagrama de laço" (bowtie diagram), que categoriza elementos de segurança em Ameaças, Barreiras (Preventivas/Mitigadoras) e Fatores de Escalada.
   • Processo: O VLM é instruído a identificar ameaças estruturais predefinidas (ex: ângulos agudos, múltiplas faixas), infraestrutura de segurança (ex: braços de cancela, placas de sinalização/crossbucks) e fatores de escalada (ex: cegueira por luz solar, vegetação obscurecendo sinais).
   • Aumento de Dados: Para avaliar a robustez, as imagens são aumentadas para simular variadas condições climáticas e de iluminação (chuva, luz solar intensa, noite) usando IA generativa, permitindo que o modelo avalie como fatores ambientais impactam a visibilidade dos recursos de segurança.

Principais Contribuições

• Pipeline Multimodal: A proposta de um novo pipeline que funde imagens não estruturadas de nível de rua com registros estruturados do Formulário 57 da FRA para a avaliação de segurança de passagens ferroviárias.
• Estimativa de Risco Baseada em VLM: Um estudo demonstrando como os VLMs podem estimar pontuações de segurança no estilo da FRA e classificar níveis de risco a partir de dados multimodais, indo além dos modelos tradicionais baseados apenas em variáveis.
• Análise Qualitativa e Quantitativa: Uma avaliação mostrando que os VLMs podem identificar fatores visuais de segurança do ponto de vista do usuário da rodovia (ex: sinais ocluídos, linhas de visão ruins) que não são capturados pelas variáveis de pontuação padrão.
• Estratégia de Predição Direcionada (Routed Prediction): A implementação de uma abordagem de regressão direcionada para lidar melhor com a distribuição de cauda longa das pontuações de acidentes, separando o problema em subtarefas especializadas.

Resultos

• Classificação Binária: O VLM ajustado alcançou um F1-score macro de 0,757 e uma acurácia balanceada de 0,767 para distinguir entre passagens de ALTO RISCO e BAIXO RISCO. Isso superou significativamente os baselines de apenas prompting, particularmente na identificação de casos de ALTO RISCO (o Recall melhorou de 0,175 para 0,635 com o ajuste fino).
• Predição de Pontuação: Para a estimativa de pontuação contínua, o pipeline direcionado e ajustado alcançou um Erro Quadrático Médio (RMSE) de 0,078 e uma correlação de Pearson de 0,492. Embora um modelo único ajustado tenha apresentado uma correlação menor (0,245), a abordagem direcionada melhorou o desempenho, embora os autores observem que o roteador "oráculo" (correlação de 0,756) sugere que o próprio mecanismo de roteamento permanece um gargalo.
• Inspeção Visual: Resultados qualitativos indicaram que o modelo conseguiu identificar com sucesso ameaças predefinidas e sinais de advertência com alta precisão (ex: 100% de detecção para passagens de ângulos agudos e gargalos de tráfego). O modelo também demonstrou capacidade de avaliar fatores de escalada, identificando corretamente a luz solar como um fator de risco crítico em cenários aumentados de dia/noite.

Significância e Alegações
O artigo afirma que os VLMs oferecem um caminho promissor para uma análise de segurança de passagens ferroviárias automatizada e escalável. Os autores sustentam que seu sistema se alinha à opinião de especialistas e aos padrões de pontuação da FRA, enquanto captura evidências visuais que os modelos estatísticos tradicionais perdem. Eles enfatizam que o ajuste fino é essencial para adaptar VLMs compactos a este domínio específico e que uma abordagem de múltiplos módulos (direcionada) é necessária para lidar com a natureza assimétrica dos dados de acidentes. O trabalho é apresentado como uma prova de conceito que valida o potencial de combinar dados visuais e estruturados para apoiar avaliações de segurança sistemáticas, embora os autores reconheçam limitações quanto ao gargalo de roteamento e a necessidade de trabalhos futuros sobre cenários dinâmicos, como análise de vídeo.