Understanding Real-World Traffic Safety through RoadSafe365 Benchmark

Resumo Técnico: RoadSafe365 – Compreendendo a Segurança Viária no Mundo Real

1. O Problema

Apesar dos avanços nos Modelos de Linguagem de Grande Escala Multimodais (MLLMs) para direção autônoma, a maioria dos modelos atuais é treinada em conjuntos de dados de condução rotineira. Isso cria uma lacuna crítica na compreensão de eventos de cauda longa (long-tailed), como acidentes, infrações e situações de risco extremo (edge cases).

Os problemas identificados pelos autores são:

• Falta de padronização: Os datasets existentes não seguem padrões oficiais de segurança viária (como os da National Safety Council), o que leva a interpretações inconsistentes.
• Escassez de dados detalhados: A maioria dos benchmarks foca em percepção básica ou identificação grosseira de acidentes, carecendo de anotações que permitam o raciocínio sobre a causalidade (o "porquê" do acidente).
• Dificuldade de generalização: Modelos treinados em dados comuns falham ao tentar interpretar cenas complexas de colisões ou violações de leis de trânsito.

2. Metodologia

Os autores introduzem o RoadSafe365, um benchmark de larga escala projetado para análise fina de segurança viária. A metodologia baseia-se em quatro pilares:

• Coleta de Dados Diversificada: Foram coletados 36.196 clipes de vídeo (10-20 segundos cada) de plataformas sociais (Bilibili e X), abrangendo perspectivas de câmeras de painel (dashcams) e de vigilância.
• Taxonomia Hierárquica: Diferente de abordagens anteriores, o RoadSafe365 utiliza uma estrutura organizada em dois níveis, alinhada com padrões oficiais, dividindo eventos em cinco categorias principais: Traffic Crashes (Colisões), Traffic Violations (Infrações), VRU Crashes (Envolvendo pedestres/ciclistas), Traffic Incidents (Obstáculos) e Safety Law Violations (Fatores humanos como embriaguez ou distração).
• Pipeline de Anotação Robusto:
  1. Atributos Estruturados: Uso de MLLMs (Gemini-2.5-Pro) para extrair seis atributos (hora do dia, clima, área, tipo de estrada, objetos e tipo de acidente), seguidos de verificação humana rigorosa.
  2. Legendas Densas (Dense Captioning): Descrições narrativas detalhadas geradas por IA e refinadas por especialistas para capturar a sequência temporal e causal.
  3. VQA (Visual Question Answering): Criação de conjuntos de perguntas de múltipla escolha com "distratores" semanticamente plausíveis para evitar que o modelo acerte por simples exclusão.
• Treinamento e Avaliação: Utilizaram o framework VAU-R1 para realizar o ajuste fino (fine-tuning) por reforço em modelos como o Qwen2.5-VL-7B.

3. Principais Contribuições

• Novo Benchmark de Larga Escala: Um dataset massivo e diversificado que cobre múltiplos países e condições ambientais.
• Taxonomia Padronizada: A primeira tentativa de alinhar o entendimento de dados de visão computacional com os padrões de segurança viária oficial.
• Suporte ao Raciocínio Causal: O dataset não diz apenas "houve um acidente", mas descreve a interação entre agentes e a sequência de eventos que levou ao incidente.
• Dataset Sintético (RoadSafe365-Synthetic): Criação de um dataset complementar usando simuladores (MetaDrive e Dreamland) para testar a generalização em ambientes virtuais de alta fidelidade.

4. Resultados

• Desempenho dos Modelos Base: Os testes mostraram que modelos de ponta (como InternVL3-8B e Gemini 2.5-flash) são excelentes em percepção de cenário (clima, hora do dia), mas falham significativamente em raciocínio de acidente/violação (muitas vezes abaixo de 50% de precisão), provando a necessidade do benchmark.
• Eficácia do Fine-tuning: O ajuste fino do Qwen2.5-VL-7B no RoadSafe365 resultou em ganhos massivos, com a precisão na categoria de "Acidentes/Violações" saltando de 38,04% para 67,29%.
• Melhoria Qualitativa: As legendas geradas após o treinamento passaram de descrições genéricas de cenário para narrativas precisas que explicam a causa e o efeito da colisão.
• Generalização: O modelo treinado no RoadSafe365 demonstrou capacidade de transferir conhecimento para outros datasets reais (VRU-Accident) e para cenários sintéticos, superando os modelos base em ambos.

5. Significância

O RoadSafe365 é um marco para a pesquisa em segurança viária inteligente. Ele fornece a base necessária para desenvolver MLLMs que não apenas "vejam" o trânsito, mas que consigam "entender" riscos e comportamentos perigosos. Isso é fundamental para o desenvolvimento de sistemas de direção autônoma mais seguros, explicáveis e capazes de antecipar perigos antes que eles se tornem acidentes fatais.