Resumo Técnico: Estimativa de Distribuição de Responsabilidade em Vídeos de Acidentes em Visão de Ego com Grandes Modelos de Linguagem Multimodais

Definição do Problema

A análise atual de acidentes de trânsito multimodal depende fortemente de filmagens de câmeras de infraestrutura, imagens de satélite ou registros estruturados de colisões. Essas fontes de dados apresentam duas limitações críticas: são dispendiosas para implementar em escala e, mais importante, falham em capturar objetivamente a perspectiva visual disponível para o condutor antes de um acidente. Consequentemente, elas são inadequadas para raciocinar sobre a evitabilidade do acidente e a responsabilidade do condutor a partir do ponto de vista do veículo envolvido.

Este artigo introduz a Estimativa de Distribuição de Responsabilidade como uma nova tarefa para vídeos de acidentes de trânsito em visão de ego (ego-view). Diferente das tarefas convencionais que preveem um rótulo de acidente único, severidade ou explicação causal, esta tarefa exige que um modelo preveja uma distribuição proporcional de responsabilidade (porcentagens que somam 100%) entre todos os agentes envolvidos (ex: veículo de ego, outros veículos, pedestres). O modelo deve raciocinar sobre quais informações estavam disponíveis para o condutor de ego, identificar a parte primária responsável e alocar porcentagens de responsabilidade que reflitam a responsabilidade compartilhada, espelhando o raciocínio de trânsito do mundo real.

Metodologia

Construção do Conjunto de Dados

Os autores construíram um conjunto de dados baseado no MM-AU, uma coleção de vídeos de acidentes de câmera de painel (dashcam) em visão de ego com anotações de texto existentes (descrição da cena, causas, medidas preventivas). Como o MM-AU carece de rótulos de responsabilidade, os autores desenvolveram um pipeline de anotação assistido por LLM:

• Entrada: Para cada vídeo, 8 quadros amostrados uniformemente abrangendo a janela do evento anormal (garantindo que o quadro do acidente esteja incluído) são apresentados a um LLM junto com metadados da cena e anotações de texto.
• Geração de Saída: O LLM é instruído a gerar porcentagens inteiras para o veículo de ego e outras partes (somando 100%), identificar a parte primária responsável, categorizar a outra parte e fornecer uma justificativa fundamentada em evidências visuais/textuais.
• Restrições: A temperatura é definida como zero para maximizar a consistência. O conjunto de dados resultante é aproximadamente equilibrado entre casos de ego-primário (52%) e outra-parte-primário (48%).

Modelo e Treinamento

O estudo realiza o ajuste fino (fine-tuning) do Qwen3-VL-4B, um modelo de linguagem grande multimodal, utilizando LoRA (Low-Rank Adaptation) em todas as camadas de projeção linear (rank $r=16$, fator de escala $\alpha=32$).

• Entrada: O modelo recebe $k=10$ quadros amostrados, metadados da cena e anotações de texto.
• Saída: O modelo gera de forma autorregressiva uma saída formatada em JSON contendo a distribuição de responsabilidade prevista, a parte primária, o rótulo da outra parte e o raciocínio.
• Aprendizado de Restrição: A exigência de que as porcentagens somem 100 é imposta implicitamente através das instruções do prompt e da distribuição dos dados de treinamento, em vez de restrições explícitas de pós-processamento.

Configuração Experimental

Os autores avaliam o modelo ajustado contra um baseline zero-shot do GPT-5 sob três condições de entrada:

1. RGB: Quadros brutos + anotações de texto.
2. RGB+Seg: Sobreposições de segmentação semântica + anotações de texto.
3. Texto: Apenas anotações de texto (sem imagens).

Métricas de Avaliação:

• Correspondência Exata (EM - Exact Match): Porcentagem de casos onde a responsabilidade do veículo de ego prevista coincide exatamente com o valor real (ground truth).
• Dentro de 10%/20% (W-10/W-20): Proporção de casos com erro absoluto $\le$ 10 ou 20 pontos percentuais.
• MAE/RMSE: Erro Médio Absoluto e Raiz do Erro Quadrático Médio sobre a porcentagem do veículo de ego.
• Precisão da Parte Primária (PP - Primary Party Accuracy): Precisão na identificação do agente responsável primário.

Principais Resultados

O Qwen3-VL-4B ajustado demonstra melhorias significativas em relação ao baseline zero-shot do GPT-5, particularmente sob a entrada RGB:

• Correspondência Exata: O modelo ajustado alcança 79,1%, comparado a 38,5% do GPT-5 zero-shot.
• Precisão da Parte Primária: O modelo ajustado atinge 96,7%, superando os 89,0% do GPT-5.
• Redução de Erro: O Erro Médio Absoluto (MAE) para a porcentagem do veículo de ego cai de 12,1 (GPT-5) para 4,9 (ajustado), uma redução de mais da metade.

Ablação e Análise de Entrada:

• Necessidade Visual: Remover a entrada visual (condição Apenas Texto) causa uma degradação acentuada de desempenho para ambos os modelos. O MAE do GPT-5 mais que dobra (12,1 $\to$ 24,9), e o MAE do modelo ajustado aumenta drasticamente (4,9 $\to$ 35,1). Isso confirma que os quadros de visão de ego contêm informações críticas de responsabilidade não recuperáveis apenas via texto.
• Impacto da Segmentação: Substituir os quadros RGB brutos por sobreposições de segmentação semântica (RGB+Seg) produz resultados comparáveis ou ligeiramente piores, sugerindo que a aparência visual bruta fornece informações suficientes ou superiores para esta tarefa em comparação com sobreposições de segmentação estruturadas.
• Fine-tuning vs. Zero-shot: Embora o zero-shot do GPT-5 mostre um desempenho razoável de "Dentro de 10%" (79,1%), indicando que ele pode raciocinar aproximadamente sobre a direção da responsabilidade, o alto escore de Correspondência Exata do modelo ajustado demonstra que o treinamento com rótulos anotados por LLM ancora efetivamente o modelo a valores percentuais específicos, em vez de apenas classificar corretamente as partes.

Significância e Contribuições

O artigo reivindica três contribuições principais:

1. Nova Formulação de Tarefa: Introduz a "Estimativa de Distribuição de Responsabilidade" como uma nova tarefa para compreensão de acidentes multimodais, indo além da classificação binária ou explicação causal para a alocação proporcional.
2. Fundação Egocêntrica: Destaca o valor único de vídeos em visão de ego para o raciocínio centrado no motorista, estabelecendo o primeiro benchmark para esta tarefa específica.
3. Demonstração de Viabilidade: Os resultados estabelecem um forte benchmark inicial, demonstrando que LLMs multimodais podem realizar efetivamente o raciocínio matizado e baseado em restrições (alocando porcentagens que somam 100) quando ajustados com dados apropriados.

Os autores posicionam este trabalho como uma fundação para o "raciocínio multimodal social e juridicamente significativo", sugerindo que vídeos egocêntricos oferecem uma base promissora para entender a evitabilidade de acidentes e a distribuição de responsabilidade que pontos de vista externos não podem fornecer.

Limitações e Considerações Éticas

O artigo mantém uma postura modesta em relação às suas afirmações:

• Validade dos Rótulos: Os rótulos de responsabilidade são gerados por um LLM e servem como um proxy para avaliação; eles não são anotações de especialistas humanos ou verdade jurídica. O processo atual não considera leis específicas de cada jurisdição.
• Escopo dos Dados: O modelo depende de quadros amostrados e texto, carecendo de evidências físicas explícitas (ex: velocidade exata, força de frenagem, trajetórias), o que pode limitar o raciocínio temporal refinado.
• Complexidade: A formulação atual foca em interações de duas partes; acidentes envolvendo três ou mais agentes requerem uma decomposição mais complexa ainda não abordada.
• Aviso Ético: O sistema é explicitamente definido como um protótipo de pesquisa exploratória. Ele não deve ser usado para tomada de decisão jurídica, judicial ou de seguros automatizada. Os autores enfatizam o risco de viés de automação e a necessidade de uma arquitetura com humano no controle (human-in-the-loop) para qualquer aplicação futura no mundo real. Além disso, são mencionadas preocupações de privacidade em relação a informações de identificação pessoal em vídeos de dashcam.