Interpretable Traffic Responsibility from Dashcam Video via Legal Multi Agent Reasoning

Título: Responsabilidade de Trânsito Interpretável a partir de Vídeos de Dashcam via Raciocínio Jurídico Multi-Agente

1. O Problema

A adoção generalizada de câmeras de painel (dashcams) gerou uma abundância de evidências visuais de acidentes de trânsito. No entanto, transformar o conteúdo bruto do vídeo ("o que aconteceu") em uma atribuição de responsabilidade legal específica ("quem é responsável e sob quais artigos da lei") ainda depende inteiramente de especialistas humanos.

Existem duas lacunas principais na pesquisa atual:

• Estudos de Visão Computacional: Focam na percepção e compreensão semântica (detecção de acidentes, classificação), mas não elevam o raciocínio ao nível jurídico de atribuição de responsabilidade ou aplicação de estatutos.
• Métodos Jurídicos Baseados em LLM: São construídos quase exclusivamente sobre descrições textuais de casos, ignorando evidências visuais (vídeos).
• Consequência: Não existe um quadro unificado que mapeie evidências multimodais (vídeo + texto) para modos de responsabilidade e artigos de lei específicos no sistema jurídico chinês, fornecendo um processo de decisão judicial rastreável e interpretável.

2. Metodologia

Os autores propõem um pipeline de análise em duas etapas principais, centrado no sistema de leis de trânsito da China:

A. Conjunto de Dados: C-TRAIL

• É o primeiro conjunto de dados jurídico multimodal sob o sistema legal chinês.
• Alinha explicitamente vídeos de dashcam e descrições textuais com um conjunto fechado de modos de responsabilidade e seus estatutos de trânsito chineses correspondentes.
• Utiliza uma abordagem híbrida ("automático + manual") para anotação, garantindo que os dados sejam interpretáveis legalmente.

B. Módulo de Compreensão de Acidentes (Video Understanding)

Este módulo transforma o vídeo bruto em descrições textuais estruturadas, integrando o movimento do veículo (ego-motion):

1. Extrator de Ego-Motion (VEE): Utiliza aprendizado auto-supervisionado (DepthNet e PoseNet) para prever profundidade e pose. Em seguida, é adaptado para extrair representações semânticas de comportamento de direção (intenção de controle) a partir de quadros únicos.
2. Estimativa de Estado do Veículo (VSE): Um módulo supervisionado que regressa explicitamente a velocidade e a direção (steering) a partir das características de movimento, garantindo que a representação reflita o estado real de condução.
3. Representação e Legendagem por Eventos: O vídeo é segmentado em eventos semânticos coerentes. Um decodificador identifica os limites temporais de cada evento e um LSTM gera legendas detalhadas (descrição e racional) para cada evento, capturando não apenas o que aconteceu, mas o contexto de risco.

C. Framework Jurídico Multi-Agente

Após a construção de fatos multimodais, um sistema de agentes legais processa a informação:

1. Construção de Fatos Multimodais (Fact Aggregation Agent): Funde a descrição automática do vídeo com anotações textuais manuais (mais confiáveis). O agente realiza verificações de consistência, priorizando anotações manuais em fatos centrais, mas enriquecendo o conjunto com detalhes granulares do vídeo.
2. Assistente do Juiz (Judge Assistant): Atua como um especialista em recuperação de informações. Busca no banco de dados de leis de trânsito e precedentes (casos representativos) os estatutos e decisões relevantes para o padrão do acidente identificado.
3. Múltiplos Agentes Juízes (Judge Multi-Agent): Inspirado no sistema de tribunais colegiados, o julgamento é dividido em três agentes especializados:
   • Issue Judge: Identifica os problemas legais centrais e gera um julgamento preliminar.
   • Law & Precedent Judge: Revisa o julgamento preliminar, comparando-o com estatutos e precedentes recuperados pelo Assistente, sugerindo correções.
   • Deliberation Judge: Atua como o "tomador de decisão final", sintetizando as opiniões dos outros agentes para produzir o relatório de julgamento final, incluindo a responsabilidade, os estatutos aplicáveis e o raciocínio completo.

3. Principais Contribuições

1. Primeiro Framework de Análise Multimodal para Lei de Trânsito Chinesa: Estabelece um pipeline "Vídeo + Texto → Modo de Responsabilidade → Estatuto", sendo a primeira obra a modelar explicitamente a cadeia de raciocínio entre comportamento visual e decisão legal.
2. Dataset C-TRAIL: Criação do primeiro dataset que vincula explicitamente vídeos de dashcam e textos a modos de responsabilidade e estatutos legais chineses.
3. Framework de Compreensão de Acidentes: Desenvolvimento de um modelo que integra movimento do veículo (ego-motion) e estimativa de estado (velocidade/direção) para gerar descrições de eventos juridicamente relevantes.
4. Framework Jurídico Multi-Agente: Proposição de uma arquitetura de agentes colaborativos que simula a deliberação judicial, garantindo transparência e interpretabilidade no processo de decisão.

4. Resultados Experimentais

Os experimentos foram realizados nos datasets C-TRAIL e MM-AU:

• Desempenho Geral: O método proposto superou significativamente LLMs gerais (ex: GPT-4), LLMs jurídicos especializados e abordagens baseadas em agentes existentes.
  • No C-TRAIL, alcançou 86.4% de precisão (Accuracy) e 73.2% de acerto em estatutos centrais (Core Statute Hit), superando o segundo melhor (AgentsCourt com 71.2%).
• Comparação com Modelos de QA de Vídeo: No MM-AU, o método alcançou 94.35% de precisão, superando modelos de ponta como SeViLA (89.26%). A vantagem deve-se à geração de relatórios estruturados de raciocínio em vez de apenas "adivinhar" uma resposta.
• Análise de Ablação:
  • A modelagem de Ego-Motion foi identificada como o componente mais crítico; sem ela, a precisão cai drasticamente.
  • A adição do Assistente do Juiz (recuperação de leis) e do Mecanismo Multi-Agente melhorou consistentemente a precisão e a taxa de acerto dos estatutos, demonstrando que a especialização de papéis e a verificação cruzada são essenciais para a precisão legal.

5. Significado e Impacto

• Interpretabilidade: Diferente de modelos de "caixa preta", este sistema fornece um processo de raciocínio rastreável, desde a descrição dos fatos visuais até a citação dos artigos de lei, o que é crucial para a confiança em sistemas de apoio à decisão judicial.
• Ponte entre Visão e Direito: Preenche a lacuna entre a compreensão semântica de vídeos e o raciocínio jurídico formal, permitindo que evidências visuais sejam usadas diretamente em processos de atribuição de responsabilidade.
• Aplicabilidade Prática: Oferece uma ferramenta potencial para reduzir a carga de trabalho de policiais de trânsito e juízes, automatizando a análise inicial de evidências e sugerindo fundamentos legais com base em precedentes.

Em resumo, o trabalho apresenta uma solução inovadora que combina visão computacional avançada (focada em movimento e estado do veículo) com arquiteturas de agentes de IA para simular o processo judicial, resultando em um sistema de análise de responsabilidade de trânsito transparente, preciso e alinhado com a lei chinesa.