Resumo Técnico: Decodificando a Intenção de Travessia de Pedestres a partir de Visão Egocêntrica via Modelos de Linguagem e Visão

Definição do Problema

Este trabalho aborda o desafio de prever as intenções de travessia de pedestres (especificamente, se um pedestre irá "atravessar" ou "ceder a passagem") usando visão egocêntrica (perspectiva de primeira pessoa). Diferente das abordagens exocêntricas tradicionais que dependem de câmeras montadas em veículos ou de vigilância, este estudo foca em decodificar a intenção a partir de clipes de vídeo monoculares curtos (2 segundos) capturados do ponto de vista do pedestre. O objetivo é prever a ação do pedestre dentro de um horizonte futuro de 1 segundo.

Os autores reformulam esta tarefa de predição como um problema de Perguntas e Respostas Visuais (VQA) de final aberto, onde o modelo recebe um clipe de vídeo egocêntrico ($V$), informações contextuais opcionais ($C$) e uma consulta específica ($Q$), devendo selecionar a intenção correta de um conjunto predefinido $\{cross, yield\}$ (atravessar, ceder).

Metodologia

1. Seleção de Modelos e Baselines

O estudo avalia duas famílias de Modelos de Linguagem e Visão (VLMs):

• Modelos de Linguagem de Grande Escala Multimodais (MLLMs): Especificamente, a família Qwen3-VL (variantes 2B e 8B) e o Qwen2.5-VL-7B, bem como modelos InternVL3. Estes foram escolhidos por seu amplo conhecimento de mundo e capacidades de raciocínio geral.
• Modelos de Pré-treinamento Vídeo-Linguagem (VLP): Especificamente, o GroundVQA, que é pré-treinado em dados de vídeo-texto egocêntricos, mas frequentemente dominado por atividades de ambientes internos.
• Baselines: Um baseline especializado de CLIP+Transformer (aprendizado profundo apenas de vídeo) serve como o principal benchmark de desempenho, juntamente com a previsão por chute aleatório e pela classe majoritária.

2. Estratégias de Prompting (Avaliação Zero-Shot)

Antes do ajuste fino (fine-tuning), os autores testam três estratégias de prompting para avaliar as capacidades de raciocínio inerentes dos modelos:

• Prompting Padrão (Standard Prompting): Uma consulta direta pedindo a ação mais provável.
• Cadeia de Pensamento de Texto (Text Chain-of-Thought - CoT): Incentiva o modelo a gerar etapas intermediárias de raciocínio (ex: analisar elementos visuais, risco e lógica) antes de responder.
• Prompting Visual: Aumenta as entradas de vídeo com sobreposas de "conjunto de marcas" (bounding boxes e IDs) geradas por um detector (GroundingDINO) para destacar objetos relevantes, como veículos e objetivos de travessia.

3. Integração de Informações Contextuais

Além do vídeo, o estudo incorpora modalidades adicionais para melhorar o raciocínio:

• Movimento Ego (Ego Motion): A posição e velocidade do pedestre.
• Movimento do Veículo: A posição e velocidade do veículo automatizado.
• Olhar (Eye Gaze): Representado como descrições textuais (direção em graus) ou sobreposas visuais (pontos vermelhos nos pontos de fixação).
• Atributos Pessoais: Dados demográficos (ex: idade, gênero, lateralidade) incluídos no prompt.

Os autores investigam duas estratégias de integração para contexto variável no tempo: Preface (anexar o contexto ao início do prompt) e Interleaved (inserir o contexto junto a frames específicos do vídeo).

4. Estratégia de Ajuste Fino (Fine-Tuning)

Para adaptar os modelos pré-treinados ao domínio de tráfego, os autores utilizam Ajuste Fino Supervisionado (SFT) usando Adaptação de Baixo Posto (LoRA). Esta abordagem congela os parâmetros originais do modelo e treina apenas atualizações de baixo posto em camadas selecionadas. Eles experimentam o ajuste de:

• Apenas codificadores de linguagem.
• Apenas módulos de fusão cross-modal.
• Ambos, componentes de linguagem e cross-modais, conjuntamente.
  O codificador de visão permanece congelado para preservar seu papel como extrator de características.

Principais Resultados

Desempenho Zero-Shot

• Raciocínio Limitado: Os VLMs de última geração em um cenário zero-shot alcançam apenas ganhos moderados sobre o chute aleatório (ex: Qwen2.5-VL-7B alcança ~63% de acurácia), mas falham em superar o baseline especializado CLIP+Transformer (72,7% de acurácia).
• Limitações de Prompting: O prompting de CoT de texto não melhorou o desempenho e aumentou significativamente a latência de inferência. Em alguns casos, degradou o desempenho ao fazer com que os modelos recorressem ao "yield" (ceder). O prompting visual (set-of-marks) também não gerou melhorias mensuráveis, provavelmente devido a inconsistências de detecção e à natureza específica do ambiente de VR.
• Sensibilidade de Entrada: Modelos maiores (ex: Qwen3-VL-8B) apresentaram pior desempenho com o aumento da amostragem de frames (de 4 para 32 frames), sugerindo sensibilidade a entradas redundantes, enquanto modelos menores (Qwen3-VL-2B) beneficiaram-se de mais frames.

Desempenho com Ajuste Fino (Fine-Tuned)

• Ganhos Significativos: O ajuste fino eficiente de parâmetros melhorou substancialmente o desempenho. O Qwen3-VL-2B ajustado alcançou 77,7% de acurácia, e o VLP (GroundVQA) ajustado alcançou 78,9% de acurácia.
• Estado da Arte: Estes resultados representam um melhoria de 9% na acurácia sobre o baseline especializado CLIP+Transformer.
• Adaptação de Arquitetura: Para os modelos Qwen, o ajuste apenas dos módulos cross-modais foi suficiente. Para modelos VLP, o ajuste de ambos os componentes, linguagem e cross-modal, rendeu os melhores resultados.

Impacto de Pistas Contextuais

• Zero-Shot: Adicionar contexto (ex: movimento ego, olhar) geralmente melhorou o desempenho zero-shot, sendo o movimento ego a pista individual mais informativa. No entanto, combinar pistas sem ajuste fino às vezes levou a alucinações ou degradação de desempenho.
• Ajuste Fino: Quando ajustados, os modelos aprenderam a explorar o contexto de forma eficaz. A combinação de movimento ego e olhar (eye gaze) (especificamente o olhar na tela) proporcionou a melhor generalização, alcançando uma melhoria de 14,5% na acurácia sobre o baseline de transformer.
• Formatação de Contexto: A estratégia Preface (anexar o contexto no início) superou consistentemente a estratégia Interleaved, sugerindo que o condicionamento global do contexto é mais eficaz do que o intercalamento frame a frame para esta tarefa.

Significância e Alegações

O artigo afirma estabelecer um novo estado da arte para a decodificação de intenção de pedestres egocêntricos. Suas principais contribuições são:

1. Viabilidade de VLMs: Demonstrar que, embora os VLMs prontos para uso possuam capacidades zero-shot não triviais para raciocínio de tráfego, eles requerem adaptação de domínio (ajuste fino) para igualar ou exceder os baselines de aprendizado profundo especializados.
2. Eficácia do Ajuste Fino: Mostrar que o ajuste fino eficiente de parâmetros (LoRA) é uma estratégia altamente eficaz para adaptar VLMs de propósito geral para tarefas de tráfego críticas à segurança, superando modelos treinados do zero apenas com dados de vídeo.
3. Valor do Contexto Multimodal: Estabelecer que a incorporação de olhar (eye gaze) e movimento ego aumenta significadamente a acurácia preditiva e a generalização, particularmente quando o modelo é treinado para interpretar esses sinais.
4. Insights Metodológicos: Fornecer evidências de que o prompting de CoT baseado em texto e as sobreposas visuais podem não ser benéficos para esta tarefa específica, enquanto a integração estruturada de contexto (via preface) e o ajuste fino são críticos.

Os autores observam limitações, incluindo o uso de um dataset baseado em VR que pode não capturar todas as complexidades do mundo real, e a dependência de frames amostrados uniformemente. Eles sugerem que trabalhos futuros devem focar em pré-treinamento específico para tráfego, amostragem temporal adaptativa e avaliação em dados do mundo real com eventos raros.