FSDAM: Few-Shot Driving Attention Modeling via Vision-Language Coupling

Resumo Técnico: FSDAM

1. Problema e Motivação

O modelo de atenção do motorista é fundamental para a colaboração humano-IA e para a segurança em veículos autônomos. No entanto, a modelagem atual enfrenta dois desafios principais:

• Escassez de Dados: A maioria dos métodos de previsão de atenção (saliência) depende de grandes conjuntos de dados com anotações densas de rastreamento ocular, que são caros, sensíveis à privacidade e difíceis de obter em cenários raros ou críticos de segurança.
• Limitações Conceituais: Abordagens existentes tratam a atenção como uma "saliência perceptiva estática", ignorando sua natureza semântica, antecipatória e estruturada. Motoristas não apenas olham para o que é visualmente proeminente, mas antecipam eventos futuros baseados em regras de trânsito e contexto.
• Conflito de Tarefas: Modelos que tentam prever mapas de calor de gaze e gerar explicações em linguagem natural simultaneamente frequentemente sofrem de interferência de tarefas e sobrecarga de dados, exigindo milhares de amostras para convergir.

O objetivo do FSDAM é superar essas limitações, permitindo a aprendizagem de poucos exemplos (few-shot) para prever onde o motorista olha e por que ele muda o foco, utilizando apenas 90 exemplos anotados.

2. Metodologia

O FSDAM propõe um framework que combina previsão espacial de atenção com geração de explicações estruturadas, utilizando acoplamento visão-linguagem.

A. Formulação do Problema e Raciocínio Estruturado
Em vez de prever apenas um mapa de calor, o modelo decomõe a atenção em quatro componentes semânticos explícitos:

1. Contexto da Cena (Scene): Descrição global do ambiente.
2. Foco Atual (Current Gaze): Onde o motorista está olhando no momento $t$.
3. Próximo Foco Antecipado (Next Gaze): Para onde o olhar se moverá no momento $t+\Delta$.
4. Explicação Causal (Why): A razão lógica baseada em regras de trânsito ou segurança para essa transição.

B. Arquitetura de Duplo Caminho (Dual-Pathway)
Para evitar o conflito de tarefas e o overfitting em dados escassos, o FSDAM utiliza uma arquitetura decoplada:

• Caminho de Gaze: Um decodificador convolucional dedicado que recebe características visuais e prediz o mapa de atenção espacial ($\hat{G}$).
• Caminho de Legenda (Caption): Um módulo baseado em Prefix-Tuning e Cross-Attention que gera a explicação estruturada em linguagem natural.
• Base Congelada: O modelo utiliza o backbone LLaVA-Next (Mistral-7B + CLIP-ViT), mantendo os pesos pré-treinados congelados e atualizando apenas adaptadores leves (LoRA) e cabeças de tarefa específicas.

C. Mecanismo de Alinhamento Visão-Linguagem (Apenas Treinamento)
Uma contribuição chave é um mecanismo de alinhamento que atua apenas durante o treinamento:

• Um módulo de alinhamento contrastivo (InfoNCE loss) força as características visuais ponderadas pelo mapa de gaze predito a alinhar-se com as características textuais da explicação.
• Isso injeta priors semânticos no aprendizado espacial, guiando o modelo a focar em regiões semanticamente relevantes sem aumentar a complexidade na inferência.

D. Curadoria de Dados (Few-Shot)

• Fonte: Dataset BDD-A (vídeos de direção com dados de rastreamento ocular).
• Seleção de Quadros: Utiliza uma divergência KL (Kullback-Leibler) entre mapas de gaze consecutivos para identificar momentos de transição crítica de atenção.
• Anotação: Gera automaticamente 90 exemplos de alta qualidade usando GPT-4o com um template estruturado, validados por humanos, cobrindo 8 cenários de direção (interseções, mudanças de faixa, pedestres, etc.).

3. Contribuições Principais

1. Primeira Abordagem Few-Shot para Geração de Atenção: É o primeiro trabalho a demonstrar que a geração de linguagem baseada em atenção e a previsão de gaze podem ser aprendidas conjuntamente com apenas 90 exemplos, sendo duas ordens de magnitude mais eficiente em dados que métodos anteriores (que exigem ~70k amostras).
2. Formulação de Raciocínio Estruturado: Reformula a modelagem de atenção como "antecipação estruturada" em vez de predição de saliência estática, conectando padrões espaciais a explicações causais.
3. Arquitetura de Duplo Caminho com Alinhamento de Treinamento: Mitiga a transferência negativa entre tarefas espaciais e linguísticas, permitindo aprendizado eficaz sob escassez extrema de dados.
4. Generalização Zero-Shot: O modelo demonstra capacidade de generalização robusta para datasets não vistos durante o treinamento, sem necessidade de ajuste fino (fine-tuning) no domínio alvo.

4. Resultados e Análise

Os experimentos foram realizados em quatro benchmarks de atenção de motoristas: BDD-A, DADA-2000, DR(eye)VE e W3D.

• Desempenho In-Domain (BDD-A): Com apenas 90 amostras, o FSDAM alcança desempenho competitivo (e às vezes superior) a modelos totalmente supervisionados treinados em dados completos.
  • Redução de 89% na divergência KL em comparação com o MINet (treinado em dados completos).
  • Supera o modelo joint LLada (treinado em 90 amostras) em 2.6% na métrica KL, provando que a arquitetura de duplo caminho é superior ao acoplamento simples.
• Transferência Zero-Shot: O modelo treinado apenas em BDD-A (90 amostras) supera ou iguala modelos treinados em centenas de milhares de frames em datasets como DADA-2000 e DR(eye)VE.
  • No DR(eye)VE, obteve a menor divergência KL (0.77), superando o LLada em 26%.
• Geração de Legenda: Em cenários de segurança crítica e acidentes, o FSDAM supera significativamente abordagens few-shot de duas etapas (ex: DeepGaze + LLaVA) e modelos zero-shot, alcançando pontuações BLEU e CIDEr próximas às de modelos treinados com dados completos.
• Análise de Few-Shot: O desempenho satura rapidamente; com apenas 3 a 5 exemplos, o modelo já recupera mais de 96% do desempenho de um modelo treinado com dados completos.

5. Significado e Conclusão

O FSDAM demonstra que a modelagem de atenção semântica e estruturada permite um aprendizado eficiente em dados, contornando a necessidade de anotações massivas e caras.

• Interpretabilidade: Ao gerar explicações causais ("por que" o motorista olha), o sistema torna a decisão da IA mais transparente e confiável para a colaboração humano-máquina.
• Escalabilidade: A abordagem oferece um caminho escalável para sistemas de atenção explicativa em ambientes com restrições de dados, como cenários de acidentes raros ou condições climáticas extremas.
• Limitações Futuras: O artigo aponta que, embora robusto, o modelo ainda pode sofrer com a priorização imperfeita em cenas visualmente complexas (muitos objetos) e inconsistências cruzadas entre a explicação e o mapa de calor em casos de borda.

Em resumo, o FSDAM estabelece um novo paradigma para a previsão de atenção em direção autônoma, provando que a integração inteligente de raciocínio linguístico e visão computacional pode superar a dependência de grandes volumes de dados rotulados.