DriverGaze360: OmniDirectional Driver Attention with Object-Level Guidance

Este artigo apresenta o DriverGaze360, um novo conjunto de dados em escala massiva com visão de 360 graus e o método DriverGaze360-Net, que utilizam orientação por objetos para superar as limitações de campo de visão frontal e alcançar um estado da arte na previsão da atenção do motorista em ambientes de condução panorâmicos.

O essencial

Imagine que você está dirigindo um carro. Você não olha apenas para a frente, certo? Você olha para os lados para mudar de faixa, olha no retrovisor para ver quem está atrás e verifica os espelhos para ver se há pedestres ou ciclistas.

O problema é que, até agora, a inteligência artificial (IA) que tenta entender o que o motorista está olhando era como uma pessoa com uma venda nos olhos, só conseguindo ver um pequeno quadrado bem na frente do carro. Ela perdia tudo o que acontecia ao redor.

Este artigo apresenta uma solução genial chamada DriverGaze360. Vamos explicar como funciona usando algumas analogias simples:

1. O Novo "Mapa do Tesouro" (O Dataset)

Os pesquisadores criaram um banco de dados gigante, chamado DriverGaze360.

• A Analogia: Imagine que os estudos antigos eram como tirar uma foto de uma única janela de um carro. O novo estudo é como colocar câmeras em 360 graus ao redor do carro, capturando tudo: frente, trás, esquerda e direita.
• O que eles fizeram: Eles colocaram 19 motoristas reais em um simulador de direção (como um videogame super realista) e usaram óculos especiais para rastrear exatamente para onde os olhos deles se moviam.
• O resultado: Eles coletaram cerca de 1 milhão de "fotos" de onde os olhos estavam olhando. Isso inclui momentos críticos, como quando o motorista olha para o espelho lateral antes de mudar de faixa ou para trás para ver um pedestre. Antes, a IA não sabia que esse movimento existia; agora, ela aprendeu com dados reais.

2. O "Detetive Inteligente" (O Modelo DriverGaze360-Net)

Com esses dados, eles criaram um novo cérebro de IA chamado DriverGaze360-Net.

• A Analogia: Pense em um detetive antigo que só olhava para a estrada e tentava adivinhar onde o motorista estava olhando. Ele muitas vezes errava porque não tinha contexto.
• A Nova Abordagem: O novo "detetive" (o modelo) tem um superpoder: ele não olha apenas para a imagem, ele também identifica os objetos. Ele sabe: "Ah, aquele é um pedestre, aquele é um carro, aquele é um sinal de pare".
• Como funciona: O modelo é treinado para fazer duas coisas ao mesmo tempo:
  1. Desenhar um mapa de calor mostrando onde o motorista está olhando.
  2. Pintar de cores diferentes os objetos que o motorista está olhando (ex: pintar o pedestre de vermelho se o motorista estiver olhando para ele).
• Por que é melhor? Ao ensinar a IA a reconhecer o que está sendo olhado (o objeto), ela se torna muito melhor em prever para onde o motorista vai olhar. É como ensinar um aluno não apenas a decorar a resposta, mas a entender a lógica por trás dela.

3. Por que isso é importante? (A Aplicação Prática)

Por que nos importamos se a IA sabe para onde o motorista olha?

• Segurança: Se o carro autônomo ou o sistema de assistência (como o alerta de colisão) sabe que o motorista está distraído olhando para o celular e não para o pedestre que está cruzando a rua, ele pode alertar o motorista ou até frear sozinho.
• Carros Autônomos: Para um carro autônomo entender o que um motorista humano vai fazer (ex: "ele está olhando para o espelho, então vai mudar de faixa"), ele precisa entender a visão de 360 graus, não apenas a frente.

Resumo em uma frase

Os pesquisadores criaram o primeiro "olho de águia" de 360 graus para ensinar a inteligência artificial a entender exatamente para onde os motoristas olham em todas as direções, usando um novo método que ensina a IA a reconhecer os objetos (como carros e pessoas) para prever o olhar com muito mais precisão.

Isso é um grande passo para tornar as estradas mais seguras e os carros autônomos mais inteligentes e humanos.

Resumo técnico

1. O Problema

A previsão da atenção do motorista é fundamental para o desenvolvimento de sistemas de condução autónoma explicáveis e para a compreensão do comportamento humano em cenários de tráfego misto. No entanto, os trabalhos existentes enfrentam duas limitações críticas:

• Campo de Visão (FoV) Restrito: A maioria dos conjuntos de dados e modelos atuais utiliza câmaras frontais estreitas, capturando apenas uma fração do ambiente. Isso falha em capturar o contexto espacial completo, especialmente durante manobras complexas como mudanças de faixa, curvas e interações com objetos periféricos (pedestres, ciclistas) ou traseiros (espelhos retrovisores).
• Falta de Diversidade e Contexto: Os dados existentes focam frequentemente em eventos de curta duração ou críticos, ignorando a dinâmica contínua e multidirecional do olhar do motorista. A ausência de dados omnidirecionais impede uma compreensão holística da atenção do condutor.

2. Metodologia

O artigo propõe uma solução composta por um novo conjunto de dados e uma nova arquitetura de rede neural.

A. DriverGaze360 (Conjunto de Dados)

• Escala e Cobertura: É o primeiro conjunto de dados de grande escala com campo de visão de 360° para atenção do motorista. Contém aproximadamente 1 milhão de frames com anotações de olhar (gaze), coletados de 19 condutores em um ambiente de simulação controlado (CARLA).
• Configuração Experimental: O setup utiliza três telas frontais e duas telas "picture-in-picture" (simulando espelhos retrovisores) para criar um FoV contíguo de 360°. O rastreamento ocular é feito com óculos Pupil Core a 120 Hz.
• Cenários: Os dados cobrem navegação não roteada, navegação guiada por objetivos e eventos críticos de segurança (ex: frenagem de emergência, fusão em autoestrada, cruzamento de pedestres), abrangendo diversas condições climáticas e horários.
• Calibração: Os pontos de fixação são mapeados para o plano da imagem do simulador usando AprilTags, gerando mapas de atenção densos.

B. DriverGaze360-Net (Arquitetura do Modelo)

O modelo proposto é baseado em Transformadores de Vídeo (Video Swin Transformer - VST) e possui uma abordagem inovadora de aprendizado conjunto:

1. Codificador (Encoder): Utiliza o VST para extrair características espaço-temporais multiescala de sequências de frames RGB concatenados (das 5 câmaras).
2. Decodificador de Atenção: Gera mapas de probabilidade de olhar (gaze) omnidirecionais.
3. Decodificador de Objetos Atendidos (Auxiliar): Esta é a inovação central. Em vez de tratar a segmentação semântica como uma tarefa separada, o modelo possui um cabeçalho auxiliar que prediz quais objetos específicos (veículos, pedestres, sinais) estão sendo observados pelo motorista.
   • Mecanismo: O modelo aprende a mapear a distribuição do olhar para instâncias de objetos. Apenas os pixels pertencentes a objetos "atendidos" mantêm suas IDs semânticas; o resto é tratado como fundo.
4. Função de Perda: O treinamento otimiza simultaneamente a previsão do mapa de atenção e a segmentação dos objetos atendidos, combinando Divergência KL, Coeficiente de Correlação, Dice e IoU.

3. Principais Contribuições

1. DriverGaze360: O primeiro conjunto de dados de grande escala e 360° de atenção do motorista, permitindo o modelamento de comportamentos de olhar que antes eram invisíveis (ex: monitoramento de espelhos retrovisores).
2. DriverGaze360-Net: Uma arquitetura baseada em transformadores que realiza a previsão conjunta de mapas de atenção e objetos atendidos. Isso melhora a consciência espacial e a robustez em distribuições de atenção esparsas em panoramas.
3. Pipeline de Extração de Objetos: Um método de fusão "fixação-semântica" que mapeia distribuições de olhar para instâncias de objetos, servindo como supervisão de nível de objeto para o treinamento do modelo.

4. Resultados

Os experimentos demonstraram o estado da arte (SOTA) em múltiplas métricas:

• Desempenho no DriverGaze360: O modelo superou todos os métodos de comparação (incluindo DR(eye)VE, BDDA, DADANet, ViNet++, FBLNet). Houve melhorias significativas em relação ao segundo melhor método:
  • KLD: +12,18% (redução de erro)
  • SIM: +4,24%
  • CC: +4,51%
  • NSS: +4,94%
• Generalização para o Mundo Real: Ao ser testado no conjunto de dados real DADA-2000 (com FoV estreito), o modelo também superou as baselines, provando que a abordagem não é específica apenas para dados simulados.
• Ablação (Importância da Segmentação): A adição do cabeçalho de segmentação de objetos atendidos (Attended Object Segmentation) resultou em ganhos consistentes em todas as métricas de atenção em comparação com um modelo que prevê apenas o mapa de atenção ou que segmenta todos os objetos indiscriminadamente. Isso confirma que guiar o modelo para identificar quais objetos são relevantes melhora a precisão da previsão de atenção.

5. Significado e Impacto

Este trabalho representa um avanço crucial para a condução autónoma e a segurança viária:

• Compreensão Holística: Permite que os sistemas de IA entendam o comportamento do motorista em todo o ambiente, não apenas à frente, o que é vital para prever intenções em manobras complexas.
• IA Explicável (XAI): Ao identificar não apenas onde o motorista olha, mas o que ele está olhando (objetos específicos), o sistema pode antecipar melhor as reações humanas e fornecer alertas mais precisos.
• Padrão Futuro: Estabelece um novo padrão para a coleta de dados e modelagem de atenção, superando as limitações das câmaras frontais tradicionais e abrindo caminho para sistemas de assistência ao condutor (ADAS) mais robustos e seguros.

O código e o conjunto de dados estão disponíveis publicamente, facilitando a reprodução e o avanço futuro da pesquisa na área.