PO-GUISE+: Pose and object guided transformer token selection for efficient driver action recognition

O artigo apresenta o PO-GUISE+, um modelo de transformador multi-tarefa que utiliza informações de pose e objetos para selecionar tokens de forma eficiente, permitindo o reconhecimento de ações de direção distraída com alta precisão e baixo custo computacional em plataformas embarcadas.

O essencial

Imagine que você tem um guarda-costas muito inteligente, mas um pouco "chato" e lento. Esse guarda-costas é o seu carro, e a tarefa dele é vigiar o motorista para garantir que ele não está fazendo nada perigoso, como mexer no celular, comer um sanduíche ou ajustar o rádio enquanto dirige.

O problema é que, para fazer esse trabalho com perfeição, o guarda-costas precisa assistir a todos os quadros do vídeo da câmera, o tempo todo. É como se ele tivesse que ler cada palavra de um livro gigante, página por página, para entender a história. Isso exige muita energia e um computador superpoderoso, o que é caro e difícil de colocar dentro de um carro comum.

Aqui entra o PO-GUISE+, o novo "super-guarda-costas" criado pelos autores deste artigo.

A Grande Ideia: O Filtro de Atenção

O PO-GUISE+ não tenta ler tudo. Em vez disso, ele aprendeu a ser um detetive esperto.

1. O Problema do "Filtro" Antigo:
   Antes, existiam métodos que tentavam ignorar partes do vídeo para economizar energia. Eles olhavam apenas para o corpo do motorista (onde estão as mãos e a cabeça). Era como se o guarda-costas olhasse apenas para as mãos do motorista, mas ignorasse o que elas estavam segurando. Se o motorista segurasse um celular, o sistema antigo podia não perceber que era um celular, achando que era apenas uma mão se movendo.

2. A Solução PO-GUISE+:
   O PO-GUISE+ é diferente. Ele usa uma técnica chamada "seleção de tokens" (que é uma forma chique de dizer "escolher quais pedaços da imagem são importantes").

   • A Analogia do Detetive: Imagine que você está em uma sala cheia de pessoas conversando (o vídeo). O sistema antigo olhava apenas para quem estava falando. O PO-GUISE+, porém, olha para quem está falando E o que a pessoa está segurando (um celular, uma garrafa, um livro).
   • Ele cria um "mapa de calor" (uma espécie de radar visual) que mostra onde está o corpo do motorista e onde está o objeto com o qual ele está interagindo.

Como ele funciona na prática?

O sistema funciona em três passos principais, como se fosse uma equipe de segurança:

1. O Olho de Águia (A Câmera): Ele pega um pequeno trecho de vídeo (como um clipe de 3 segundos).
2. O Filtro Inteligente (A Seleção de Tokens): Em vez de processar toda a imagem, o sistema decide: "Ok, a parte do vidro do carro e o banco vazio não são importantes agora. Vamos descartar esses pedaços para economizar energia." Mas, ele mantém os pedaços onde está a mão do motorista e o objeto que ele está segurando.
3. A Decisão (O Veredito): Com apenas os pedaços importantes, o sistema diz: "O motorista está segurando um celular e olhando para ele. Isso é distração!" ou "Ele está apenas segurando o volante. Tudo certo."

Por que isso é incrível?

• Economia de Energia: O sistema consegue fazer o mesmo trabalho (ou até melhor) usando 30% a 57% menos energia do que os sistemas anteriores. É como trocar um motor de caminhão por um motor híbrido super eficiente que anda na mesma velocidade.
• Precisão: Como ele olha para o objeto (o celular, a comida), ele erra menos. Ele não confunde "comer um lanche" com "segurar o volante".
• Funciona em Carros Reais: Os autores testaram isso em computadores pequenos e baratos (chamados Jetson), que são do tamanho de um livro e cabem no painel do carro. O sistema consegue processar o vídeo em tempo real, sem travar, como se fosse um vídeo do YouTube rodando liso no seu celular.

O Resultado Final

O PO-GUISE+ é como dar ao carro um cérebro que sabe exatamente onde olhar. Ele não perde tempo com o que não importa (o teto do carro, o banco vazio) e foca 100% no que pode causar um acidente: a interação entre o motorista e um objeto.

Isso significa que, no futuro, nossos carros poderão ter sistemas de segurança que vigiam o motorista 24 horas por dia, gastando pouca bateria e evitando acidentes, sem precisar de computadores gigantes e caros. É um passo gigante para tornar as estradas mais seguras para todos nós.

Resumo técnico

1. O Problema

A distração ao volante é uma das principais causas de acidentes de trânsito, representando um risco significativo para a segurança viária. Embora os modelos baseados em Transformers tenham alcançado desempenho superior na reconhecimento de ações humanas, sua aplicação em sistemas embarcados de veículos (como câmeras de monitoramento do motorista) é limitada pelo seu alto custo computacional.

A complexidade quadrática dos Transformers em relação ao número de tokens (fragmentos de dados espaciais e temporais) torna difícil a execução em tempo real em hardware de borda (como chips Jetson). Métodos existentes de seleção de tokens (descarte de dados menos relevantes) geralmente falham em contextos específicos de direção porque ignoram a interação com objetos, que é crucial para distinguir ações como "usar o celular" de "ajustar o rádio".

2. Metodologia: PO-GUISE+

Os autores propõem o PO-GUISE+, uma arquitetura de Transformer de vídeo multi-tarefa que otimiza a eficiência sem sacrificar a precisão. A abordagem central é uma seleção de tokens guiada semanticamente por três fatores: a classe de distração, a pose do motorista e a localização do objeto interagido.

Principais Componentes Técnicos:

• Arquitetura Base: O modelo utiliza backbones de Transformer de Vídeo pré-treinados (VideoMAEv2 e InternVideo2).
• Aprendizado Multi-tarefa: O modelo é treinado simultaneamente para três tarefas:
  1. Classificação de Distração: Identificar a ação do motorista.
  2. Estimativa de Pose: Localizar pontos-chave do corpo (juntas).
  3. Localização de Objetos: Gerar mapas de calor (heatmaps) que indicam a posição e o movimento do objeto com o qual o motorista interage.
• Tokens de Mapa de Calor (Heatmap Tokens): O modelo introduz tokens aprendíveis (Xhm) que representam mapas de calor temporais. Diferente de métodos anteriores que usam heatmaps estáticos, o PO-GUISE+ gera heatmaps de movimento (média dos heatframes de todo o clipe), capturando a dinâmica da interação.
• Módulo de Seleção de Tokens (Token Selection):
  • Poda (Pruning): Descarta tokens visuais que não prestam atenção suficiente aos tokens de classe, pose e objeto.
  • Fusão (Merging): Agrupa tokens descartados semelhantes para recuperar informações críticas.
  • Guia Semântico: A seleção é guiada pela atenção aos heatmaps de pose e, crucialmente, ao heatmap do objeto interagido. Isso permite que o modelo foque nos recursos relevantes (ex: a mão segurando o celular) e descarte o ruído de fundo.
• Inferência Livre de Detectores: Embora use detectores externos (ViTPose e YOLO11x) apenas para gerar os pseudo-labels durante o treinamento, o modelo PO-GUISE+ é autônomo na inferência, não exigindo detectores externos em tempo real.

3. Contribuições Chave

1. Método de Seleção de Tokens Adaptado: Primeira integração de reconhecimento de distração, pose humana e localização de objetos em um único Transformer de vídeo para guiar a poda de tokens, eliminando a necessidade de detectores externos na fase de inferência.
2. Eficiência e Precisão: Redução significativa na demanda computacional (GFLOPs) mantendo ou superando a precisão de modelos base-line.
3. Benchmarks em Hardware Real: Avaliação extensiva em uma plataforma NVIDIA Jetson Orin NX, demonstrando viabilidade para implantação em veículos reais.
4. Novos Recordes (State-of-the-Art): Estabelecimento de novos patamares de desempenho em três conjuntos de dados principais: Drive&Act, 100-Driver e 3MDAD.

4. Resultados Experimentais

Os resultados foram validados em três conjuntos de dados distintos, com foco na métrica de acurácia macro (que considera o desequilíbrio de classes):

• Drive&Act:
  • O PO-GUISE+ alcançou 70,35% de acurácia macro (vs. 55,30% do TransDARC e 62,64% do DRVMon-VM).
  • Redução de 30% nos GFLOPs (251 GFLOPs) em comparação ao modelo base VideoMAEv2 (360 GFLOPs), mantendo maior precisão.
  • Em configurações de alta eficiência (baixa taxa de retenção de tokens), a precisão permaneceu robusta, com apenas uma queda marginal de 0,42% em relação ao modelo base completo.
• 100-Driver:
  • Acurácia de 93,54%, superando o baseline VideoMAEv2-base (91,30%) com a mesma eficiência computacional reduzida.
• 3MDAD:
  • Acurácia de 93,42%, superando o método anterior MIFI em 9,52 pontos percentuais, com redução de 28 GFLOPs.
• Desempenho em Jetson Orin NX:
  • O modelo operou a 33 quadros por segundo (FPS) com 72,62% de precisão, utilizando apenas 3,8 GB de memória (vs. 5,6 GB do modelo base).
  • Uma configuração ainda mais leve atingiu 57 FPS com 2,9 GB de memória, provando a viabilidade para hardware de borda.

5. Significado e Conclusão

O PO-GUISE+ representa um avanço crucial na transição de modelos de visão computacional pesados para sistemas de Monitoramento de Motorista (DMS) práticos e seguros.

• Impacto na Segurança: Ao permitir a detecção precisa de distrações em tempo real com baixo custo computacional, o sistema pode ser integrado diretamente em veículos, contribuindo para a redução de acidentes.
• Inovação Técnica: A demonstração de que a inclusão de informações sobre objetos na seleção de tokens é vital para a precisão em cenários de direção preenche uma lacuna importante entre a reconhecimento de ação humana genérico e a aplicação específica em veículos.
• Viabilidade de Implantação: Os testes em hardware Jetson confirmam que é possível executar modelos Transformer de última geração em dispositivos embarcados, superando as limitações de memória e latência que anteriormente impediam sua adoção em larga escala.

Em resumo, o trabalho oferece uma solução equilibrada entre eficiência e precisão, tornando os sistemas de segurança veicular baseados em IA mais acessíveis e eficazes.