ALERT Open Dataset and Input-Size-Agnostic Vision Transformer for Driver Activity Recognition using IR-UWB

Este trabalho apresenta o conjunto de dados ALERT e o modelo ISA-ViT, uma arquitetura de Vision Transformer adaptável a tamanhos de entrada, para melhorar o reconhecimento de atividades de motorista distraído utilizando radar IR-UWB, superando limitações de dados e de dimensionamento de modelos existentes.

O essencial

Imagine que você está dirigindo seu carro e, de repente, começa a olhar para o celular, comer um sanduíche ou até cochilar. Isso é perigoso e causa muitos acidentes. Para evitar isso, os cientistas querem criar um "vigia digital" que saiba exatamente o que o motorista está fazendo, sem precisar de câmeras que invadam a privacidade.

Este artigo apresenta uma solução brilhante chamada ALERT, que funciona como um "super-olho" invisível usando ondas de rádio, combinado com uma "inteligência artificial" muito esperta.

Aqui está a explicação passo a passo, usando analogias simples:

1. O Problema: Por que câmeras não são a solução perfeita?

Até agora, muitos sistemas usavam câmeras para vigiar o motorista. Mas isso tem dois grandes problemas:

• Privacidade: Ninguém gosta de ter uma câmera filmando seu rosto o tempo todo.
• Luz: Câmeras não funcionam bem no escuro ou com sol forte.

Outros usavam microfones, mas o barulho do carro atrapalha. Então, os cientistas decidiram usar Radar UWB (uma tecnologia de ondas de rádio super rápida). É como se o carro tivesse um "sonar" que vê através da escuridão, não grava vídeo (protegendo sua privacidade) e funciona mesmo com chuva ou sol.

2. O Obstáculo 1: A falta de um "Livro de Receitas" (Dataset)

Para ensinar um computador a reconhecer se você está dirigindo ou fumando, você precisa de milhares de exemplos reais.

• O que eles fizeram: Criaram o ALERT, um banco de dados gigante com mais de 10.000 "fotos" de radar.
• A Analogia: Imagine tentar ensinar um aluno a identificar frutas. Se você só mostrar desenhos de frutas em um caderno (dados simulados), ele vai errar na vida real. O ALERT é como levar o aluno para um pomar real, com árvores balançando, sol batendo e vento, para que ele aprenda a reconhecer as frutas de verdade. Eles gravaram motoristas reais dirigindo em ruas e campus, fazendo coisas como beber água, acender um cigarro ou usar o celular.

3. O Obstáculo 2: O "Quebra-Cabeça" que não encaixa (ViT e Tamanho)

Aqui entra a parte mais técnica, mas vamos simplificar:

• O Cenário: Os cientistas queriam usar uma inteligência artificial famosa chamada Vision Transformer (ViT). Pense no ViT como um mestre em resolver quebra-cabeças de imagens quadradas (como fotos de gatos ou carros).
• O Problema: Os dados do radar não são quadrados; são retângulos estranhos e de tamanhos variados (como tentar encaixar uma peça de quebra-cabeça retangular em um buraco quadrado).
• O Erro Comum: Antes, as pessoas tentavam "esticar" ou "cortar" o radar para forçá-lo a caber no formato quadrado. Isso é como tentar esticar uma foto de um gato até virar um quadrado: o gato fica deformado e o computador não entende mais nada.
• A Solução (ISA-ViT): Os autores criaram um novo método chamado ISA-ViT.
  • A Analogia: Em vez de esticar a foto, o ISA-ViT é como um engenheiro de arquitetura inteligente. Ele pega o retângulo do radar, ajusta as peças (chamadas de "patches") de forma que o tamanho mude, mas sem rasgar ou distorcer a imagem. Ele mantém a "forma" original da informação (como a velocidade e a distância do movimento) intacta, permitindo que o computador entenda perfeitamente o que está acontecendo, mesmo que o formato seja estranho.

4. O Truque Mágico: Unir Dois Mundos (Fusão de Domínios)

O radar gera dois tipos de informações:

1. Distância (Range): Onde o objeto está (como ver a silhueta de alguém).
2. Frequência (Frequency): Como o objeto está se movendo (a velocidade e o ritmo).

• A Analogia: Imagine que você está tentando identificar alguém em uma festa.
  • Olhar apenas para a distância é como ver a silhueta da pessoa na parede (você sabe que é alguém, mas não sabe se é o João ou a Maria).
  • Olhar apenas para a frequência é como ouvir o ritmo da música que a pessoa está dançando (você sabe que ela está dançando rápido, mas não sabe quem é).
  • A Solução: O sistema deles une as duas coisas. Ele olha a silhueta E o ritmo ao mesmo tempo. Isso faz com que o computador acerte muito mais vezes, distinguindo, por exemplo, se você está apenas balançando a cabeça (dormindo) ou se está mexendo no celular.

5. Os Resultados: O "Super-Vigia"

Com essa combinação de dados reais (ALERT) e a inteligência artificial adaptada (ISA-ViT):

• O sistema consegue identificar se o motorista está dirigindo com segurança ou se está distraído com 97,35% de precisão.
• Isso é muito melhor do que os métodos antigos, que ficavam confusos quando tentavam adaptar os dados do radar para os modelos de imagem.

Resumo Final

Os autores criaram um manual de instruções real (o dataset ALERT) e uma nova maneira de ensinar o computador (o modelo ISA-ViT) para que ele possa "ver" o que o motorista está fazendo usando ondas de rádio, sem precisar de câmeras e sem distorcer a informação.

É como dar ao carro um novo sentido: em vez de apenas ver e ouvir, ele agora "sente" os movimentos do motorista através das ondas de rádio, garantindo que, se você pegar o celular, o carro saiba e possa alertar você antes que aconteça um acidente.

Resumo técnico

Título: ALERT: Dataset Aberto e Vision Transformer Agnóstico ao Tamanho de Entrada para Reconhecimento de Atividade do Motorista usando IR-UWB

1. Problema e Motivação

O reconhecimento de atividades do motorista (DAR - Driver Activity Recognition) é crucial para mitigar acidentes causados por distração, que representam cerca de 10% das fatalidades no trânsito global. Embora existam abordagens baseadas em visão computacional, áudio e sinais de RF (como Wi-Fi), elas enfrentam limitações significativas:

• Privacidade e Condições Ambientais: Câmeras levantam preocupações de privacidade e falham em baixa luminosidade.
• Interferência: O Wi-Fi opera na banda ISM congestionada (2,4 GHz), podendo causar interferência com outros dispositivos veiculares.
• Vantagens do IR-UWB: O Radar de Ultra-Larga Banda de Rádio de Impulso (IR-UWB) oferece robustez contra interferências, baixa potência, privacidade intrínseca (não captura imagens/áudio) e operação em frequências menos congestionadas (6,5–9 GHz).

Desafios Principais Identificados:

1. Falta de Dados Reais: A maioria dos conjuntos de dados existentes foi coletada em ambientes simulados, não refletindo vibrações reais, condições da estrada e dinâmicas de direção, o que limita a generalização. Além disso, há escassez de dados abrangendo múltiplas atividades de distração complexas.
2. Incompatibilidade de Modelos: Modelos de ponta como Vision Transformers (ViTs) foram pré-treinados em imagens (ex: ImageNet) com tamanhos de entrada fixos (ex: 224x224). Aplicá-los diretamente a dados de radar UWB (que têm dimensões variáveis e não quadradas) exige redimensionamento. Técnicas ingênuas de redimensionamento (interpolação) distorcem informações críticas do radar (como deslocamento Doppler e fase), e os vetores de incorporação posicional (PEVs) pré-treinados não correspondem à geometria dos dados UWB, degradando o desempenho.

2. Metodologia Proposta

Os autores abordam os desafios através de duas contribuições principais: um novo conjunto de dados e uma nova arquitetura de modelo.

A. Dataset ALERT (Open Dataset)

• Coleta Real: Coletado em um veículo real (sedã) em rotas urbanas e de campus, cobrindo diferentes condições de estrada (asfalto, paralelepípedos, lombadas) e padrões de tráfego.
• Sensor: Utiliza o radar Xethru X4M06 montado na saída de ar do painel, garantindo geometria de sensoriamento estável sem obstruir a visão do motorista.
• Dados: Contém 10.220 amostras de 7 atividades:
  1. Relaxamento (mãos fora do volante).
  2. Dirigindo (normal).
  3. Acenar com a cabeça (sonolência).
  4. Fumar.
  5. Beber.
  6. Controle do painel.
  7. Uso de smartphone.
• Representação: Fornece dados nos domínios Tempo-Range (distância) e Tempo-Frequência (Doppler), permitindo flexibilidade experimental.

B. Modelo ISA-ViT (Input-Size-Agnostic Vision Transformer)
Para superar a incompatibilidade entre dados UWB e ViTs pré-treinados, propõe-se o ISA-ViT:

• Estratégia de Redimensionamento sem Perda: Em vez de interpolação direta, o método estende o lado mais curto da entrada para igualar o lado mais longo, calculando um tamanho de "patch" (bloco) que permita dividir a imagem estendida em uma grade de 14x14 patches (mantendo a estrutura padrão do ViT).
• Preservação de PEVs: Ao manter a sequência de 14x14, o modelo pode reutilizar os vetores de incorporação posicional (PEVs) pré-treinados do ViT original sem necessidade de manipulação agressiva (corte ou interpolação excessiva), preservando a coerência espacial aprendida.
• Ajuste de Kernel: Os pesos do kernel CNN (usado para projetar patches em embeddings) são ajustados via interpolação ou pooling médio para corresponder ao novo tamanho do patch, e os canais RGB são convertidos para o canal único do radar.
• Fusão de Domínios: O modelo emprega uma estratégia de fusão tardia leve. Extrai características do domínio de Range (mais rico em contexto espacial) usando o ISA-ViT e do domínio de Frequência usando um extrator leve. As características são concatenadas com um fator de ajuste aprendível ($\beta$) para equilibrar a contribuição de cada domínio.

3. Contribuições Chave

1. Dataset ALERT: O primeiro conjunto de dados UWB aberto focado em atividades de direção distraída em condições reais de condução, com 7 classes e representações duplas (Range e Frequência).
2. Arquitetura ISA-ViT: Um novo framework que adapta ViTs para dados de radar de tamanho variável, resolvendo o problema de incompatibilidade de PEVs e redimensionamento sem perda de informação.
3. Benchmarking Abrangente: Avaliação de 8 algoritmos (CNNs, RNNs, Transformers) no dataset ALERT, incluindo análise de janelas de observação, efeitos de multipath e estratégias de fusão.
4. Acesso Aberto: Disponibilização pública do dataset e do código para fomentar a pesquisa em DAR.

4. Resultados Experimentais

• Desempenho Geral: O ISA-ViT alcançou uma acurácia de classificação de 76,28%, superando significativamente os métodos existentes.
  • Comparado ao ViT padrão (com redimensionamento simples), houve um ganho de 22,68% na acurácia.
  • Superou CNNs (GoogLeNet, ResNet, etc.) e RNNs, que atingiram acurácias entre 61% e 71%.
• Detecção de Distração: Ao focar especificamente na detecção de atividades de direção distraída (agrupando todas as distrações contra "Dirigindo"), o sistema atingiu 97,35% de precisão, demonstrando alta eficácia para segurança viária.
• Impacto da Fusão de Domínios: A fusão dos domínios de Range e Frequência melhorou a acurácia em comparação ao uso de domínios isolados (de ~66% para 76,28%). O fator de ajuste $\beta$ aprendível provou ser crucial para equilibrar as informações.
• Análise de Redimensionamento: Estudos de ablação mostraram que métodos que mantêm a sequência de PEVs 14x14 (como o ISA-ViT) superam métodos que manipulam os PEVs ou usam redimensionamento simples, especialmente em dados com formas assimétricas.
• Eficiência Computacional: Embora o ISA-ViT tenha um custo computacional ligeiramente superior ao ViT padrão (60,01 GFLOPs vs 59,70 GFLOPs), ele oferece ganhos massivos de precisão. A fusão tardia foi preferida à fusão tardia pesada para manter a responsividade do sistema.

5. Significado e Impacto

Este trabalho estabelece um novo padrão para a pesquisa em reconhecimento de atividades de motorista usando radar:

• Viabilidade Realista: Demonstra que o IR-UWB é uma solução viável e robusta para DAR em cenários do mundo real, superando as limitações de privacidade e interferência de outras tecnologias.
• Avanço em Modelos de IA: O ISA-ViT resolve um problema fundamental na aplicação de Transformers a dados não visuais (radar), permitindo a transferência eficaz de conhecimento pré-treinado sem distorcer as características físicas do sinal.
• Futuro da Pesquisa: A disponibilidade do dataset ALERT e dos benchmarks detalhados permite que a comunidade científica desenvolva e teste algoritmos mais robustos, acelerando o desenvolvimento de sistemas de segurança veicular autônomos e assistivos.

Em resumo, a combinação de um dataset realista de alta qualidade e uma arquitetura de modelo adaptada (ISA-ViT) com fusão de domínios oferece uma solução superior para a detecção de direção distraída, com potencial direto para implementação em sistemas de segurança veicular futuros.