💻 computer science

Multimodal Driver Visual Load Assessment and Prediction under Dynamic Lighting Environments Using RaceGrid-OPTICS and WA-PSRSMformer

Este estudo propõe um framework multimodal que integra dados de movimento ocular, iluminação e velocidade do veículo com um novo algoritmo de agrupamento RaceGrid-OPTICS e um modelo de aprendizado profundo WA-PSRSMformer para avaliar e prever com precisão a carga visual do motorista sob condições de iluminação dinâmica, alcançando 90,13% de precisão em ambientes de túneis.

Autores originais: Noman Iqbal, Yishui Zhu, Fenjiao Wang, Luyang Wang

Publicado 2026-09-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Noman Iqbal, Yishui Zhu, Fenjiao Wang, Luyang Wang

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Dirigir é um ato de constante negociação entre a mente humana e a estrada. Para a maioria de nós, essa negociação acontece sem pensamento consciente, mas depende fortemente de um sentido: a visão. Quando a luz muda subitamente — passando de uma rodovia ensolarada e brilhante para o interior escuro de um túnel, ou dirigindo por um trecho de estrada onde sombras de árvores oscilam rapidamente pelo para-brisa — os olhos e o cére vez precisam trabalhar intensamente para se ajustar. Essa demanda súbita por informação visual cria um estado conhecido como carga visual. É o esforço mental necessário para processar o que os olhos veem. Quando essa carga se torna muito pesada, a capacidade de um motorista notar perigos, reconhecer formas e reagir a riscos pode diminuir, transformando um trajeto rotineiro em um risco potencial. Embora saibamos que essas mudanças de iluminação são perigosas, entender exatamente quanta tensão mental elas impõem a um motorista em tempo real tem sido difícil de medir.

Uma equipe de pesquisadores da Universidade de Chang'an desenvolveu uma nova maneira de espiar esse esforço mental invisível. Eles se propuseram a construir um sistema que pudesse não apenas medir a carga visual de um motorista conforme ela ocorre, mas também prever quando está prestர a subir, tudo isso enquanto o carro se desloca por uma luz complexa e mutável. Para fazer isso, eles foram além dos ambientes controlados e artificiais de simuladores de direção e levaram seu experimento para estradas reais. Eles recrutaram dez motoristas e equiparam um sedã padrão com um conjunto de sensores: uma câmera vestível para rastrear para onde o motorista estava olhando e como suas pupilas reagiam, uma câmera de painel para gravar a estrada à frente e um luxímetro para medir a luminosidade exata do ambiente. Os motoristas navegaram por três cenários distintos: uma estrada longa e reta com luz constante, uma seção sombreada onde a luz solar oscilava através das árvores e um túnel onde a luz mudava dramaticamente do dia brilhante para a escuridão e vice-versa.

Os pesquisadores coletaram uma quantidade massiva de dados, sincronizando os movimentos oculares dos motoristas com a mudança de luz e a velocidade do carro. Eles focaram em sinais biológicos específicos, como o tamanho das pupilas e a rapidez com que mudavam, juntamente com onde os olhos estavam fixos e a frequência com que saltavam para novos pontos. Esses sinais são a reação honesta do corpo ao trabalho do cérebro; quando os olhos lutam para se adaptar a uma mudança súbita de luz, as pupilas e os padrões de olhar mudam de maneiras previsíveis. No entanto, transformar esse fluxo bruto de números em uma imagem clara de "carga alta" ou "carga baixa" é um quebra-cabeça complexo. A equipe primeiro utilizou um método sofisticado para agrupar padrões semelhantes, efetivamente ensinando um computador a reconhecer a diferença entre uma condução relaxada e uma estressante sem depender de regras pré-estabelecidas. Eles descobriram que essa abordagem conseguia classificar os dados em cinco níveis distintos de carga visual, do calmo ao altamente tensionado.

Uma vez que o sistema pôde identificar esses estados, os pesquisadores voltaram-se para a tarefa mais difícil: a previsão. Eles queriam saber se o sistema poderia observar os dados atuais e adivinhar qual seria a carga visual do motorista alguns momentos depois. Eles testaram vários modelos de computador diferentes, incluindo alguns que são bons em detectar padrões em imagens e outros que são projetados para lembrar sequências de eventos ao longo do tempo. A abordagem mais bem-sucedida foi um tipo de modelo de inteligência artificial conhecido como Transformer, que é particularmente bom em entender como um evento leva a outro em uma sequência longa. Para tornar este modelo ainda melhor para o desafio específico da condução, a equipe adicionou três melhorias fundamentais. Primeiro, ensinaram-no a prestar atenção extra aos momentos raros de alto estresse, que ocorrem com menos frequência do que a condução calma, mas são os mais críticos para serem detectados. Segundo, simplificaram seu processamento interno para que ele pudesse lidar com longos períodos de dados de condução sem ficar sobrecarregado por cálculos desnecessários. Finalmente, otimizaram seu uso de memória, permitindo que funcionasse eficientemente em hardware que poderia ser encontrado em um carro real.

Os resultados deste teste no mundo real foram impressionantes. No ambiente mais desafiador — o túnel, onde a luz muda abruptamente — o novo sistema previu a carga visual do motorista com uma precisão superior a 90 por cento. Isso foi significativamente melhor do que os outros modelos testados, que tiveram dificuldade em acompanhar as mudanças rápidas. O sistema também foi notavelmente eficiente, processando os dados em uma fração do tempo exigido pelos modelos mais antigos, um fator crucial para qualquer tecnologia que precise funcionar instantaneamente em um veículo em movimento. O estudo confirmou que a combinação de dados de rastreamento ocular, medições de luz e velocidade do veículo fornece um quadro completo do estresse do motorista. Mostrou que, embora estradas retas sejam geralmente fáceis de prever, os momentos de entrada e saída de um túnel criam as demandas visuais mais complexas, frequentemente empurrando os motoristas para estados de alta carga que o sistema pode detectar e antecipar.

Este trabalho não oferece apenas uma maneira de medir o estresse; oferece um roteiro para um futuro mais seguro. Ao compreender exatamente como as condições de iluminação sobrecarregam a visão de um motorista, engenheiros podem projetar sistemas de alerta melhores que avisem os motoristas antes que eles fiquem sobrecarregados. O sistema provou que é possível monitorar a carga de trabalho mental invisível da condução em tempo real, usando as reações naturais do olho humano. À medida que as estradas se tornam mais complexas e os sistemas de condução autônoma assumem mais responsabilidades, ter uma maneira confiável de avaliar a capacidade do elemento humano de ver e reagir será essencial. Os pesquisadores mostraram que, com as ferramentas certas, podemos ver o fardo invisível da estrada e, talvez, ao fazer isso, prevenir os acidentes que acontecem quando esse fardo se torna pesado demais para carregar.

Resumo Técnico: Avaliação e Predição Multimodal da Carga Visual do Condutor sob Ambientes de Iluminação Dinâmica

1. Definição do Problema

Transições rápidas na iluminação rodoviária, particularmente em túneis e seções sombreadas, aumentam significativamente a carga visual do condutor e comprometem a segurança. Essas transições induzem fenômenos fisiológicos como os efeitos de "buraco negro" e "buraco branco", levando ao atraso na adaptação visual, redução da sensibilidade ao contraste e prejuízo no reconhecimento de perigos. As abordagens existentes para avaliar a carga visual do condutor sofrem de três limitações primárias:

Dependência de Modalidades Únicas ou Limiares Estáticos: Muitos métodos dependem de indicadores fisiológicos isolados (ex: diâmetro da pupila) ou limiares definidos manualmente, falhando em capturar as interações complexas e não lineares entre o comportamento do condutor, a iluminação ambiental e a dinâmica do veículo.
Análise Fragmentada: A avaliação da carga visual e a predição temporal são frequentemente tratadas como tarefas independentes, impedindo a exploração total da relação entre rotulagem adaptativa e predição.
Restrições Computacionais: Embora modelos baseados em Transformer mostrem promessa na captura de dependências temporais de longo alcance, sua alta complexidade computacional e requisitos de memória frequentemente dificultam a implementação em Sistemas de Transporte Inteligentes (ITS) em tempo real.

Há uma carência de um framework unificado capaz de abordar simultaneamente a classificação adaptativa de carga visual, a fusão de características multimodais, o desequilíbrio de classes e a eficiência computacional sob condições de iluminação dinâmica.

2. Metodologia

O estudo propõe um framework multimodal unificado compreendendo aquisição de dados, agrupamento adaptativo para geração de rótulos e uma arquitetura de predição por aprendizagem profunda.

2.1 Aquisição e Pré-processamento de Dados

Configuração Experimental: Experimentos em veículos reais foram conduzidos no campo de provas da Universidade de Chang'an envolvendo 10 condutores (novatos e experientes) em três ambientes: seções sombreadas, estradas retas longas e túneis.
Sensores: Os dados foram sincronizados a partir de um rastreador ocular Tobii Pro Glasses 3 (50 Hz), uma Dash Cam 360 (1 Hz) e um iluminômetro digital Tesan.
Características (Features): O conjunto de dados integra características de movimento ocular (coordenadas do olhar, diâmetro da pupila, duração da fixação, amplitude/frequência de sacadas), iluminação ambiental (Lux), velocidade do veículo e dados demográficos do condutor.
Pré-processamento: O pipeline incluiu remoção de ruído (filtro de Kalman), interpolação de valores ausentes (spline cúbica) e normalização Robusta para lidar com outliers. A sincronização temporal alinhou todos os fluxos de dados a uma linha do tempo unificada baseada em eventos de condução. Subsequentemente, todas as modalidades foram reamostradas para uma frequência comum de 5 Hz: os sinais de rastreamento ocular foram reduzidos (downsampling), as medições de velocidade do veículo foram interpoladas linearmente e a frequência de amostragem original da iluminação foi mantida.

2.2 Avaliação da Carga Visual (Rotulagem)

Em vez de utilizar limiares predefinidos, o estudo emprega uma abordagem de aprendizagem não supervisionada para derivar estados de carga visual:

Extração de Características: Sete indicadores de carga visual (área da pupila, taxas de variação, MTPA, amplitude de sacada, duração de fixação, frequência de sacada) foram extraídos.
Redução de Dimensionalidade: A Análise de Componentes Principais (PCA) reduziu esses indicadores a três componentes principais que explicam 89,52% da variância.
Agrupamento (Clustering): Um novo algoritmo RaceGrid-OPTICS foi desenvolvido. Ele combina:
- Busca de Grade Progressiva (Progressive Grid Search): Para exploração de parâmetros de grosseiro a fino.
- Otimização F-Race: Para avaliar estatisticamente e eliminar configurações de parâmetros inferiores.
- OPTICS: Para identificar clusters de densidades variadas sem predefinir o número de clusters.
Rotulagem: O agrupamento resultou em cinco níveis interpretáveis de carga visual (0–4), classificados por pontuações ponderadas derivadas dos componentes principais.

2.3 Framework de Predição de Carga Visual

Os dados rotulados foram utilizados para treinar um modelo de predição temporal formulado como uma tarefa de aprendizagem de sequência supervisionada.

Baselines: Quatro modelos padrão de Aprendizagem Profunda (DL) foram implementados: Rede Totalmente Convolucional (FCN), Rede Neural Convolucional (CNN), Long Short-Term Memory (LSTM) e o Transformer padrão.
Arquitetura Proposta (WA-PSRSMformer): Com base no Transformer, três melhorias foram introduzidas:
1. Perda Adaptativa Ponderada (Weighted Adaptive Loss - WAL): Aborda o desequilíbrio de classes atribuindo penalidades maiores às classes sub-representadas (de alta carga).
2. Atenção Esparsa Residual (Residual Sparse Attention - RSA): Substitui a autoatenção padrão para reduzir a complexidade computacional ( $O(N^2)$ ) enquanto preserva dependências de longo alcance e propaga informações de atenção através das camadas.
3. Compartilhamento de Parâmetros (Parameter Sharing - PS): Compartilha parâmetros entre as projeções de consulta (query), chave (key), valor (value) e camadas de alimentação direta (feed-forward) para reduzir a redundância do modelo e o consumo de memória.

3. Principais Contribuições

Framework Multimodal: Integração de dados sincronizados de rastreamento ocular, iluminação e dinâmica veicular de condução real para avaliar a carga visual em iluminação dinâmica.
Agrupamento RaceGrid-OPTICS: Uma estratégia inovadora combinando PCA e otimização de parâmetros adaptativa (Grid Search + F-Race) para identificar robustamente estados de carga visual sem limiares manuais, alcançando alta qualidade de agrupamento.
Arquitetura WA-PSRSMformer: Um modelo baseado em Transformer que aumenta simultaneamente a precisão da predição, lida com o desequilíbrio de classes e reduz o overhead computacional através dos mecanismos WAL, RSA e PS.
Validação Empírica: Avaliação abrangente através de três ambientes rodoviários distintos, demonstrando desempenho superior em relação aos baselines de última geração.

4. Resultados Experimentais

O framework foi avaliado utilizando acurácia, precisão/recall ponderado/F1-score, Erro Absoluto Médio (MAE) e métricas de correlação de ranking (Tau de Kendall, Rho de Spearman).

Desempenho de Agrupamento: O RaceGrid-OPTICS superou o OPTICS padrão, DBSCAN e K-means, atingindo um Coeficiente de Silhueta de 0,86, um Índice Calinski–Harabasz de 159.532,83 e um Índice Davies–Bouldin de 0,28.
Comparação de Baselines: O Transformer padrão superou consistentemente o LSTM, CNN e FCN em todos os ambientes. Em cenários de túnel, o Transformer alcançou 85,54% de acurácia comparado a 80,72% (LSTM), 74,22% (FCN) e 72,42% (CNN).
Desempenho do Modelo Proposto:
- O WA-PSRSMformer alcançou o maior desempenho geral, atingindo 90,13% de acurácia e um MAE de 0,1525 em condições de condução em túneis.
- Demonstrou melhorias significativas sobre o Transformer baseline em ambientes de túnel (+5,37% de acurácia) e estradas retas (+1,71%).
- O modelo mostrou forte correlação de ranking com o ground truth (Rho de Spearman = 0,8807 em túneis).
Eficiência Computacional: As otimizações propostas reduziram drasticamente o tempo de inferência e o uso de memória. Em cenários de túnel, o WA-PSRSMformer reduziu o tempo de execução em aproximadamente 72,9% (de 43,46s para 11,77s) e o uso de memória em 16,3% em comparação com o Transformer baseline, tornando-o adequado para implantação em tempo real.

5. Significância e Alegações

O artigo afirma que o framework proposto fornece uma abordagem eficaz para o monitoramento do estado do condutor em tempo real. Ao unificar o agrupamento adaptativo com uma arquitetura de aprendizagem profunda eficiente, o estudo aborda a lacuna crítica no tratamento de ambientes de iluminação dinâmica onde a carga visual flutua rapidamente.

Os autores enfatizam que o WA-PSRSMformer consegue equilibrar alta precisão de predição com baixo custo computacional, uma condição necessária para a integração em Sistemas de Transporte Inteligentes (ITS) e Sistemas Avançados de Assistência ao Condutor (ADAS). O estudo conclui que o framework oferece uma solução robusta para prever a carga visual do condutor sob iluminação complexa e mutável, apoiando assim o desenvolvimento de sistemas de segurança no trânsito mais seguros. O trabalho futuro foca na expansão da diversidade de cenários e na incorporação de sinais fisiológicos adicionais (ECG, EEG).