🤖 AI

Spatiotemporal Facial Action Unit Detection using Twin Cycle Autoencoders for Driver Monitoring

Este artigo propõe o Twin Cycle Autoencoder (TCA), uma nova arquitetura espaciotemporal que integra o desmembramento da aparência espacial e a consistência da trajetória temporal para detectar robustamente Unidades de Ação Facial para monitoramento de motoristas sob condições desafiadoras de cabine, alcançando desempenho de estado da arte em benchmarks enquanto mantém o processamento em tempo real em hardware embarcado.

Autores originais: Sai Sidharth D

Publicado 2026-07-21✓ Author reviewed ⓘ

📖 8 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Sai Sidharth D

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas sua única pista é uma transmissão de câmera de segurança granulada e oscilante. Você não está procurando por um ladrão; você está procurando por um motorista que está prestes a cochilar ao volante. Este é o mundo dos Sistemas de Monitoramento de Motorista (DMS), um campo da ciência da computência dedicado a nos manter seguros ao observar como olhamos enquanto dirigimos. Durante anos, esses sistemas dependeram de truques simples, como contar quanto tempo seus olhos permanecem fechados ou verificar se você está ziguezagueando. Mas a verdadeira história é escrita nos pequenos, involuntários espasmos dos nossos músculos faciais. Os cientistas chamam esses pequenos movimentos de "Unidades de Ação" (AUs). Pense em uma AU como um comando muscular único e atômico — como o espasmo específico que ocorre quando você boceja, ou o aperto sutil das pálpebras quando você está lutando contra o sono. O desafio é que, dentro de um carro, a iluminação muda de um sol cegante para o breu total, sua cabeça balança de um lado para o outro e, às vezes, você usa óculos escuros. É um ambiente caótico onde um computador tem que detectar um espasmo muscular que dura menos de um segundo, muitas vezes escondido por sombras ou vidros.

Este artigo apresenta um novo tipo de detetive digital chamado "Twin Cycle Autoencoder" (TCA). Em vez de apenas olhar para um único instantâneo para adivinhar o que um motorista está sentindo, este sistema utiliza dois "loops" inteligentes para aprender a história de um rosto ao longo do tempo. O primeiro loop, o ramo "Espacial", aprende a reconhecer os movimentos musculares enquanto ignora quem é a pessoa ou o que ela está vestindo. O segundo loop, o ramo "Temporal", atua como um editor de viagem no tempo, assistindo ao vídeo para frente e depois para trás para garantir que a história do movimento faça sentido em ambas as direções. Ao forçar esses dois loops a concordarem um com o outro, o sistema aprende a detectar até mesmo os sinais mais sutis de fadiga, como um piscar de olhos lento ou uma boca entreaberta, mesmo quando a câmera está com dificuldades. Os pesquisadores testaram isso em conjuntos de dados padrão e em um simulador de direção real, descobrindo que seu sistema "gêmeo" é muito melhor em capturar esses sinais sutis e fugazes de sonolência do que os métodos antigos, e que roda rápido o suficiente para ser usado em um carro real hoje.

O Problema: A Cabine Caótica do Carro

Detectar sonolência em um carro é notoriamente difícil. Em um laboratório silencioso, uma câmera pode facilmente detectar um bocejo. Mas dentro de um veículo em movimento, o mundo é um caos de desafios. O sol pode brilhar diretamente na lente e, de repente, o carro entra em um túnel escuro. O motorista pode virar a cabeça para verificar um ponto cego ou usar óculos escuros que escondem seus olhos. Além disso, os sinais de fadiga são frequentemente incrivelmente sutis. Um motorista pode não estar dormindo ainda; ele pode estar apenas experimentando uma microexpressão de cansaço — um pequeno espasmo na testa ou um piscar de olhos breve, quase invisível. Esses sinais são tão tênues e de curta duração que modelos de computador mais antigos, que geralmente olham para um quadro de cada vez, muitas vezes os perdem completamente. Eles também têm dificuldade porque não há dados rotulados suficientes; é caro e difícil obter milhares de horas de vídeo de direção onde cada pequeno espasmo muscular tenha sido marcado manualmente por um especialista.

A Solução: O Twin Cycle Autoencoder

Os autores propõem uma solução chamada Twin Cycle Autoencoder (TCA). Para entender como funciona, imagine que você está tentando ensinar um robô a reconhecer um movimento de dança específico, mas você não tem um vídeo da dança, apenas uma pilha de fotos aleatórias.

1. Os Dois Ramos (Os Gêmeos)
O TCA é construído como um par de gêmeos que se especializam em habilidades diferentes, mas trabalham juntos:

O Gêmeo Espacial (O Detector de "Semelhança"): Este ramo olha para um único quadro de vídeo. Seu trabalho é remover tudo o que não seja o movimento muscular. Ele ignora a identidade do motorista, seu penteado ou se ele está usando um chapéu. Ele foca puramente na "Unidade de Ação" — a forma muscular específica. Ele usa um truque de "ciclo": tenta reconstruir o rosto a partir dos dados musculares. Se ele conseguir reconstruir o rosto corretamente, sabe que capturou a informação muscular certa.
O Gêmeo Temporal (O Editor de "Viagem no Tempo"): Este ramo olha para um clipe curto de vídeo (cerca de 1,6 segundos). Ele observa o rosto se mover para frente no tempo e, em seguida, tenta reproduzir o vídeo para trás. Ele usa um truque de "ciclo" aqui também: se o movimento faz sentido indo para frente, também deve fazer sentido indo para trás. Isso ajuda o sistema a entender o ritmo de um bocejo ou de um piscar de olhos, em vez de apenas uma imagem estática de uma boca.

2. O Aperto de Mão (Alinhamento Latente)
Esses dois gêmeos não trabalham isolados. Eles são conectados por um mecanismo de "aperto de mão". O sistema força o entendimento do Gêmeo Espacial sobre o rosto em um momento específico a coincidir com o entendimento do G gêmeo Temporal sobre o movimento naquele mesmo momento. Isso garante que o "visual" e o "movimento" estejam contando a mesma história. Se o Gêmeo Temporal vê um bocejo começando, o Gêmeo Espacial deve concordar que a boca está abrindo, mesmo que a iluminação esteja ruim.

3. Aprendendo Sem um Professor (Autossupervisão)
Um dos aspectos mais poderosos deste sistema é como ele aprende. Normalmente, para treinar uma IA, você precisa de um conjunto massivo de dados onde humanos rotularam cada um dos espasmos musculares. Mas na condução, esses dados são escassos. O TCA contorna isso usando "aprendizado autossupervisionado". Ele pode observar horas de vídeo de direção não rotulados (onde ninguém marcou as AUs) e usar seus truques de "ciclo" para aprender as regras do movimento facial por conta própria. Ele aprende como um rosto "normal" se parece e como ele se move, apenas observando o vídeo ir para frente e para trás. Somente mais tarde ele usa uma pequena quantidade de dados rotulados para refinar sua habilidade de detectar sinais específicos de fadiga.

O Que Eles Descobriram

Os pesquisadores testaram seu sistema "Gêmeo" contra vários outros métodos populares, incluindo sistemas que apenas olham para quadros individuais, sistemas que usam filtros de vídeo 3D e sistemas que usam redes de grafos. Eles testaram nos benchmarks padrão (DISFA e BP4D) e em um conjunto de dados de direção naturalística registrado em um simulador com motoristas reais.

Melhor em Detectar o Sutil: O TCA superou consistentemente os outros métodos. Foi particularmente bom em detectar AUs de baixa intensidade ou muito rápidas, como a AU45 (fechamento dos olhos) e a AU43 (olhos fechando lentamente), que são sinais fundamentais de sonolência. Também teve um bom desempenho com a AU26 (queda da mandíbula), que indica o bocejo.
O Poder do Tempo: Quando removeram o ramo "Temporal" (o editor de viagem no tempo), o desempenho do sistema caiu significativamente. Isso provou que observar o movimento ao longo do tempo é crucial para detectar a fadiga.
O Poder do Autoaprendizado: Quando compararam uma versão do TCA que usou pré-treinamento autossupervisionado (aprendendo a partir de vídeos não rotulados) contra uma que não usou, a versão pré-treinada foi muito melhor. Isso sugere que o sistema aprendeu com sucesso padrões úteis a partir das horas de filmagens de direção não rotuladas, diminuindo a lacuna causada pela falta de dados rotulados.
Velocidade do Mundo Real: O sistema não era apenas preciso; era rápido. Testado em um computador embarcado (NVIDIA Jetson Xavier NX) que poderia caber dentro de um carro, o sistema rodou a 28,4 quadros por segundo. Isso é rápido o suficiente para fornecer alertas em tempo real a um motorista, excedendo os 10–15 fps geralmente considerados necessários para sistemas de segurança.

Os Limites e Passos Futuros

O sistema não é perfeito. Os pesquisadores descobriram que, quando os motoristas usavam óculos escuros, o sistema tinha dificuldades significativas com AUs relacionadas à parte superior do rosto (como sobrancelhas ou pálpebras). Os óculos escuros bloqueavam a visão, e o sistema não conseguia "adivinhar" o movimento apenas pela parte inferior do rosto. No entanto, permaneceu robusto para ações da parte inferior do rosto, como o bocejo, porque a boca ainda estava visível.

O artigo conclui que esta abordagem de "Ciclo Gêmeo" é um caminho viável para a próxima geração de monitoramento de motorista. Sugere que, ao combinar ciclos espaciais e temporais, e ao usar o aprendizado autossupervisionado para aproveitar ao máximo os dados não rotulados, podemos construir sistemas que sejam tanto precisos quanto práticos para carros reais. O trabalho futuro focará em ensinar o sistema a lidar melhor com oclusões (como óculos escuros) e em combinar pistas faciais com outros dados, como movimentos do volante, para obter uma imagem ainda mais clara da fadiga do motorista.

Resumo Técnico: Detecção de Unidades de Ação Facial Espaçotemporais usando Twin Cycle Autoencoders para Monitoramento de Motoristas

Definição do Problema

Os Sistemas de Monitoramento do Motorista (DMS) dependem cada vez mais das Unidades de Ação Facial (AUs) para inferir estados do motorista, como sonolência, distração e carga cognitiva. No entanto, detectar AUs em ambientes de condução naturalista apresenta desafios significográficos em comparação com configurações controladas de laboratório. Esses desafios incluem:

Variabilidade Ambiental: Iluminação rapidamente variável (reflexo solar, túneis, infravermelho noturno) e oclusões parciais (óculos de sol, mãos, máscaras).
Condições Dinâmicas: Variações extremas de pose da cabeça durante verificações de ombro.
Características do Sinal: AUs relevantes (ex: AU45, AU43 relacionados à fadiga; AU26 relacionado ao bocejo) são frequentemente de baixa intensidade, breves e sutis.
Escassez de Dados: Corpora publicamente disponíveis com anotação de AUs (ex: DISFA, BP4D) são registrados em condições frontais, bem iluminadas e não relacionadas à condução, levando a uma baixa generalização em filmagens de direção. Por outro lado, dados de condução naturalista densamente rotulados com AUs são escassos e caros de coletar.
Limitações Arquiteturais: Abordagens de aprendizado profundo existentes frequentemente tratam a aparência espacial e a dinâmica temporal separadamente ou carecem de mecanismos para utilizar vídeos não rotulados abundantes para regularização.

Metodologia: O Twin Cycle Autoencoder (TCA)

Os autores propõem o Twin Cycle Autoencoder (TCA), uma arquitetura espaçotemporal projetada para aprender representações robustas de AUs, aproveitando tanto vídeos de condução rotulados quanto não rotulados por meio de consistência de ciclo autossupervisionada.

1. Visão Geral da Arquitetura

O TCA consiste em dois ramos acoplados operando em diferentes granularidades:

Spatial Cycle Autoencoder (SCA): Opera em quadros individuais. Utiliza um codificador convolucional (backbone ResNet-18) para mapear uma imagem facial para um código latente relevante para a AU ( $z_t^S$ ), descartando explicitamente informações de identidade. Um decodificador reconstrói o quadro usando este código latente e um código de identidade auxiliar. O ciclo espacial é formado pela perturbação do código latente ao longo de direções de AU aprendidas, re-codificação e comparação contra o alvo de manipulação. Isso impõe a consistência de ciclo em nível de imagem para desvincular a aparência da AU da identidade.
Temporal Cycle Autoencoder (TCAE-T): Opera em sequências de códigos latentes espaciais. Um codificador temporal (Bidirectional GRU ou Transformer) mapeia a sequência para uma trajetória latente temporal. Um decodificador temporal reconstrói a sequência em ordem reversa. A discrepância entre a sequência reconstruída e a sequência reversa verdadeira forma a perda de consistência de ciclo temporal, impondo consistência frente-atrás para capturar a dinâmica de início-ápice-offset.

2. Acoplamento e Fusão entre Ramos

Os dois ramos são acoplados via uma perda de alinhamento latente entre ramos (cross-branch latent alignment loss). Esta minimiza a distância entre o estado oculto do codificador temporal ( $h_t$ ) e o código latente espacial ( $z_t^S$ ) projetado em um espaço de embedding compartilhado via um MLP leve.

Função de Perda: O alinhamento utiliza distância de cosseno em vez de distância euclidiana quadrada, pois a direção do embedding é considerada mais significativa para a semântica da AU do que a magnitude, e provou ser mais estável durante o pré-treinamento autossupervisionado.
Fusão: Os embeddings espacial e temporal alinhados são combinados usando um módulo de atenção multi-cabeça para produzir um descritor espaçotemporal ( $f_t$ ) para classificação de múltiplas etiquetas de AU.

3. Estratégia de Treinamento

O modelo emprega um processo de treinamento de dois estágios:

Pré-treinamento Autossupervisionado: Treinado em um grande volume de vídeo de condução não rotulado ( $D_U$ ) usando apenas objetivos de consistência de ciclo ( $L_{rec}^S, L_{cyc}^S, L_{cyc}^T, L_{align}$ ). A perda de classificação ( $L_{cls}$ ) é definida como zero.
Ajuste Fino Supervisionado (Fine-Tuning): Treinado no pequeno conjunto de dados rotulados ( $D_L$ ) com todos os termos de perda ativos, incluindo a perda de classificação de múltiplas etiquetas de AU ponderada.

A perda total é uma soma ponderada: $L = \lambda_1 L_{rec}^S + \lambda_2 L_{cyc}^S + \lambda_3 L_{cyc}^T + \lambda_4 L_{align} + \lambda_5 L_{cls}$ .

Principais Contribuições

Arquitetura TCA: Um novo framework espaçotemporal que combina um Spatial Cycle Autoencoder para aparência invariante à identidade e um Temporal Cycle Autoencoder para consistência dinâmica frente-atrás.
Alinhamento entre Ramos: Introdução de uma perda de alinhamento latente que acopla representações espaciais e temporais, estabilizando a representação fundida.
Pré-treinamento Autossupervisionado: Uma estratégia que explora grandes volumes de vídeo de condução não rotulado para aprender a estrutura espaçotemporal antes do ajuste fino em dados rotulados escassos.
Avaliação Abrangente: Experimentos extensos em benchmarks padrão (DISFA, BP4D) e um dataset de condução naturalista (incluindo iluminação NIR, óculos de sol e oclusão de mão), incluindo estudos de ablação e análise de inferência em tempo real em hardware embarcado.

Resultados Experimentais

O TCA foi avaliado no DISFA, BP4D e um dataset de simulador de condução naturalista (apresentando iluminação NIR, óculos de sol e oclusão de mão).

Desempenho nos Benchmarks: O TCA alcançou os maiores F1 scores médios tanto no DISFA (64,7%) quanto no BP4D (67,3%), superando as linhas de base baseadas em quadros (JAA-Net), recorrentes (ConvLSTM-AU), 3D-CNN (I3D) e baseadas em grafos (ME-GraphAU). Os ganhos foram mais pronunciados para AUs de baixa intensidade e transientes.
Desempenho em Condução Naturalista: No dataset de condução, o TCA com pré-treinamento autossupervisionado alcançou um F1 geral de 63,1%, superando significativamente o mesmo modelo sem pré-treinamento (56,3%) e outras linhas de base. Isso demonstra a eficácia da transferência de estrutura espaçotemporal a partir de dados não rotulados.
Estudos de Ablação:
- A remoção da perda de ciclo temporal causou a maior queda de desempenho (de 63,1% para 57,8%), confirmando seu papel como a principal fonte de melhoria.
- A remoção do alinhamento entre ramos resultou em uma queda menor, mas consistente (para 60,6%).
- Substituir o codificador temporal GRU por um Transformer rendeu uma ligeira melhoria no F1 (+0,8%), mas aumentou a latência.
Desempenho em Tempo Real: Em um NVIDIA Jetson Xavier NX, o TCA baseado em GRU alcançou 28,4 fps (35,2 ms de latência), excedendo o limiar de 10–15 fps necessário para alertas de sonolência.
Análise de Oclusão: O modelo mostrou robustez a oclusões da parte inferior do rosto, mas degradação significativa de desempenho (queda de 24–27 pontos de F1) para AUs da parte superior do rosto (AU4, AU6, AU7) sob oclusão por óculos de sol, confirmando que a região dos olhos torna-se não observável e o modelo carece de sinais compensatórios.

Significância e Alegações

O artigo afirma que a arquitetura TCA aborda a lacuna crítica no monitoramento de motoristas ao utilizar efetivamente vídeos de cabine não rotulados para aprender representações espaçotemporais robustas. Ao impor consistência de ciclo tanto no domínio espacial quanto no temporal, o modelo aprende características de AU que são invariantes à identidade e coerentes ao longo do tempo, o que é particularmente benéfico para detectar pistas de fadiga sutis e de curta duração em condições de condução desafiadoras.

Os autores asseguram que a combinação de pré-treinamento autossupervisionado e a arquitetura TCA permite a detecção de AU de alto desempenho mesmo com dados de condução rotulados limitados. Além disso, a demonstração de capacidade de processamento em tempo real em hardware embarcado (Jetson Xavier NX) apoia a viabilidade prática de implantar DMS baseado em AU em sistemas ADAS de nível de produção. O trabalho destaca as limitações atuais dos sistemas em relação à oclusão da parte superior do rosto (óculos de sol), motivando trabalhos futuros em extensões conscientes de oclusão em vez de apenas correções baseadas em aparência.