Resumo Técnico: Combinação de Vídeos Faciais e Biosinais para Estimativa de Estresse Durante a Condução

Declaração do Problema

O reconhecimento confiável de estresse é crítico para sistemas de segurança crítica, particularmente em cenários de condução do mundo real. Embora sinais fisiológicos (por exemplo, frequência cardíaca, sudorese perinasal) sejam marcadores estabelecidos para detecção de estresse, adquiri-los pode ser intrusivo ou desafiador em configurações práticas. Por outro lado, a estimativa de estresse baseada em vídeo enfrenta obstáculos significativos devido à natureza subjetiva do estresse, à variabilidade individual e ao potencial de mascaramento consciente das expressões faciais. Abordagens existentes baseadas em vídeo frequentemente dependem de características geométricas de baixo nível ou Unidades de Ação Facial (AUs), que podem entrelaçar identidade, pose e expressão, limitando sua capacidade de capturar dinâmicas faciais 3D sutis. Além disso, poucos trabalhos exploraram efetivamente a interação complementar entre dinâmicas faciais 3D desentrelaçadas e sinais fisiológicos dentro de um framework unificado, especialmente sob as condições restritas da condução, onde as pistas corporais são limitadas.

Metodologia

Conjunto de Dados e Configuração Experimental

O estudo utiliza o conjunto de dados de condução distraída publicamente disponível de Taamneh et al., coletado em um simulador. O protocolo distingue entre Condução Normal (ND) como linha de base e fases de Distração Sensoriomotora (MD) (P2 e P4), onde tarefas de envio de mensagens induzem estresse. Outras fases (P1, P3, P5) servem como intervalos sem estresse. O conjunto de dados inclui vídeos faciais infravermelhos sincronizados, sinais fisiológicos (frequência cardíaca, frequência respiratória, sudorese perinasal) e medições de olhar.

Extração de Características

1. Características Faciais 3D Desentrelaçadas:
Os autores extraem parâmetros de expressão e pose facial 3D por quadro usando EMOCA, um framework de reconstrução facial 3D monocromática de última geração baseado no DECA.

• Representação: Um vetor de 56 dimensões por quadro ($x_t$) compreendendo 50 coeficientes de expressão ($exp_t$) e 6 parâmetros de pose ($pose_t$).
• Dinâmicas: Para capturar o comportamento temporal, derivadas temporais de primeira ordem ($\Delta x_t$) são calculadas para enfatizar mudanças rápidas de movimento e transições expressivas.
• Normalização: Um descritor de diferença de velocidade em nível de janela é calculado comparando a condução com estressor (MD) contra a condução normal pareada (ND) para cada sujeito, enfatizando desvios induzidos por estresse em relação à linha de base.

2. Características Fisiológicas e de Olhar:
Marcadores fisiológicos incluem frequência cardíaca, frequência respiratória e sudorese perinasal. Quando disponíveis, as dinâmicas do olhar são calculadas como velocidades e acelerações horizontal/vertical, juntamente com estatísticas de curto prazo (média móvel, desvio padrão e dispersão).

Análise Estatística

Antes da aprendizagem profunda, os autores realizam uma análise estatística usando testes t de uma amostra pareados de dois lados para comparar as fases MD e ND.

• Descobertas: 38 dos 56 componentes faciais (expressão e pose) exibem respostas de estresse consistentes e específicas da fase, comparáveis aos marcadores fisiológicos.
• Correlações Chave: Análise de Componentes Principais (PCA) e Análise Discriminante Linear (LDA) identificam que a pose global (especificamente pose_00) e coeficientes de expressão específicos (por exemplo, exp_40, exp_20) estão mais fortemente correlacionados com o estresse. Visualizações indicam que esses componentes afetam principalmente deformações da parte inferior do rosto (boca, mandíbula) e pose da cabeça.
• Importância Temporal: Representações baseadas em velocidade (derivadas temporais) provam ser mais informativas do que características estáticas de nível médio, sugerindo que o estresse é codificado em dinâmicas rápidas de quadro a quadro.

Framework de Modelagem

O núcleo do sistema proposto é um framework de modelagem temporal baseado em Transformer projetado para lidar com fusão multimodal.

• Arquitetura: O pipeline usa um tronco convolucional multiescala (tamanhos de kernel 3, 5, 7) para extrair padrões de curto prazo, seguido por uma pilha de camadas de codificador Transformer com atenção self-attention multi-cabeça.
• Agrupamento Temporal: Uma representação de janela de comprimento fixo é obtida via agrupamento temporal baseado em atenção, que pondera segmentos temporais relevantes para o estresse.
• Estratégias de Fusão:
  1. Unimodal: Usando apenas características faciais.
  2. Fusão Precoce: Concatenando parâmetros faciais 3D com características fisiológicas/de olhar no nível de entrada.
  3. Atenção Cross-Modal: Uma arquitetura bidirecional onde os fluxos facial e fisiológico são codificados independentemente e depois fundidos via mecanismos de atenção cruzada. Isso permite que cada modalidade atenda seletivamente a pistas temporais relevantes na outra antes da agregação.

Contribuições Chave

1. Papel Complementar do Movimento Facial 3D: O trabalho demonstra que fundir características densas de movimento facial 3D (expressão e pose desentrelaçadas) com características fisiológicas melhora significativamente a previsão de estresse, confirmando sua natureza complementar.
2. Framework Robusto Cross-Modal: Os autores propõem um framework de atenção cross-modal baseado em Transformer que modela efetivamente a interação entre dinâmicas faciais e biosinais. Crucialmente, este framework permanece robusto e eficaz mesmo quando apenas vídeos faciais estão disponíveis (desempenho unimodal).
3. Foco Específico para Condução: O estudo destaca o movimento facial como uma fonte primária de informações visuais relacionadas ao estresse em cenários de condução onde as pistas corporais são limitadas, oferecendo um protocolo que se generaliza para outras configurações de estimativa de estresse.

Resultados

Os modelos foram avaliados usando validação cruzada por sujeito de 5 dobras para evitar vazamento de dados.

• Desempenho de Linha de Base:

  • Apenas Sinais Fisiológicos: Desempenho pobre, alcançando um AUROC de 52,7% e precisão de 51,0%.
  • Apenas Características Faciais (Unimodal): Alcançou um AUROC de 90,8% e precisão de 84,1%, superando baselines tradicionais de ML (SVM/kNN) e baselines de aprendizagem profunda totalmente conectadas.
  • Fusão Precoce: Combinar características faciais e fisiológicas via concatenação simples resultou em um AUROC de 90,1%, ligeiramente inferior à baseline apenas visual, sugerindo que as dinâmicas faciais já capturam informações dominantes de estresse neste cenário.

• Desempenho de Atenção Cross-Modal:

  • A estratégia proposta de Atenção Cross-Modal (facial + fisiológico) alcançou o melhor desempenho: AUROC 92,0% e Precisão 86,7%.
  • Isso representa uma melhoria substancial sobre os sinais fisiológicos isolados e um ganho consistente sobre abordagens unimodais e de fusão precoce.
  • Combinações excluindo dinâmicas faciais (por exemplo, Olhar + Bio) performaram significativamente pior, reforçando a centralidade do movimento facial.

Significado e Alegações

O artigo afirma que, embora a detecção de estresse apenas por sinais fisiológicos possa ser pouco confiável ou difícil de adquirir na condução do mundo real, a atividade facial fornece pistas complementares que podem ser capturadas de forma não intrusiva. O estudo estabelece que:

1. O estresse é codificado em dinâmicas: Modulações relacionadas ao estresse são mais proeminentes na velocidade e nas dinâmicas temporais dos parâmetros faciais 3D do que na aparência estática.
2. Sinergia Multimodal: Embora as características faciais isoladas sejam altamente eficazes, a modelagem explícita de interações inter-modais via atenção cross-modal produz os melhores resultados, aproveitando a natureza complementar dos biosinais.
3. Generalizabilidade: Embora avaliado em dados de condução simulada, a metodologia e o protocolo propostos são projetados para se estender a outras configurações envolvendo reconhecimento de estresse a partir de vídeos faciais.

Os autores notam limitações relacionadas ao uso de dados simulados e sugerem que trabalhos futuros devem focar em validar essas descobertas em configurações naturalistas, melhorar a interpretabilidade e explorar a implantação em tempo real via pipelines de reconstrução 3D leves.