Enhancing Fatigue Detection through Heterogeneous Multi-Source Data Integration and Cross-Domain Modality Imputation

Resumo Técnico: Melhorando a Detecção de Fadiga através da Integração de Dados Multidomínio de Múltiplas Fontes Heterogêneas e Imputação de Modalidade Cross-Domain

Definição do Problema
A detecção confiável de fadiga é crítica para a segurança em sistemas humano-máquina (ex: aviação, mineração, transporte). No entanto, a implementação eficaz é dificultada pelo problema da "acessibilidade de sensores". Sensores de alta fidelidade (ex: EEG, ECG, rastreadores de pupila precisos) fornecem dados precisos em ambientes controlados de laboratório, mas são frequentemente impraticáveis para uso no mundo real devido ao custo, requisitos de calibração, sensibilidade ao ruído ambiental e preocupações com a privacidade. Por outro lado, sensores implantáveis em campo (ex: PPG, HR, acelerômetros) são acessíveis, mas carecem da fidelidade das modalidades de alto desempenho.

Os métodos de imputação de dados existentes normalmente abordam dados ausentes dentro de um único domínio ou modalidade (ex: gerar mais EEG a partir de um EEG parcial). Eles falham em abordar a imputação de modalidade cross-domain: o desafio de estimar uma modalidade inteiramente ausente em um domínio alvo (ex: EEG em um cenário de campo) aproveitando o conhecimento de um domínio de origem onde essa modalidade existe, utilizando apenas modalidades compartilhadas e implantáveis (ex: HR, PPG) como uma ponte.

Metodologia
Os autores propõem um framework de detecção de fadiga multimodais heterogêneo projetado para transferir conhecimento de domínios de origem em ambientes controlados para um domínio alvo com restrição de sensores. O mecanismo central é a imputação de modalidade cross-domain.

1. Formulação do Problema: O framework define um domínio alvo ($D_T$) com modalidades limitadas e múltiplos domínios de origem ($D_s$) com diferentes configurações de sensores, frequentemente mais ricas. O objetivo é aprender um mapeamento $g_s: X_{\cap} \to X_{s+}$, onde $X_{\cap}$ representa modalidades compartilhadas (ex: HR, PPG, GSR) e $X_{s+}$ representa modalidades presentes na origem, mas ausentes no alvo (ex: EEG, ECG).
2. Base Teórica: A abordagem fundamenta-se na análise de limite de generalização. Resultados teóricos (Teoremas 1–3) sugerem que a incorporação de modalidades adicionais relacionadas ao rótulo (label) estreita o erro de generalização. Além disso, se a discrepância de distribuição entre a modalidade imputada ($\hat{a}$) e a modalidade real ($a$) for minimizada, o desempenho do domínio alvo pode ser melhorado mesmo sem acesso direto ao sensor de alta fidelidade.
3. Arquitetura do Framework:
   • Imputação de Modalidade: Para cada domínio de origem, um modelo de regressão (especificamente um MLP nos experimentos) é treinado para prever a modalidade ausente de alta fidelidade usando as modalidades compartilhadas como entrada.
   • Alinhamento de Domínio: Para reduzir os desvios de distribuição entre os domínios de origem e alvo, o framework emprega Normalização de Lote (Batch Normalization) e regularização de norma Jacobiana. Essas técnicas estabilizam as representações de características e reduzem a sensibilidade do classificador a perturbações de entrada.
   • Aumento e Detecção: As modalidades imputadas são concatenadas com as características originais do domínio alvo para formar uma representação aumentada. Um classificador downstream (ex: Transformer, LSTM, CNN) é então treinado nesses dados aumentados para prever estados de fadiga.
   • Estratégia de Treinamento: O processo é executado em estágios, em vez de ponta a ponta. Os imputadores são primeiro treinados nos dados de origem, aplicados aos dados do alvo para gerar características sintéticas e, finalmente, o detector de fadiga é treinado no conjunto de dados alvo aumentado.

Principais Contribuições

• Formalização do Problema: O artigo define formalmente um cenário prático, porém pouco explorado: operar a detecção de fadiga com sensores de campo acessíveis enquanto se aproveita o conhecimento de modalidades de origem de alta fidelidade e com restrição de implantação.
• Framework Heterogêneo: Propõe um framework que utiliza modalidades fisiológicas compartilhadas como um espaço de entrada comum para aprender relações de domínios de origem e transferi-las para estimar modalidades indisponíveis no domínio alvo.
• Validação de Prova de Conceito: O estudo demonstra a viabilidade desta abordagem usando um conjunto de dados implantado em campo (VPFD) e dois conjuntos de dados laboratoriais públicos (MEFAR, FatigueSet). Crucialmente, os autores utilizam intencionalmente algoritmos bem estabelecidos (MLP, LSTM, Transformer) para os componentes principais para isolar a contribuição do design do framework em si, em vez de depender de inovações algorítmicas inéditas.

Resultos Experimentais
Os experimentos foram conduzidos usando o conjunto de dados VPFD (domínio alvo, carente de EEG/ECG) aumentado com dados do MEFAR (fornecendo EEG) e FatigueSet (fornecendo EEG e ECG).

• Eficácia da Imputação: A imputação baseada em regressão (usando MLP) recuperou com sucesso as modalidades ausentes com um Erro Quadrático Médio (MSE) menor em comparação com outras arquiteturas como CNN1D, LSTM e TimeMixer.
• Desempenho de Classificação:
  • A imputação de modalidades ausentes melhorou significativamente a precisão da detecção de fadiga em comparação com o uso apenas dos sensores disponíveis no alvo.
  • A combinação de EEG e ECG imputados gerou as melhorias mais pronunciadas. Por exemplo, o uso de um classificador Transformer com imputação baseada em TimeMixer no conjunto de dados VPFD aumentado alcançou 92,86% de precisão e 97,88% de ROC-AUC, comparado a 82,31% de precisão e 91,84% de ROC-AUC nos dados basais do VPFD.
  • Estudos de ablação confirmaram que a combinação de Normalização de Lote e regularização Jacobiana proporcionou melhor estabilidade e desempenho, particularmente quando múltiplas modalidades imputadas estavam presentes.
• Sensibilidade ao Ruído: Experimentos mostraram que a injeção de ruído aleatório nas modalidades ausentes degradou o desempenho, confirmando que os ganhos se devem à informação estruturada aprendida dos domínios de origem, e não meramente à adição de dimensões de dados.

Significância e Alegações
O artigo posiciona-se como uma prova de conceito demonstrando que a transferência de conhecimento entre domínios com instrumentações distintas é viável. Os autores alegam que:

1. O conhecimento de alta fidelidade de ambientes controlados pode ser efetivamente transferido para cenários do mundo real onde esses sensores não estão disponíveis, desde que existam modalidades compartilhadas para servir de ponte entre os domínios.
2. Esta abordagem permite preservar a utilidade de sensores de alta fidelidade sem exigir sua implantação direta, muitas vezes impraticável, no campo.
3. O framework aborda com sucesso a lacuna entre "confiabilidade do sensor" (alta em laboratórios, baixa em campo) e "acessibilidade do sensor" (baixa em laboratórios, alta em campo).

Os autores mantêm-se modestos quanto às implicações futuras, observando que a implementação atual utiliza um aumento sequencial simples e ainda não modela a ponderação consciente de conflitos quando as fontes fornecem estimativas inconsistentes. Eles identificam como trabalhos futuros o escalonamento para coortes maiores, o desenvolvimento de ponderação multimodelo adaptativa e a otimização para eficiência computacional em tempo real.