Decision-Level Fusion for Robust Wearable Affect Recognition

Resumo Técnico: Fusão em Nível de Decisão para Reconhecimento Robusto de Afetos em Dispositivos Vestíveis

Declaração do Problema
O reconhecimento automático de estados afetivos (especificamente linha de base, estresse e diversão) a partir de sinais fisiológicos de dispositivos vestíveis enfrenta desafios significativos na implementação no mundo real. Embora conjuntos de dados como o WESAD facilitem a avaliação, as pipelines atuais lutam com a natureza não estacionária, ruidosa e dependente do sujeito das séries temporais fisiológicas. Duas limitações primárias são identificadas:

1. Extração de Características: Métodos comuns que dependem de características espectrais de base fixa (por exemplo, potência de banda FFT, PSD de Welch) assumem estacionariedade local. Essas abordagens frequentemente suavizam em excesso padrões transitórios discriminativos de curta duração, críticos para distinguir estados afetivos.
2. Integração Multimodal: A sensoriamento no mundo real é propenso a artefatos, falhas de sinal e modalidades ausentes. Abordagens tradicionais de fusão precoce (nível de características) frequentemente assumem disponibilidade completa de sensores, levando à degradação de desempenho quando os sensores são ruidosos ou indisponíveis.

Metodologia
Os autores propõem uma pipeline de três estágios projetada para abordar a não estacionariedade e a não confiabilidade dos sensores:

1. Extração de Características Não Estacionária (FBSE-EWT):
   Em vez de transformadas de Fourier de janela fixa, o artigo introduz um método híbrido de análise de sinal combinando Expansão em Séries de Fourier-Bessel (FBSE) com Transformada Wavelet Empírica (EWT).

   • FBSE: Representa o sinal em janela usando bases de Bessel, que exibem comportamento semelhante à modulação de amplitude, adequado para sinais de banda larga e não estacionários.
   • EWT: Realiza segmentação espectral orientada por dados. Diferentemente de bancos de wavelets fixos, a EWT aprende bandas de wavelet diretamente do espectro do sinal, detectando mínimos significativos em um histograma do espectro FBSE.
   • Construção de Características: O método reconstrói modos a partir desses filtros adaptativos e extrai descritores de dimensão fixa, incluindo energia do modo, log-energia e entropia do modo. Isso preserva estruturas espectrais transitórias que métodos de base fixa poderiam descartar.

2. Predição por Sensor Único (SSP):
   Cada modalidade (ECG, EDA, BVP, EMG, ACC) é processada independentemente por um preditor dedicado. Os autores utilizam um Perceptron Multicamadas (MLP) com ativação ReLU e uma camada de saída softmax.

   • O MLP produz uma distribuição de probabilidade ($P_i$) sobre as classes afetivas e uma pontuação de confiança ($F1_i$) representando a confiabilidade do preditor.
   • Este design modular permite que cada sensor aprenda padrões discriminativos de afeto independentemente, evitando a complexidade de modelos temporais (como CNNs/LSTMs) enquanto mantém a eficiência para conjuntos de dados menores.

3. Agregação em Nível de Decisão Consciente de Incerteza:
   Em vez de fundir dados brutos ou características, a pipeline agrega as predições independentes no nível de decisão. A predição final é uma média ponderada das probabilidades individuais dos sensores, onde os pesos são determinados por:

   • Incerteza Preditiva: Medida via entropia de informação ($H(P_i)$) da instância específica de predição. Menor entropia (maior certeza) aumenta o peso.
   • Confiabilidade da Modalidade: Medida pela pontuação global F1 ($F1_i$) do preditor de sensor único.
   • Regra de Fusão: A probabilidade agregada para uma classe $e$ é calculada como:
     $$P_T(e) = \frac{1}{\gamma} \sum_{i \in T} (1 - H(P_i))^{F1_i} \cdot P_i(e)$$
     onde $\gamma$ é um fator de normalização. Este design garante que sensores incertos ou não confiáveis contribuam menos para a decisão final, permitindo degradação graciosa quando sensores falham ou são ruidosos.

Principais Contribuições

1. Representação Adaptativa: Uma representação não estacionária (FBSE-EWT) que isola modos espectrais transitórios via segmentação orientada por dados, preservando melhor a estrutura dinâmica dos sinais fisiológicos do que métodos de base fixa.
2. Mecanismo de Fusão Robusto: Uma regra de fusão de decisão modular e consciente de incerteza que pondera as contribuições dos sensores com base tanto na entropia específica da instância quanto na confiabilidade global da modalidade, garantindo estabilidade sob dados ausentes ou ruidosos.
3. Validação Empírica: Uma avaliação no conjunto de dados WESAD demonstrando a eficácia desta abordagem para reconhecimento de afeto de três classes.

Resultados
Avaliado no conjunto de dados WESAD (15 sujeitos, 5 sensores, 3 classes), o framework proposto produziu as seguintes constatações:

• Fusão em Nível de Decisão vs. Nível de Características: A agregação em nível de decisão foi encontrada ser ≈84% tão boa ou melhor do que a agregação em nível de características. Em ≈48% dos casos, a fusão em nível de decisão foi estritamente superior.
• Robustez ao Tamanho do Time: A agregação em nível de decisão superou consistentemente a agregação em nível de características em todos os tamanhos de time (de sensores únicos a quartetos completos).
• Escalabilidade: A precisão melhorou à medida que mais sensores participavam da agregação, confirmando o benefício da integração multimodal mesmo quando sensores individuais variam em qualidade.

Significado e Alegações
O artigo alega que a pipeline proposta oferece robustez aprimorada para reconhecimento de afeto em dispositivos vestíveis em ambientes de sensoriamento heterogêneos e parcialmente confiáveis. Ao mudar da fusão em nível de características para a fusão em nível de decisão e empregar decomposição espectral adaptativa, o sistema produz estados de crença calibrados em vez de predições excessivamente confiantes. Isso é particularmente significativo para suporte à decisão baseado em agentes em configurações de saúde e cuidado, onde intervenções devem ser acionadas conservadoramente sob incerteza. Os autores posicionam este trabalho como um passo em direção a sistemas de saúde conscientes de afeto implantáveis, que podem lidar com as realidades da fisiologia não estacionária e falha de sensores sem exigir conhecimento especializado de características específicas de sinal para integração.