Decision-Level Fusion for Robust Wearable Affect Recognition

Resumen Técnico: Fusión a Nivel de Decisión para el Reconocimiento Robusto de Afecto en Dispositivos Vestibles

Enunciado del Problema
El reconocimiento automático de estados afectivos (específicamente línea base, estrés y diversión) a partir de señales fisiológicas portátiles enfrenta desafíos significativos en su implementación en el mundo real. Aunque conjuntos de datos como WESAD facilitan la evaluación, las pipelines actuales luchan contra la naturaleza no estacionaria, ruidosa y dependiente del sujeto de las series temporales fisiológicas. Se identifican dos limitaciones principales:

1. Extracción de Características: Los métodos comunes que dependen de características espectrales de base fija (por ejemplo, potencia de banda FFT, PSD de Welch) asumen estacionariedad local. Estos enfoques a menudo suavizan en exceso patrones transitorios efímeros y discriminativos, críticos para distinguir estados afectivos.
2. Integración Multimodal: La detección en el mundo real es propensa a artefactos, fallos de señal y modalidades faltantes. Los enfoques tradicionales de fusión temprana (a nivel de características) a menudo asumen disponibilidad completa de sensores, lo que lleva a una degradación del rendimiento cuando los sensores son ruidosos o no están disponibles.

Metodología
Los autores proponen una pipeline de tres etapas diseñada para abordar la no estacionariedad y la falta de fiabilidad de los sensores:

1. Extracción de Características No Estacionarias (FBSE-EWT):
   En lugar de transformadas de Fourier de ventana fija, el artículo introduce un método híbrido de análisis de señales que combina la Expansión en Series de Bessel-Fourier (FBSE) con la Transformada de Ondícula Empírica (EWT).

   • FBSE: Representa la señal de ventana utilizando bases de Bessel, que exhiben un comportamiento similar a la modulación de amplitud, adecuado para señales de banda ancha y no estacionarias.
   • EWT: Realiza una segmentación espectral basada en datos. A diferencia de los bancos de ondículas fijos, la EWT aprende bandas de ondículas directamente del espectro de la señal detectando mínimos significativos en un histograma del espectro FBSE.
   • Construcción de Características: El método reconstruye modos a partir de estos filtros adaptativos y extrae descriptores de dimensión fija, incluyendo energía del modo, energía logarítmica y entropía del modo. Esto preserva estructuras espectrales transitorias que los métodos de base fija podrían descartar.

2. Predicción de Sensor Único (SSP):
   Cada modalidad (ECG, EDA, BVP, EMG, ACC) se procesa de forma independiente por un predictor dedicado. Los autores utilizan un Perceptrón Multicapa (MLP) con activación ReLU y una capa de salida softmax.

   • El MLP genera una distribución de probabilidad ($P_i$) sobre las clases afectivas y una puntuación de confianza ($F1_i$) que representa la fiabilidad del predictor.
   • Este diseño modular permite que cada sensor aprenda patrones discriminativos de afecto de forma independiente, evitando la complejidad de los modelos temporales (como CNNs/LSTMs) mientras mantiene la eficiencia para conjuntos de datos más pequeños.

3. Agregación a Nivel de Decisión Consciente de la Incertidumbre:
   En lugar de fusionar datos crudos o características, la pipeline agrega las predicciones independientes a nivel de decisión. La predicción final es un promedio ponderado de las probabilidades de los sensores individuales, donde los pesos se determinan por:

   • Incertidumbre Predictiva: Medida mediante la entropía de la información ($H(P_i)$) de la instancia de predicción específica. Una menor entropía (mayor certeza) aumenta el peso.
   • Fiabilidad de la Modalidad: Medida por la puntuación F1 global ($F1_i$) del predictor de sensor único.
   • Regla de Fusión: La probabilidad agregada para una clase $e$ se calcula como:
     $$P_T(e) = \frac{1}{\gamma} \sum_{i \in T} (1 - H(P_i))^{F1_i} \cdot P_i(e)$$
     donde $\gamma$ es un factor de normalización. Este diseño asegura que los sensores inciertos o poco fiables contribuyan menos a la decisión final, permitiendo una degradación elegante cuando los sensores fallan o son ruidosos.

Contribuciones Clave

1. Representación Adaptativa: Una representación no estacionaria (FBSE-EWT) que aísla modos espectrales transitorios mediante segmentación basada en datos, preservando mejor la estructura dinámica de las señales fisiológicas que los métodos de base fija.
2. Mecanismo de Fusión Robusto: Una regla de fusión de decisiones modular y consciente de la incertidumbre que pondera las contribuciones de los sensores basándose tanto en la entropía específica de la instancia como en la fiabilidad global de la modalidad, asegurando estabilidad bajo datos faltantes o ruidosos.
3. Validación Empírica: Una evaluación en el conjunto de datos WESAD que demuestra la eficacia de este enfoque para el reconocimiento de afecto de tres clases.

Resultados
Evaluado en el conjunto de datos WESAD (15 sujetos, 5 sensores, 3 clases), el marco propuesto arrojó los siguientes hallazgos:

• Fusión de Decisión vs. Fusión de Características: Se encontró que la agregación a nivel de decisión es ≈84% tan buena o mejor que la agregación a nivel de características. En ≈48% de los casos, la fusión a nivel de decisión fue estrictamente superior.
• Robustez del Tamaño del Equipo: La agregación a nivel de decisión superó consistentemente a la agregación a nivel de características en todos los tamaños de equipo (desde sensores individuales hasta cuartetos completos).
• Escalabilidad: La precisión mejoró a medida que más sensores participaban en la agregación, confirmando el beneficio de la integración multimodal incluso cuando los sensores individuales varían en calidad.

Significado y Afirmaciones
El artículo afirma que la pipeline propuesta ofrece una mayor robustez para el reconocimiento de afecto en entornos de detección heterogéneos y parcialmente fiables. Al cambiar de la fusión a nivel de características a la fusión a nivel de decisión y emplear una descomposición espectral adaptativa, el sistema genera estados de creencia calibrados en lugar de predicciones excesivamente confiables. Esto es particularmente significativo para el soporte de decisiones basado en agentes en entornos de salud y cuidado, donde las intervenciones deben activarse de manera conservadora bajo incertidumbre. Los autores posicionan este trabajo como un paso hacia sistemas de salud conscientes del afecto y desplegables que pueden manejar las realidades de la fisiología no estacionaria y el fallo de sensores sin requerir conocimiento experto de características de señal específicas para la integración.