Generative versus Discriminative Approaches for Class-Incremental Learning of EMG Signals: Effectiveness of Scale Mixture Modeling

Resumen Técnico: Enfoques Generativos frente a Discriminativos para el Aprendizaje de Clase-Incremental de Señales EMG

Planteamiento del Problema
Los sistemas de reconocimiento de movimiento basados en electromiografía (EMG) enfrentan una limitación crítica en su despliegue práctico: resulta impráctico predefinir todas las posibles clases de movimiento requeridas por un usuario. Por consiguiente, los sistemas deben admitir el aprendizaje de clase-incremental, donde se añaden nuevas clases de movimiento secuencialmente durante la operación, manteniendo al mismo tiempo la capacidad de reconocer las clases aprendidas previamente. Este paradigma introduce dos desafíos principales:

1. Olvido Catastrófico: El fenómeno en el que el aprendizaje de nuevos datos de clase sobrescribe el conocimiento adquirido previamente, lo que conduce a una degradación significativa de la precisión en las clases antiguas.
2. Costo de Memoria: Las contramedidas contra el olvido, como el replay de datos (reproducción de datos), a menudo requieren almacenar datos de entrenamiento pasados, lo que aumenta el uso de la memoria. Esto es particularmente problemático para los dispositivos de borde (edge devices) con recursos computacionales y de almacenamiento limitados.

Si bien los modelos discriminativos basados en aprendizaje profundo se utilizan ampliamente para la extracción de características, estos suelen actualizar un espacio de características compartido al aprender nuevas clases, lo que altera las representaciones de las clases aprendidas anteriormente. Por el contrario, los modelos generativos estiman distribuciones condicionales de clase con parámetros independientes de la clase, ofreciendo teóricamente una ventaja estructural para el aprendizaje incremental, aunque su efectividad en el dominio de la EMG aún no ha sido explorada a fondo.

Metodología
Los autores realizaron una evaluación comparativa sistemática de ocho métodos de aprendizaje de clase-incremental a través de cuatro conjuntos de datos de EMG diversos (que oscilan entre 6 y 16 clases de movimiento). Los métodos abarcan enfoques generativos y discriminativos, incluyendo técnicas tanto de aprendizaje profundo como no profundo:

• Modelos Generativos:
  • Modelo de Clasificación de Mezcla de Escalas (SMCM): El modelo propuesto por los autores, el cual captura la variabilidad de la señal EMG mediante distribuciones de mezcla de escalas (con colas más pesadas que las gaussianas) y modela cada clase con parámetros completamente independientes. El conocimiento se comprime en las distribuciones posteriores de los parámetros, eliminando la necesidad de almacenar datos pasados.
  • Análisis Discriminante Lineal de Flujo Continuo (SLDA): Un modelo probabilístico que utiliza distribuciones gaussianas con una matriz de covarianza compartida entre todas las clases.
• Modelos Discriminativos:
  • Máquina de Vectores de Soporte Incremental (ISVM): Un método de aprendizaje no profundo que retiene los vectores de soporte para suprimir el olvido.
  • Métodos de Aprendizaje Profundo: Enfoques representativos de tres categorías:
    • Regularización: Learning without Forgetting (LwF).
    • Arquitectónico: Copy Weights with Re-init+ (CWR+).
    • Replay (Reproducción): Experience Replay (ER), Average Gradient Episodic Memory (AGEM) y Deep Generative Replay (DGR).
• Líneas Base (Baselines): JOINT (entrenamiento con todos los datos, límite superior) y NONE (ajuste fino solo con los nuevos datos, límite inferior).

Protocolo de Evaluación
El estudio utilizó validación cruzada de dejar un ensayo fuera (leave-one-trial-out) en cuatro conjuntos de datos. Las tareas se definieron añadiendo incrementalmente dos clases por tarea. El rendimiento se midió mediante:

1. Precisión de Clasificación: Precisión promedio en todas las clases aprendidas después de cada tarea.
2. Transferencia hacia Atrás (Backward Transfer - BWT): Una métrica que cuantifica el olvido catastrófico (los valores negativos indican olvido).
3. Costo de Memoria: Almacenamiento total requerido (parámetros del modelo + cualquier búfer de datos retenido) en bytes.

Resultados Clave

• Generativo vs. Discriminativo: Los modelos generativos (SMCM y SLDA) demostraron una estabilidad superior. A medida que aumentaba el número de tareas, los métodos basados en aprendizaje profundo (LwF, CWR+, DGR, AGEM) sufrieron una degradación significativa de la precisión y valores de BWT negativos severos, comparables a la línea base "NONE".
• Desempeño de SMCM: El SMCM logró el equilibrio más favorable. Mantuvo una alta precisión estable en todos los conjuntos de datos (por ejemplo, 94.84% en el Conjunto de Datos I, 68.51% en el Conjunto de Datos IV) con un costo de memoria mínimo. Superó al SLDA, particularmente en conjuntos de datos con un mayor número de clases (Conjunto de Datos IV), donde la matriz de covarianza compartida del SLDA provocó mayores caídas en la precisión.
• Eficiencia de Memoria: Los métodos que comprimen el conocimiento en parámetros (SMCM, SLDA) requirieron significativamente menos memoria que los métodos basados en replay (ER) o aquellos que retienen vectores de soporte (ISVM). Aunque el ER logró una precisión comparable al SMCM, incurrió en costos de memoria sustancialmente mayores debido a la retención de datos.
• Supresión del Olvido: El SMCM y el SLDA exhibieron valores de BWT cercanos a cero (por ejemplo, -0.033 a -0.082), lo que indica una retención estable del conocimiento pasado. En contraste, los métodos de aprendizaje profundo sin reproducción de datos mostraron valores de BWT tan bajos como -0.937.

Significancia y Reivindicaciones
El artículo sostiene que para el aprendizaje de clase-incremental basado en EMG, particularmente bajo condiciones de dispositivos de borde con restricciones de memoria, los modelos generativos con parámetros independientes de la clase ofrecen ventajas sistemáticas sobre los enfoques discriminativos.

Específicamente, el estudio destaca:

1. Ventaja Estructural: La independencia de los parámetros de clase en los modelos generativos evita la alteración de las representaciones de las clases existentes cuando se añaden nuevas clases, suprimiendo eficazmente el olvido catastrófico sin necesidad de reproducción de datos.
2. Superioridad del Modelado de Mezcla de Escalas: El SMCM propuesto supera a los modelos generativos estándar basados en Gaussianas (SLDA) al capturar la variabilidad de la señal EMG mediante distribuciones de mezcla de escalas. Esto proporciona representaciones de colas más pesadas que manejan mejor la variabilidad de la señal y la discriminación entre clases, especialmente a medida que crece el número de clases.
3. Perspectiva de Diseño Práctico: Para el despliegue en el borde, el estudio sugiere que diseñar modelos generativos adaptados a las características de la señal es más efectivo que aplicar contramedidas genéricas de olvido de aprendizaje profundo. Se identifica al SMCM como la solución óptima, logrando el mejor equilibrio entre alta precisión de clasificación, supresión efectiva del olvido y baja huella de memoria.

Los autores señalan limitaciones, incluyendo la naturaleza offline de la evaluación (excluyendo el análisis del tiempo de inferencia y el consumo de energía) y el uso de tamaños de tarea y ordenamientos de clases fijos, sugiriendo que trabajos futuros deberían abordar la evaluación online en dispositivos de borde reales.