Applicability of memorization indicators for early spotting of overfitting while recalibrating sEMG-decoders on low sample sizes

Resumen Técnico: Aplicabilidad de los Indicadores de Memorización para la Detección Temprana de Sobreajuste en Decodificadores de sEMG

Planteamiento del Problema
Los modelos de aprendizaje profundo para electromiografía de superficie (sEMG) requieren una recalibración específica para cada sujeto para dar cuenta de las variaciones individuales en factores como la edad, el género y la colocación de los electrodos. Sin embargo, las limitaciones prácticas restringen el número de repeticiones de movimiento que un usuario puede realizar durante la calibración, lo que crea un régimen de muestras bajas. En este entorno, las técnicas estándar de mitigación de sobreajuste, como el abandono temprano (early stopping) basado en un conjunto de validación, suelen ser inviables porque la adquisición de datos adicionales reservados prolonga el proceso de calibración o no está disponible. En consecuencia, existe el riesgo de que el ajuste fino (fine-tuning) de un decodificador preentrenado con datos limitados provoque un sobreajuste, degradando potencialmente el rendimiento en comparación con el modelo no calibrado. El artículo aborda la necesidad de indicadores que puedan detectar un aprendizaje fallido o un sobreajuste utilizando únicamente los datos de entrenamiento existentes, sin requerir muestras de validación adicionales.

Metodología
Los autores llevaron a cabo un experimento de transferencia de aprendizaje utilizando la Base de Datos NinaPro 2 (49 clases de movimiento, 12 canales). El diseño experimental consistió en dos fases:

1. Preentrenamiento: Se preentrenó una red neuronal convolucional (CNN) unidimensional compacta sobre datos de 20 sujetos. La arquitectura consistió en tres bloques 1D-CNN seguidos de tres capas totalmente conectadas ReLU, diseñada para ser lo suficientemente ligera para la inferencia en hardware de borde (edge hardware).
2. Ajuste Fino (Calibración): El modelo preentrenado se ajustó finamente con datos de 10 nuevos sujetos (21–30). Para simular condiciones de muestras bajas, el modelo se entrenó con 1 a 4 repeticiones por sujeto. Se compararon dos estrategias de ajuste fino:
   • Reentrenamiento Parcial: Solo se descongelaron las dos últimas capas totalmente conectadas.
   • Reentrenamiento Total: Todos los parámetros del modelo fueron reentrenados (asumiendo que es más propenso al sobreajuste).

Indicadores de Memorización
En lugar de monitorear la pérdida de validación, el estudio rastreó las estadísticas de activación de las Unidades Lineales Rectificadas (ReLU) en la última capa oculta (256 neuronas) utilizando únicamente los datos de entrenamiento. La métrica principal fue la Tasa de Activación Media (MAR), calculada como la proporción de muestras donde la salida de una neurona era mayor que cero. Se introdujeron métricas distribucionales adicionales, incluyendo los percentiles 25, 50 (mediana) y 75 de las tasas de activación, así como el coeficiente de variación. Estas métricas se calcularon en el primer lote (batch) (64 muestras) de cada época durante el ajuste fino.

Resultados Clave

• Rendimiento de Referencia: El modelo preentrenado alcanzó una precisión de prueba de 0.34 en los sujetos de preentrenamiento, pero cayó a 0.065 en sujetos no vistos, confirmando la necesidad de recalibración.
• Diferenciación de Resultados de Aprendizaje: El estudio observó una clara divergencia en el comportamiento de activación entre un ajuste fino exitoso y uno fallido:
  • Calibración Exitosa: Los modelos que mejoraron la precisión de prueba (típicamente aquellos con solo las últimas capas descongeladas) exhibieron un cambio positivo leve o estable en la MAR durante las épocas iniciales.
  • Calibración Fallida (Sobreajuste): Los modelos que no lograron generalizar o que degradaron su rendimiento (típicamente aquellos con todas las capas reentrenadas) mostraron una disminución significativa y constante en la MAR.
• Correlación: Se encontró una fuerte relación cualitativa donde una caída en la precisión de prueba durante el ajuste fino fue acompañada por una reducción en las tasas de activación de la última capa oculta. Esta tendencia fue observable tan temprano como en la quinta época.
• Métricas Distribucionales: Mientras que la MAR proporcionó una separación clara, el coeficiente de variación y las distribuciones de cuantiles ofrecieron información adicional. El coeficiente de variación aumentó durante los escenarios de sobreajuste, mientras que inicialmente cayó en los modelos exitosos antes de aumentar a medida que la brecha de generalización se ensanchaba.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera evidencia empírica de que los indicadores de memorización basados en la activación pueden servir como una herramienta fiable para la detección temprana de sobreajuste en entornos de calibración de sEMG con muestras bajas. La principal significancia radica en que estos indicadores:

1. No Requieren Datos de Validación: Se calculan únicamente a partir de los datos de entrenamiento, lo que los hace ideales para escenarios donde la adquisición de repeticiones adicionales es poco práctica.
2. Ofrecen Detección Temprana: Los cambios en las tasas de activación preceden o acompañan la degradación del rendimiento, permitiendo un posible abandono temprano o intervención.
3. Son Ligeros: Las métricas son computacionalmente económicas, aptas para el monitoreo en tiempo real en dispositivos de borde.

Los autores mantienen un tono modesto respecto a sus hallazgos, señalando que la escala absoluta de la MAR depende de las propiedades del conjunto de datos (por ejemplo, número de clases, configuración de registro) y la arquitectura. Por lo tanto, no proponen umbrales universales, sino que demuestran la viabilidad de usar estas estadísticas como indicadores relativos dentro de cada experimento. El trabajo sugiere que, si bien los resultados actuales son prometedores para arquitecturas compactas, se requiere investigación futura para validar estos indicadores en redes más grandes y profundas y en conjuntos de datos diversos para establecer rangos de referencia estandarizados.