What changes after deployment? A survey on On-device Learning in TinyML

Resumen Técnico: ¿Qué cambia tras el despliegue? Un estudio sobre el Aprendizaje en el Dispositivo en TinyML

1. Planteamiento del problema

Los modelos de aprendizaje automático desplegados en dispositivos de clase microcontrolador (TinyML) enfrentan un desafío fundamental: el cambio de distribución post-despliegue. Los modelos entrenados fuera de línea en conjuntos de datos curados suelen tener un bajo rendimiento cuando se exponen a condiciones del mundo real donde las distribuciones de datos cambian tras el despliegue. Aunque el Aprendizaje en el Dispositivo (ODL, por sus siglas en inglés) aborda esto ejecutando el proceso de aprendizaje directamente en el dispositivo, la literatura existente carece de una caracterización unificada de cómo ocurren los cambios de distribución. Los estudios previos no han distinguido explícitamente entre diferentes tipos de regímenes de cambio de distribución, lo que lleva a una confusión de soluciones que operan bajo restricciones y supuestos fundamentalmente distintos. Además, existe una brecha persistente entre los referentes metodológicos (a menudo centrados en imágenes) y los escenarios de despliegue en el mundo real (a menudo centrados en sensores), lo que dificulta la transferencia de avances algorítmicos a aplicaciones prácticas.

2. Metodología

Este artículo presenta un estudio exhaustivo de aproximadamente 70 trabajos de ODL en el dominio de TinyML. El estudio se estructura en torno a un principio organizador primario: el régimen de cambio de distribución. Los autores categorizan la literatura en tres regímenes distintos basados en la naturaleza del proceso generador de datos ($P$) después del tiempo de despliegue $T$:

1. Régimen de Cambio Único: La distribución cambia exactamente una vez en el despliegue ($p_{T-1} \neq p_T$) y permanece estable de ahí en adelante. El desafío es la adaptación rápida y eficiente a las nuevas condiciones para el resto de la vida útil del dispositivo.
2. Régimen de Deriva de Concepto (Concept Drift): La distribución cambia múltiples veces de forma continua e impredecible ($p_{t-1} \neq p_t$). El enfoque es adaptarse rápidamente a las nuevas condiciones mientras se descarta o se reduce el peso del conocimiento pasado irrelevante.
3. Régimen de Aprendizaje Continuo (Continual Learning): Se introducen nuevos conceptos de forma incremental a lo largo del tiempo. La solución debe acumular nuevo conocimiento sin olvidar la información previamente aprendida (abordando el olvido catastrófico). Aunque es formalmente similar al de la deriva de concepto en términos de cambio de distribución, el supuesto respecto a la relevancia del conocimiento pasado y los criterios de evaluación difieren significablemente.

Para cada régimen, el estudio analiza la literatura a través de tres lentes complementarios:

• Lente de Aplicación: Los contextos y tareas del mundo real abordados (p. ej., detección de palabras clave, calibración de sensores, interfaces cerebro-máquina).
• Lente de Hardware: Los dispositivos objetivo, que van desde procesadores ultra restringidos (p. ej., Cortex-M0, ISPU) hasta MCUs estándar (Cortex-M4/M7) y plataformas de ultra bajo consumo paralelas (PULP).
• Lente de Solución: La composición técnica de las soluciones de ODL, descompuesta en cuatro componentes:
  • $R(\cdot)$: Reducción de dimensionalidad (p. ej., CNNs congeladas, extractores de características estadísticas).
  • $B$: Gestión de datos (estrategias de buffering, condiciones de admisión/disparo).
  • $f_t(\cdot)$: El algoritmo de ML (p. ej., DNNs, SVMs, KNN).
  • $L$: El mecanismo de aprendizaje (p. ej., retropropagación, actualizaciones de solo avance, generación de prototipos).

El estudio también formaliza el problema de ODL, definiendo restricciones en memoria ($M_D$), frecuencia de reloj ($F_D$), potencia y tiempo de ejecución ($E$), y establece protocolos de evaluación específicos para cada régimen (p. ej., evaluación prequencial para la deriva de concepto, evaluación longitudinal para el aprendizaje continuo).

3. Contribuciones Clave

• Taxonomía Centrada en Regímenes: Este es el primer estudio que organiza toda la literatura de ODL en torno al régimen de cambio de distribución (Cambio Único, Deriva de Concepto, Aprendizaje Continuo), argumentando que las soluciones diseñadas para un régimen no son directamente comparables con las de otro debido a los diferentes supuestos sobre el conocimiento pasado y los objetivos de adaptación.
• Alcance Exhaustivo: El estudio cubre ~70 trabajos, expandiendo significativamente los esfuerzos previos (que estudiaron ~10 trabajos) y capturando el sustancial cuerpo de investigación publicado después de 2023.
• Análisis Multi-lente: Al analizar los trabajos a través de las lentes de aplicación, hardware y solución simultáneamente, el estudio revela patrones transversales, como la correlación entre la capacidad de hardware y la complejidad del régimen, y el desalineamiento entre la investigación orientada a métodos y la orientada a aplicaciones.
• Identificación de Brechas Estructurales: El artículo identifica una desconexión entre las contribuciones metodológicas (a menudo centradas en la optimización de la retropropagación en benchmarks estándar) y los trabajos orientados a la aplicación (que priorizan la eficiencia de etiquetas y las restricciones del mundo real). Destaca que los trabajos metodológicos rara vez abordan la escasez de datos etiquetados o las restricciones completas del pipeline (memoria, latencia, potencia) de forma simultánea.

4. Resultados y Hallazgos Clave

Hallazgos de Aplicación

• Desalineamiento de Tareas: Los trabajos orientados a métodos utilizan predominantemente benchmarks de clasificación de imágenes (CIFAR, MNIST) que suelen ser demasiado exigentes computacionalmente para un TinyML real. Por el contrario, los trabajos orientados a la aplicación se centran en tareas como la Detección de Palabras Clave (KWS), el Reconocimiento de Actividad Humana (HAR) y la calibración de sensores, que carecen de benchmarks estandarizados.
• Estrategias de Adquisición de Etiquetas: Los trabajos orientados a la aplicación exitosos tratan la adquisición de etiquetas como un requisito de diseño de primera clase. Las estrategias incluyen aprendizaje de pocos disparos (few-shot learning), aprendizaje autosupervisado (usando sensores auxiliares), aprendizaje no supervisado (para detección de anomalías) y etiquetado implícito mediante estímulos estructurados.
• Distribución de Regímenes: Los trabajos orientados a la aplicación están fuertemente concentrados en el régimen de Cambio Único (p. ej., personalización de KWS, calibración de sensores). Los regímenes de Deriva de Concepto y Aprendizaje Continuo están dominados por trabajos orientados a métodos, con muy pocos despliegues de aplicaciones reales reportados.

Hallazgos de Hardware

• Correlación Hardware-Régimen: Existe una relación monotónica entre la capacidad de hardware y la complejidad del régimen.
  • Los procesadores ultra restringidos (Cortex-M0, ISPU) aparecen casi exclusivamente en el régimen de Cambido Único debido a los estrictos límites de memoria/cómputo.
  • Los MCUs estándar (Cortex-M4/M7) abarcan los tres regímenes, pero están subrepresentados en el Aprendizaje Continuo debido a las restricciones de memoria para los buffers de repetición (replay buffers).
  • Las plataformas PULP (multinúcleo, p. ej., GAP9) dominan el régimen de Aprendizaje Continuo, ya que son la única clase actualmente capaz de soportar las altas demandas de memoria y computación de los algoritmos de aprendizaje continuo.
• Brechas de Reporte: El reporte de hardware es inconsistente. Métricas como el pico de RAM y la energía suelen reportarse por instancia, por lote o por época sin estandarización, lo que dificulta la comparación entre trabajos.

Hallazgos de Solución

• Patrones de Componentes:
  • Reducción de Dimensionalidad ($R$): Las CNNs preentrenadas congeladas son la opción dominante para entradas de imagen/audio, mientras que las funciones identidad o extractores estadísticos se usan para datos de sensores de baja dimensión.
  • Gestión de Datos ($B$): La operación totalmente en línea ($|\Delta|=1$) domina los regímenes de Cambio Único y Deriva de Concepto. El buffering explícito es estructuralmente necesario en el Aprendizaje Continuo para prevenir el olvido catastrófico.
  • Mecanismo de Aprendizaje ($L$): La retropropagación completa es el estándar para el Aprendizaje Continuo (apoyada por buffers de repetición). En Cambio Único y Deriva de Concepto, prevalecen alternativas más ligeras (actualizaciones de solo avance, clasificadores basados en prototipos, KNN).
• Brecha de Optimización: Los trabajos metodológicos optimizan intensamente la retropropagación (dispersión, cuantización), pero estas optimizaciones rara vez se adoptan en despliegues orientados a la aplicación. Esto sugiere una desconexión donde las mejoras algorítmicas no se validan contra las restricciones completas del pipeline (p. ej., estrategia de etiquetado, costos de buffering de datos).

5. Significado y Reivindicaciones

El artículo sostiene que el régimen de cambio de distribución es el factor crítico, aunque previamente pasado por alto, que determina la viabilidad y el diseño de las soluciones de ODL. Al distinguir explícitamente entre Cambio Único, Deriva de Concepto y Aprendizaje Continuo, el estudio proporciona un marco para una comparación significativa que la literatura previa no poseía.

Los autores afirman modestamente que su trabajo resalta una brecha estructural en el campo: el progreso algorítmico y el desarrollo de aplicaciones avanzan en paralelo con una limitada fertilización cruzada. Argumentan que el campo requiere:

1. Marcos de Evaluación Estandarizados: Benchmarks que fijen presupuestos de hardware, componentes de solución y restricciones de despliegue (incluyendo la escasez de etiquetas) para permitir una comparación justa.
2. Herramientas de Diseño de Extremo a Extremo: Marcos de software que traten todo el pipeline de ODL ($R, B, f, L$) como objetos optimizables conjuntamente, en lugar de optimizar componentes de forma aislada.
3. Hardware para ODL: Un cambio de adaptar arquitecturas de entrenamiento en la nube hacia el diseño de hardware específicamente para las restricciones de ODL (escasez de etiquetas, sin validación en el dispositivo, presupuestos de potencia estrictos).

El estudio concluye que, si bien el ODL amplía el alcance de las aplicaciones de TinyML, realizar esta visión requiere abordar el desalineamiento entre los benchmarks metodológicos y los escenarios de despliegue en el mundo real, particularmente en lo que respecta a la eficiencia de las etiquetas y las demandas específicas de los regímenes de aprendizaje no estacionarios.