Resumen Técnico: TinySSL (CA-DSSL)

Enunciado del Problema

El artículo aborda la brecha crítica en el aprendizaje auto-supervisado (SSL) para modelos de clase microcontrolador (MCU), que típicamente operan con menos de 500.000 parámetros y huellas de memoria inferiores a un megabyte. Aunque el SSL ha revolucionado el aprendizaje de representaciones para modelos a gran escala (por ejemplo, ResNet-50, ViT-B), los métodos estándar fallan catastróficamente a la escala de MCU. Los autores identifican tres modos de fallo específicos para las columnas vertebrales diminutas:

1. Dominancia de la Cabeza de Proyección: Las cabezas de proyección SSL estándar (por ejemplo, MLPs de 2048 dimensiones) a menudo contienen más parámetros que toda la columna vertebral del estudiante, lo que hace que la optimización se centre en la cabeza en lugar del extractor de características.
2. Cuello de Botella de Representación: Las columnas vertebrales diminutas (por ejemplo, MobileNetV2-0.35× con ~112 canales en la etapa final) carecen de la capacidad para codificar las invariancias de grano fino requeridas por los objetivos contrastivos o no contrastivos estándar.
3. Sensibilidad a las Aumentaciones: Las fuertes aumentaciones de datos, beneficiosas para modelos grandes, abruman a las redes diminutas al inicio del entrenamiento, lo que lleva al colapso de la representación.

En consecuencia, los métodos SSL estándar como BYOL y DINO colapsan a un rendimiento cercano al aleatorio en MCUs, mientras que los métodos contrastivos como SimCLR tienen un rendimiento significativamente inferior.

Metodología: CA-DSSL

Los autores proponen Aprendizaje Auto-Supervisado Destilado Consciente de la Capacidad (CA-DSSL), un marco guiado por un profesor diseñado específicamente para modelos de menos de un megabyte. La idea central es aprovechar un profesor grande y congelado para comprimir las representaciones aprendidas en un estudiante diminuto, evitando la necesidad de que el estudiante descubra invariancias de forma independiente.

Arquitectura y Componentes

• Columna Vertebral del Estudiante: Un modelo MobileNetV2-0.35× (396K parámetros).
• Profesor: Un ViT-S/16 DINO congelado (22M parámetros), utilizado exclusivamente durante el preentrenamiento y descartado en la implementación.
• Proyección Proporcional a la Capacidad: En lugar de una cabeza MLP masiva, CA-DSSL utiliza una sola capa lineal ($W_p$) para proyectar características a 256 dimensiones, añadiendo solo ~328K parámetros (proporcionales a la columna vertebral). Una segunda capa lineal ($W_a$) alinea la proyección del estudiante con la dimensión del token CLS del profesor (384).
• Destilación de Características Multi-Escala (MSFD): Para preservar la información espacial crítica para la detección posterior, el método destila características en tres etapas de la columna vertebral, alineando los tokens espaciales del estudiante y del profesor mediante el Error Cuadrático Medio normalizado con $L_2$.
• Currículo Progresivo de Aumentación: Para evitar el colapso temprano, la fuerza de la aumentación se incrementa gradualmente en tres fases (leve $\to$ media $\to$ completa) durante 100 épocas.

Función de Pérdida

La pérdida total combina tres términos (con pesos predeterminados $\lambda_{ms}=0.5, \lambda_{reg}=0$):
$$L_{total} = L_{cls} + \lambda_{ms}L_{ms} + \lambda_{reg}L_{reg}$$

• $L_{cls}$: Destilación del token CLS del profesor en la proyección global del estudiante (similitud del coseno).
• $L_{ms}$: Destilación de características multi-escala (MSE entre características espaciales normalizadas).
• $L_{reg}$: Regularización auto-contrastiva opcional (InfoNCE). Los autores encuentran que este término es perjudicial en conjuntos de datos pequeños (CIFAR-100) debido al ruido de la cola, pero sugieren que podría ayudar en corpus más grandes.

Contribuciones Clave

1. Estudio Sistemático del SSL a Escala MCU: El artículo establece que los métodos SSL estándar (BYOL, DINO) colapsan por completo a la escala de <500K parámetros, mientras que los métodos contrastivos (SimCLR) aprenden pero tienen un rendimiento inferior, haciendo necesarias aproximaciones cualitativamente diferentes.
2. Marco CA-DSSL: Una combinación novedosa de destilación guiada por profesor, alineación de características multi-escala y un currículo progresivo de aumentación adaptado para modelos con restricciones de capacidad.
3. Eficiencia de Parámetros: CA-DSSL logra resultados de vanguardia con una cabeza de proyección durante el entrenamiento que es 10$\times$ más pequeña que la línea base SEED (426K vs. 3.15M parámetros) mientras iguala o supera su precisión.
4. Viabilidad de Implementación: El método permite el ajuste fino en el dispositivo y el aprendizaje federado manteniendo el gráfico total de entrenamiento dentro de los presupuestos de memoria de MCU, con cero sobrecarga de inferencia por parte del pipeline de preentrenamiento.

Resultados Experimentales

Los experimentos se realizaron principalmente en CIFAR-100 (50K imágenes) con transferencias a Flowers102, Food101, Core50 y Pascal VOC.

• Clasificación (Sonda Lineal): En una columna vertebral MobileNetV2-0.35× de 396K, CA-DSSL logra una precisión de 62.7% $\pm$ 0.5%. Esto supera a SimCLR-Tiny en 18 puntos porcentuales (pp), iguala la línea base SEED (61.7%) con significativamente menos parámetros y alcanza el 94.0% del límite superior supervisado. Por el contrario, BYOL-Tiny y DINO-Tiny colapsan a una precisión de ~5%.
• Transferencia de Detección: En Pascal VOC, CA-DSSL logra 7.69% mAP@50, una mejora de 2.3$\times$ sobre la inicialización aleatoria y +3.0 pp sobre la línea base SEED. Aunque SimCLR-Tiny iguala este mAP (7.78%), CA-DSSL lo logra con 10$\times$ menos parámetros de cabeza.
• Aprendizaje por Transferencia: Las columnas vertebrales de CA-DSSL se generalizan bien a Flowers102 y Food101, superando las líneas base SSL estándar y, en Food101, superando el preentrenamiento supervisado.
• Limitaciones de Escala: Los experimentos preliminares en ImageNet-100 revelan que la cabeza proporcional a la capacidad de CA-DSSL no escala tan bien como la cabeza más grande de SEED. En ImageNet-100, SEED supera a CA-DSSL por 20 pp, lo que indica que CA-DSSL está optimizado para regímenes de datos pequeños.

Significado y Afirmaciones

El artículo posiciona a CA-DSSL como una evolución necesaria para TinyML, habilitando visión por computadora de alta calidad en dispositivos periféricos sin conectividad a la nube ni datos etiquetados.

• Impacto Práctico: La columna vertebral implementada ocupa solo 378 KB (INT8) y se ejecuta en varios MCUs (STM32H7, ESP32-S3, MAX78000) sin sobrecarga de inferencia por parte del pipeline SSL.
• Compromiso de Diseño: Los autores enmarcan explícitamente a CA-DSSL como una solución para regímenes de datos pequeños donde la memoria de entrenamiento está restringida. Reconocen que para el preentrenamiento a gran escala (por ejemplo, ImageNet-1K), cabezas de proyección más grandes (como SEED) son superiores, pero CA-DSSL sacrifica escalabilidad para obtener eficiencia de parámetros relevante para la implementación.
• Estabilidad: El uso de un profesor externo proporciona un entrenamiento significativamente más estable (menor varianza entre semillas) en comparación con los métodos auto-supervisados que dependen del estudiante para generar sus propios objetivos.

El trabajo concluye que el SSL a la escala de MCU no es meramente una extrapolación cuantitativa del SSL de modelos pequeños, sino que requiere decisiones de diseño fundamentalmente diferentes, específicamente destilación guiada por profesor y arquitectura consciente de la capacidad.