Riepilogo Tecnico: TinySSL (CA-DSSL)

Enunciato del Problema

Il documento affronta il divario critico nell'apprendimento auto-supervisionato (SSL) per modelli di classe microcontrollore (MCU), che tipicamente operano con meno di 500.000 parametri e footprint di memoria inferiori al megabyte. Sebbene l'SSL abbia rivoluzionato l'apprendimento delle rappresentazioni per modelli su larga scala (ad esempio ResNet-50, ViT-B), i metodi standard falliscono catastroficamente alla scala MCU. Gli autori identificano tre modalità di fallimento specifiche per backbones di piccole dimensioni:

1. Dominanza del Projection Head: I projection head standard per l'SSL (ad esempio MLP a 2048 dimensioni) contengono spesso più parametri dell'intero backbone studente, causando un'ottimizzazione focalizzata sul head piuttosto che sull'estrattore di caratteristiche.
2. Collo di bottiglia della rappresentazione: I backbones di piccole dimensioni (ad esempio MobileNetV2-0.35× con ~112 canali nella fase finale) mancano della capacità di codificare le invarianze fini richieste dagli obiettivi contrastivi o non contrastivi standard.
3. Sensibilità all'augmentation: Le forti augmentation dei dati, benefiche per i modelli grandi, sopraffanno le reti di piccole dimensioni nelle fasi iniziali dell'addestramento, portando al collasso della rappresentazione.

Di conseguenza, i metodi SSL standard come BYOL e DINO collassano a prestazioni quasi casuali sugli MCU, mentre i metodi contrastivi come SimCLR performano significativamente peggio.

Metodologia: CA-DSSL

Gli autori propongono Capacity-Aware Distilled Self-Supervised Learning (CA-DSSL), un framework guidato da un teacher progettato specificamente per modelli inferiori al megabyte. L'idea centrale è sfruttare un teacher grande e congelato per comprimere le rappresentazioni apprese in uno studente di piccole dimensioni, aggirando la necessità che lo studente scopra le invarianze in modo indipendente.

Architettura e Componenti

• Student Backbone: Un modello MobileNetV2-0.35× (396K parametri).
• Teacher: Un ViT-S/16 DINO congelato (22M parametri), utilizzato esclusivamente durante il pre-addestramento e scartato al momento della distribuzione.
• Projection Proporzionale alla Capacità: Invece di un massiccio head MLP, CA-DSSL utilizza un singolo strato lineare ($W_p$) per proiettare le caratteristiche a 256 dimensioni, aggiungendo solo ~328K parametri (proporzionali al backbone). Un secondo strato lineare ($W_a$) allinea la proiezione dello studente alla dimensione del token CLS del teacher (384).
• Distillazione delle Caratteristiche Multi-Scala (MSFD): Per preservare le informazioni spaziali critiche per la rilevazione a valle, il metodo distilla le caratteristiche in tre fasi del backbone, allineando i token spaziali dello studente e del teacher tramite errore quadratico medio normalizzato con $L_2$.
• Curriculum di Augmentation Progressivo: Per prevenire il collasso precoce, la forza dell'augmentation viene aumentata gradualmente in tre fasi (lieve $\to$ media $\to$ completa) nell'arco di 100 epoche.

Funzione di Perdita

La perdita totale combina tre termini (con pesi predefiniti $\lambda_{ms}=0.5, \lambda_{reg}=0$):
$$L_{total} = L_{cls} + \lambda_{ms}L_{ms} + \lambda_{reg}L_{reg}$$

• $L_{cls}$: Distillazione del token CLS del teacher nella proiezione globale dello studente (similarità del coseno).
• $L_{ms}$: Distillazione delle caratteristiche multi-scala (MSE tra caratteristiche spaziali normalizzate).
• $L_{reg}$: Regolarizzazione auto-contrastiva opzionale (InfoNCE). Gli autori rilevano che questo termine è dannoso su piccoli dataset (CIFAR-100) a causa del rumore della coda, ma suggeriscono che potrebbe essere utile su corpora più grandi.

Contributi Chiave

1. Studio Sistematico dell'SSL in Scala MCU: Il documento stabilisce che i metodi SSL standard (BYOL, DINO) collassano completamente alla scala <500K parametri, mentre i metodi contrastivi (SimCLR) apprendono ma performano peggio, rendendo necessarie approcci qualitativamente diversi.
2. Framework CA-DSSL: Una combinazione innovativa di distillazione guidata da teacher, allineamento delle caratteristiche multi-scala e un curriculum di augmentation progressivo adattato per modelli con capacità vincolata.
3. Efficienza dei Parametri: CA-DSSL ottiene risultati allo stato dell'arte con un projection head durante l'addestramento 10$\times$ più piccolo rispetto alla baseline SEED (426K contro 3,15M parametri) pur eguagliando o superandone l'accuratezza.
4. Fattibilità di Distribuzione: Il metodo abilita il fine-tuning on-device e l'apprendimento federato mantenendo il grafico di addestramento totale entro i budget di memoria MCU, con zero overhead di inferenza derivante dalla pipeline di pre-addestramento.

Risultati Sperimentali

Gli esperimenti sono stati condotti principalmente su CIFAR-100 (50K immagini) con trasferimenti su Flowers102, Food101, Core50 e Pascal VOC.

• Classificazione (Linear Probe): Su un backbone MobileNetV2-0.35× da 396K, CA-DSSL raggiunge un'accuratezza di 62,7% $\pm$ 0,5%. Questo supera SimCLR-Tiny di 18 punti percentuali (pp), eguaglia la baseline SEED (61,7%) con significativamente meno parametri e raggiunge il 94,0% del limite superiore supervisionato. Al contrario, BYOL-Tiny e DINO-Tiny collassano a un'accuratezza di ~5%.
• Trasferimento per Rilevazione: Su Pascal VOC, CA-DSSL raggiunge 7,69% mAP@50, un miglioramento di 2,3$\times$ rispetto all'inizializzazione casuale e +3,0 pp rispetto alla baseline SEED. Sebbene SimCLR-Tiny eguagli questo mAP (7,78%), CA-DSSL lo ottiene con 10$\times$ meno parametri di head.
• Apprendimento per Trasferimento: I backbone CA-DSSL generalizzano bene su Flowers102 e Food101, superando le baseline SSL standard e, su Food101, superando il pre-addestramento supervisionato.
• Limitazioni di Scalabilità: Esperimenti preliminari su ImageNet-100 rivelano che il head proporzionale alla capacità di CA-DSSL non scala bene quanto il head più grande di SEED. Su ImageNet-100, SEED supera CA-DSSL di 20 pp, indicando che CA-DSSL è ottimizzato per regimi di piccoli dati.

Significato e Affermazioni

Il documento posiziona CA-DSSL come un'evoluzione necessaria per TinyML, abilitando la visione artificiale di alta qualità su dispositivi edge senza connettività cloud o dati etichettati.

• Impatto Pratico: Il backbone distribuito occupa solo 378 KB (INT8) ed esegue su vari MCU (STM32H7, ESP32-S3, MAX78000) senza overhead di inferenza derivante dalla pipeline SSL.
• Compromesso di Progettazione: Gli autori inquadrano esplicitamente CA-DSSL come una soluzione per regimi di piccoli dati in cui la memoria di addestramento è vincolata. Riconoscono che per il pre-addestramento su larga scala (ad esempio ImageNet-1K), head di proiezione più grandi (come SEED) sono superiori, ma CA-DSSL sacrifica la scalabilità per un'efficienza dei parametri rilevante per la distribuzione.
• Stabilità: L'uso di un teacher esterno fornisce un addestramento significativamente più stabile (varianza inferiore tra i semi) rispetto ai metodi auto-supervisionati che si affidano allo studente per generare i propri target.

Il lavoro conclude che l'SSL alla scala MCU non è meramente un'estrapolazione quantitativa dell'SSL per modelli piccoli, ma richiede scelte di progettazione fondamentalmente diverse, specificamente la distillazione guidata da teacher e un'architettura consapevole della capacità.