Technische Samenvatting: TinySSL (CA-DSSL)

Probleemstelling

Het artikel adresseert het kritieke gat in zelftoezichthoudend leren (SSL) voor modellen van microcontroller (MCU)-klasse, die typisch opereren met minder dan 500.000 parameters en geheugenvoetafdrukken onder de megabyte. Waar SSL de representatielering voor grootschalige modellen (bijv. ResNet-50, ViT-B) heeft revolutionair, falen standaardmethoden catastrofisch op de MCU-schaal. De auteurs identificeren drie specifieke faalmodi voor tiny backbones:

1. Dominantie van de Projectiehoofd: Standaard SSL-projectiehoofden (bijv. 2048-dimensionale MLP's) bevatten vaak meer parameters dan de gehele student-backbone, waardoor de optimalisatie zich richt op het hoofd in plaats van op de feature-extractor.
2. Representatiebottleneck: Tiny backbones (bijv. MobileNetV2-0.35× met ~112 kanalen in het laatste stadium) missen de capaciteit om de fijnkorrelige invarianties te coderen die vereist zijn door standaard contrastieve of niet-contrastieve doelen.
3. Gevoeligheid voor Augmentatie: Sterke data-augmentaties, die gunstig zijn voor grote modellen, overweldigen tiny netwerken vroeg in het trainingsproces, wat leidt tot representatie-inzakking.

Bijgevolg zakken standaard SSL-methoden zoals BYOL en DINO op MCUs in tot bijna-willekeurige prestaties, terwijl contrastieve methoden zoals SimCLR significant onderpresteren.

Methodologie: CA-DSSL

De auteurs stellen Capacity-Aware Distilled Self-Supervised Learning (CA-DSSL) voor, een door een leraar geleid raamwerk dat specifiek is ontworpen voor modellen onder de megabyte. Het kerninzicht is het benutten van een grote, bevroren leraar om geleerde representaties te comprimeren in een tiny student, waardoor de noodzaak wordt omzeild dat de student invarianties onafhankelijk moet ontdekken.

Architectuur en Componenten

• Student Backbone: Een MobileNetV2-0.35× model (396K parameters).
• Leraar: Een bevroren DINO ViT-S/16 (22M parameters), uitsluitend gebruikt tijdens pretraining en weggegooid bij implementatie.
• Capaciteitsproportionele Projectie: In plaats van een massief MLP-hoofd gebruikt CA-DSSL een enkele lineaire laag ($W_p$) om features te projecteren naar 256 dimensies, wat slechts ~328K parameters toevoegt (proportioneel aan de backbone). Een tweede lineaire laag ($W_a$) aligneert de student-projectie met de CLS-token-dimensie van de leraar (384).
• Multi-Schaal Feature Distillatie (MSFD): Om ruimtelijke informatie te behouden die kritiek is voor downstream detectie, distilleert de methode features op drie backbone-stadia, en aligneert student- en leraar-ruimtelijke tokens via $L_2$-genormaliseerde Gemiddelde Kwikkwadratenfout.
• Progressief Augmentatiecurriculum: Om vroege inzakking te voorkomen, wordt de augmentatiesterkte geleidelijk verhoogd over drie fasen (licht $\to$ medium $\to$ vol) gedurende 100 epochs.

Verliesfunctie

De totale verliesfunctie combineert drie termen (met standaardgewichten $\lambda_{ms}=0,5, \lambda_{reg}=0$):
$$L_{total} = L_{cls} + \lambda_{ms}L_{ms} + \lambda_{reg}L_{reg}$$

• $L_{cls}$: Distillatie van de CLS-token van de leraar in de globale projectie van de student (cosinusgelijkenis).
• $L_{ms}$: Multi-schaal feature distillatie (MSE tussen genormaliseerde ruimtelijke features).
• $L_{reg}$: Optionele zelf-contrastieve regularisatie (InfoNCE). De auteurs vinden deze term schadelijk op kleine datasets (CIFAR-100) vanwege wachtrijruis, maar suggereren dat deze mogelijk helpt op grotere corpora.

Belangrijkste Bijdragen

1. Systematische Studie van MCU-Schaal SSL: Het artikel stelt vast dat standaard SSL-methoden (BYOL, DINO) volledig instorten op de schaal van <500K parameters, terwijl contrastieve methoden (SimCLR) leren maar onderpresteren, wat kwalitatief verschillende benaderingen noodzakelijk maakt.
2. CA-DSSL Raamwerk: Een nieuwe combinatie van door leraar geleide distillatie, multi-schaal feature-alignement en een progressief augmentatiecurriculum, op maat gemaakt voor capaciteitsbeperkte modellen.
3. Parameter-efficiëntie: CA-DSSL bereikt state-of-the-art resultaten met een projectiehoofd tijdens training dat 10$\times$ kleiner is dan de SEED-baseline (426K vs. 3,15M parameters), terwijl het zijn nauwkeurigheid behoudt of overtreft.
4. Implementatiehaalbaarheid: De methode maakt fine-tuning op het apparaat en federated leren mogelijk door het totale trainingsgrafiek binnen de geheugentarieven van de MCU te houden, met nul inferentie-overhead van de pretraining-pijplijn.

Experimentele Resultaten

Experimenten werden voornamelijk uitgevoerd op CIFAR-100 (50K afbeeldingen) met overdrachten naar Flowers102, Food101, Core50 en Pascal VOC.

• Classificatie (Lineaire Probe): Op een 396K MobileNetV2-0.35× backbone bereikt CA-DSSL 62,7% $\pm$ 0,5% nauwkeurigheid. Dit overtreft SimCLR-Tiny met 18 procentpunten (pp), komt overeen met de SEED-baseline (61,7%) met aanzienlijk minder parameters, en bereikt 94,0% van de supervised bovengrens. Daarentegen zakken BYOL-Tiny en DINO-Tiny in tot ~5% nauwkeurigheid.
• Overdracht voor Detectie: Op Pascal VOC bereikt CA-DSSL 7,69% mAP@50, een 2,3$\times$ verbetering ten opzichte van willekeurige initialisatie en +3,0 pp boven de SEED-baseline. Hoewel SimCLR-Tiny deze mAP bereikt (7,78%), bereikt CA-DSSL dit met 10$\times$ minder hoofdparameters.
• Transfer Learning: CA-DSSL backbones generaliseren goed naar Flowers102 en Food101, en presteren beter dan standaard SSL-baselines en, op Food101, surpasseren ze supervised pretraining.
• Beperkingen in Schaalbaarheid: Voorlopige experimenten op ImageNet-100 onthullen dat het capaciteitsproportionele hoofd van CA-DSSL niet zo goed schaalt als het grotere hoofd van SEED. Op ImageNet-100 presteert SEED 20 pp beter dan CA-DSSL, wat aangeeft dat CA-DSSL is geoptimaliseerd voor regimes met kleine data.

Betekenis en Claims

Het artikel positioneert CA-DSSL als een noodzakelijke evolutie voor TinyML, wat hoogwaardige computervisie op edge-apparaten mogelijk maakt zonder cloudconnectiviteit of gelabelde data.

• Praktische Impact: De geïmplementeerde backbone beslaat slechts 378 KB (INT8) en draait op diverse MCUs (STM32H7, ESP32-S3, MAX78000) zonder inferentie-overhead van de SSL-pijplijn.
• Ontwerpafweging: De auteurs presenteren CA-DSSL expliciet als een oplossing voor regimes met kleine data waar trainingsgeheugen beperkt is. Ze erkennen dat voor grootschalige pretraining (bijv. ImageNet-1K) grotere projectiehoofden (zoals SEED) superieur zijn, maar CA-DSSL offert schaalbaarheid op voor implementatie-relevante parameter-efficiëntie.
• Stabiliteit: Het gebruik van een externe leraar biedt aanzienlijk stabielere training (lagere variantie over zaden) in vergelijking met zelftoezichthoudende methoden die vertrouwen op de student om zijn eigen doelen te genereren.

Het werk concludeert dat SSL op de MCU-schaal niet louter een kwantitatieve extrapolatie is van SSL voor kleine modellen, maar fundamenteel verschillende ontwerptkeuzes vereist, specifiek door leraar geleide distillatie en capaciteitsbewuste architectuur.