🤖 AI

TinySSL: Distilled Self-Supervised Pretraining for Sub-Megabyte MCU Models

Dieser Beitrag stellt CA-DSSL vor, ein vom Lehrer geführtes selbstüberwachtes Lernframework, das spezifische Skalierungshürden überwindet, um eine effektive Vorabtrainierung für Mikrocontrollermodelle mit weniger als 500.000 Parametern zu ermöglichen, und das auf CIFAR-100 eine state-of-the-art Genauigkeit bei linearen Proben sowie signifikante Detektionsgewinne auf Pascal VOC ohne Verwendung von Labels erzielt.

Ursprüngliche Autoren: Bibin Wilson

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bibin Wilson

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen winzigen, batteriebetriebenen intelligenten Sensor – etwa ein Gerät, das einen Wald auf Wildtiere überwacht oder eine Maschinenanlage auf Fehler überprüft. Dieses Gerät ist unglaublich klein und schwach. Es verfügt über sehr wenig Speicher (wie ein winziges Notizbuch) und einen Prozessor, der im Vergleich zu Ihrem Smartphone langsam ist.

Seit Jahren war der beste Weg, Computern das „Sehen" beizubringen, mit massiven, leistungsstarken Supercomputern und riesigen Datensätzen verbunden. Doch diese Methoden sind für diese winzigen Geräte zu schwerfällig. Wenn Sie versuchen, eine Standard-Methode des „selbstlernenden" Computersehens auf diesem winzigen Gerät laufen zu lassen, scheitert sie kläglich. Es ist, als würde man einem Kleinkind beibringen, ein Meisterkoch zu werden, indem man ihm ein riesiges, komplexes Kochbuch gibt, das es nicht lesen kann; es gibt einfach auf.

Diese Arbeit stellt TinySSL vor, eine neue Methode, um diesen winzigen Geräten das „Sehen" beizubringen, und zwar unter Verwendung eines Verfahrens namens CA-DSSL. So funktioniert es, anhand einfacher Analogien:

Das Problem: Der „schwere Rucksack"

Standardmethoden zum Trainieren von KI (wie SimCLR oder BYOL) beruhen darauf, dass das Schülermodell einen „Rucksack" mit zusätzlichen Parametern (mathematischen Gewichten) trägt, um beim Lernen zu helfen.

Das Problem: Für ein winziges Gerät mit nur 400.000 „Gehirnzellen" (Parametern) sind diese Standardrucksäcke zu schwer. Tatsächlich ist der Rucksack selbst oft größer als das Gehirn des Schülers!
Das Ergebnis: Das Gerät wird von dem Rucksack so sehr überwältigt, dass es aufhört, etwas Nützliches zu lernen. Es kollabiert in einen Zustand, in dem es nur noch zufällig rät.

Die Lösung: Der „Meisterkoch" und der „Lehrling"

Die Autoren schlagen ein neues System vor, bei dem das winzige Gerät (der Lehrling) nicht alles selbst herausfinden muss. Stattdessen lernt es von einem Meisterkoch (ein riesiges, leistungsstarkes KI-Modell namens DINO ViT), das bereits ein Experte ist.

Der Meisterkoch (Lehrer): Dies ist ein riesiges KI-Modell, das bereits gelernt hat, die Welt perfekt zu sehen. Es sitzt auf einem leistungsstarken Computer in der Cloud. Es muss nicht auf dem winzigen Gerät laufen; es hilft lediglich während der Trainingsphase.
Der Lehrling (Schüler): Dies ist das winzige Modell (396.000 Parameter), das schließlich auf dem Mikrocontroller leben wird.
Die Lektion: Der Meisterkoch zeigt dem Lehrling ein Bild und sagt: „So sieht eine Katze aus." Der Lehrling versucht, dieses Verständnis nachzuahmen. Da der Meister so klug ist, lernt der Lehrling viel schneller und effizienter, als wenn er allein versuchen würde zu lernen.

Drei spezielle Tricks, damit es funktioniert

Um dies auf einem so kleinen Gerät zu ermöglichen, fügten die Autoren drei spezifische „Tricks" hinzu:

Ein maßgeschneiderter Hut (Kapazitätsbewusster Kopf):
Standardmethoden zwingen den winzigen Schüler, einen riesigen Hut (einen großen Projektionskopf) zu tragen, der zu schwer ist. Die Autoren entwarfen einen „Hut", der perfekt auf den Kopf des winzigen Schülers zugeschnitten ist. Er ist leichtgewichtig und passt perfekt, sodass der Schüler nicht beschwert wird.
Die Details lernen, nicht nur das große Ganze (Multi-Scale-Destillation):
Normalerweise lehrt der Meisterkoch dem Lehrling nur das „große Ganze" (z. B. „Das ist eine Katze"). Aber für Aufgaben wie das Finden eines bestimmten Objekts in einem unordentlichen Raum muss man wissen, wo sich Dinge befinden. Die Autoren lehrten den Lehrling, das Verständnis des Meisters für die Details und die räumliche Anordnung auf verschiedenen Zoomstufen nachzuahmen. Dies hilft dem winzigen Gerät, nicht nur Objekte zu klassifizieren, sondern sie auch gut zu erkennen.
Ein sanfter Trainingsplan (Progressives Curriculum):
Wenn man einen Anfänger in einen Sturm wirft, wird er ertrinken. Standardmethoden werfen das winzige Gerät oft sofort in „starke" Daten-Augmentierungen (verzerrte, unscharfe oder zugeschnittene Bilder).
- Die Lösung: Die Autoren erstellten einen dreistufigen Plan.
  - Phase 1: Dem Schüler werden klare, einfache Bilder gezeigt.
  - Phase 2: Ein wenig Verzerrung wird hinzugefügt.
  - Phase 3: Der volle Sturm der Verzerrungen wird eingeführt.
    Dies ermöglicht es dem Schüler, eine solide Grundlage aufzubauen, bevor er sich den schwierigen Dingen stellt, und verhindert so einen Kollaps.

Die Ergebnisse: Klein, aber mächtig

Das Team testete dies auf einem Standard-Winziggerät (MobileNetV2) unter Verwendung eines Datensatzes mit 100 Bildtypen (CIFAR-100).

Der alte Weg: Standardmethoden scheiterten völlig und schnitten nicht besser ab als zufälliges Raten (etwa 4–5 % Genauigkeit).
Der neue Weg (TinySSL): Das winzige Gerät erreichte eine Genauigkeit von 62,7 %.
Der Vergleich: Dies ist fast so gut wie ein Gerät, das mit menschlichen Labels trainiert wurde (was der „Goldstandard" ist, aber erfordert, dass Menschen jedes Foto kennzeichnen). Es war auch deutlich besser als andere „selbstlernende" Methoden.

Warum das wichtig ist

Der wichtigste Teil ist, was nach dem Training passiert.

Sobald das winzige Gerät trainiert ist, wird der „Meisterkoch" verworfen.
Das Gerät behält nur das winzige, leichte Modell (etwa 378 KB groß).
Es läuft auf dem Gerät mit keinen zusätzlichen Kosten. Es benötigt kein Internet oder eine Cloud-Verbindung, um zu funktionieren.

Zusammenfassend: Diese Arbeit zeigt, wie man einem winzigen, stromsparenden Computer das „Sehen" beibringt, indem man ihn einen riesigen Experten begleiten lässt, unter Verwendung eines maßgeschneiderten Lernwerkzeugs und eines sanften Trainingsplans. Sie verwandelt ein Gerät, das früher blind war, in eines, das Objekte mit hoher Genauigkeit erkennen kann, und passt dabei in den winzigen Speicher eines Mikrochips.

Technische Zusammenfassung: TinySSL (CA-DSSL)

Problemstellung

Die Arbeit adressiert die kritische Lücke im selbstüberwachten Lernen (SSL) für Modelle der Mikrocontroller-Klasse (MCU), die typischerweise mit weniger als 500.000 Parametern und Speicherfootprints unter einem Megabyte operieren. Während SSL das Repräsentationslernen für großskalige Modelle (z. B. ResNet-50, ViT-B) revolutioniert hat, versagen Standardmethoden in der MCU-Skala katastrophal. Die Autoren identifizieren drei spezifische Fehlermodi für winzige Rückgratstrukturen:

Dominanz des Projektionskopfes: Standard-SSL-Projektionsköpfe (z. B. 2048-dimensionale MLPs) enthalten oft mehr Parameter als das gesamte studentische Rückgrat, wodurch die Optimierung sich auf den Kopf statt auf den Merkmalsextraktor konzentriert.
Repräsentationsengpass: Winzige Rückgratstrukturen (z. B. MobileNetV2-0,35× mit ~112 Kanälen in der letzten Stufe) verfügen nicht über die Kapazität, die für Standard-kontrastive oder nicht-kontrastive Ziele erforderlichen feinabgestuften Invarianzen zu kodieren.
Empfindlichkeit gegenüber Augmentierungen: Starke Datenaugmentierungen, die für große Modelle vorteilhaft sind, überwältigen winzige Netzwerke früh im Training und führen zum Zusammenbruch der Repräsentation.

Folglich kollabieren Standard-SSL-Methoden wie BYOL und DINO auf MCUs zu einer Leistung nahe dem Zufallsniveau, während kontrastive Methoden wie SimCLR signifikant schlechter abschneiden.

Methodik: CA-DSSL

Die Autoren schlagen Capacity-Aware Distilled Self-Supervised Learning (CA-DSSL) vor, ein vom Lehrer geführtes Framework, das speziell für Modelle unter einem Megabyte entwickelt wurde. Der Kerngedanke besteht darin, einen großen, eingefrorenen Lehrer zu nutzen, um gelernte Repräsentationen in einen winzigen Schüler zu komprimieren und so die Notwendigkeit zu umgehen, dass der Schüler Invarianzen unabhängig entdeckt.

Architektur und Komponenten

Schüler-Rückgrat: Ein MobileNetV2-0,35×-Modell (396.000 Parameter).
Lehrer: Ein eingefrorener DINO ViT-S/16 (22 Millionen Parameter), der ausschließlich während des Vor-Trainings verwendet und beim Einsatz verworfen wird.
Kapazitätsproportionale Projektion: Anstelle eines massiven MLP-Kopfes verwendet CA-DSSL eine einzelne lineare Schicht ( $W_p$ ), um Merkmale auf 256 Dimensionen zu projizieren, was nur ~328.000 Parameter hinzufügt (proportional zum Rückgrat). Eine zweite lineare Schicht ( $W_a$ ) richtet die Schüler-Projektion an der CLS-Token-Dimension des Lehrers (384) aus.
Multi-Scale Feature Distillation (MSFD): Um räumliche Informationen zu erhalten, die für nachgelagerte Detektion entscheidend sind, werden Merkmale in drei Rückgratstufen destilliert und Schüler- sowie Lehrer-Raumtoken über $L_2$ -normalisierten mittleren quadratischen Fehler (MSE) ausgerichtet.
Progressives Augmentierungs-Curriculum: Um einen frühen Zusammenbruch zu verhindern, wird die Stärke der Augmentierung über drei Phasen (leicht $\to$ mittel $\to$ voll) über 100 Epochen schrittweise erhöht.

Verlustfunktion

Der Gesamtverlust kombiniert drei Terme (mit Standardgewichten $\lambda_{ms}=0,5, \lambda_{reg}=0$ ):
$L_{total} = L_{cls} + \lambda_{ms}L_{ms} + \lambda_{reg}L_{reg}$

$L_{cls}$ : Destillation des CLS-Tokens des Lehrers in die globale Projektion des Schülers (Kosinus-Ähnlichkeit).
$L_{ms}$ : Multi-Scale Feature Distillation (MSE zwischen normalisierten räumlichen Merkmalen).
$L_{reg}$ : Optionale selbst-kontrastive Regularisierung (InfoNCE). Die Autoren stellen fest, dass dieser Term bei kleinen Datensätzen (CIFAR-100) aufgrund von Queue-Rauschen nachteilig ist, vermuten jedoch, dass er bei größeren Korpora helfen könnte.

Hauptbeiträge

Systematische Untersuchung von MCU-Skala-SSL: Die Arbeit zeigt, dass Standard-SSL-Methoden (BYOL, DINO) bei der <500K-Parameter-Skala vollständig kollabieren, während kontrastive Methoden (SimCLR) zwar lernen, aber schlechter abschneiden, was qualitativ unterschiedliche Ansätze erfordert.
CA-DSSL-Framework: Eine neuartige Kombination aus lehrergeführter Destillation, Multi-Scale-Merkmalsausrichtung und einem progressiven Augmentierungs-Curriculum, das auf kapazitätsbeschränkte Modelle zugeschnitten ist.
Parametereffizienz: CA-DSSL erzielt State-of-the-Art-Ergebnisse mit einem Projektionskopf während des Trainings, der 10 $\times$ kleiner ist als die SEED-Baseline (426.000 vs. 3,15 Millionen Parameter), während es deren Genauigkeit erreicht oder übertrifft.
Einsatzfähigkeit: Die Methode ermöglicht On-Device-Feinabstimmung und Federated Learning, indem der gesamte Trainingsgraph innerhalb der MCU-Speicherbudgets gehalten wird, ohne Inference-Overhead durch die Vor-Trainings-Pipeline.

Experimentelle Ergebnisse

Experimente wurden hauptsächlich auf CIFAR-100 (50.000 Bilder) durchgeführt mit Transfer auf Flowers102, Food101, Core50 und Pascal VOC.

Klassifizierung (Linearer Probe): Auf einem 396.000-Parameter MobileNetV2-0,35×-Rückgrat erreicht CA-DSSL eine Genauigkeit von 62,7 % $\pm$ 0,5 %. Dies übertrifft SimCLR-Tiny um 18 Prozentpunkte (pp), entspricht der SEED-Baseline (61,7 %) mit deutlich weniger Parametern und erreicht 94,0 % der überwachten Obergrenze. Im Gegensatz dazu kollabieren BYOL-Tiny und DINO-Tiny auf eine Genauigkeit von ca. 5 %.
Detektions-Transfer: Auf Pascal VOC erreicht CA-DSSL 7,69 % mAP@50, eine Verbesserung um den Faktor 2,3 gegenüber einer zufälligen Initialisierung und +3,0 pp gegenüber der SEED-Baseline. Während SimCLR-Tiny diese mAP (7,78 %) erreicht, erzielt CA-DSSL dies mit 10 $\times$ weniger Kopfparametern.
Transferlernen: CA-DSSL-Rückgrate verallgemeinern gut auf Flowers102 und Food101, übertreffen Standard-SSL-Baselines und übertrifft auf Food101 sogar das überwachte Vor-Training.
Skalierungsgrenzen: Vorläufige Experimente auf ImageNet-100 zeigen, dass sich der kapazitätsproportionale Kopf von CA-DSSL nicht so gut skaliert wie der größere Kopf von SEED. Auf ImageNet-100 übertrifft SEED CA-DSSL um 20 pp, was darauf hindeutet, dass CA-DSSL für Regime mit kleinen Datenmengen optimiert ist.

Bedeutung und Behauptungen

Die Arbeit positioniert CA-DSSL als notwendige Evolution für TinyML, die hochwertige Computer Vision auf Edge-Geräten ohne Cloud-Anbindung oder gelabelte Daten ermöglicht.

Praktische Auswirkungen: Das eingesetzte Rückgrat belegt nur 378 KB (INT8) und läuft auf verschiedenen MCUs (STM32H7, ESP32-S3, MAX78000) ohne Inference-Overhead durch die SSL-Pipeline.
Designkompromiss: Die Autoren fassen CA-DSSL explizit als Lösung für Regime mit kleinen Datenmengen zusammen, in denen der Trainingspeicher begrenzt ist. Sie räumen ein, dass für großskaliges Vor-Training (z. B. ImageNet-1K) größere Projektionsköpfe (wie bei SEED) überlegen sind, aber CA-DSSL Skalierbarkeit für eine einsetzungsrelevante Parametereffizienz opfert.
Stabilität: Die Verwendung eines externen Lehrers bietet ein deutlich stabileres Training (geringere Varianz über verschiedene Seeds) im Vergleich zu selbstüberwachten Methoden, die darauf angewiesen sind, dass der Schüler seine eigenen Ziele generiert.

Die Arbeit kommt zu dem Schluss, dass SSL auf der MCU-Skala nicht merely eine quantitative Extrapolation von SSL für kleine Modelle ist, sondern grundlegend andere Designentscheidungen erfordert, insbesondere lehrergeführte Destillation und kapazitätsbewusste Architekturen.