TinyVLM: Zero-Shot Object Detection on Microcontrollers via Vision-Language Distillation with Matryoshka Embeddings

Probleemstelling

Zero-shot objectdetectie (het herkennen van nieuwe objecten zonder specifieke training) is een fundamentele capaciteit voor intelligente systemen, mogelijk gemaakt door Vision-Language Models (VLMs) zoals CLIP. Deze modellen leren uitgerichte beeld-taalfrepresentaties en kunnen objecten detecteren via natuurlijke taal.

Echter, de implementatie van deze technologie op Microcontroller Units (MCU's) is tot nu toe onmogelijk geweest vanwege de strenge hardwarebeperkingen:

• Geheugenbeperkingen: Typische MCU's hebben slechts 1 MB Flash-geheugen en 512 KB SRAM.
• Modelgrootte: Bestaande VLMs (zoals CLIP ViT-B/32) vereisen honderden megabytes aan parameters en activatiegeheugen (bijv. 350 MB parameters, 2 GB activatiegeheugen), wat drie ordes van grootte groter is dan de capaciteit van een MCU.
• Onvoldoende compressie: Bestaande compressietechnieken zoals kennisdistillatie (TinyCLIP, MobileCLIP) of kwantisatie verminderen de grootte wel, maar blijven nog steeds 20 tot 40 keer te groot voor MCU's. Bovendien vereisen deze benaderingen vaak nog steeds zowel de visuele als de tekstuele encoder tijdens de inferentie, wat inefficiënt is voor gesloten sets van klassen.

Methodologie: TinyVLM

TinyVLM is een raamwerk dat zero-shot detectie mogelijk maakt op MCU's met minder dan 1 MB geheugen. De aanpak rust op drie kerninnovaties:

1. Gekoppelde Architectuur (Decoupled Architecture)

In plaats van zowel visuele als tekstuele encoders tijdens de inferentie uit te voeren, scheidt TinyVLM deze processen:

• Offline Voorbereiding: De tekstuele embeddings voor de bekende kandidaat-classes worden vooraf berekend en opgeslagen in het Flash-geheugen.
• Inferentie: Tijdens de inferentie op de MCU wordt alleen de compacte visuele encoder uitgevoerd. Dit elimineert de noodzaak voor tekstverwerking op het apparaat en verlaagt het SRAM-gebruik aanzienlijk.
• Architectuur: De visuele encoder is gebaseerd op een gemodificeerde MobileNetV2 met een breedte-factor van 0,35, gevolgd door een lineaire projectie.

2. Matryoshka Distillatie

Om flexibiliteit te bieden voor verschillende MCU's met variërende geheugencapaciteiten, introduceert het paper Matryoshka Representations in de context van VLM-distillatie:

• Gestructureerde Embeddings: In plaats van een vaste embeddingsgrootte (bijv. 512 dimensies), wordt een model getraind dat geneste embeddings leert. De eerste dimensies bevatten de belangrijkste, grofkorrelige informatie, terwijl latere dimensies fijnkorrelige details toevoegen.
• Flexibiliteit: Het model kan worden getraind met embedding-dimensies van 16, 32, 64, 128 tot 256. Tijdens implementatie kan het model worden "afgeknipt" (truncated) naar de dimensie die past binnen de geheugenbeperkingen van het specifieke apparaat, zonder dat een nieuw model getraind hoeft te worden.
• Trainingsdoel: De loss-functie combineert contrastieve learning, distillatie naar de leraar (CLIP), en een specifieke "Matryoshka loss" die ervoor zorgt dat elke prefix van de embedding op zichzelf nuttig is.

3. Geoptimaliseerde Opslag en Kwantisering

• Kwantisering: De vooraf berekende tekstuele embeddings (class prototypes) worden gekwantiseerd van float32 naar int8. Dit reduceert het opslaggebruik met een factor 4 met verwaarloosbaar verlies aan nauwkeurigheid (<1%).
• Geheugenindeling: Door alleen de visuele encoder en de gekwantiseerde embeddings op de MCU te houden, past het volledige systeem binnen de 1 MB Flash- en 512 KB SRAM-grenzen.

Kernbijdragen

1. Eerste MCU-compatibele Zero-Shot Detector: TinyVLM is het eerste framework dat zero-shot objectdetectie mogelijk maakt op apparaten met <1 MB geheugen, met een prestatie die vergelijkbaar is met CLIP maar met een geheugenvoetafdruk die ordes van grootte kleiner is.
2. Matryoshka Distillatie voor VLMs: Uitbreiding van Matryoshka-representaties naar visuele-taalkennisdistillatie, waardoor één model kan opereren op meerdere nauwkeurigheid-efficiëntie afwegingen (16–256 dimensies).
3. Gekoppelde Implementatiestrategie: Een strategie waarbij tekst-embeddings offline worden berekend, wat inferentie-geheugen bespaart en real-time detectie mogelijk maakt.
4. MCU Benchmarks: Uitgebreide evaluatie op vier MCU-platforms (STM32H7, MAX78000, GAP9, ESP32-S3) met gemeten hardware-resultaten.

Resultaten

Het model is getraind op het Conceptual Captions 3M (CC3M) dataset en geëvalueerd op benchmarks zoals COCO, Flowers102 en Food101.

• Geheugenverbruik:
  • Vision Encoder: 892 KB Flash (INT8 gekwantiseerd).
  • RAM-gebruik tijdens inferentie: 285 KB.
  • Dit is een reductie van meer dan 350x ten opzichte van CLIP ViT-B/32.
• Nauwkeurigheid:
  • TinyVLM bereikt concurrerende zero-shot nauwkeurigheid. Bijvoorbeeld op COCO bereikt de 64-dimensionale versie een AP50 van 12,4% (tegenover 34,2% van OWL-ViT, maar OWL-ViT past niet op een MCU).
  • De nauwkeurigheid degradeert graceful naarmate de embedding-dimensie afneemt (bijv. 64 dimensies behoudt 82% van de nauwkeurigheid van de 256-dim versie).
• Snelheid en Efficiëntie:
  • STM32H7: 26 FPS (38ms latentie).
  • MAX78000: >1.000 FPS (0,86ms latentie) dankzij de CNN-accelerator.
  • Energie-efficiëntie: De MAX78000 is 131x energie-efficiënter dan de STM32H7 (0,016 mJ per inferentie).

Betekenis en Toekomstperspectief

TinyVLM doorbreekt de fundamentele barrière die zero-shot AI op de "edge" (het uiterste punt van het netwerk) onmogelijk maakte. Het bewijst dat het mogelijk is om systemen te bouwen die nieuwe objecten kunnen herkennen zonder hertraining, zelfs op zeer beperkte hardware.

• Toepassingen: Dit opent de deur voor toepassingen zoals wildbewaking (aanpassing aan nieuwe soorten), industriële inspectie van nieuwe defecten, toegankelijkheidsapparatuur en slimme huishoudensystemen.
• Beperkingen: De aanpak vereist dat de kandidaat-classes bekend zijn bij de implementatie (gesloten set). De nauwkeurigheid voor zeer fijnkorrelige categorieën blijft lager dan die van grote VLMs.
• Toekomst: Verdere onderzoek richt zich op open-vocabulary detectie (zonder vooraf berekende embeddings), geavanceerde compressietechnieken (zoals clustering en lineaire attention) en continu leren op het apparaat.

Kortom, TinyVLM markeert een mijlpaal in TinyML door Vision-Language Models daadwerkelijk bruikbaar te maken op microcontrollers.