🤖 AI

TinyVLM: Zero-Shot Object Detection on Microcontrollers via Vision-Language Distillation with Matryoshka Embeddings

Le papier présente TinyVLM, un cadre innovant permettant la détection d'objets zero-shot sur des microcontrôleurs aux ressources limitées grâce à une architecture découplée, une distillation d'embeddings de type Matryoshka et un stockage quantifié, atteignant une inférence temps réel avec moins de 1 Mo de mémoire.

Auteurs originaux : Bibin Wilson

Publié 2026-03-03

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Bibin Wilson

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un petit robot de poche, comme un jouet intelligent, qui doit pouvoir reconnaître des objets autour de lui. Le problème ? Ce robot est très petit, avec une mémoire minuscule (comme un vieux téléphone des années 90), alors que les "cerveaux" intelligents actuels pour reconnaître les objets sont gigantesques, comme des bibliothèques entières qu'on ne peut pas mettre dans une poche.

C'est là qu'intervient TinyVLM, une nouvelle invention présentée par Bibin Wilson. Voici comment cela fonctionne, expliqué simplement avec des images de la vie quotidienne.

1. Le Problème : Le Géant et la Fourmi

Aujourd'hui, pour qu'une caméra reconnaisse un chat ou une pomme sans avoir été entraînée spécifiquement dessus (ce qu'on appelle la "détection zero-shot"), on utilise des modèles géants comme CLIP.

L'analogie : Imaginez que pour reconnaître un animal, vous deviez emporter avec vous une encyclopédie de 350 livres (350 Mo). Votre petit robot (le microcontrôleur) n'a la place que pour un seul petit carnet de notes (moins de 1 Mo). C'est impossible ! Le robot s'écrase avant même de commencer.

2. La Solution : TinyVLM, le "Cerveau de Poche"

TinyVLM est la première solution qui permet à ce petit robot de reconnaître des objets nouveaux sans avoir besoin de l'encyclopédie géante. Comment ? En utilisant trois astuces magiques :

Astuce 1 : La Séparation des Tâches (L'Architecte et le Bibliothécaire)

Habituellement, le robot doit lire le texte (ex: "c'est un chat") ET regarder l'image en même temps. C'est trop lourd.

L'analogie : TinyVLM sépare les rôles.
- Avant le départ (sur un gros ordinateur) : On prépare une liste de tous les objets possibles (chat, chien, voiture) et on écrit une "fiche de description" pour chacun. On met ces fiches dans la mémoire du robot (la Flash).
- Sur le terrain (sur le robot) : Le robot n'a plus besoin de lire les fiches. Il a juste besoin de regarder l'image, de la comparer aux fiches déjà prêtes, et de dire "Ah ! Ça ressemble à la fiche 'Chat' !".
- Résultat : Le robot n'a plus besoin de transporter le gros cerveau de lecture de texte. Il est beaucoup plus léger.

Astuce 2 : La Technique "Matryoshka" (Les Poupées Russes)

Les descriptions d'objets sont souvent trop détaillées. TinyVLM utilise une technique appelée "Matryoshka".

L'analogie : Imaginez une poupée russe géante. À l'intérieur, il y a une version un peu plus petite, puis encore plus petite, jusqu'à la plus petite.
- TinyVLM apprend à créer des descriptions d'objets qui fonctionnent à plusieurs tailles.
- Si le robot a beaucoup de place, il utilise la grande poupée (256 dimensions) pour une précision maximale.
- Si le robot est très serré, il prend juste la petite poupée (16 dimensions) qui contient l'essentiel (c'est un chat, pas un chien).
- Le génie : On n'a pas besoin de réentraîner le robot pour chaque taille. C'est le même modèle qui s'adapte, comme une poupée qui change de taille selon la place disponible dans la poche.

Astuce 3 : La Compression (Réduire la Taille des Mots)

Les fiches de description sont écrites avec des nombres très précis (des décimales), ce qui prend de la place.

L'analogie : Au lieu d'écrire "Le chat est à 3,14159265 mètres", on écrit simplement "Le chat est à 3 mètres". On arrondit.
- TinyVLM transforme ces nombres précis en nombres entiers simples (comme passer du texte écrit en gros caractères à des petits caractères).
- Cela divise par 4 la place nécessaire pour stocker les fiches, sans presque rien perdre en précision.

3. Les Résultats : Rapide et Efficace

Grâce à ces astuces, TinyVLM a réussi l'impossible :

Taille : Il tient dans moins de 1 Mo de mémoire (la taille d'une petite photo).
Vitesse : Sur un petit robot standard, il voit et reconnaît 26 objets par seconde. Sur un robot spécial avec un accélérateur, il va à plus de 1 000 objets par seconde ! C'est plus rapide que le clignement d'un œil.
Intelligence : Il peut reconnaître des fleurs, de la nourriture ou des objets du quotidien qu'il n'a jamais vus auparavant, juste en lisant leur nom.

En Résumé

TinyVLM, c'est comme si on prenait un super-héros de la reconnaissance d'images (qui habite normalement dans un gratte-ciel) et qu'on le rétrécissait pour qu'il rentre dans une boîte à chaussures, tout en gardant sa capacité à reconnaître le monde.

Cela ouvre la porte à des robots de poche, des caméras de surveillance intelligentes qui s'adaptent aux nouvelles menaces, ou des aides pour les personnes malvoyantes, le tout sans avoir besoin de se connecter à Internet ou d'avoir un gros ordinateur dans la poche. C'est l'intelligence artificielle qui rentre enfin dans notre poche !

1. Problématique

La détection d'objets "zero-shot" (sans réentraînement spécifique) permet de reconnaître des objets nouveaux via des requêtes en langage naturel, grâce aux modèles Vision-Language (VLM) comme CLIP. Cependant, ces modèles sont extrêmement lourds (CLIP ViT-B/32 nécessite ~350 Mo de paramètres et 2 Go de mémoire d'activation), ce qui les rend incompatibles avec les microcontrôleurs (MCU) qui sont limités à quelques centaines de kilo-octets de mémoire (typiquement < 1 Mo de Flash et < 512 Ko de SRAM).

Les techniques de compression existantes (distillation, quantification) réduisent la taille des modèles, mais pas suffisamment pour les MCU (les modèles compressés restent 20 à 40 fois trop gros). De plus, l'architecture couplée des VLM (nécessitant à la fois l'encodeur visuel et textuel au moment de l'inférence) est inefficace pour des tâches de détection en ensemble fermé où les classes sont connues à l'avance.

2. Méthodologie : TinyVLM

L'article propose TinyVLM, le premier framework permettant la détection d'objets zero-shot sur des MCU avec moins de 1 Mo de mémoire. L'approche repose sur trois innovations majeures :

A. Architecture Découplée (Decoupled Architecture)

Pour les scénarios de détection en ensemble fermé (classes candidates connues), l'auteur propose de séparer le traitement visuel du traitement textuel :

Pré-calcul hors ligne : Les embeddings textuels des classes sont pré-calculés et stockés dans la mémoire Flash du MCU.
Inférence temps réel : Seul l'encodeur visuel (très léger) s'exécute sur le MCU. Cela élimine la nécessité d'avoir un encodeur textuel en mémoire vive (SRAM) et réduit drastiquement la complexité de l'inférence.
Modèle visuel : Utilisation d'un backbone MobileNetV2 (facteur de largeur $\alpha = 0.35$ ) quantifié en INT8, produisant un encodeur visuel de seulement 892 Ko.

B. Distillation avec Embeddings Matryoshka

Pour s'adapter aux contraintes variables des différentes plateformes MCU, TinyVLM utilise des représentations Matryoshka (emboîtées) :

Principe : Au lieu d'entraîner un modèle pour une dimension fixe, le modèle apprend des embeddings imbriqués où les premières dimensions capturent les informations les plus importantes.
Flexibilité : Le même modèle peut être tronqué à différentes dimensions (16, 32, 64, 128, 256) selon la mémoire disponible, offrant un compromis précis entre précision et consommation mémoire.
Entraînement : Une fonction de perte combinée (InfoNCE, distillation MSE, et perte Matryoshka) force le modèle à encoder l'information cruciale dans les premières dimensions.

C. Stockage Quantifié des Embeddings

Les embeddings textuels pré-calculés sont compressés :

Quantification : Conversion des embeddings (float32) en entiers 8 bits (INT8) via une quantification symétrique par canal.
Gain : Cela réduit la mémoire nécessaire pour stocker les prototypes de classe d'un facteur 4, avec une perte de précision négligeable (< 1,2 %).

3. Contributions Clés

Premier détecteur zero-shot compatible MCU : Démonstration de la détection d'objets sur des dispositifs avec < 1 Mo de mémoire, atteignant une précision compétitive par rapport à CLIP avec une empreinte mémoire réduite de plusieurs ordres de grandeur.
Distillation Matryoshka pour VLM : Extension des représentations Matryoshka à la distillation vision-langage, permettant un seul modèle de s'adapter à plusieurs compromis précision-efficacité (16 à 256 dimensions).
Architecture de déploiement découplée : Stratégie de pré-calcul des embeddings textuels permettant une inférence temps réel et une réduction massive de la mémoire SRAM requise.
Benchmarks MCU complets : Évaluation sur quatre plateformes (STM32H7, MAX78000, GAP9, ESP32-S3) avec des résultats mesurés sur matériel.

4. Résultats Expérimentaux

Précision et Efficacité

Performance Zero-Shot : Sur les benchmarks COCO, Flowers102 et Food101, TinyVLM (256d) atteint une précision moyenne de 44,1 % (contre 68,7 % pour CLIP ViT-B/32), ce qui est remarquable compte tenu de la réduction de taille de 350 Mo à 1,6 Mo.
Compromis Dimension/Précision : La précision se dégrade gracieusement avec la réduction de dimension. Par exemple, la version 64-dim conserve 82 % de la précision de la version 256-dim tout en utilisant 4 fois moins de mémoire pour les embeddings.
Quantification : La quantification en INT8 des embeddings textuels réduit la mémoire de 20 Ko à 5 Ko (pour 80 classes, 64 dims) avec seulement 1,2 % de perte de précision.

Performance Temps Réel sur MCU

L'inférence est réalisée en temps réel sur plusieurs plateformes :

STM32H7 (480 MHz) : 26 FPS, 38 ms de latence, 285 Ko de SRAM utilisée.
MAX78000 (avec accélérateur CNN) : 1 160 FPS, 0,86 ms de latence, seulement 6 Ko de SRAM pour les variables d'exécution.
Efficacité énergétique : Le MAX78000 est 131 fois plus efficace énergétiquement que le STM32H7 (0,016 mJ par inférence).

5. Signification et Impact

TinyVLM brise la barrière fondamentale qui empêchait l'IA générative et la reconnaissance d'objets zero-shot de fonctionner sur des microcontrôleurs.

Applications potentielles : Surveillance de la faune (adaptation à de nouvelles espèces sans reformation), inspection industrielle de défauts nouveaux, dispositifs d'accessibilité décrivant des objets arbitraires, et maisons intelligentes reconnaissant des objets spécifiés par l'utilisateur.
Limitations : L'approche suppose un ensemble fermé de classes (connues à l'avance) et présente un écart de précision avec les modèles complets pour les catégories très fines.
Avenir : Le travail ouvre la voie à des systèmes embarqués capables de s'adapter dynamiquement à de nouveaux objets sans reconnexion au cloud, en combinant potentiellement TinyVLM avec l'apprentissage continu sur le périphérique.

En résumé, TinyVLM démontre qu'il est possible de déployer des capacités de vision par ordinateur avancées (zero-shot) sur des ressources extrêmement contraintes, transformant ainsi le paysage de l'IA embarquée (TinyML).