PicoSAM3: Real-Time In-Sensor Region-of-Interest Segmentation

Ce papier présente PicoSAM3, un modèle de segmentation visuelle léger et promptable optimisé pour l'exécution en temps réel directement sur les capteurs, tel que le Sony IMX500, en combinant une architecture CNN dense, une attention canal efficace et une distillation de connaissances pour atteindre des performances élevées avec une faible latence.

L'essentiel

🕵️‍♂️ Le Problème : Le Géant trop lourd pour la petite maison

Imaginez que vous voulez installer un super-intelligent détective (une intelligence artificielle capable de reconnaître et de découper des objets sur une photo) directement dans vos lunettes connectées ou votre caméra de sécurité.

Le problème, c'est que les meilleurs détectives actuels (comme les modèles "SAM" de Meta) sont comme des géants de 100 kg. Ils sont incroyablement forts et précis, mais ils ont besoin d'une énorme maison (un ordinateur puissant) pour vivre. Ils ne rentrent pas dans la petite chambre d'une caméra de smartphone ou d'un capteur de lunettes, et ils consomment trop d'énergie.

De plus, pour les faire fonctionner, on doit souvent envoyer les photos vers un serveur lointain (le "Cloud"). C'est comme envoyer un colis à l'autre bout du monde juste pour savoir si c'est un chat ou un chien : ça prend du temps et ce n'est pas très privé.

💡 La Solution : PicoSAM3, le "Ninja" de la caméra

Les chercheurs ont créé PicoSAM3. C'est un détective miniature, un Ninja qui tient dans une boîte à chaussures (1,3 million de paramètres seulement) mais qui garde la force d'un géant.

Voici comment ils ont fait, avec trois astuces magiques :

1. L'astuce du "Cadrage Magique" (Le Prompt)

Normalement, pour dire à un détective "regarde ce chat", il faut lui donner des coordonnées précises (point, rectangle) en plus de la photo. Mais le capteur de la caméra (le Sony IMX500) est trop petit pour gérer ces instructions supplémentaires.

L'analogie : Au lieu de donner des instructions écrites au détective, PicoSAM3 utilise une caméra qui zoome automatiquement.

• Si vous voulez qu'il regarde un chat, le système recadre la photo pour que le chat soit parfaitement au centre, comme si vous le teniez dans un cadre.
• Le détective n'a plus besoin de lire des instructions ; il voit simplement le sujet au centre et dit : "Ah, c'est ça qu'il faut découper !"
• Cela permet d'économiser de l'espace et de la batterie.

2. L'entraînement par "Mentorat" (La Distillation)

Comment un petit modèle peut-il être aussi fort qu'un géant ? En ayant un super-mentor.

L'analogie : Imaginez un élève de primaire (PicoSAM3) qui veut apprendre à dessiner. Au lieu de le laisser essayer tout seul, on lui donne un maître dessinateur (le modèle géant SAM3) qui a déjà tout vu.

• Le maître regarde l'image et dessine le contour du chat.
• L'élève regarde ce que le maître a fait et essaie de copier.
• À force de répétition, l'élève apprend les astuces du maître sans avoir besoin d'être aussi grand ni aussi complexe.
• Résultat : PicoSAM3 apprend à être précis en regardant les "grandes sœurs" (SAM2 et SAM3).

3. Le "Raccourci" de la mémoire (La Quantification)

Les modèles normaux utilisent des nombres très précis (comme 3,1415926...). C'est lourd à stocker.
PicoSAM3 utilise une astuce pour arrondir ces nombres en entiers simples (comme 3 ou 4), un peu comme passer d'une photo HD à une image JPEG bien compressée.

L'analogie : C'est comme passer d'un camion de déménagement rempli de coussins gonflables (les données précises) à un petit fourgon compact. On perd un tout petit peu de volume, mais le camion est 4 fois plus petit et roule beaucoup plus vite, sans que le contenu ne soit abîmé.

🚀 Le Résultat : La Magie en Temps Réel

Grâce à ces astuces, PicoSAM3 a réussi l'impossible :

• Taille : Il est si petit qu'il rentre directement dans la puce de la caméra (le Sony IMX500).
• Vitesse : Il analyse une image en 11 millisecondes. C'est plus rapide que le clignement d'un œil ! Vous pouvez pointer votre doigt sur un objet dans une vidéo en direct, et la caméra le découpe instantanément.
• Précision : Il est même plus précis que des modèles beaucoup plus gros sur des bases de données difficiles.

🌍 Pourquoi c'est important pour nous ?

Imaginez des lunettes intelligentes qui peuvent vous dire : "Attention, il y a un chien devant toi" sans avoir besoin de se connecter à Internet. Ou des caméras de surveillance qui détectent des intrus sans envoyer vos vidéos privées vers un serveur.

PicoSAM3, c'est la clé pour mettre l'intelligence artificielle de pointe directement dans nos objets du quotidien, sans attendre, sans consommer de batterie et en gardant nos données privées. C'est passer du "Cloud" (le ciel lointain) à la "Terre" (votre poche).

Résumé technique

1. Problématique

L'article aborde le défi majeur de la segmentation d'images en temps réel sur des dispositifs à très faibles ressources, spécifiquement dans le paradigme du calcul en capteur (in-sensor computing).

• Limitations des modèles existants : Les modèles de fondation comme SAM (Segment Anything Model) et ses successeurs (SAM2, SAM3) offrent une segmentation de haute qualité mais sont trop lourds (mémoire et calcul) pour les capteurs intelligents embarqués.
• Contraintes matérielles strictes : Les capteurs avancés comme le Sony IMX500 disposent d'une mémoire SRAM on-chip très limitée (< 8 Mo) et d'un ensemble d'opérateurs restreint (pas de support natif pour certaines activations non-linéaires complexes ou l'attention auto-attention quadratique des transformeurs).
• Besoins applicatifs : Les applications comme les lunettes intelligentes, l'IoT et la robotique embarquée nécessitent une latence ultra-faible, une préservation de la vie privée (pas de cloud) et une autonomie énergétique, ce qui rend le transfert de données vers le cloud ou même vers un microcontrôleur externe inacceptable.

2. Méthodologie : PicoSAM3

Les auteurs proposent PicoSAM3, un modèle de segmentation léger et "promptable" (pilotable par une requête) optimisé pour s'exécuter directement dans le capteur.

Architecture du Modèle

• Base CNN Dense : Contrairement aux architectures basées sur des transformeurs (ViT), PicoSAM3 utilise une architecture U-Net entièrement convolutive (encodeur-décodeur symétrique). Cela élimine les problèmes d'accès mémoire aléatoire et de complexité quadratique inhérents aux mécanismes d'attention.
• Optimisations Architecturales :
  • Utilisation de convolutions séparables en profondeur (depthwise separable convolutions).
  • Ajout d'un goulot d'étranglement (bottleneck) avec convolutions dilatées pour augmenter le champ réceptif sans downsampling supplémentaire.
  • Intégration de Efficient Channel Attention (ECA) pour recalibrer les caractéristiques de manière adaptative.
  • Un "refinement head" pour améliorer la précision des contours.
• Taille : Le modèle compte environ 1,37 million de paramètres (5,26 Mo en flottant, 1,31 Mo en INT8 après quantification).

Encodage Implicite des Prompts (ROI)

Pour contourner l'impossibilité d'envoyer des coordonnées de points ou des boîtes explicites au réseau (limitation du capteur IMX500 en entrée RGB seule) :

• Stratégie de Recadrage (Cropping) : Pendant l'entraînement, l'image est recadrée de manière à centrer l'objet d'intérêt (défini par une boîte englobante annotée).
• Encodage Spatial : Le réseau apprend à segmenter l'objet dominant situé au centre de l'image recadrée. La position de la boîte devient ainsi un "prompt spatial implicite".
• Avantage : Cela permet une intégration transparente avec la fonctionnalité matérielle ROI (Region of Interest) du capteur IMX500, où le capteur lui-même effectue le recadrage avant l'inférence.

Distillation de Connaissance

• Enseignant : Les modèles massifs SAM2 et SAM3 servent de "maîtres" (teachers).
• Processus : Le modèle maître reçoit la boîte englobante comme prompt et génère des masques de probabilité (logits). Ces prédictions sont pré-calculées et mises en cache pour l'entraînement.
• Apprentissage : Le modèle étudiant (PicoSAM3) apprend à reproduire les prédictions du maître sur les images recadrées, sans voir explicitement la boîte de prompt.
• Fonction de Perte : Une combinaison de pertes MSE, Dice, et une perte de préservation de la surface est utilisée, avec un poids adaptatif basé sur la confiance du modèle enseignant.

Quantification et Déploiement

• Quantification INT8 : Le modèle est quantifié en précision entière 8 bits (INT8) via le toolkit de compression de Sony (MCT).
• Résultat : Réduction de la taille de 4x (de ~5,3 Mo à 1,31 Mo) avec une dégradation de précision négligeable.
• Matériel : Déployé sur le Sony IMX500, un capteur CMOS avec un processeur DSP intégré optimisé pour l'inférence CNN.

3. Résultats Clés

Performance sur les Benchmarks (COCO et LVIS)

• Précision : PicoSAM3 atteint 65,45 % de mIoU sur COCO et 64,01 % sur LVIS.
• Comparaison : Il surpasse significativement les modèles de base orientés "Edge" (TinySAM, EdgeSAM, LiteSAM) et même le modèle SAM-H (635M paramètres) en termes de rapport précision/taille, avec une amélioration de +11,85 % de mIoU par rapport à SAM-H sur COCO, tout en étant 460 fois plus petit.
• Évolution : Par rapport à son prédécesseur PicoSAM2, PicoSAM3 gagne +13,55 % de mIoU sur COCO et +19,11 % sur LVIS, grâce à la distillation SAM3 et à la stratégie de prompt ROI.

Performance Temps Réel et Latence

• Latence : Sur le capteur Sony IMX500, le modèle quantifié (Q-PicoSAM3) atteint une latence d'inférence de 11,82 ms (soit environ 84 images par seconde).
• Efficacité : Cela représente une accélération de 17 % par rapport à la version précédente (Q-PicoSAM2).
• Qualité après quantification : La quantification INT8 entraîne une perte de précision inférieure à 0,2 % (65,34 % mIoU sur COCO), confirmant la robustesse de l'architecture aux opérations entières.

4. Contributions Principales

1. Architecture Matériel-Aware : Conception d'un modèle CNN dense de 1,3M de paramètres, compatible avec les contraintes strictes de mémoire (<8Mo) et d'opérateurs des capteurs intelligents.
2. Prompting par ROI Implicite : Une méthode novatrice qui encode la requête spatiale via le recadrage de l'image, éliminant le besoin d'entrées de prompt explicites et permettant une utilisation native des capacités matérielles des capteurs.
3. Distillation Avancée : Utilisation de SAM3 comme enseignant pour transférer des capacités de segmentation sémantique supérieures à un modèle ultra-léger, surpassant l'entraînement supervisé classique de +14,5 % de mIoU.
4. Démonstration Physique : Première démonstration réussie d'une segmentation "promptable" de haute qualité s'exécutant entièrement dans le capteur (in-sensor) sur un dispositif commercial (Sony IMX500) sans cloud ni microcontrôleur externe.

5. Signification et Impact

Ce travail marque une étape importante vers l'intelligence artificielle véritablement embarquée (TinyML et In-Sensor Computing).

• Autonomie et Vie Privée : Il démontre qu'il est possible d'exécuter des tâches de vision complexes (segmentation interactive) localement, éliminant la latence de transmission et les risques de fuite de données.
• Faisabilité Industrielle : En prouvant que des modèles distillés de grande envergure peuvent fonctionner sur des capteurs à très faible puissance, l'article ouvre la voie à de nouvelles applications dans les lunettes AR/VR, la robotique mobile autonome et les systèmes IoT de surveillance, où la taille, le poids et la consommation énergétique sont critiques.
• Changement de Paradigme : Il suggère que pour les contraintes extrêmes, les architectures CNN optimisées et la distillation de connaissances surpassent l'approche standard basée sur les transformeurs, même pour des tâches de segmentation avancées.