💻 computer science

MobileSAM2: Lightweight Segment Anything for Spatial Intelligence

Cet article introduit MobileSAM2, une famille de modèles légers pour la segmentation d'objets dans des images et des vidéos sur des appareils à ressources limitées, ce qui est réalisé en distillant le modèle lourd SAM2 à l'aide d'un nouveau cadre de distillation de connaissances hypergraphiques (HyperKD) qui transfère efficacement les connaissances temporelles et multi-granularités.

Auteurs originaux : Kai Jiang, Jiaxing Huang, Jingyi Zhang, Weiying Xie, Yunsong Li, Yufei Wang, Aoran Xiao, Dacheng Tao

Publié 2026-07-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kai Jiang, Jiaxing Huang, Jingyi Zhang, Weiying Xie, Yunsong Li, Yufei Wang, Aoran Xiao, Dacheng Tao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un cerveau de robot super intelligent appelé SAM2 qui peut regarder n'importe quelle vidéo et instantanément identifier chaque chose qu'elle contient — des voitures, des chats, même les minuscules feuilles d'un arbre. C'est comme un artiste génie qui a étudié plus de 113 800 vidéos et 40,9 millions de différents « masques » (pensez à eux comme des découpages numériques) pour apprendre à voir le monde. Mais il y a un piège : ce cerveau de génie est si énorme et lourd qu'il ne peut pas tenir sur un téléphone ou un ordinateur portable ordinaire. C'est comme essayer de faire entrer une bibliothèque dans un sac à dos.

Les chercheurs de cet article se sont posé une question simple : Pouvons-nous réduire ce géant génial pour qu'il tienne dans une poche sans qu'il oublie comment être intelligent ?

Leur réponse est une nouvelle famille de modèles légers appelée MobileSAM2. Pour ce faire, ils n'ont pas seulement découpé des morceaux du cerveau géant ; ils ont inventé une méthode d'enseignement spéciale appelée HyperKD (Distillation de Connaissance Hypergraphique).

La Magie des « Hypergraphes »

Habituellement, quand on enseigne à un petit modèle étudiant à partir d'un grand modèle enseignant, on lui montre simplement la réponse. Mais les auteurs ont réalisé que la véritable magie de SAM2 n'est pas seulement ce qu'il voit, mais comment il connecte les choses. Ils ont utilisé un concept de hypergraphe, qui est comme une toile d'araignée super avancée.

Dans une toile normale, un fil connecte deux points. Mais dans un hypergraphe, un « fil » (appelé hyperarête) peut connecter plusieurs points à la fois. Les chercheurs ont utilisé cela pour enseigner à MobileSAM2 deux superpouvoirs spécifiques :

Le Voyage dans le Temps (Connaissance Temporelle) : Imaginez regarder une vidéo d'une balle qui roule. Un modèle normal pourrait voir « balle » à la seconde 1, puis « balle » à la seconde 2. Mais SAM2 comprend que la balle à la seconde 1 est la balle à la seconde 2, et qu'elle suit un chemin fluide. Les chercheurs ont construit un « Hypergraphe Temporel » qui relie la balle à travers toutes ces images à la fois, montrant au modèle étudiant comment suivre les objets lorsqu'ils se déplacent dans le temps.
Zoomer et Dézoomer (Connaissance de la Granularité) : Imaginez regarder un chien. Vous pouvez voir le chien entier, ou juste son oreille, ou même un minuscule poil. SAM2 comprend tous ces niveaux à la fois. Les chercheurs ont construit un « Hypergraphe de Granularité » qui connecte le chien entier à ses parties et sous-parties simultanément. Cela apprend au modèle étudiant à comprendre les choses en détail, de la vue d'ensemble jusqu'aux plus petits éléments.

Le Résultat : Un Génie de Poche

En utilisant cette méthode d'enseignement par « super-toile », ils ont réussi à réduire le massif modèle SAM2 en trois versions plus petites : MobileSAM2-5M, MobileSAM2-10M et MobileSAM2-23M (les chiffres font référence au nombre de « paramètres » ou de cellules cérébrales qu'ils possèdent).

Voici ce que les expériences ont montré :

Cela fonctionne sur du matériel efficace : Alors que l'original SAM2 est massif et nécessite des ressources énormes (comme un A100 avec 80 Go de mémoire) pour fonctionner, MobileSAM2 est conçu pour l'efficacité. Il fonctionne de manière fluide sur des GPU de bureau standards (comme un RTX 4060), traitant la vidéo à des vitesses telles que 13,3 images par seconde pour la version de 5,8 millions de paramètres. Cette efficacité est une étape cruciale pour rendre cela viable sur des appareils aux ressources limitées comme les téléphones et les ordinateurs portables.
C'est étonnamment intelligent : Même s'il est minuscule, il bat les autres petits modèles par une marge considérable. Par exemple, sur un test appelé LVOS, la version de 23 millions de paramètres a obtenu un score de 69,0, tandis que d'autres modèles de taille similaire n'ont obtenu qu'environ 44,8 ou 60,6.
Ce n'est pas un simple tour de passe-passe : Les chercheurs ont testé cela sur un autre cerveau de robot appelé TrackAnything (qui n'a rien à voir avec la conception de SAM2). Lorsqu'ils ont utilisé leur méthode d'enseignement par « Hypergraphe » sur ce modèle, celui-ci est également devenu plus intelligent. Cela suggère que la méthode elle-même est la recette secrète, et non seulement la copie d'une conception spécifique.

Ce qu'ils n'ont PAS fait

Il est important de savoir ce que ce papier ne prétend pas. Ils n'ont pas dit que MobileSAM2 est parfait ou qu'il peut tout faire comme SAM2. Ils ont explicitement écarté l'idée que l'on puisse simplement utiliser un petit modèle sans cette méthode d'enseignement spéciale ; leurs tests ont montré qu'un petit modèle sans cet entraînement par « Hypergraphe » est beaucoup moins performant (obtenant seulement 44,8 sur LVOS contre 69,0 avec la méthode).

Ils n'ont pas non plus prétendu que c'est un problème « résolu » pour tous les robots. Ils ont testé cela sur un ensemble spécifique de tâches robotiques (appelées LIBERO-PRO) où cela a aidé un bras robotisé à réussir environ 21,8 % du temps, ce qui est meilleur que les autres petits modèles, mais laisse encore de la place pour l'amélioration.

L'Essentiel

L'article suggère qu'en utilisant ces connexions de « super-toile » pour apprendre à un petit modèle comment voir le temps et le détail, nous pouvons enfin mettre un cerveau puissant de compréhension vidéo dans nos poches. Ce n'est pas une baguette magique qui rend tout parfait, mais c'est une étape significative vers la création de robots intelligents et d'applications vidéo qui tiennent réellement sur les appareils que nous transportons chaque jour.

Résumé Technique : MobileSAM2 : Segmentation légère de type "Segment Anything" pour l'intelligence spatiale

Problématique

Le modèle Segment Anything Model 2 (SAM2) représente une avancée significative dans la segmentation vidéo et image, exploitant un ensemble massif de données comprenant 113,8K vidéos et 40,9M d'annotations de masques pour apprendre des corrélations temporelles robustes et des concepts visuels multi-granularités. Cependant, le nombre important de paramètres de SAM2 (par exemple, le squelette Hiera-L dépasse les 212M de paramètres) et ses exigences de calcul élevées entravent son déploiement sur des dispositifs aux ressources limitées tels que les téléphones mobiles, les ordinateurs portables, les drones et les robots. Les modèles de segmentation légers existants échouent souvent à préserver la cohérence temporelle globale et la compréhension de la granularité multi-niveaux qui rendent SAM2 efficace pour les tâches de "segmentation de n'importe quoi" dans des flux vidéo dynamiques. Le défi central consiste à distiller la connaissance généralisable de SAM2 dans un modèle léger sans sacrifier sa robustesse dans la segmentation temporelle et la compréhension du grossier au fin.

Méthodologie

1. Distillation de Connaissance Hypergraphique (HyperKD)

Pour répondre à la difficulté d'accéder directement à la connaissance temporelle et multi-granularité implicitement encodée dans les paramètres de SAM2, les auteurs proposent HyperKD. Ce cadre introduit le concept d'hypergraphes dans la distillation de connaissances pour modéliser et transférer explicitement ces types de connaissances spécifiques. Contrairement aux structures de graphes par paires traditionnelles, les hypergraphes permettent à une seule hyperarête de connecter plusieurs nœuds, capturant efficacement les associations d'ordre supérieur.

HyperKD comprend deux composants distincts :

HyperKD Temporelle : Ce composant cible la connaissance temporelle généralisable à travers les images vidéo.
- Extraction : Il construit deux types d'hypergraphes : par patch (traitant les patchs de grille comme des nœuds) et par instance (traitant les entités de segmentation à haute confiance comme des nœuds).
- Construction : Pour chaque image, les nœuds sont connectés via des hyperarêtes formées par une distance de seuil de boule- $\epsilon$ autour d'un sommet central. Ces hyperarêtes locales sont ensuite fusionnées à travers les images pour créer un hypergraphe temporel qui modélise les relations entre les nœuds apparentés à travers la séquence vidéo.
- Distillation : Le modèle étudiant est entraîné pour aligner ses propres hypergraphes temporels construits avec ceux de l'enseignant (SAM2) en minimisant la distance de la norme de Frobenius entre leurs matrices d'incidence.
HyperKD de Granularité : Ce composant cible la connaissance multi-granularité complète (objets, parties, sous-parties).
- Extraction : Il traite les entités de segmentation au sein d'un même niveau de granularité comme des nœuds.
- Construction : Les hyperarêtes sont formées en fusionnant les arêtes à travers différentes granularités (par exemple, reliant un objet à ses parties constituantes et à ses sous-parties).
- Distillation : De la même manière que pour le composant temporel, le modèle étudiant aligne son hypergraphe de granularité avec celui de l'enseignant, permettant à l'étudiant d'apprendre les relations sémantiques hiérarchiques, du grossier au fin.

L'objectif d'entraînement global combine l'alignement de caractéristiques standard (FitNet) avec les pertes HyperKD :
$\text{Loss} = \|z^I_t - z^I_s\|_1 + \alpha \cdot \mathcal{L}_{THKD} + \beta \cdot \mathcal{L}_{GHKD}$

2. Recherche d'Architecture MobileSAM2

S'appuyant sur HyperKD, les auteurs introduisent MobileSAM2, une famille de modèles légers. Ils utilisent une stratégie de contraction progressive du modèle pour réduire l'échelle du grand squelette Hiera-L.

Un espace de recherche paramétré est défini sur des composants architecturaux critiques : dimensions d'incorporation ( $\Gamma_{Emb}$ ), nombres de blocs ( $\Gamma_{Blk}$ ), tailles de fenêtre ( $\Gamma_{WinSiz}$ ) et ratios d'expansion des têtes d'attention ( $\Gamma_{HExp}$ ).
Le processus de recherche identifie de manière itérative les architectures qui minimisent les pertes HyperKD, garantissant que les modèles plus petits résultants conservent les capacités temporelles et de multi-granularité de l'enseignant.
Trois variantes sont présentées : MobileSAM2-5M, MobileSAM2-10M et MobileSAM2-23M.

Principales Contributions

Distillation de Connaissance Hypergraphique : L'article présente la première application des hypergraphes pour la distillation de connaissances de segmentation vidéo. Cette approche modélise et transfère explicitement la connaissance temporelle généralisable et la connaissance multi-granularité complète de SAM2, qui sont difficiles à capturer avec les méthodes de distillation par paires standard.
Famille MobileSAM2 : Les auteurs présentent une nouvelle famille de modèles SAM2 légers qui atteignent un compromis favorable entre taille de modèle et performance. Ces modèles sont spécifiquement optimisés via une recherche d'architecture guidée par HyperKD.
Évaluation Complète : Des expériences approfondies valident MobileSAM2 sur plusieurs benchmarks, incluant la segmentation d'objets vidéo générale (VOS), la VOS à long terme et des jeux de données "segment anything in videos". Les modèles démontrent une généralisation supérieure dans les tâches d'IA incarnée par rapport aux autres squelettes légers.

Résultats Expérimentaux

Les auteurs ont évalué MobileSAM2 sur cinq jeux de données : MOSE, DAVIS 2017, LVOS (long terme), SA-V-val et SA-V-test.

Performance : MobileSAM2 surpasse significativement les méthodes de distillation de connaissances existantes (FitNet, CIRKD, FAKD, etc.) et les bases légères (SAM2-TinyViT).
- Sur le jeu de données LVOS, MobileSAM2-23M a atteint un score J&F de 69,0, surpassant largement la méthode suivante (FAKD à 63,4) et dépassant nettement la base non distillée (44,8).
- Sur DAVIS 2017, MobileSAM2-23M a atteint 72,1 en J&F, contre 65,0 pour FAKD.
- Sur SA-V test, MobileSAM2-23M a obtenu 67,8 en J&F, surpassant les 62,7 de FAKD.
Efficacité : Les tests d'inférence sur un GPU mobile RTX 4060 montrent que MobileSAM2 maintient un FPS compétitif tout en réduisant drastiquement les paramètres. Par exemple, MobileSAM2-23M (23,7M de paramètres) tourne à 8,2 FPS, alors que l'original SAM2 Large (212M de paramètres) sature la mémoire.
Études d'Ablation :
- Supprimer soit l'HyperKD Temporelle, soit l'HyperKD de Granularité entraîne des chutes de performance significatives, confirmant la nécessité des deux composants.
- HyperKD surpasse les distillations basées sur des graphes traditionnels (Context Matters, IntRA-KD), validant la supériorité des hypergraphes pour capturer les relations sémantiques d'ordre supérieur.
- La méthode est montrée comme étant applicable à d'autres modèles de fondation (ex: TrackAnything), suggérant que les gains proviennent de l'objectif de distillation plutôt que d'une co-adaptation architecturale spécifique.
IA Incarnée : Intégré dans le CaP-Agent0 pour le benchmark LIBERO-PRO, MobileSAM2-23M a atteint un taux de succès moyen de 21,8%, surpassant la base SAM2-TinyViT-21M (19,3%) et approchant la performance de l'agent complet piloté par SAM3 (23,2%).

Signification

L'article affirme que MobileSAM2 comble avec succès l'écart entre les capacités de haute performance des grands modèles de fondation vidéo et les contraintes des plateformes mobiles et robotiques. En exploitant HyperKD, les auteurs démontrent qu'il est possible de distiller des connaissances temporelles et hiérarchiques complexes et d'ordre supérieur dans des modèles compacts. Cela permet des capacités de "segment anything" sur des dispositifs aux ressources limitées, facilitant le déploiement pratique dans des applications telles que la conduite autonome, la robotique et l'édition vidéo mobile, où le traitement en temps réel et la mémoire limitée sont critiques. Ce travail établit un nouveau paradigme pour la distillation de modèles de fondation en allant au-delà du simple alignement de caractéristiques pour passer à une modélisation structurelle explicite des connaissances via des hypergraphes.