🤖 AI

ActiveSAM: Image-Conditional Class Pruning for Fast and Accurate Open-Vocabulary Segmentation

ActiveSAM est un cadre de travail sans entraînement et à zéro tir (zero-shot) qui améliore la vitesse et la précision de la segmentation sémantique à vocabulaire ouvert en utilisant un aperçu à basse résolution pour identifier un sous-ensemble actif de classes pour un décodage à pleine résolution avec SAM 3, surpassant ainsi de manière significative les méthodes existantes tant en efficacité qu'en robustesse.

Auteurs originaux : Tran Dinh Tien, Zhiqiang Shen

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tran Dinh Tien, Zhiqiang Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un bibliothécaire dans une bibliothèque immense qui contient tous les livres jamais écrits. Votre travail consiste à répondre à des questions sur des sujets spécifiques.

L'ancienne méthode (inefficace) :
Chaque fois qu'on vous pose une question, vous parcourez toute la bibliothèque, étagère par étagère, en lisant chaque livre pour voir s'il contient la réponse. Même si la question est simplement « Avez-vous des livres sur les chats ? », vous vérifiez quand même la section sur la physique quantique, l'histoire ancienne et les recettes de cuisine. C'est incroyablement approfondi, mais c'est aussi terriblement lent et épuisant.

Le problème de l'IA actuelle :
Les modèles d'IA actuels pour la « segmentation à vocabulaire ouvert » (identifier des objets dans des images) fonctionnent comme ce bibliothécaire inefficace. Si vous montrez à une IA une scène de rue et que vous lui demandez d'identifier des choses à partir d'une liste de 100 objets possibles (voitures, arbres, nuages, zèbres, etc.), elle essaie de chercher chacun de ces 100 objets dans chaque pixel de l'image. Mais dans cette photo de rue spécifique, il n'y a pas de zèbres. L'IA gaspille de l'énergie à les chercher quand même.

La solution : ActiveSAM
Les chercheurs ont créé un système appelé ActiveSAM. C'est comme donner au bibliothécaire un outil d'« aperçu » rapide avant qu'il ne commence sa recherche approfondie.

Voici comment fonctionne ActiveSAM, décomposé en trois étapes simples :

1. Le « coup d'œil rapide » (Sélection de classe pilotée par l'aperçu)

Avant de faire le gros du travail, ActiveSAM prend un instantané basse résolution et flou de l'image. Il pose une question simple : « Qu'est-ce qui se trouve approximativement dans cette image ? »

Il utilise une partie légère de l'IA pour deviner quels objets sont probablement présents.
Si l'image est celle d'une rue, il pourrait dire : « Je vois des voitures, des routes et des bâtiments. Je ne vois pas de zèbres ou de sous-marins. »
Le résultat : Il crée une « Liste Active » ne contenant que les objets qui sont réellement présents. Il ignore le reste. Cela permet de gagner un temps précieux car l'IA ne gaspille pas d'énergie à chercher des choses qui ne sont pas là.

2. La « recherche intelligente » (Expansion contextuelle des invites)

Parfois, des mots simples peuvent être déroutants. Si vous dites à l'IA de chercher un « carreau de fenêtre », elle pourrait être confuse. ActiveSAM rend les instructions plus intelligentes en ajoutant du contexte.

C'est comme dire au bibliothécaire : « Ne cherche pas seulement "carreau de fenêtre". Cherche aussi "verre", "cadre" et "architecture". »
Il utilise un dictionnaire (WordNet) et des mots similaires pour créer une description plus riche et plus détaillée pour chaque objet. Cela aide l'IA à trouver les objets plus précisément lorsqu'elle effectue la recherche approfondie.

3. L'« immersion profonde » (Décodage à pleine résolution)

Maintenant, l'IA revient à l'image de haute qualité et nette. Mais au lieu de chercher 100 choses, elle ne cherche que les quelques éléments de la « Liste Active » (par exemple, juste des voitures et des arbres).

Elle regroupe ces éléments pour les traiter plus rapidement.
Elle dessine des contours précis autour des objets qu'elle a trouvés.

4. Le « contrôle de confiance » (Calibration de l'arrière-plan sensible aux marges)

Enfin, l'IA décide de ce qui est l'« arrière-plan » (l'espace vide) et de ce qui est un « objet ».

Les anciennes méthodes disaient simplement : « Si je ne suis pas sûr, c'est l'arrière-plan. »
ActiveSAM est plus intelligent. Il demande : « Est-ce que ma meilleure hypothèse est nettement meilleure que ma deuxième meilleure hypothèse ? »
Si l'IA est sûre à 90 % qu'il s'agit d'une voiture et seulement à 10 % qu'il s'agit d'un camion, elle appelle cela avec confiance une voiture. Si elle est sûre à 50 % qu'il s'agit d'une voiture et à 49 % qu'il s'agit d'un camion, elle est moins confiante et peut classer l'objet comme arrière-plan pour éviter les erreurs. Cela réduit les erreurs.

Pourquoi est-ce meilleur ?

Plus rapide : Parce qu'il ignore les objets non pertinents, il fonctionne jusqu'à 5,5 fois plus vite que les méthodes précédentes sur de grandes listes d'objets.
Plus précis : En utilisant des descriptions de mots plus intelligentes et de meilleurs contrôles de confiance, il identifie réellement les objets plus correctement (+1,4 % d'amélioration de la précision).
Robuste : Il fonctionne bien même si l'image est floue, bruitée ou brumeuse (comme une caméra de voiture autonome par mauvais temps).
Aucun entraînement requis : Vous n'avez pas besoin de lui apprendre de nouvelles astuces ou de lui fournir de nouvelles données. Il fonctionne directement avec le modèle d'IA existant.

En résumé :
ActiveSAM est comme un bibliothécaire intelligent qui scanne rapidement la couverture des livres pour trouver la bonne section avant de lire tout le contenu. Il gagne du temps, réduit les erreurs et fonctionne bien même dans des conditions difficiles, le tout sans avoir besoin d'apprendre de nouvelles compétences.

Résumé Technique : ActiveSAM

Énoncé du Problème

La segmentation sémantique en vocabulaire ouvert (OVSS - Open-Vocabulary Semantic Segmentation) vise à générer des masques denses au niveau du pixel pour des vocabulaires de classes arbitraires sans nécessiter de réentraînement par catégorie ni de nouvelles annotations au niveau du pixel. Bien que les modèles de fondation récents comme SAM 3 offrent de solides capacités de masquage spatial pilotées par des invites de concepts, l'application directe de ces modèles à l'OVSS crée un goulot d'étranglement computationnel important. Les approches standards décodent l'intégralité du vocabulaire du jeu de données à pleine résolution pour chaque image, bien qu'une seule image ne contienne généralement qu'un sous-ensemble actif et restreint de classes. Cette stratégie de « décodage à vocabulaire complet » est inefficace, entraînant des temps d'inférence lents qui évoluent linéairement avec la taille du vocabulaire, même lorsque la plupart des classes sont absentes de la scène.

Méthodologie : ActiveSAM

ActiveSAM est un cadre d'inférence sans entraînement (training-free) et de type zéro-shot (zero-shot), conçu pour transformer le modèle SAM 3 gelé en un « segmenteur à vocabulaire actif ». Il y parvient en élaguant dynamiquement le vocabulaire pour chaque image avant le décodage à pleine résolution, découplant ainsi le coût de calcul de la taille totale du vocabulaire. Le cadre opère à travers quatre étapes clés :

Expansion de Contexte de l'Invite (CPE - Contextual Prompt Expansion) :
Pour remédier à la parcimonité sémantique des noms de classes bruts (ex: « windowpane » vs « window pane »), ActiveSAM canonicalise les étiquettes d'entrée et les enrichit de contexte.
- Canonicalisation Lexicale : Une fonction fixe normalise les noms de classes (ex: convertir « tie » en « necktie »).
- Contexte Sémantique : Le cadre récupère les $M_s$ classes plus proches voisines dans l'espace d'embedding textuel gelé et inclut leurs jetons (tokens).
- Contexte d'Hyperonyme : Il incorpore jusqu'à $M_t$ hyperonymes de noms issus de WordNet pour chaque classe.
  Ces invites étendues ( $\bar{Z}_c$ ) sont pré-calculées et mises en cache, offrant un alignement sémantique plus riche pour l'encodeur de texte de SAM 3.
Sélection de Classe Pilotée par Aperçu (Preview-Driven Class Selection) :
Avant le coûteux décodage à pleine résolution, ActiveSAM exécute un « aperçu de présence » à basse résolution ( $672 \times 672$ ) en utilisant l'encodeur d'image et la tête de présence gelés de SAM 3.
- Il calcule un score de présence $q_c$ pour chaque classe du vocabulaire.
- Pour les jeux de données à large vocabulaire ( $V > 40$ ), il sélectionne un ensemble actif spécifique à l'image $A(I)$ basé sur un seuil de quantile adaptatif. Les classes ayant des scores de présence faibles sont écartées.
- Crucialement, cette étape saute le calcul de la tête de segmentation, utilisant uniquement le signal de présence pour filtrer les candidats.
Décodage à Pleine Résolution par Compartiments (Bucketed Full-Resolution Decoding) :
L'image à pleine résolution ( $1008 \times 1008$ ) est encodée une seule fois. Le décodeur de mise en correspondance (grounding decoder) gelé de SAM 3 traite alors uniquement les classes actives retenues $A(I)$ .
- Pour optimiser davantage la vitesse, les invites actives sont regroupées en « compartiments » (buckets) (taille $K=32$ ). Le décodeur traite ces compartiments en parallèle, partageant les caractéristiques d'image entre les invites au sein d'un compartiment.
- Les scores d'instance et de sémantique de SAM 3 sont fusionnés via une maximisation par pixel pour générer les cartes de scores de classe.
Calibration de l'Arrière-plan Sensible à la Marge (MABC - Margin-Aware Background Calibration) :
Pour les jeux de données possédant des étiquettes d'arrière-plan explicites, un simple seuillage sur le score le plus élevé entraîne souvent une mauvaise classification des pixels ambigus. ActiveSAM introduit la MABC, qui calcule un score de confiance calibré basé sur la marge entre les deux scores de classe les plus élevés ( $s_1$ et $s_2$ ) :
$c_{MABC}(p) = \frac{s_1(p)}{\sqrt{s_1(p) - s_2(p)}}$
Les pixels ayant une confiance calibrée faible sont réassignés à la classe d'arrière-plan, améliorant la précision des contours sans nécessiter de réglage de seuil spécifique au jeu de données.

Contributions Clés

Élagage de Vocabulaire Actif : Le papier introduit un nouveau paradigle d'inférence où la tête de présence agit comme un signal de routage précoce plutôt que comme un filtre post-décodage. Cela réduit la complexité computationnelle du décodage de $O(V)$ à $O(|A(I)|)$ , où $|A(I)| \ll V$ .
Architecture Sans Entraînement : ActiveSAM ne nécessite aucun entraînement sur le jeu de données cible, aucune mise à jour des poids du modèle de fondation, et aucune étiquette de présence de classe oracle. Il repose entièrement sur les poids gelés de SAM 3 et des hyperparamètres universels.
Amélioration de l'Invite et de la Calibration : L'intégration de l'Expansion de Contexte de l'Invite (CPE) et de la Calibration de l'Arrière-plan Sensible à la Marge (MABC) améliore la qualité de la segmentation, traitant respectivement l'ambiguïté visuo-linguistique et le bruit d'arrière-plan.

Résultats Expérimentaux

ActiveSAM a été évalué sur huit benchmarks standards d'OVSS (incluant Pascal VOC, Pascal Context, COCO-Stuff, Cityscapes et ADE20K) dans un cadre zero-shot.

Précision : ActiveSAM atteint un mIoU (Intersection over Union moyenne) de pointe de 65,3 % sur les huit benchmarks. Cela surpasse la meilleure méthode actuelle basée sur SAM 3, SegEarth-OV3, de +1,4 mIoU, et le modèle de base SAM 3 de +7,8 mIoU.
Efficacité : Sur les jeux de données à large vocabulaire, ActiveSAM est environ 5,5 fois plus rapide que SegEarth-OV3. Par exemple, sur ADE20K (150 classes), il atteint 1,92 FPS contre 0,35 FPS pour SegEarth-OV3, tout en améliorant le mIoU de 2,4 points.
Robustesse : Sous les corruptions ImageNet-C (bruit gaussien, flou de mouvement, compression JPEG, brouillard), ActiveSAM maintient une performance supérieure par rapport aux baselines basées sur CLIP (qui souffrent d'une dégradation sévère) et SegEarth-OV3. Il démontre que le décodeur ancré textuellement de SAM 3 reste robuste même lorsque les images d'entrée sont dégradées.
Études d'Ablation : Le retrait de l'étape d'élagage des classes entraîne une perte de précision négligeable ( $\Delta \approx 0$ ) mais élimine le gain de vitesse, confirmant que l'élagage ne sacrifie pas la performance. Le retrait de CPE ou de MABC entraîne des baisses mesurables de mIoU, validant leur contribution à la qualité.

Signification et Revendications

Le papier affirme qu'ActiveSAM répond avec succès à l'inefficacité de l'application des modèles de fondation aux tâches de vocabulaire ouvert où le vocabulaire est large mais la pertinence spécifique à l'image est parcimonieuse. En utilisant le signal de « présence » comme mécanisme de porte (gating), ActiveSAM permet le déploiement de puissants modèles de segmentation gelés dans des scénarios en temps réel et à ressources limitées (ex: conduite autonome, IA incarnée) sans nécessiter de réentraînement.

Les auteurs positionnent ActiveSAM comme une étape significative vers une perception en monde ouvert pratique, notant qu'il maintient une haute robustesse sous les changements de distribution (simulés par des corruptions d'images) et offre une solution évolutive pour les vocabulaires dynamiques. Cependant, le papier reconnaît modestement certaines limites : le mécanisme d'élagage peut réduire le rappel pour les objets extrêmement petits ou occultés qui échouent au contrôle de présence à basse résolution, et la dépendance à WordNet et à la canonicalisation centrée sur l'anglais peut limiter l'applicabilité dans des domaines hautement spécialisés et non anglophones.