Résumé Technique : SparseSAM

Énoncé du Problème

Le Segment Anything Model (SAM) atteint l'état de l'art en matière de segmentation à vocabulaire ouvert, mais fait face à des goulots d'étranglement significatifs en termes de latence d'inférence et de mémoire, principalement dus à son encodeur d'images basé sur un Vision Transformer (ViT). L'encodeur représente plus de 99 % des paramètres et des calculs du modèle. Les stratégies d'optimisation existantes souffrent de limitations critiques :

• Fusion de Tokens : Bien que des méthodes comme la Fusion de Tokens (ToMe) réduisent la longueur de la séquence, elles sont inadaptées à la segmentation. Comme le décodeur nécessite une résolution spatiale complète, chaque opération de fusion exige une étape de défusion correspondante. Cette surcharge administrative par couche (opérations de dispersion-réunion) compense souvent les économies de calcul, entraînant une augmentation de la latence et une dégradation catastrophique de la qualité à des taux de compression élevés.
• Attention Éparse : Les approches se concentrant uniquement sur l'attention (par exemple, SpargeAttention, PISA) échouent à résoudre la latence substantielle contribué par les couches MLP, en particulier dans les blocs locaux de SAM. De plus, les mécanismes de parcimonie dynamique entraînent une surcharge d'exécution significative pour la construction de masques et l'estimation d'importance en ligne, ce qui est prohibitif étant donné l'architecture de SAM comportant de nombreuses fenêtres locales avec relativement peu de tokens par tête (<200).
• Quantification : La quantification post-entraînement (par exemple, W4A4) n'offre rarement des accélérations GPU mesurables pour SAM en raison de ses petites dimensions de matrices, qui ne parviennent pas à saturer le débit des Tensor Cores.

Il existe un besoin pour une méthode sans réentraînement qui accélère conjointement les couches d'attention et MLP tout en préservant la fidélité au niveau des tokens requise pour une segmentation de haute qualité.

Méthodologie

SparseSAM est un cadre de parcimonie structurée sans réentraînement qui introduit deux techniques complémentaires pour réduire les calculs sans réentraînement ni recherche dynamique d'exécution.

1. Attention Stripe-Sort

Ce mécanisme transforme l'attention dense en motifs épars statiques, compatibles avec le matériel, en utilisant une permutation déterministe en ordre Z (Morton).

• Ordonnancement Basé sur le Gradient : La méthode utilise un opérateur Sobel léger et sans paramètres pour calculer les magnitudes de gradient locales, servant de proxy pour la densité d'information (contours d'objets vs régions lisses).
• Permutation Stripe-Sort : Au lieu de simplement trier les tokens par importance (ce qui regrouperait les premiers plans au début), la méthode applique une stratégie de « tri en bandes ». Elle traite la liste de tokens triés comme une matrice et la transpose avant de l'aplatir. Cela entremêle les tokens de haute importance à travers la séquence, garantissant que tout sous-ensemble tronqué ou éparé maintient une couverture spatiale large de l'image.
• Motif de Parcimonie Statique : Cette permutation décompose la matrice d'attention $N \times N$ en une mosaïque $4 \times 4$ de sous-cartes. Le motif résultant présente une structure diagonale en bandes (capturant les interactions locales) augmentée d'un petit ensemble de conservation globale. Ce motif statique élimine le besoin de construction dynamique de masques, permettant une exécution efficace via des noyaux CUDA personnalisés (style FlashAttention-2) sans surcharge d'exécution.

2. MLP à Cohérence Résiduelle

Cette technique adresse le goulot d'étranglement MLP en exploitant l'observation que le décodeur de SAM repose davantage sur le contraste inter-régions que sur des représentations précises par token.

• Routage des Tokens : Basé sur l'ordre de permutation déterministe, les tokens sont partitionnés en un « ensemble de conservation » ($X_k$) et un « ensemble résiduel » ($X_r$).
• Calcul Sélectif : Le MLP est appliqué uniquement aux $K$ premiers tokens de l'ensemble de conservation (ceux présentant une forte dissimilarité de caractéristiques ou une magnitude de mise à jour élevée).
• Propagation Résiduelle : Les tokens restants de l'ensemble résiduel contournent entièrement le MLP, passant par la connexion résiduelle inchangés ($y_i = x_i + \epsilon_i$).
• Préservation de la Géométrie : Cette approche conserve la géométrie représentative requise par le décodeur tout en réduisant considérablement le coût computationnel des couches MLP.

Les deux techniques utilisent un seul ensemble de permutation précalculé réutilisé à travers toutes les couches du modèle, assurant une surcharge par couche négligeable.

Contributions Clés

1. Accélération Conjointe : SparseSAM est le premier cadre sans réentraînement à accélérer conjointement les couches d'attention et MLP dans SAM, surmontant les limitations des méthodes n'optimisant qu'un seul composant.
2. Attention Stripe-Sort : Un nouveau mécanisme d'attention éparse structurée utilisant une permutation déterministe en ordre Z pour induire des motifs de parcimonie statiques en blocs-bandes. Cela évite la surcharge de masquage dynamique et préserve le contexte global.
3. MLP à Cohérence Résiduelle : Un mécanisme de routage des tokens qui applique les mises à jour MLP uniquement aux tokens sémantiquement importants tout en propageant les autres via le chemin résiduel, maintenant la diversité des caractéristiques sans calcul dense.
4. Efficacité Sans Réentraînement : L'ensemble du cadre fonctionne sans réentraînement, distillation de connaissances ou ajustement fin (bien qu'un ajustement fin optionnel soit montré pour récupérer de légères pertes de précision).

Résultats Expérimentaux

Évalué sur quatre benchmarks de segmentation (MS-COCO, sous-ensembles HQ-44K incluant DIS5K-VD, COIFT, ThinObject5K-TE, HRSOD) et trois variantes de SAM (SAM-B, SAM-L, SAM-H) :

• Précision : À une densité de 0,4 (60 % de parcimonie), SparseSAM perd seulement 0,004 mIoU. À une densité de 0,3, la perte est de 0,021 mIoU. Cela représente une réduction de 2,10 fois de la perte de précision par rapport aux avancées de fusion de tokens.
• Accélération : La méthode atteint une accélération d'inférence moyenne de 2,0× (jusqu'à 2,15× sur SAM-B à 25 % de densité avec compression conjointe).
• Mémoire : Réalisation d'une réduction de 2,8× de l'utilisation de la mémoire.
• Robustesse : Contrairement à la fusion de tokens, qui subit des chutes de qualité catastrophiques à haute compression, SparseSAM maintient une fidélité proche de la référence même à des taux de compression extrêmes (densité < 0,4).
• Matériel : Sur les GPU NVIDIA A100, la configuration de compression conjointe atteint des accélérations maximales de 2,05× à 25 % de parcimonie, surpassant les bases d'attention seule et les méthodes de fusion de tokens à diverses tailles de lots.

Importance et Revendications

L'article revendique que SparseSAM établit une nouvelle norme pour la segmentation efficace en résolvant le compromis entre la vitesse d'inférence et la qualité du masque. Son importance réside dans :

• Déploiement sur les Bords : En réduisant la latence et la mémoire sans réentraînement, il rend les modèles fondateurs de segmentation à grande échelle viables pour des environnements sensibles à la latence et contraints en ressources (par exemple, appareils périphériques).
• Insight Architectural : Il démontre que les blocs locaux de SAM souffrent d'un double goulot d'étranglement (attention + MLP) et que la parcimonie statique préservant la structure est supérieure aux approches dynamiques ou basées sur la fusion pour les tâches de prédiction dense.
• Généralisabilité : Le mécanisme MLP à cohérence résiduelle a été montré comme se transférant efficacement à SAM2 (encodeur Hiera), suggérant que la redondance sous-jacente dans les mises à jour de tokens est une propriété générale des backbones de segmentation.

Les auteurs notent que bien que l'approche actuelle utilise une permutation agnostique au contenu, les travaux futurs pourraient explorer des stratégies hybrides pour prioriser dynamiquement l'importance sémantique, bien que l'approche statique actuelle délivre déjà des gains d'efficacité significatifs.