💻 computer science

ClustViT: Clustering-based Token Merging for Semantic Segmentation

ClustViT résout la complexité quadratique des Transformers de vision dans la segmentation sémantique en introduisant un module de regroupement entraînable qui fusionne des tokens similaires guidés par des pseudo-amas et un module de régénération qui restaure les détails fins, permettant ainsi une efficacité computationnelle significative et une inférence plus rapide sans compromettre la précision.

Auteurs originaux : Fabio Montello, Ronja Güldenring, Lazaros Nalpantidis

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fabio Montello, Ronja Güldenring, Lazaros Nalpantidis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de décrire un tableau complexe à un ami au téléphone. Le tableau comporte un immense ciel bleu ennuyeux, quelques arbres distincts et un minuscule oiseau détaillé.

Un « Vision Transformer » standard (le modèle d'IA que cet article améliore) tente de décrire chaque petit centimètre carré de ce tableau avec le même niveau de détail. Il consacre autant de temps et d'énergie cérébrale à décrire le ciel bleu vide qu'à décrire le minuscule oiseau. C'est extrêmement précis, mais c'est aussi lent et énergivore — comme essayer de porter un lourd sac à dos rempli de pierres juste pour aller jusqu'à la boîte aux lettres.

Les auteurs de cet article, ClustViT, se sont demandé : « Pourquoi décrire chaque pixel si nous savons déjà quelles parties sont identiques ? »

Voici comment leur solution fonctionne, décomposée en étapes simples :

1. Le Problème : Trop de Bruit

Les modèles d'IA actuels pour la « segmentation sémantique » (qui n'est qu'une manière élégante de dire « étiqueter chaque pixel d'une image ») sont excellents pour reconnaître des objets. Mais ils sont lents car ils traitent chaque partie de l'image comme également importante. Si vous êtes un robot essayant de traverser un champ, vous n'avez pas besoin d'analyser chaque brin d'herbe individuellement ; vous avez juste besoin de savoir « c'est de l'herbe ».

2. La Solution : La Stratégie de « Regroupement »

Les auteurs ont créé un nouveau système appelé ClustViT. Imaginez-le comme un éditeur intelligent qui regarde l'image et dit : « D'accord, ces 100 pixels ne sont tous que du "ciel", alors regroupons-les et traitons-les comme une seule pièce d'information. »

Ils font cela en utilisant deux outils spéciaux à l'intérieur du cerveau de l'IA :

Le Module de Clustering (L'Outil de Regroupement) :
Imaginez que vous avez un tas de briques Lego mélangées. Au lieu de regarder chaque brique individuellement, vous les triez rapidement dans des seaux : « Rouges », « Bleues » et « Pièces Spéciales ».
Dans l'IA, ce module examine l'image et utilise une « liste de triche » (apprise à partir des étiquettes de vérité terrain) pour trouver les pixels appartenant à la même catégorie sémantique (comme « eau » ou « herbe »). Il fusionne tous ces pixels similaires en un seul jeton représentatif.
- Le Résultat : L'IA doit maintenant traiter 100 pixels comme s'ils n'étaient qu'un seul. Cela rend les calculs beaucoup plus rapides.
Le Module Régénérateur (Le Restaurateur de Détails) :
Voici la partie délicate : si vous fusionnez simplement les pixels, vous perdez les détails fins nécessaires pour dessiner parfaitement l'image finale.
Ainsi, après que l'IA a effectué son traitement rapide et groupé, le Régénérateur intervient. Il prend cette unique pièce d'information « groupée » et dit : « D'accord, je sais que cela représente le ciel, donc je vais l'étendre à nouveau pour remplir l'espace d'origine. »
- Le Résultat : L'IA obtient la vitesse du groupe, mais la sortie finale ressemble toujours à ce qu'elle avait tous les détails fins d'origine.

3. La « Liste de Triche » (Pseudo-Clusters)

Comment l'IA sait-elle quels pixels regrouper ? Elle utilise une astuce d'entraînement ingénieuse. Pendant l'entraînement, l'IA se voit montrer la « bonne réponse » (la carte parfaite de l'image). Elle utilise cette carte pour créer un guide de « pseudo-cluster ». Elle apprend : « Oh, je vois que tous ces pixels sont étiquetés "eau", donc je devrais les fusionner. » Elle apprend à regrouper les choses en fonction du sens, et non d'une simple similarité aléatoire.

4. Les Résultats : Plus Rapide, Plus Léger, Toujours Intelligent

Les auteurs ont testé cela sur trois types d'images différents :

ADE20K : Un mélange de scènes intérieures et extérieures (très complexe).
SUIM : Scènes sous-marines (principalement de l'eau, quelques objets).
RumexWeeds : Champs agricoles (principalement de l'herbe/des mauvaises herbes).

Qu'est-il arrivé ?

Vitesse : Le nouveau modèle était jusqu'à 1,64 fois plus rapide que le modèle standard.
Efficacité : Il a utilisé jusqu'à 2,18 fois moins de puissance de calcul (énergie).
Précision : Il est resté presque aussi précis que le modèle lent et lourd.

Le Juste Milieu :
L'article note que cela fonctionne mieux dans les scénarios « robotiques » où il y a beaucoup d'arrière-plan (comme un robot regardant un champ ou sous l'eau). Dans ces cas, l'IA peut fusionner d'énormes morceaux d'« arrière-plan » en des jetons uniques, économisant d'énormes quantités d'énergie. Dans des images très chaotiques et complexes, les économies sont plus faibles, mais le modèle fonctionne toujours bien.

Résumé

ClustViT est comme un assistant intelligent qui réalise que, lorsqu'on décrit une pièce, on n'a pas besoin de lister chaque grain de poussière sur le sol. On peut dire « le sol » (en regroupant la poussière) puis zoomer uniquement sur les meubles importants. Cela rend la description beaucoup plus rapide à générer, mais l'auditeur obtient toujours une image claire de la pièce.

Cela permet aux robots de « voir » et de comprendre leur monde beaucoup plus vite et avec moins de batterie, sans perdre la capacité de repérer les détails importants.

1. Énoncé du problème

Les Transformers de vision (ViT) ont atteint des performances de pointe en vision par ordinateur, mais souffrent d'une complexité computationnelle quadratique par rapport à la taille de l'entrée. Bien que les techniques de pruning et de fusion de tokens (épluchage de tokens) aient réussi à réduire les coûts pour la classification d'images, elles peinent dans la segmentation sémantique (une tâche de prédiction dense).

Le Conflit : La classification peut rejeter les tokens "non pertinents", mais la segmentation nécessite de préserver les détails spatiaux pour chaque pixel afin d'assurer la compatibilité avec les têtes de décodeur standard.
Le Vide : Les méthodes existantes reposent souvent sur la similarité de bas niveau des tokens ou sur une compression structurée de taille fixe (par exemple, fusionner uniquement des patches $2\times2$ ), ce qui échoue à s'adapter au contenu sémantique de l'image ou se généralise mal aux tâches de prédiction dense.

2. Méthodologie : ClustViT

Les auteurs proposent ClustViT, une architecture qui intègre un module de clustering entraînable et un module régénérateur dans un backbone ViT standard. L'innovation centrale réside dans l'utilisation d'informations sémantiques dérivées de masques de segmentation de vérité terrain pour guider la fusion des tokens, plutôt que la simple proximité des pixels.

A. Aperçu de l'architecture

Backbone ViT Standard : Le processus commence comme un ViT standard, divisant l'image en patches et les projetant en tokens.
Module de Clustering (Point d'injection) : À une couche prédéfinie ($ip$) dans l'encodeur, un MLP léger prédit les assignations de clusters pour chaque token.
- Pseudo-clusters : Pendant l'entraînement, le modèle utilise les masques de vérité terrain pour générer des "pseudo-clusters". Si tous les pixels d'un patch appartiennent à la même classe sémantique, le patch se voit attribuer l'ID de cette classe ; sinon, il est marqué comme mixte (0).
- Fusion : Les tokens assignés au même cluster sont agrégés en un seul token représentatif (via un pooling moyen). Les tokens dans des régions complexes/mixtes restent non clusterisés pour préserver les détails.
- Résultat : La longueur de la séquence est réduite, diminuant le coût computationnel des couches Transformer subséquentes.
Module Régénérateur : Après la dernière couche de l'encodeur, la séquence compressée doit être restaurée à la résolution originale pour le décodeur.
- Le module utilise les assignations de clusters stockées pour étendre les tokens représentatifs vers leurs positions d'origine.
- Un MLP de raffinement reconstruit les caractéristiques fines, garantissant que la séquence de sortie correspond à la longueur d'entrée et est compatible avec des têtes de segmentation standards (par exemple, Segmenter, UPerNet).

B. Stratégie d'entraînement

Perte à double tâche : Le modèle est entraîné de bout en bout avec une fonction de perte combinée :
$L = L_{segm} + \lambda L_{clust}$
- $L_{segm}$ : Perte d'entropie croisée standard pour la segmentation sémantique.
- $L_{clust}$ : Perte d'entropie croisée forçant le module de clustering à prédire les pseudo-clusters dérivés du masque de vérité terrain.
- $\lambda$ : Un hyperparamètre d'équilibrage (fixé à 0,1 dans les expériences).

3. Contributions clés

Fusion de tokens guidée par la sémantique : Contrairement aux méthodes précédentes qui fusionnent basées sur la similarité visuelle ou des grilles fixes, ClustViT fusionne les tokens basés sur le contenu sémantique (dérivé des masques de segmentation), permettant une compression non structurée et adaptative au contenu.
Backbone entièrement entraînable : Le composant de clustering est intégré directement dans le backbone ViT et entraîné conjointement avec la tâche de segmentation, éliminant le besoin de réseaux de politiques séparés ou d'étapes de pré-entraînement.
Régénérateur pour la prédiction dense : L'introduction d'un module régénérateur résout le problème de compatibilité, permettant aux représentations de tokens compressées d'être entièrement restaurées pour les têtes de prédiction dense sans perte de résolution spatiale.
Compromis efficacité-précision : La méthode réduit considérablement le coût computationnel (GFLOPs) et le temps d'inférence tout en maintenant une précision compétitive, en particulier dans les scénarios avec de grandes zones d'arrière-plan courantes en robotique.

4. Résultats expérimentaux

Les auteurs ont évalué ClustViT sur trois jeux de données : ADE20K (scènes générales), SUIM (robotique sous-marine) et RumexWeeds (robotique agricole). Ils ont comparé les résultats avec un ViT standard et la méthode de pointe de partage de tokens sensible au contenu (CTS).

Métriques de performance :
- Efficacité computationnelle : Réduction allant jusqu'à 2,18× des GFLOPs et accélération de l'inférence de 1,64× (images par seconde) par rapport au ViT de base.
- Précision : Maintien d'une précision de segmentation comparable (mIoU). Sur ADE20K, la meilleure configuration (ClustViT-bk3,ip3) a obtenu une accélération de 1,47× avec une baisse d'environ 1,66 point de mIoU.
- Scénarios robotiques : La méthode a excellé sur les jeux de données avec de grandes zones d'arrière-plan (SUIM et RumexWeeds). Par exemple, sur RumexWeeds, elle a atteint des gains de 1,54× en FPS et 2,12× en GFLOP tout en améliorant légèrement le mIoU par rapport à la base.
Études d'ablation :
- Nombre de clusters ( $k$ ): L'augmentation de $k$ (plus de clusters) améliore la vitesse mais réduit la précision car plus de détails sont fusionnés. $k=3$ offrait le meilleur équilibre.
- Point d'injection ($ip$) : La compression plus tôt dans le réseau ($ip=2$) maximisait la vitesse mais nuisait à la précision. Un point d'injection intermédiaire ($ip=3$ ou $4$) offrait le compromis optimal.
- Échelle du modèle : Les gains d'efficacité étaient les plus prononcés dans les modèles plus grands (Base/Large), où la surcharge du MLP de clustering était négligeable par rapport aux économies réalisées dans le calcul de l'attention.

5. Importance et impact

Applicabilité en robotique : L'article aborde un goulot d'étranglement critique pour le déploiement de ViT sur des systèmes robotiques réels (par exemple, agriculture autonome, exploration sous-marine) où les ressources computationnelles sont limitées et où les scènes contiennent souvent de grands arrière-plans uniformes.
Changement de paradigme : Il démontre que la compression de tokens dans la prédiction dense ne nécessite pas de sacrifier la fidélité spatiale si la fusion est guidée par la compréhension sémantique plutôt que par la simple similarité visuelle.
Généralisabilité : En supportant des têtes de décodeur standard (Segmenter et UPerNet), ClustViT offre un remplacement direct pour les backbones ViT existants, le rendant hautement pratique pour la communauté plus large de la vision par ordinateur.

En conclusion, ClustViT comble avec succès le fossé entre la haute précision des Transformers de vision et les exigences d'efficacité de la perception robotique en temps réel en introduisant un mécanisme de fusion de tokens entraînable et conscient de la sémantique.