🤖 machine learning

Clustering and Token Denoising for Faster and More Robust VLMs

Le papier introduit ClustRS, un algorithme sans entraînement combinant le regroupement pondéré par l'attention et le débruitage par contraction résiduelle, qui réduit considérablement les jetons visuels jusqu'à 97 % tout en améliorant la robustesse au bruit d'image et en maintenant ou en améliorant les performances sur les benchmarks de VLM tels que ScienceQA-IMG et MM-VET.

Auteurs originaux : Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

Publié 2026-08-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un ordinateur capable de voir une photographie, puis de répondre à des questions à son sujet, de décrire une scène ou de résoudre une énigme basée sur ce qu'il voit. C'est la promesse des modèles visuels-langage modernes, un type d'intelligence artificielle qui combine la capacité de comprendre les images avec la capacité de générer du texte semblable à celui de l'humain. Pour que ces systèmes fonctionnent, ils doivent d'abord traduire une image en une longue liste de blocs de construction numériques, appelés jetons (tokens), que le cerveau de l'ordinateur traite ensuite pour former une réponse. Plus l'image est détaillée, plus cette liste devient longue. Bien que cela permette une grande précision, cela crée un goulot d'étranglement massif : traiter des centaines de ces jetons nécessite une puissance de calcul énorme, ce qui rend difficile l'exécution de ces systèmes intelligents sur de petits appareils comme les smartphones ou les drones. Les chercheurs cherchent depuis longtemps des moyens de réduire cette liste, en supprimant les parties inutiles tout en conservant les parties importantes, mais les méthodes existantes ont souvent du mal lorsque les images sont imparfaites ou bruitées, ce qui est le cas de la plupart des photos du monde réel.

Une équipe de chercheurs a développé une nouvelle méthode légère pour résoudre ce problème sans avoir besoin de réentraîner les modèles d'IA complexes à partir de zéro. Leur approche, qu'ils appellent ClustRS, agit comme un éditeur hautement efficace pour la liste des jetons d'image. Au lieu de simplement choisir les parties les plus évidentes d'une image ou d'essayer de conserver une grande variété de parties, leur système regroupe d'abord les informations similaires. Il sélectionne ensuite un seul représentant de chaque groupe, garantissant que la liste finale couvre les différentes idées de l'image sans se répéter. Crucialement, ce processus de regroupement est conçu pour ignorer le « statique » visuel ou le bruit qui affecte souvent les photos du monde réel, comme le grain ou le flou, empêchant ainsi le système d'être induit en erreur par des données corrompues.

Après avoir sélectionné les meilleurs représentants, la méthode applique une seconde étape de raffinement. Elle prend les jetons choisis et lisse doucement le bruit à l'intérieur de ceux-ci, en utilisant les caractéristiques moyennes de leur groupe pour corriger toute erreur. Ce processus est entièrement automatique et ne nécessite aucun entraînement supplémentaire, ce qui signifie qu'il peut être appliqué immédiatement aux modèles existants. Les chercheurs ont testé cette technique sur des références standards qui mesurent la capacité de ces modèles à raisonner sur des images, y compris des tâches nécessitant de décrire des scènes complexes ou de répondre à des questions scientifiques. Ils ont constaté que leur méthode surpassait considérablement les techniques précédentes, en particulier lorsque les images étaient fortement déformées par le bruit ou lorsque le nombre de jetons autorisés était radicalement réduit. Dans les tests les plus extrêmes, où le système était contraint de travailler avec seulement seize jetons au lieu des centaines habituels, leur méthode a maintenu une précision élevée tandis que les autres échouaient, prouvant qu'une manière plus intelligente de sélectionner et de nettoyer l'information est plus précieuse que d'avoir simplement plus de données.

Le succès de cette approche souligne un changement dans la manière dont nous pourrions construire l'intelligence artificielle efficace. Plutôt que d'essayer de rendre les modèles plus grands ou plus complexes pour gérer des conditions difficiles, les chercheurs ont montré qu'un processus simple en deux étapes de regroupement et de nettoyage peut rendre les systèmes existants beaucoup plus robustes. Leurs conclusions suggèrent que pour que ces modèles soient véritablement utiles dans le monde réel, où les images sont rarement parfaites et où la puissance de calcul est souvent limitée, l'accent doit être mis sur la qualité et la résilience de l'information traitée, et non seulement sur la quantité. En démontrant que ces améliorations peuvent être obtenues sans le coût élevé d'un réentraînement, ce travail ouvre la voie au déploiement d'une intelligence visuelle puissante sur une gamme beaucoup plus large d'appareils du quotidien.

Résumé technique : Clustering et débruitage de tokens pour des VLM plus rapides et plus robustes

Énoncé du problème

Les modèles visuels-langage (VLM) récents, tels que LLaVA, ont obtenu des résultats impressionnants en intégrant des encodeurs de vision pré-entraînés à de grands modèles de langage (LLM). Cependant, un goulot d'étranglement important subsiste : les encodeurs de vision génèrent généralement un grand nombre de tokens visuels (par exemple, 576 ou 729), imposant une charge computationnelle quadratique sur les mécanismes d'auto-attention des LLM. Cela entrave un déploiement efficace sur les appareils de bord (edge devices).

Bien qu'il existe des techniques d'élagage (pruning) de tokens, elles font face à deux limitations principales :

Les méthodes basées sur l'entraînement : Elles nécessitent un réentraînement coûteux et des modifications architecturales spécialisées.
Les méthodes sans entraînement (training-free) : Bien que légères, leur performance face au bruit d'image réel (ex. : bruit gaussien, bruit de type sel et poivre) est sous-explorée. Les sélecteurs existants sans entraînement reposent souvent uniquement sur les scores d'attention (conduisant à de la redondance et à une fragilité face au bruit) ou uniquement sur la diversité (ignorant la saillance des tokens).

Les auteurs posent deux questions critiques : À quel point le bruit dégrade-t-il les méthodes d'élagage actuelles sans entraînement, et un sélecteur léger et résilient au bruit peut-il être conçu sans réentraînement ?

Méthodologie : ClustRS

Le papier introduit ClustRS, un algorithme en deux parties, sans entraînement, conçu pour un élagage de tokens robuste. Il se compose du Clustering + distance de Huber (C + H) pour la sélection et du Robust Residual Shrinkage (RRS) pour le débruitage.

1. Clustering + Distance de Huber (C + H)

Ce composant traite le compromis entre la saillance des tokens et la diversité tout en assurant la robustesse aux valeurs aberrantes causées par le bruit.

Clustering post-projection : Contrairement aux méthodes qui regroupent les caractéristiques CLIP brutes, ClustRS effectue le clustering des tokens après la couche de projection vision-langage. Cela garantit que le clustering s'opère dans l'espace d'embedding sémantique du LLM, reflétant sa propre compréhension des relations conceptuelles.
Objectif pondéré par l'attention : L'objectif de clustering minimise une distorsion intra-cluster pondérée par l'attention. Les tokens ayant des scores d'attention plus élevés exercent une attraction plus forte sur les centroïdes de leurs clusters, garantissant que les régions saillantes sont prioritaires.
Initialisation K-means++ : L'algorithme utilise une stratégie K-means++ sensible à l'attention pour semer les centroïdes, les répartissant dans l'espace de caractéristiques en fonction de la distance et des scores d'attention.
Distance de Huber : Pour contrer la sensibilité des distances d'erreur quadratique standard aux valeurs aberrantes induites par le bruit, la distance euclidienne est remplacée par la distance de Huber. Cette fonction de perte se comporte de manière quadratique pour les petits résidus (préservant une formation de cluster serrée) mais de manière linéaire pour les grands résidus (empêchant les valeurs aberrantes de fausser les centroïdes).

2. Robust Residual Shrinkage (RRS)

La sélection seule ne peut pas supprimer le bruit des tokens restants. Le RRS agit comme une étape de débruitage en un seul passage sur les tokens sélectionnés.

Analyse des résidus : Pour chaque token sélectionné $v_i$ dans un cluster avec un centroïde $c_j$ , le token est considéré comme la somme du centroïde et d'un résidu ( $r_i = v_i - c_j$ ). Le résidu est supposé contenir la majeure partie de la variance du bruit.
Réduction adaptative (Shrinkage) : Inspiré par l'estimateur de James-Stein, le RRS réduit le vecteur de token vers le centroïde du cluster. Le facteur de réduction $\alpha_i$ est adaptatif, déterminé par le ratio de l'échelle robuste du cluster (médiane de la norme des résidus) par rapport à la norme du résidu spécifique du token.
Préservation de la sémantique : La règle de mise à jour $\tilde{v}_i = \alpha_i v_i + (1 - \alpha_i) c_j$ est une combinaison convexe qui réduit la variance sans renormaliser le vecteur, préservant ainsi les statistiques directionnelles attendues par le LLM.
Adaptation pour SigLIP : Pour les modèles basés sur SigLIP (comme LLaVA-OneVision), les auteurs introduisent un terme de saillance sensible à la norme. Comme les cartes d'attention de SigLIP sont plus plates que celles de CLIP, ils augmentent le score d'attention avec la magnitude du vecteur de caractéristique (qui encode la saillance dans SigLIP) pour restaurer un signal de classement dynamique.

Contributions clés

Nouveau Clustering Robuste (C + H) : Une procédure de clustering pondérée par l'attention et sans entraînement utilisant la distance de Huber pour sélectionner des représentants de tokens diversifiés mais saillants, résilients au bruit.
Robust Residual Shrinkage (RRS) : Un enrichissement léger en un seul passage qui atténue sélectivement la composante de bruit des tokens sélectionnés dans l'espace des caractéristiques, préservant les directions sémantiques et évitant les décalages de distribution.
Évaluation exhaustive : Démonstration que ClustRS obtient des gains constants sur les benchmarks MM-VET et ScienceQA-IMG sous une large gamme de corruptions gaussiennes et de type sel et poivre, surpassant les méthodes de pointe sans entraînement (FasterVLM, DivPrune, VisionZip), particulièrement sous une compression extrême ( $k=16$ tokens) et un bruit élevé.
Prêt pour le déploiement : L'ensemble du pipeline est sans entraînement et compatible avec les optimisations d'inférence existantes (ex. : KV-cache, flash-attention), ce qui le rend immédiatement déployable. Il s'adapte également aux nouveaux backbones basés sur SigLIP avec des modifications minimales.

Résultats expérimentaux

Les expériences ont été menées sur LLaVA-1.5-7B (basé sur CLIP) et LLaVA-OneVision (basé sur SigLIP) en utilisant les benchmarks MM-VET (raisonnement ouvert) et ScienceQA-IMG (choix multiples).

Compression extrême ( $k=16$ ) : ClustRS a surpassé les bases de référence jusqu'à 20 % dans des conditions de bruit extrême. Sur des images MM-VET propres, il a obtenu un score de 0,271, dépassant FasterVLM (0,211) et DivPrune (0,232). Sous un bruit gaussien sévère ( $\sigma=3.0$ ), il a maintenu un score de 0,140, surpassant tous les autres modèles.
Résilience au bruit : ClustRS a systématiquement obtenu les scores les plus élevés pour diverses densités de bruit (gaussien et sel et poivre), particulièrement dans les régimes de faible nombre de tokens où la redondance est minimale.
Adaptation SigLIP : Sur LLaVA-OneVision, l'adaptation sensible à la norme a permis à ClustRS d'atteindre une précision "clean" de 0,272 avec seulement 16 tokens, dépassant largement FasterVLM (0,138) et DivPrune (0,164).
Surcharge computationnelle : La méthode ajoute un coût de calcul négligeable (environ 1 ms de surcharge sur un GPU A100 pour $k=16$ ), ce qui représente moins de 1,6 % du temps de génération total pour une réponse typique.

Signification et affirmations

Le papier affirme que ClustRS offre une alternative simple mais puissante aux règles d'élagage existantes qui reposent uniquement sur les scores ou la diversité. En combinant un clustering robuste et une réduction de résidu, la méthode comble l'écart critique entre l'efficacité computationnelle et la résilience au bruit.

Les auteurs soulignent que leur approche :

Ne nécessite pas de réentraînement, ce qui la rend adaptable aux changements d'architecture.
Améliore la robustesse face à diverses corruptions (bruit additif et impulsif) sans sacrifier les performances sur les données propres.
Permet le déploiement sur les périphériques (edge) en réduisant drastiquement le nombre de tokens (jusqu'à 97 %) tout en maintenant ou en améliorant la précision.

L'étude conclut que bien que les méthodes de sélection de tokens comme C+H fournissent des représentations robustes, il existe un potentiel pour des travaux futurs visant à affiner les stratégies de débruitage, notamment pour gérer les tokens spatialement distincts mais sémantiquement similaires qui pourraient être écartés par le clustering dans l'espace des caractéristiques.