🤖 machine learning

Clustering and Token Denoising for Faster and More Robust VLMs

Das Papier stellt ClustRS vor, einen trainingsfreien Algorithmus, der aufmerksamkeitsgewichtiertes Clustering mit Residual-Shrinkage-Denoising kombiniert, was die Anzahl der visuellen Token um bis zu 97 % signifikant reduziert und gleichzeitig die Robustheit gegenüber Bildrauschen erhöht sowie die Leistung bei VLM-Benchmarks wie ScienceQA-IMG und MM-VET beibehält oder verbessert.

Ursprüngliche Autoren: Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

Veröffentlicht 2026-08-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Computer vor, der ein Foto sehen und dann Fragen dazu beantworten, eine Szene beschreiben oder ein Rätsel lösen kann, das auf dem basiert, was er sieht. Dies ist das Versprechen moderner visuell-linguistischer Modelle, einer Art von künstlicher Intelligenz, die die Fähigkeit zum Verständnis von Bildern mit der Fähigkeit zur Generierung menschenähnlicher Texte kombiniert. Damit diese Systeme funktionieren, müssen sie ein Bild zuerst in eine lange Liste digitaler Bausteine übersetzen, die sogenannten Token, welche das Gehirn des Computers dann verarbeitet, um eine Antwort zu formulieren. Je detaillierter das Bild ist, desto länger wird diese Liste. Während dies eine große Genauigkeit ermöglicht, schafft es einen massiven Engpass: Das Verarbeiten von hunderten dieser Token erfordert enorme Rechenleistung, was es schwierig macht, diese intelligenten Systeme auf kleineren Geräten wie Smartphones oder Drohnen laufen zu lassen. Forscher suchen schon lange nach Wegen, diese Liste zu kürzen, indem sie die unnötigen Teile entfernen und gleichzeitig die wichtigen behalten, aber bestehende Methoden haben oft Schwierigkeiten, wenn die Bilder unvollkommen oder verrauscht sind – so wie es bei den meisten realen Fotos tatsächlich der Fall ist.

Ein Team von Forschern hat eine neue, leichtgewichtige Methode entwickelt, um dieses Problem zu lösen, ohne die komplexen KI-Modelle von Grund auf neu trainieren zu müssen. Ihr Ansatz, den sie ClustRS nennen, fungt wie ein hocheffizienter Editor für die Liste der Bild-Token. Anstatt einfach nur die offensichtlichsten Teile eines Bildes auszuwählen oder zu versuchen, eine große Vielfalt an Teilen beizubehalten, gruppiert ihr System zunächst ähnliche Informationsteile zusammen. Es wählt dann nur einen Repräsentanten aus jeder Gruppe aus und stellt so sicher, dass die endgültige Liste die verschiedenen Ideen im Bild abdeckt, ohne sich selbst zu wiederholen. Entscheidend ist, dass dieser Gruppierungsprozess darauf ausgelegt ist, das visuelle „Rauschen“ oder die Störungen zu ignorieren, die reale Fotos oft plagen, wie etwa Körnigkeit oder Unschärfe, um zu verhindern, dass das System durch korrupte Daten in die Irre geführt wird.

Nachdem die besten Repräsentanten ausgewählt wurden, wendet die Methode einen zweiten, verfeinernden Schritt an. Sie nimmt die gewählten Token und glättet das Rauschen innerhalb dieser Token sanft, indem sie die durchschnittlichen Merkmale ihrer Gruppe nutzt, um etwaige Fehler zu korrigieren. Dieser Prozess erfolgt vollständig automatisch und erfordert kein zusätzliches Training, was bedeutet, dass er sofort auf bestehende Modelle angewendet werden kann. Die Forscher testeten diese Technik an Standard-Benchmarks, die messen, wie gut diese Modelle über Bilder urteilen können, einschließlich Aufgaben, die das Beschreiben komplexer Szenen oder das Beantworten wissenschaftlicher Fragen erfordern. Sie fanden heraus, dass ihre Methode bisherige Techniken deutlich übertraf, insbesondere wenn die Bilder stark durch Rauschen verzerrt waren oder wenn die Anzahl der erlaubten Token drastisch reduziert wurde. In den extremsten Tests, bei denen das System gezwungen war, mit nur sechzehn Token statt der üblichen Hunderte zu arbeiten, behielt ihre Methode eine hohe Genauigkeit bei, während andere versagten, was bewies, dass eine intelligentere Art der Auswahl und Reinigung von Informationen wertvoller ist als einfach nur mehr Daten zu haben.

Der Erfolg dieses Ansatzes unterstreicht einen Wandel in der Art und Weise, wie wir effiziente künstliche Intelligenz bauen könnten. Anstatt zu versuchen, die Modelle größer oder komplexer zu machen, um schwierige Bedingungen zu bewältigen, zeigten die Forscher, dass ein einfacher, zweistufiger Prozess aus Gruppierung und Reinigung bestehende Systeme viel robuster machen kann. Ihre Ergebnisse legen nahe, dass für diese Modelle, um in der realen Welt – in der Bilder selten perfekt und die Rechenleistung oft begrenzt ist – wirklich nützlich zu sein, der Fokus auf der Qualität und Widerstandsfähigkeit der verarbeiteten Informationen liegen sollte und nicht nur auf deren Quantität. Indem sie demonstrierten, dass diese Verbesserungen ohne die hohen Kosten eines erneuten Trainings erreicht werden können, öffnet die Arbeit die Tür für den Einsatz leistungsstarker visueller Intelligenz auf einer viel breiteren Palette von Alltagsgeräten.

Technisches Resümee: Clustering und Token-Entrauschung für schnellere und robustere VLMs

Problemstellung

Neuere visuelle-sprachliche Modelle (Visual-Language Models, VLMs) wie LLaVA haben beeindruckende Ergebnisse erzielt, indem sie vortrainierte Vision-Encoder mit Large Language Models (LLMs) integrieren. Es besteht jedoch ein erheblicher Engpass: Vision-Encoder erzeugen typischerweise eine große Anzahl an visuellen Tokens (z. B. 576 oder 729), was eine quadratische Rechenlast für die Self-Attention-Mechanismen des LLMs zur Folge hat. Dies behindert den effizienten Einsatz auf Edge-Geräten.

Obwohl Techniken zur Token-Pruning existieren, um dies zu mildern, stehen sie vor zwei primären Einschränkungen:

Training-basierte Methoden: Erfordern kostspieliges Retraining und spezialisierte architektonische Änderungen.
Training-freie Methoden: Obwohl sie leichtgewichtig sind, ist ihre Leistungsfähigkeit unter realen Bildrauschen (z. B. Gaußschem Rauschen, Salz-und-Pfeffer-Rauschen) unzureichend erforscht. Bestehende training-freie Selektoren verlassen sich oft ausschließlich auf Attention-Scores (was zu Redundanz und Fragilität gegenüber Rauschen führt) oder ausschließlich auf Diversität (wobei die Salienz der Tokens ignoriert wird).

Die Autoren stellen zwei kritische Fragen: Wie stark degradiert Rauschen das aktuelle training-freie Pruning, und kann ein leichtgewichtiges, rauschresistentes Selektionsverfahren ohne Retraining entworfen werden?

Methodik: ClustRS

Das Paper stellt ClustRS vor, einen zweiteiligen, training-freien Algorithmus für robustes Token-Pruning. Er besteht aus Clustering + Huber-Distanz (C + H) für die Selektion und Robust Residual Shrinkage (RRS) für die Entrauschung.

1. Clustering + Huber-Distanz (C + H)

Diese Komponente adressiert den Kompromiss zwischen Token-Salienz und Diversität und stellt gleichzeitig die Robustheit gegenüber Ausreißern durch Rauschen sicher.

Post-Projektions-Clustering: Im Gegensatz zu Methoden, die rohe CLIP-Features clustern, clustert ClustRS die Tokens nach dem Vision-Language-Projektionslayer. Dies stellt sicher, dass das Clustering im semantischen Embedding-Raum des LLM stattfindet, was dessen eigenes Verständnis konzeptioneller Beziehungen widerspiegelt.
Attention-gewichtetes Ziel: Das Clustering-Ziel minimiert eine Attention-gewichtete Intra-Cluster-Distorsion. Tokens mit höheren Attention-Scores üben einen stärkeren Zug auf ihre Cluster-Zentroiden aus, wodurch sichergestellt wird, dass saliente Regionen priorisiert werden.
K-means++ Initialisierung: Der Algorithmus verwendet eine Attention-bewusste K-means++ Strategie, um Zentroiden zu säen, die basierend auf sowohl Distanz als auch Attention-Scores über den Feature-Raum verteilt sind.
Huber-Distanz: Um die Empfindlichkeit von Standard-Quadratfehler-Distanzen gegenüber rauschbedingten Ausreißern zu kontern, wird die euklidische Distanz durch die Huber-Distanz ersetzt. Diese Verlustfunktion verhält sich quadratisch für kleine Residuen (um eine enge Clusterbildung zu bewahren), aber linear für große Residuen (um zu verhindern, dass Ausreißer die Zentroiden verzerren).

2. Robust Residual Shrinkage (RRS)

Die Selektion allein kann das Rauschen aus den verbleibenden Tokens nicht entfernen. RRS fungt als ein-passiger Entrauschungsschritt für die selektierten Tokens.

Residuen-Analyse: Für jeden selektierten Token $v_i$ in einem Cluster mit Zentroid $c_j$ wird der Token als Summe aus dem Zentroid und einem Residuum betrachtet ( $r_i = v_i - c_j$ ). Es wird angenommen, dass das Residuum den Großteil der Rauschvarianz enthält.
Adaptive Schrumpfung (Shrinkage): Inspiriert vom James-Stein-Schätzer, schrumpft RRS den Token-Vektor in Richtung des Cluster-Zentroids. Der Schrumpfungsfaktor $\alpha_i$ ist adaptiv und wird durch das Verhältnis der robusten Skala des Clusters (Median der Residuen-Norm) zur spezifischen Residuen-Norm des Tokens bestimmt.
Bewahrung der Semantik: Die Update-Regel $\tilde{v}_i = \alpha_i v_i + (1 - \alpha_i) c_j$ ist eine konvexe Kombination, welche die Varianz reduziert, ohne den Vektor zu renormieren, wodurch die vom LLM erwarteten Richtungsstatistiken bewahrt werden.
Adaption für SigLIP: Für SigLIP-basierte Modelle (wie LLaVA-OneVision) führen die Autoren einen norm-bewussten Salienz-Term ein. Da SigLIP-Attention-Maps flacher sind als die von CLIP, augmentieren sie den Attention-Score mit der Magnitude des Feature-Vektors (welcher die Salienz in SigLIP kodiert), um ein dynamisches Ranking-Signal wiederherzustellen.

Kernbeiträge

Neuartiges robustes Clustering (C + H): Ein training-freies, Attention-gewichtetes Clustering-Verfahren unter Verwendung der Huber-Distanz, um diverse, aber saliente Token-Repräsentanten zu selektieren, die gegenüber rauschbedingten Ausreißern resistent sind.
Robust Residual Shrinkage (RRS): Eine leichtgewichtige Ein-Pass-Verbesserung, die den Rauschanteil ausgewählter Tokens im Feature-Raum selektiv dämpft, die semantischen Richtungen bewahrt und Distribution Shifts vermeidet.
Umfassende Evaluierung: Nachweis, dass ClustRS konsistente Gewinne auf MM-VET und ScienceQA-IMG Benchmarks unter einer breiten Palette von Gaußschen und Salz-und-Pfeffer-Korruptionen erzielt und dabei state-of-the-art training-freie Methoden (FasterVLM, DivPrune, VisionZip) übertrifft, insbesondere unter extremer Kompression ( $k=16$ Tokens) und hohem Rauschen.
Einsatzbereitschaft: Die gesamte Pipeline ist training-frei und kompatibel mit bestehenden Inferenz-Optimierungen (z. B. KV-Cache, Flash-Attention), was eine sofortige Bereitstellung ermöglicht. Sie lässt sich zudem mit minimalen Modifikationen an neuere SigLIP-basierte Backbones anpassen.

Experimentelle Ergebnisse

Die Experimente wurden auf LLaVA-1.5-7B (CLIP-basiert) und LLaVA-OneVision (SigLIP-basiert) unter Verwendung der Benchmarks MM-VET (offene Argumentation) und ScienceQA-IMG (Multiple-Choice) durchgeführt.

Extreme Kompression ( $k=16$ ): ClustRS übertraf die Baselines um bis zu 20 % unter extremen Rauschbedingungen. Auf sauberen MM-VET Bildern erzielte es einen Score von 0,271 und übertraf damit FasterVLM (0,211) und DivPrune (0,232). Unter schwerem Gaußschem Rauschen ( $\sigma=3,0$ ) hielt es einen Score von 0,140 und war damit allen Baselines überlegen.
Rauschresistenz: ClustRS erreichte konsistent die höchsten Scores über variierende Rauschdichten für sowohl Gaußsches als auch Salz-und-Pfeffer-Rauschen, insbesondere in Regimen mit wenigen Tokens, in denen Redundanz minimal ist.
SigLIP-Adaption: Bei LLaVA-OneVision ermöglichte die norm-bewusste Adaption ClustRS eine Clean-Accuracy von 0,272 mit nur 16 Tokens, was FasterVLM (0,138) und DivPrune (0,164) drastisch übertraf.
Rechenaufwand: Die Methode verursacht vernachlässigbare zusätzliche Kosten (ca. 1 ms Overhead auf einer A100 GPU für $k=16$ ), was weniger als 1,6 % der gesamten End-to-End-Generationszeit für eine typische Antwort entspricht.

Bedeutung und Ansprüche

Das Paper behauptet, dass ClustRS eine einfache, aber leistungsstarke Alternative zu bestehenden Pruning-Regeln bietet, die lediglich auf Scores oder Diversität basieren. Durch die Kombination von robustem Clustering mit Residual Shrinkage adressiert die Methode die kritische Lücke zwischen Recheneffizienz und Rauschresistenz.

Die Autoren betonen, dass ihr Ansatz:

Kein Retraining erfordert, was die Anpassbarkeit an Architekturänderungen ermöglicht.
Die Robustheit verbessert, indem er diverse Korruptionen (additives und impulsives Rauschen) bewältigt, ohne die Leistung auf sauberen Daten zu opfern.
Den Einsatz auf Edge-Geräten ermöglicht, indem er die Token-Anzahl drastisch reduziert (um bis zu 97 %), während die Genauigkeit beibehalten oder sogar verbessert wird.

Die Studie kommt zu dem Schluss, dass während Token-Selektionsmethoden wie C+H robuste Repräsentationen liefern, Potenzial für zukünftige Arbeiten besteht, um Entrauschungsstrategien zu verfeinern, insbesondere für den Umgang mit räumlich distinkten, aber semantisch ähnlichen Tokens, die durch Feature-Raum-Clustering verworfen werden könnten.