🤖 machine learning

Clustering and Token Denoising for Faster and More Robust VLMs

Het artikel introduceert ClustRS, een algoritme dat zonder training combineert van aandacht-gewogen clustering en residu-krimpende denoisings, wat het aantal visuele tokens met wel 97% vermindert terwijl de robuustheid tegen beeldruis wordt verbeterd en de prestaties op VLM-benchmarks zoals ScienceQA-IMG en MM-VET gelijk worden gehouden of verbeterd.

Oorspronkelijke auteurs: Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

Gepubliceerd 2026-08-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Baptiste Rossigneux, Inna Kucher, Vincent Lorrain, Emmanuel Casseau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een computer voor die een foto kan zien en vervolgens vragen daarover kan beantwoorden, een scène kan beschrijven of een puzzel kan oplossen op basis van wat hij ziet. Dit is de belofte van moderne visuele-taalmodellen, een type kunstmatige intelligentie dat het vermogen om afbeeldingen te begrijpen combineert met het vermogen om mensachtige tekst te genereren. Om deze systemen te laten werken, moeten ze een afbeelding eerst vertalen naar een lange lijst digitale bouwstenen, genaamd tokens, die het brein van de computer vervolgens verwerkt om een antwoord te vormen. Hoe gedetailleerder de afbeelding, hoe langer deze lijst wordt. Hoewel dit zorgt voor een grote nauwkeurigheid, creëert het een enorme flessenhals: het verwerken van honderden van deze tokens vereist enorme rekenkracht, waardoor het moeilijk is om deze slimme systemen te draaien op kleinere apparaten zoals smartphones of drones. Onderzoekers zoeken al lang naar manieren om deze lijst in te korten, door de onnodige delen te verwijderen terwijl de belangrijke delen behouden blijven, maar bestaande methoden hebben vaak moeite wanneer de afbeeldingen imperfect of ruizig zijn, wat is hoe de meeste echte foto's eruitzien.

Een team van onderzoekers heeft een nieuwe, lichtgewicht methode ontwikkeld om dit probleem op te lossen zonder de complexe AI-modellen vanaf nul opnieuw te hoeven trainen. Hun aanpak, die ze ClustRS noemen, werkt als een zeer efficiënte editor voor de lijst met beeldtokens. In plaats van simpelweg de meest voor de hand liggende delen van een afbeelding te kiezen of te proberen een grote variëteit aan onderdelen te behouden, groepeert hun systeem eerst vergelijkbare stukken informatie samen. Vervolgens selecteert het slechts één vertegenwoordiger uit elke groep, waardoor de uiteindelijke lijst de verschillende ideeën in de afbeelding dekt zonder zichzelf te herhalen. Cruciaal is dat dit groepproces is ontworpen om de visuele "statische ruis" of ruis te negeren die echte foto's vaak teisteren, zoals korreligheid of onscherpte, waardoor het systeem niet wordt misleid door gecorrumpeerde gegevens.

Na het selecteren van de beste vertegenwoordigers, past de methode een tweede, verfijnende stap toe. Het neemt de gekozen tokens en vlakt de ruis binnen hen voorzichtig uit, door de gemiddelde kenmerken van hun groep te gebruiken om eventuele fouten te corrigeren. Dit proces is volledig automatisch en vereist geen extra training, wat betekent dat het direct kan worden toegepast op bestaande modellen. De onderzoekers testten deze techniek op standaard benchmarks die meten hoe goed deze modellen kunnen redeneren over afbeeldingen, inclus\nuit taken die vragen om het beschrijven van complexe scènes of het beantwoorden van wetenschappelijke vragen. Ze ontdekten dat hun methode eerdere technieken aanzienlijk overtrof, vooral wanneer de afbeeldingen zwaar werden verstoord door ruis of wanneer het aantal toegestane tokens drastisch werd verminderd. In de meest extreme tests, waarbij het systeem werd gedwongen om met slechts zestien tokens te werken in plaats van de gebruikelijke honderden, behield hun methode een hoge nauwkeurigheid terwijl anderen faalden, wat bewees dat een slimmere manier van selecteren en schoonmaken van informatie waardevoller is dan simpelweg meer data hebben.

Het succes van deze aanpak benadrukt een verschuiving in hoe we efficiënte kunstmatige intelligentie zouden kunnen bouwen. In plaats van te proberen de modellen groter of complexer te maken om moeilijke omstandigheden aan te kunnen, lieten de onderzoekers zien dat een eenvoudige, tweestaps-methode van groeperen en schoonmaken bestaande systemen veel robuuster kan maken. Hun bevindingen suggereren dat voor deze modellen echt bruikbaar te zijn in de echte wereld, waar afbeeldingen zelden perfect zijn en rekenkracht vaak beperkt is, de focus moet liggen op de kwaliteit en veerkracht van de verwerkte informatie, en niet alleen op de kwantiteit. Door aan te tonen dat deze verbeteringen kunnen worden bereikt zonder de zware kosten van hertraining, opent hun werk de deur naar het inzetten van krachtige visuele intelligentie op een veel breder scala aan alledaagse apparaten.

Technische Samenvatting: Clustering en Token Denoising voor Snellere en Robuustere VLMs

Probleemstelling

Recente Visuele-Taalmodellen (VLMs), zoals LLaVA, hebben indrukwekkende resultaten behaald door vooraf getrainde visuele encoders te integreren met Large Language Models (LLMs). Er bestaat echter een aanzienlijke bottleneck: visuele encoders genereren doorgaans een groot aantal visuele tokens (bijv. 576 of 729), wat een kwadratische computationele last oplegt aan de self-attention mechanismen van de LLM. Dit belemmert efficiënte implementatie op edge-apparaten.

Hoewel er technieken voor token pruning bestaan om dit te mitigeren, kampen deze met twee primaire beperkingen:

Training-gebaseerde methoden: Vereisen kostbare hertraining en gespecialiseerde architecturale wijzigingen.
Training-vrije methoden: Hoewel lichtgewicht, is hun prestatie onder real-world beeldruis (bijv. Gaussische ruis, salt-and-pepper ruis) onvoldoende onderzocht. Bestaande training-vrije selectors vertrouwen vaak uitsluitend op attention scores (wat leidt tot redundantie en broosheid onder ruis) of uitsluitend op diversiteit (waarbij de salience van tokens wordt genegeerd).

De auteurs stellen twee kritische vragen: Hoe ernstig degradeert ruis de huidige training-vrije pruning, en kan er een lichtgewicht, ruis-resistente selector worden ontworpen zonder hertraining?

Methodologie: ClustRS

Het paper introduceert ClustRS, een tweeledig, training-vrij algoritme ontworpen voor robuuste token pruning. Het bestaat uit Clustering + Huber distance (C + H) voor selectie en Robust Residual Shrinkage (RRS) voor denoising.

1. Clustering + Huber Distance (C + H)

Deze component adresseert de afweging tussen token salience en diversiteit, terwijl de robuustheid tegen outliers veroorzaakt door ruis wordt gewaarborgd.

Post-Projection Clustering: In tegenstelling tot methoden die ruwe CLIP-features clusteren, clustert ClustRS tokens na de visuele-taal projectielaag. Dit zorgt ervoor dat clustering plaatsvindt in de semantische embedding-ruimte van de LLM, wat de eigen interpretatie van het model van conceptuele relaties weerspiegelt.
Attention-Weighted Objective: De clustering-objective minimaliseert een attention-gewogen binnen-cluster distortie. Tokens met hogere attention scores oefenen een sterkere aantrekkingskracht uit op hun cluster-centroids, waardoor saillante regio's worden geprioriteerd.
K-means++ Initialisatie: Het algoritme gebruikt een attention-bewuste K-means++ strategie om centroids te zaaien, waardoor ze over de feature-ruimte worden verspreid op basis van zowel afstand als attention scores.
Huber Distance: Om de gevoeligheid van standaard gekwadrateerde fout-afstanden voor ruis-geïnduceerde outliers tegen te gaan, wordt de Euclidische afstand vervangen door de Huber distance. Deze loss-functie gedraagt zich kwadratisch voor kleine residuen (het behouden van een strakke clusterformatie) maar lineair voor grote residuen (het voorkomen dat outliers de centroids scheeftrekken).

2. Robust Residual Shrinkage (RRS)

Selectie alleen kan de ruis niet uit de resterende tokens verwijderen. RRS fungeert als een one-pass denoising stap op de geselecteerde tokens.

Residuele Analyse: Voor elke geselecteerde token $v_i$ in een cluster met centroid $c_j$ , wordt de token beschouwd als de som van de centroid en een residu ( $r_i = v_i - c_j$ ). Het residu wordt verondersteld de meeste ruis-variantie te bevatten.
Adaptieve Shrinkage: Geïnspireerd door de James-Stein estimator, krimpt RRS de token-vector richting de cluster-centroid. De shrinkage factor $\alpha_i$ is adaptief, bepaald door de ratio van de robuuste schaal van de cluster (mediaan residu-norm) tot de specifieke residu-norm van de token.
Preservatie van Semantiek: De update-regel $\tilde{v}_i = \alpha_i v_i + (1 - \alpha_i) c_j$ is een convexe combinatie die variantie vermindert zonder de vector te her-normaliseren, waardoor de directionele statistieken die de LLM verwacht worden behouden.
Adaptatie voor SigLIP: Voor SigLIP-gebaseerde modellen (zoals LLaVA-OneVision), introduceren de auteurs een norm-bewuste salience term. Omdat SigLIP attention maps platter zijn dan die van CLIP, verrijken zij de attention score met de magnitude van de feature vector (die salience codeert in SigLIP) om een dynamisch ranking-signaal te herstellen.

Belangrijkste Bijdragen

Nieuwe Robuuste Clustering (C + H): Een training-vrije, attention-gewogen clustering procedure met gebruik van Huber distance om diverse doch saillante token-representanten te selecteren die resistent zijn tegen ruis-geïnduceerde outliers.
Robust Residual Shrinkage (RRS): Een lichtgewicht, one-pass verbetering die de ruiscomponent van geselecteerde tokens in de feature-ruimte selectief dempt, waarbij semantische richtingen worden behouden en distributionele verschuivingen worden vermeden.
Uitgebreide Evaluatie: Demonstratie dat ClustRS consistente winsten behaalt op de MM-VET en ScienceQA-IMG benchmarks onder een breed scala aan Gaussische en salt-and-pepper corrupties, waarbij het state-of-the-art training-vrije methoden (FasterVLM, DivPrune, VisionZip) overtreft, met name onder extreme compressie ( $k=16$ tokens) en hoge ruis.
Klaar voor Implementatie: De gehele pipeline is training-vrij en compatibel met bestaande inferentie-optimalisaties (bijv. KV-cache, flash-attention), waardoor het direct inzetbaar is. Het past zich ook aan nieuwere SigLIP-gebaseerde backbones aan met minimale modificatie.

Experimentele Resultaten

Experimenten werden uitgevoerd op LLaVA-1.5-7B (CLIP-gebaseerd) en LLaVA-OneVision (SigLIP-gebaseerd) met behulp van de MM-VET (open-ended redeneren) en ScienceQA-IMG (multiple-choice) benchmarks.

Extreme Compressie ( $k=16$ ): ClustRS presteerde tot 20% beter dan de baselines onder extreme ruisomstandigheden. Op schone MM-VET afbeeldingen scoorde het 0.271, waarmee het FasterVLM (0.211) en DivPrude (0.232) overtrof. Onder zware Gaussische ruis ( $\sigma=3.0$ ) behield het een score van 0.140, waarmee het alle baselines versloeg.
Ruis-resistentie: ClustRS behaalde consistent de hoogste scores over variërende ruis-densiteiten voor zowel Gaussische als salt-and-pepper ruis, met name in scenario's met weinig tokens waar redundantie minimaal is.
SigLIP Adaptatie: Op LLaVA-OneVision stelde de norm-bewuste adaptatie ClustRS in staat om een schone accuratesse van 0.272 te bereiken met slechts 16 tokens, wat de prestaties van FasterVLM (0.138) en DivPrune (0.164) drastisch overtrof.
Computationele Overhead: De methode voegt een verwaarloosbare computationele kosten toe (ongeveer 1ms overhead op een A100 GPU voor $k=16$ ), wat minder dan 1,6% vertegenwoordigt van de totale end-to-end generatietijd voor een typische respons.

Betekenis en Claims

Het paper claimt dat ClustRS een eenvoudig maar krachtig alternatief biedt voor bestaande pruning-regels die uitsluitend vertrouwen op scores of diversiteit. Door robuuste clustering te combineren met residual shrinkage, adresseert de methode de kritieke kloof tussen computationele efficiëntie en ruis-resistentie.

De auteurs benadrukken dat hun aanpak:

Geen hertraining vereist, wat het aanpasbaar maakt aan architecturale wijzigingen.
De robuustheid verbetert voor diverse corrupties (additieve en impulsieve ruis) zonder prestatieverlies op schone data.
Edge-implementatie mogelijk maakt door het aantal tokens drastisch te verminderen (tot 97% reductie) terwijl de accuratesse gelijk blijft of zelfs verbetert.

De studie concludeert dat hoewel token selectiemethoden zoals C+H robuuste representaties bieden, er potentieel is voor toekomstig werk bij het verfijnen van denoising strategieën, met name voor het afhandelen van ruimtelijk onderscheidbare maar semantisch gelijke tokens die door feature-space clustering mogelijk worden weggegooid.