🤖 machine learning

Visual Token Compression Enhances Robustness of MLLMs

Dit artikel stelt een methode voor voor visuele token-pruning die de robuustheid van Multimodale Grote Taalmodellen tegen jailbreak-aanvallen en hallucinaties verbetert door niet-gealigneerde, out-of-distribution visuele tokens te identificeren en te verwijderen, terwijl tegelijkertijd de inferentiekosten worden verminderd.

Oorspronkelijke auteurs: Shishen Gu, Jiequan Cui, Wenbo Hu, Zenglin Shi, Zhenzhen Hu, Richang Hong

Gepubliceerd 2026-07-28

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shishen Gu, Jiequan Cui, Wenbo Hu, Zenglin Shi, Zhenzhen Hu, Richang Hong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin computers niet alleen woorden lezen maar ook plaatjes "zien", en deze combineren om vragen te beantwoorden, verhalen te vertellen of problemen op te lossen. Dit zijn Multimodale Large Language Models (MLLM's). Denk aan hen als superintelligente studenten die elk boek in de bibliotheek hebben gelezen en ook naar een foto kunnen kijken om de context te begrijpen. Echter, net als elke student, kunnen ze in de war raken. Soms, als je ze een lastige foto laat zien of een slimme vraag stelt, kunnen ze erdoor in de war worden gebracht om iets gevaarlijks te zeggen (een "jailbreak") of feiten te verzinnen die echt lijken maar volkomen onjuist zijn (een "hallucinatie").

Om te begrijpen waarom dit gebeurt, moeten we kijken naar hoe deze modellen informatie verwerken. Ze nemen een afbeelding, hakken deze in stukjes digitale fragmenten genaamd "visuele tokens", en mengen deze met teksttokens. Het probleem is dat de "ogen" en "oren" van de computer niet altijd perfect dezelfde taal spreken. Soms is een visuele token zo uit de toon of verwarrend dat het werkt als statische ruis in een radiosignaal. Deze ruis kan de balans van het model verstoren, waardoor het kwetsbaar wordt voor aanvallen of door het verzinnen van valse informatie. Wetenschappers weten al lang dat het opschonen van deze ruis helpt, maar ze dachten meestal dat dit alleen ging over het sneller maken van de computer, niet over het veiliger maken ervan.

Dit artikel introduceert een slimme nieuwe truc genaamd Visual Token Compression, specifweg een methode genaamd OOD-VTP (Out-of-Distribution Visual Token Pruning). De onderzoekers ontdekten dat door de "vreemde" visuele tokens te identificeren en te verwijderen—de tokens die niet goed bij de tekst passen—het model eigenlijk veel weerbaarder wordt tegen aanvallen en minder geneigd is te liegen. Het is als een uitsmijter bij een club die de onrustige gasten die er niet thuishoren eruit trapt, waardoor het feest veilig en ordelijk blijft. De studie laat zien dat dit niet alleen een theorie is; toen ze het op zeven verschillende populaire benchmarks testten, werd het model aanzienlijk moeilijker te misleiden en nauwkeuriger, terwijl het ook nog eens sneller draaide.

Het Verhaal van de Lawaaierige Kamer

Stel je voor dat je in een enorme, lawaaierige kamer bent waar een groep vrienden (de tekst) een serieus gesprek probeert te voeren. Plotseling stormt er een bende vreemden (de visuele tokens) binnen. De meeste vreemden zijn behulpzaam; ze brengen snacks mee en wijzen op dingen in de kamer die bij het gesprek passen. Maar een enkeling zijn prankster. Ze dragen maskers, schreeuwen onzin of houden borden vast met teksten die nergens op slaan bij wat je vrienden aan het bespreken zijn.

In de wereld van AI zijn deze pranksters de misalignede visuele tokens. Omdat de visuele en de taalcomponent van de computer niet perfect gesynchroniseerd zijn, fungeren deze tokens als Out-of-Distribution (OOD) inputs. In gewone mensentaal: ze zijn "niet op hun plek". Wanneer de AI probeert deze te verwerken, raakt hij in de war. Deze verwarring is wat hackers in staat stelt om een "jailbreak" uit te voeren (de AI erin te luizen om de veiligheidsregels te negeren) of veroorzaakt dat de AI gaat "hallucineren" (dingen verzinnen die niet waar zijn).

De Strategie van de Uitsmijter

De auteurs van dit artikel realiseerden zich dat eerdere methoden probeerden de AI te versnellen door willekeurige tokens te verwijderen of alleen de tokens die "redundant" leken (zoals de stillere mensen eruit trappen). Maar zij ontdekten dat dit de AI niet veiliger maakte. Sterker nog, soms maakte het de situatie zelfs erger!

Hun nieuwe methode, OOD-VTP, fungeert als een superintelligente uitsmijter. Zo werkt het:

De Afstand Meten: De uitsmijter controleert elke individuele visuele token (elk stukje van de afbeelding) en vraagt: "Hoe ver staat deze persoon van het gesprek af?" Ze meten de afstand tussen de visuele token en de "taalkundige feature space" (de groep teksttokens).
De Pranksters Identificeren: De tokens die het verst van de tekst af staan—degenen die totaal niet in de pas lopen—worden gemarkeerd als de OOD-tokens. Dit zijn de tokens die de problemen veroorzaken.
Het Perfecte Timing: De onderzoekers ontdekten dat je niet zomaar mensen eruit kunt trappen op elk gewenst moment. Er zijn specifieke "robust-pruning layers" (denk aan deze als specifieke momenten in het gesprek) waar het verwijderen van de slechte tokens het beste werkt. Als je ze te vroeg of te laat verwijdert, helpt het niet. Maar als je het op het juiste moment doet (zoals laag 13 of 17 in hun tests), wordt de AI plotseling veel robuuster.

De Resultaten: Veiliger, Slimer en Sneller

Het team heeft deze uitsmijterstrategie getest op twee populaire AI-modellen: LLaVA-OneVision en Qwen-2.5-VL. Ze gebruikten zeven verschillende benchmarks om te zien hoe goed het werkte.

Jailbreaks Stoppen: Wanneer ze probeerden de AI te misleiden om slechte dingen te doen (zoals uitleggen hoe je een bom maakt of malware injecteert), was de OOD-VTP-methode een groot succes. Gemiddeld verbeterde het de bekwaamheid van het model om "Nee, dat doe ik niet" te zeggen met 13,29%. Voor het Qwen-2.5-VL-model specifiek steeg de "Refuse-to-Answer Rate" (hoe vaak het succesvol een slecht verzoek blokkeerde) van 20,38% naar 33,67%.
Hallucinaties Stoppen: De methode hielp de AI ook om te stoppen met het verzinnen van zaken. Op de HallusionBench verbeterde de nauwkeurigheid met 8,00% voor het Qwen-model.
Snelheid: Als bonus draaide de AI sneller omdat ze enkele tokens hadden verwijderd. Het verwerkte minder tokens (daalde van 16.128 naar 10.512) en gebruikte minder rekenkracht (TFlops daalde van 4,29 naar 2,78), waardoor het efficiënter werd zonder aan intelligentie in te boeten.

Wat Ze Niet Hebben Gedaan (en Wat Ze Hebben Uitgesloten)

Het is belangrijk om op te merken wat dit artikel niet heeft gedaan. Ze hebben de AI niet vanaf nul opnieuw getraind. Ze hebben geen nieuwe veiligheidsregels toegevoegd of de gewichten van het "brein" van het model veranderd. Ze hebben simpelweg de slechte visuele tokens weggefilterd (gepruned) tijdens het proces.

Ze hebben ook expliciet de gedachte uitgesloten dat elke vorm van token pruning een AI veiliger maakt. Sterker nog, ze lieten zien dat als je de verkeerde tokens verwijdert—specifiek de tokens die goed uitgelijnd en behulpzaam zijn—de AI juist minder veilig wordt. Ze testten dit door de "kleinste afstand"-tokens (de goede tokens) te verwijderen, waarna de veiligheidsprestatie van het model instortte. Dit bewijst dat het niet alleen gaat om het inkorten van de hoeveelheid; het gaat erom het verwijderen van de specifieke ruis die de problemen veroorzaakt.

De Kernboodschap

Dit artikel suggereert dat de sleutel tot het veiliger maken van Multimodale AI zo eenvoudig kan zijn als het opruimen van de visuele ruis. Door de visuele tokens te identificeren en te verwijderen die niet bij de tekst passen, wordt het model stabieler, minder vatbaar voor misleiding en minder geneigd om feiten te verzinnen. Het is een "plug-and-play"-oplossing, wat betekent dat het aan bestaande modellen kan worden toegevoegd zonder dat er een enorme herstructurering nodig is. Hoewel het artikel laat zien dat deze resultaten gemeten en consistent zijn over meerdere tests, blijft het een methode die de robuustheid versterkt in plaats van een wondermiddel dat elk beveiligingsprobleem in de wereld oplost. Maar voor een nieuwsgierige tiener (of een veiligheidsbewuste AI-ontwikkelaar) is het een fascinerend kijkje in hoe een beetje snoeien een groot verschil kan maken in het veilig houden van onze digitale vrienden.

Technische Samenvatting: Visuele Tokencompressie Verbetert de Robuustheid van MLLM's

Probleemstelling

Multimodale Large Language Models (MLLM's) worden geconfronteerd met aanzienlijke beveiligings- en betrouwbaarheidsuitdagingen, specifiek de kwetsbaarheid voor jailbreak-aanvallen en de generatie van hallucinaties. Hoewel Large Language Models (LLM's) die getraind zijn op tekstgegevens vaak robuuste veiligheidsmechanismen vertonen, kan de introductie van visuele modaliteiten in MLLM's deze waarborgen omzeilen. De auteurs hypothetiseren dat deze kwetsbaarheid voortkomt uit representatie-misalignment tussen visuele en taalmodaliteiten. Specifiek fungeren visuele tokens die niet perfect zijn uitgelijnd met de taalkenmerkenruimte als Out-of-Distribution (OOD) inputs. Deze OOD-tokens verstoren de interne representaties van het model, wat leidt tot onvoorspelbare outputs, succesvolle jailbreaks en feitelijk onjuiste reacties (hallucinaties).

Bestaande verdedigingsstrategieën, zoals instructie-tuning, Reinforcement Learning from Human Feedback (RLHF) of prompt engineering, brengen vaak hoge computationele kosten met zich mee of lijden onder een beperkte generalisatie tegen ongeziene tegenstanders. Bovendien dienen standaard visuele token-pruningmethoden, die primair zijn ontworft om de inferentiekosten te verlagen door het verwijderen van "redundante" tokens, zelden om de robuustheid van het model te verbeteren. Dit suggereert dat redundantie en OOD-status niet synoniem zijn; het wegknippen van de verkeerde tokens kan de veiligheid zelfs verslechteren.

Methodologie: OOD-VTP

Het paper stelt Out-of-Distribution Visual Token Pruning (OOD-VTP) voor, een training-vrije, plug-and-play methode die is ontworpen om de robuustheid te verbeteren door selectief niet-uitgelijnde visuele tokens te verwijderen. De kerncomponenten van de methode zijn:

Visuele Token Afstandsmeting:
De methode kwantificeert de "OOD-heid" van een visuele token door de afstand tot de tekstuele kenmerkenruimte te meten.
- Kenmerkenruimte Representatie: De tekstuele kenmerkenruimte ( $T$ ) wordt gerepresenteerd door de laatste $p\%$ van de tekstuele tokens (bijv. de laatste 50%). Deze tokens zijn gekozen omdat ze door causale aandachtmechanismen de meest semantisch informatieve en visueel gegronde informatie van voorgaande tokens hebben geïntegreerd.
- Afstandsmetriek: Voor elke visuele token $v^k_j$ in laag $k$ is de afstand tot de tekstuele ruimte gedefinieerd als de minimale afstand tot een willekeurige token in de geselecteerde tekstuele subset $S_k$ . De afstandsmetriek $D(\cdot, \cdot)$ wordt geïnstantieerd als de negatieve gemiddelde aandachtsscore over alle attention heads in de LLM. Een grotere afstand duidt op een grotere misalignment (hogere OOD-waarschijnlijkheid).
Robuuste-Pruning Lagen:
De auteurs stellen vast dat niet alle lagen even effectief zijn voor pruning. Ze definiëren robuste-pruning lagen als specifieke tussenliggende lagen waar het wegknippen van OOD-tokens de maximale veiligheidswinst oplevert.
- Empirische analyse laat zien dat pruning in specifieke lagen (bijv. lagen 13–17 in Qwen-2.5-VL) de robuustheid aanzienlijk verbetert, terwijl pruning in andere lagen beperkt voordeel biedt of de prestaties verslechtert.
- De optimale laag en de pruning-ratio worden bepaald via een grid search op een validatieset, hoewel het paper vermeldt dat een uniforme vaste laag (bijv. Laag 14) sterke resultaten kan bereiken over meerdere benchmarks zonder per-benchmark tuning.
Pruning Strategie:
In de geïdentificeerde robuuste-pruning laag worden de top $r\%$ visuele tokens met de grootste afstanden (d.w.z. de meest misalignede/OOD tokens) gepruned. Dit proces kan iteratief over meerdere lagen worden toegepast.

Belangrijkste Bijdragen

Nieuw Inzicht: Het paper is de eerste die aantoont dat visuele tokencompressie de robuustheid van MLLM's tegen zowel jailbreak-aanvallen als hallucinaties substantieel kan verbeteren, wat het idee uitdaagt dat compressie uitsluitend dient voor efficiëntie.
OOD-VTP Methode: De auteurs introduceren een specifieke pruningtechniek die zich richt op visuele tokens die niet uitgelijnd zijn met de taalkenmerkenruimte, gebruikmakend van een afstandsmetriek gebaseerd op aandachtsscores en het identificeren van specifieke "robuste-pruning lagen".
Omvattende Validatie: De methode wordt gevalideerd op zeven diverse benchmarks, waarbij significante winst in robuustheid wordt getoond terwijl de sterke prestaties op algemene taken behouden blijven.
Complementariteit: De aanpak is aangetoond complementair te zijn aan bestaande veiligheidsmethoden (bijv. AdaShield), wat de veiligheid verder vergroot wanneer deze gecombineerd worden.

Experimentele Resultaten

De auteurs evalueerden OOD-VTP op de LLaVA-OneVision en Qwen-2.5-VL modellen over zeven benchmarks:

Jailbreak Defensie:
- Op SafeBench, HADES en MM-SafetyBench behaalde OOD-VTP een gemiddelde verbetering van 13,29% in de Refuse-to-Answer Rate (RAR) ten opzien van de vanilla Qwen-2.5-VL baseline.
- Specifiek op Qwen-2.5-VL verbeterde de gemiddelde RAR van 20,38% (Vanilla) naar 33,67%, en de Harmless Output Rate (HOR) verbeterde naar 50,09%, waarmee het andere compressiemethoden (FastV, PDrop, etc.) overtreft die een verwaarloosbare of negatieve impact op de veiligheid lieten zien.
- Wanneer gecombineerd met AdaShield, bereikte de RAR op SafeBench 93,80%.
- De methode demonstreerde ook robuustheid tegen perturbatie-gebaseerde beeld-aanvallen (PGD).
Mitigatie van Hallucinaties:
- Op HallusionBench verbeterde OOD-VTP de nauwkeurigheid met 8,00% (van 59,73% naar 67,99% op de beste laag) voor Qwen-2.5-VL.
- Op COCO2014 reduceerde het de CHAIR-metriek (wat wijst op minder hallucinaties) tot 0,59% voor Qwen-2.5-VL, waarmee het de vanilla baseline overtreft.
Algemene Prestaties & Efficiëntie:
- Algemene Benchmarks: OOD-VTP behield of verbeterde licht de prestaties op algemene datasets zoals MME (perceptie en cognitie scores) vergeleken met het vanilla model.
- Efficiëntie: De methode verminderde de computationele kosten (TFlops) en verhoogde de Tokens Per Second (TPS) vergeleken met het vanilla model en andere compressie-baselines zoals FastV.
- Trade-off: Een lichte daling in prestaties werd waargenomen op OCRBench, toegeschreven aan het verlies van fijnmazige beeldinformatie door token-pruning, wat de auteurs beschouwen als een redelijke trade-off voor de substantiële veiligheidswinst.

Betekenis en Claims

Het paper claimt dat OOD-VTP een nieuw, efficiënt en effectief pad biedt voor het beveiligen van MLLM's. Door de kernoorzaak van kwetsbaarheden aan te pakken — misalignede visuele tokens die fungeren als OOD-inputs — verbetert de methode de robuustheid van het model zonder dat daarvoor dure hertraining of alignment-tuning nodig is.

De auteurs benadrukken dat:

Robuustheid zeer gevoelig is voor welke tokens worden gepruned; het verwijderen van goed uitgelijnde tokens vernietigt de veiligheid, terwijl het verwijderen van OOD-tokens de veiligheid juist versterkt.
Robuustheid is ook gevoelig voor waar (bij welke laag) de pruning plaatsvindt, wat de identificatie van robuuste-pruning lagen noodzakelijk maakt.
De methode dient als een "plug-and-play" module die kan worden geïntegreerd met bestaande veiligheidsverdedigingen om een robuuster systeem te creëren, waarbij een balans wordt gevonden tussen veiligheid, efficiëntie en algemeen nut.