💻 computer science

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

SepPrune is een training-vrij, plug-and-play framework dat efficiënt de computationele kosten in multimodale grote taalmodellen vermindert door modaliteitsscheidings-tokens te gebruiken als verenigde queries om 80,2% van de visuele tokens te snoeien terwijl 96,3% van de oorspronkelijke nauwkeurigheid behouden blijft.

Oorspronkelijke auteurs: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

Gepubliceerd 2026-07-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren om tegelijkertijd te zien en te praten. Dit is de wereld van Multimodale Large Language Models (MLLM's), de AI-sterren die naar een foto van een zonsondergang kunnen kijken en er een gedicht over kunnen schrijven, of een complexe grafiek kunnen analyseren en vragen erover kunnen beantwoorden. Om dit te doen, "kijkt" de robot niet alleen naar de afbeelding; hij breekt de foto af in duizenden kleine digitale puzzelstukjes die "vision tokens" worden genoemd. Denk aan deze tokens als individuele pixels, maar dan veel slimmer—ze dragen alle details van de afbeelding bij zich.

Er is echter een addertje onder het gras. Wanneer je de robot een foto met een hoge definitie of een lange video voert, genereert hij zoveel van deze tokens dat de robot overweldigd raakt. Het is alsof je een bibliotheek vol boeken tegelijkertijd probeert te lezen; het proces wordt traag, duur en inefficiënt. Wetenschappers hebben geprobeerd dit op te lossen door uit te zoeken welke puzzelstukjes echt belangrijk zijn en welke slechts ruis zijn. Sommige methoden proberen belangrijkheid te voorspellen door te kijken naar hoe de robot aandacht besteedt aan woorden, terwijl andere proberen dubbele stukjes te vinden. Maar deze benaderingen raken vaak verstrikt in hun eigen complexiteit, waardoor de robot zelfs nog trager wordt terwijl hij probeert sneller te worden. De grote vraag blijft: hoe snijden we de ruis weg zonder het beeld te verliezen?

Maak kennis met SepPrune, een nieuwe methode die fungeert als een slimme redacteur voor deze AI-modellen. De onderzoekers achter dit werk merkten iets fascinerends op terwijl ze observeerden hoe deze modellen denken. Ze ontdekten dat het model in de vroege stadia van de verwerking een enorme hoeveelheid aandacht besteedt aan speciale "separator"-tokens—kleine markeringen die tussen de beeldgegevens en de tekstgegevens zitten en fungeren als een brug tussen deze twee werelden. Het blijkt dat deze separators de sleutel zijn tot het begrijpen van de afbeelding.

In plaats van te proberen de belangrijkheid van elke individuele vision token te berekenen door ze met elkaar te vergelijken (wat traag en rommelig is), gebruikt SepPrune de separator-token als een meester-query. Stel je de separator voor als een gids die bij de ingang van een museum staat. In plaats van elke enkele schildering te vragen: "Ben jij belangrijk?", kijkt de gids naar de hele kamer en wijst: "Jij, jij en jij zijn de meesterwerken; de rest kan wachten." Door de separator te gebruiken om de vision tokens snel te scoren, kan SepPrune direct de meest informatieve stukjes van de afbeelding identificeren en de rest weggooien.

De resultaten zijn indrukwekkend. Bij tests op krachtige modellen zoals Qwen2.5-VL-7B slaagde SepPrune erin om meer dan 80% van de vision tokens weg te gooien, terwijl het nog steeds 96,3% van de oorspronkelijke nauwkeurigheid van het model behield. Zelfs toen de pruning werd doorgevoerd naar een extreme reductie van 90,2%, behield het model 87,2% van zijn prestaties. Dit is een significante sprong vergeleken met andere methoden, die vaak moeite hebben om een dergelijk hoge nauwkeurigheid te handhaven wanneer ze zo diep snijden. Bovendien is deze methode veel sneller omdat deze geen complexe berekeningen tussen elke token vereist, en werkt het naadloos samen met bestaande technologieën voor versnelling.

De onderzoekers bewezen ook dat hun specifieke keuzes ertoe doen. Ze lieten zien dat het gebruik van de separator-token als de "gids" beter werkt dan het gebruik van andere delen van de tekst, en dat het negeren van de "positie" van de tokens (waar ze zich in de afbeelding bevinden) tijdens het selectieproces voorkomt dat het model per ongeluk alleen de onderste helft van een plaatje overhoudt. Kortom, SepPrune suggereert dat door te luisteren naar de brug tussen de afbeelding en de tekst, we deze AI-visionairs sneller en efficiënter kunnen maken zonder hen blind te maken voor de details die er echt toe doen.

Technische Samenvatting: SepPrune

Probleemstelling

Recente Multimodale Large Language Models (MLLM's), zoals Qwen2.5-VL en InternVL3, maken gebruik van "any-res" visuele encoderstructuren die een enorm aantal visuele tokens genereren, vooral bij het verwerken van hoogresolutie-inputs (bijv. 4K/8K-video's of afbeeldingen met veel megapixels). Dit tokenvolume overstijgt de hoeveelheid tekst-inputs aanzienlijk, wat zorgt voor substantiële computationele overhead en inferentielatentie. Hoewel bestaande methoden voor het wegknippen (pruning) van visuele tokens proberen dit te verzachten, lijden zij aan kritieke beperkingen:

Attention-gebaseerde methoden vertrouwen vaak op cross-modale attention-scores die de computationele flow onderbreken, waardoor efficiënte hardware-operators zoals FlashAttention niet kunnen worden gebruikt, of ze zijn afhankelijk van specifieke architecturale tokens (bijv. [CLS]) die ontbreken in moderne visuele backbones.
Diversiteits-gebaseerde methoden brengen doorgaans een kwadratische tijdscomplexiteit ( $O(N^2)$ ) met zich mee om inter-token gelijkenismatrices te berekenen, wat paradoxaal genoeg de latentie verhoogt en de efficiëntiewinst van het wegknippen tenietdoet.

Methodologie: SepPrune

De auteurs stellen SepPrune voor, een plug-and-play, training-vrij framework voor het wegknippen van visuele tokens dat gebruikmaakt van de intrinsieke rol van modaliteit-scheidingstokens (modality separator tokens). De methode werkt voorafgaand aan de LLM-backbone, waardoor compatibiliteit met versnellings-technieken zoals FlashAttention wordt gegarandeerd.

Kerninzichten

Door een analyse van de attention-distributies in modellen zoals Qwen2.5-VL-7B, observeerden de auteurs dat:

Separator Peaks: In de ondiepe lagen pieken de attention-scores van zowel visuele als tekstuele tokens bij de modaliteit-scheidingstokens (speciale tokens die visuele en tekstuele modaliteiten scheiden), in plaats van op semantisch rijke visuele inhoud.
Bridge Function: Ablatie-studies toonden aan dat het verwijderen van scheidingstokens zorgt voor aanzienlijk meer prestatieverlies dan het verwijderen van een gelijk aantal visuele of tekstuele tokens, wat suggereert dat scheidingstokens fungeren als cruciale cross-modale bruggen voor vroege alignment.

Algoritmische Workflow

SepPrune gebruikt het scheidingstoken als een uniforme query om visuele tokens te evalueren zonder de LLM-architectuur te wijzigen:

Unified Query: Het scheidingstoken dat zich na de visuele sequentie bevindt ( $S_{right}$ ), wordt gebruikt als de Query-vector ( $Q_{sep}$ ). Dit token is gekozen omdat het, onder causale attention-masks, het enige token is dat in staat is om naar de volledige set visuele tokens ( $K_{visual}$ ) te kijken.
Bias Eliminatie: Om ervoor te zorgen dat tokens uitsluitend worden gerangschikt op basis van semantische belangrijkheid in plaats van ruimtelijke locatie, laat de methode expliciet Rotary Position Embeddings (RoPE) weg tijdens de scoringfase. Dit voorkomt dat het model tokens uit specifieke regio's van de afbeelding (bijv. de onderkant) bevoordeelt vanwege positionele bias.
Scoring en Pruning: De attention-scores worden berekend met de formule:
$\text{Score}_{prune} = \text{softmax}\left(\frac{Q_{sep} K_{visual}^T}{\sqrt{d_k}}\right)$
Dit reduceert de complexiteit van $O(N^2)$ naar $O(N)$ . De top- $k$ meest informatieve visuele tokens worden behouden op basis van deze scores, terwijl de rest wordt weggeknipt.
Projectie Hergebruik: De methode hergebruikt de ingebouwde projectieparameters ( $q\_proj$ , $k\_proj$ ) van de eerste laag van de LLM, waardoor er geen extra leerbare parameters nodig zijn.

Belangrijkste Bijdragen

Mechanisme Ontdekking: Dit artikel is de eerste die de rol van modaliteit-scheidingstokens als cross-modale bruggen in MLLM's onthult en valideert, en toont hun cruciale belang aan in de vroege fase van visuele-taal fusie.
Nieuwe Pruning Strategie: Introductie van SepPrune, een lichtgewicht, training-vrije en plug-and-play methode die scheidingstokens gebruikt voor globale evaluatie van visuele tokens.
Efficiëntie en Compatibiliteit: De methode bereikt een lineaire tijdscomplexiteit ( $O(N)$ ) en is volledig compatibel met bestaande inferentie-versnellingsframeworks (bijv. FlashAttention) en KV-cache management, in tegen tegenstelling tot eerdere attention-gebaseerde benaderingen.

Experimentele Resultaten

De auteurs hebben SepPrune geëvalueerd op Qwen2.5-VL-7B en InternVL3-8B over 12 benchmarks die algemene VQA, hallucinatie-detectie en tekst-georiënteerde VQA dekken.

Prestatiebehoud: Op Qwen2.5-VL-7B behield SepPrune 96,3% van de oorspronkelijke nauwkeurigheid terwijl 80,2% van de visuele tokens werd weggeknipt. Dit presteerde aanzienlijk beter dan de state-of-the-art baselines (FastV, DivPrune, CDPruner) (bijv. het overtreffen van CDPruner met ~3 procentpunten bij 80,2% pruning).
Extreme Compressie: Zelfs bij een pruning-ratio van 90,1% behield SepPrune 87,2% van de oorspronkelijke prestaties, wat een superieure robuustheid aantoont in informatie-rijke taken zoals TextVQA en ChartQA.
Generaliseerbaarheid: Vergelijkbare prestatiewinsten werden waargenomen op InternVL3-8B, waar SepPrune een relatieve score van 93,1% behaalde bij 80% pruning.
Efficiëntie: Empirische tests op een NVIDIA H20 GPU toonden aan dat SepPrune de laagste end-to-end latentie bereikte (591,4s) vergeleken met de on-geprunte baseline (760,4s) en andere pruning-methoden, wat de lineaire schaalbaarheid valideert.

Betekenis en Claims

Het artikel claimt dat SepPrune de efficiëntie-bottleneck in hoogresolutie MLLM-inferentie aanpakt door het pruning-mechanisme te heroverwegen vanuit het perspectief van de modaliteitsinteractie. Door het scheidingstoken te identificeren als een natuurlijke "globale query", vermijdt de methode de computationele overhead van diversiteits-gebaseerde matrixberekeningen en de architecturale beperkingen van attention-gebaseerde methoden. De auteurs stellen dat deze aanpak een aanzienlijke reductie van de inferentiekosten mogelijk maakt terwijl een sterke modelprestatie behouden blijft over diverse taken, wat een praktische oplossing biedt voor de implementatie van MLLM's in omgevingen met beperkte middelen.