Technische Samenvatting: Spectral Evolution-Guided Token Pruning in Multimodale Large Language Models

1. Probleemstelling

Multimodale Large Language Models (MLLM's) hebben aanzienlijke vooruitgang geboekt in visuele redenering en dialoog, maar lijden onder hoge computationele kosten door de verwerking van honderden tot duizenden visuele tokens per sample. Deze inefficiëntie is bijzonder acuut in scenario's met hoge resolutie van afbeeldingen en video's.

Bestaande methoden voor token pruning proberen dit te mitigeren door de redundantie van visuele tokens te verminderen. De huidige benaderingen vertrouwen echter doorgaans op signalen uit een enkele laag, zoals attention scores, feature magnitudes of gelijkenis-metrieken berekend binnen een specifieke Transformer-laag. De auteurs identificeren twee kritieke beperkingen in deze methoden:

1. Positionele Bias: Attention scores vertonen vaak een bias naar tokens die later in de platgeslagen sequentie verschijnen door effecten van positionele codering, in plaats van werkelijke semantische belangrijkheid te reflecteren.
2. Statische Representatie: Signalen uit een enkele laag negeren de cross-layer transformatie van visuele representaties. In MLLM's ondergaan visuele tokens een gestructureerde evolutie van lage-niveau ruimtelijke details naar hoge-niveau semantische abstracties naarmate ze door de LLM-decoderlagen passeren. Instantane signalen slagen er niet in deze dynamische transitie te vangen, wat leidt tot het potentiële verwijderen van semantisch actieve tokens of het behouden van redundante achtergrondtokens.

2. Methodologie: Cross-Layer Spectral Evolution (CLSE)

Om deze beperkingen aan te pakken, stellen de auteurs Cross-Layer Spectral Evolution (CLSE) voor, een training-vrij token pruning-framework. In plaats van de belangrijkheid van een token te meten op basis van feature magnitude of attention intensiteit op één specifiek punt, kwantificeert CLSE hoe token-representaties evolueren over Transformer-lagen in het frequentiedomein.

Kernmechanisme

De methode werkt op de observatie dat semantisch actieve tokens een significante spectrale herverdeling ondergaan (transitie van hoogfrequente structurele details naar laagfrequente semantische abstracties) over de lagen heen, terwijl redundante achtergrondtokens relatief stationair blijven in het frequentiedomein.

De CLSE-pipeline omvat de volgende stappen:

1. Frequentie Projectie: Visuele tokens op een specifieke laag $\ell$ worden gehervormd tot 2D ruimtelijke feature maps en getransformeerd naar het frequentiedomein met behulp van de Fast Fourier Transform (FFT).
2. High-Pass Filtering: Een Gaussisch high-pass filter wordt toegepast op het spectrum om laagfrequente globale patronen te onderdrukken en de hoogfrequente structurele energie te isoleren. Dit isoleert de "residuele" structurele informatie.
3. Berekening van Spectrale Evolutie: De methode berekent het genormaliseerde verschil tussen de hoogfrequente energieverdelingen van aangrenzende lagen ($\ell$ en $\ell+1$).
   • Laat $\mathbf{S}_\ell$ de ruimtelijke verdeling van de hoogfrequente energie op laag $\ell$ zijn.
   • De evolutie-intensiteit $\mathcal{I}^{(\ell)}$ wordt berekend als:
     $$\mathcal{I}^{(\ell)} = \text{clip}\left( \frac{|\mathbf{S}_{\ell+1} - \mathbf{S}_{\ell}|}{\mathbf{S}_{\ell} + \overline{\mathbf{S}}_{\ell} + \epsilon}, 0, \tau_{\max} \right)$$
   • Hierbij is $\overline{\mathbf{S}}_{\ell}$ de gemiddelde energie over de tokens, wat fungeert als een regularisator om kleine fluctuaties in inactieve regio's te onderdrukken.
4. Token Selectie: Tokens met hogere evolutie-intensiteitsscores worden beschouwd als semantisch actief en behouden. Tokens met lage scores (die duiden op statische, redundante representaties) worden gepruned.

Integratie

CLSE wordt geïntegreerd in de vroege lagen van de LLM-decoder (specifiek tussen de input embeddings en de output van de eerste decoderlaag). Het dient als een plug-and-play module die de token selectie stuurt voordat opeenvolgende lagen de gereduceerde sequentie verwerken. Het framework is orthogonaal aan token merging strategieën en kan worden gecombineerd met deze (bijv. CLSE-M).

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Cross-Layer Spectral Evolution Framework (CLSE): Een nieuw principe voor de schatting van token-belangrijkheid dat de evolutie van visuele representaties van structurele details naar semantische abstracties over LLM-lagen heen karakteriseert, waarmee verder wordt gegaan dan single-layer statistieken.
2. Training-Free Pruning Strategie: Een praktische implementatie die redundante tokens identificeert en verwijdert tijdens inferentie zonder dat hertraining of modificatie van gewichten vereist is. Het maakt gebruik van spectrale dynamiek om tokens te behouden die betekenisvolle representatieve veranderingen ondergaan.
3. Empirische Validatie: Uitgebreide experimenten op diverse beeld- en videobenchmarks tonen aan dat CLSE een superieure afweging bereikt tussen efficiëntie en nauwkeurigheid, met name onder agressieve token reductieratio's.

4. Experimentele Resultaten

De auteurs evalueerden CLSE op meerdere MLLM's (LLaVA-1.5, LLaVA-Next, Qwen2-VL) en benchmarks (GQA, MMB, POPE, SQA, VQAText, etc.).

Beeldbegrip

• Prestaties: Op LLaVA-1.5-7B bereikte CLSE een gemiddelde nauwkeurigheid van 99,4% ten opzichte van het full-token model bij het behouden van slechts 192 tokens (66,7% reductie), waarbij het superieur presteerde aan state-of-the-art methoden zoals FastV (92,1%) en PDrop (96,9%).
• Agressieve Reductie: Zelfs bij een reductie van 88,9% (64 tokens), behield CLSE een prestatie van 94,8%, wat aanzienlijk beter is dan concurrenten die grotere degradatie leden.
• Generalisatie: De methode toonde consistente verbeteringen over verschillende modelarchitecturen (LLaVA-Next-7B, Qwen2-VL-7B/72B), waarbij een hoge nauwkeurigheid werd behouden waar attention-gebaseerde methoden faalden.

Video Begrip

• Extreme Compressie: Op Video-LLaVA, waarbij tokens werden gecomprimeerd van 2048 naar 194 (>90% reductie), bereikte CLSE een gemiddelde nauwkeurigheid van 35,7% (gebruikmakend van GPT-4o-mini evaluatie), vergeleken met 26,1% voor FastV.
• Token Merging Variant (CLSE-M): Door geprunede tokens terug te roepen en ze te clusteren op basis van spectrale scores, evenaarde CLSE-M de prestaties van het vanilla model (38,7% nauwkeurigheid) terwijl de FLOPs met ~90% werden verminderd.

Efficiëntie

• Computationele Kosten: CLSE vermindert de FLOPs en de KV cache memory aanzienlijk. Op LLaVA-1.5-7B bereikte het een 1,50× versnelling in prefilling tijd met de laagste FLOPs (43,9%) van de vergeleken methoden.
• Schaalbaarheid: In tegenstelling tot attention-gebaseerde pruning die "Eager" attention berekening vereist (kwadratische complexiteit $O(N^2)$) om gewichten te extraheren, vertrouwt CLSE op FFT, wat een bijna lineaire complexiteit $O(N \log N)$ behoudt. Dit zorgt ervoor dat de overhead van de pruning-mechanisme zelf laag blijft, zelfs voor lange sequenties.

5. Betekenis en Claims

Het artikel claimt dat Cross-Layer Spectral Evolution een betrouwbaarder signaal voor token-belangrijkheid biedt dan instantane attention of magnitude-gebaseerde metrieken.

• Mitigatie van Bias: Door de verandering in representatie over lagen te analyseren in plaats van de staat op een enkele laag, mitigeert CLSE de positionele bias die inherent is aan attention scores.
• Semantische Getrouwheid: De methode sluit aan bij het theoretische begrip dat MLLM-decoding een transitie inhoudt van ruimtelijke details naar semantische abstracties. Tokens die actief deelnemen aan deze transitie (en dus spectrale evolutie vertonen) worden behouden, terwijl statische achtergrondtokens worden verwijderd.
• Robuustheid: De aanpak is robuust over verschillende compressieniveaus en model-schalen, en biedt een stabiel pad voor het versnellen van MLLM's zonder hertraining.

De auteurs concluderen dat het modelleren van representatiedynamiek in het frequentiedomein een veelbelovende richting biedt voor efficiënte multimodale redenering, wat verdere exploratie van spectrale representaties in MLLM's aanmoedigt.