🤖 AI

How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A

Dit artikel introduceert F^3A, een trainingsvrije router voor het bijsnijden van visuele tokens die een vast tokenbudget dynamisch toewijst door bijsnijden te behandelen als taakgeconditioneerde bewijszoektocht, waardoor de inferentiekosten in multimodale modellen worden verlaagd zonder extra training of verstoring van de oorspronkelijke decoderingspijplijn.

Oorspronkelijke auteurs: YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Hoeveel van de Afbeelding Hebben We Eigenlijk Nodig?

Stel je voor dat je een raadsel probeert op te lossen en iemand geeft je een gigantische, hoogwaardige foto om je te helpen het antwoord te vinden. De foto is zo gedetailleerd dat deze miljoenen kleine pixels bevat.

In de wereld van AI worden deze "pixels" visuele tokens genoemd. Huidige AI-modellen (Multimodale Groot Taalmodellen) zijn als briljante detectives die elke enkele pixel in die foto willen bekijken om zeker te zijn dat ze geen aanwijzing missen. Maar het bekijken van miljoenen pixels kost veel tijd en verbruikt veel batterijvermogen (rekenkracht).

De onderzoekers stelden een simpele vraag: Als we een beperkte hoeveelheid tijd en energie hebben, hoeveel van die pixels hebben we dan eigenlijk nodig om het juiste antwoord te krijgen?

Het Probleem met Huidige Methoden: De "One-Shot" Gok

Op dit moment proberen de meeste AI-systemen het aantal pixels te verminderen met een "one-shot" regel. Ze kijken één keer naar de foto en zeggen: "Oh, dit deel is helder, dus het is belangrijk," of "Dit deel is wazig, dus laten we het weggooien."

De auteurs betogen dat dit vergelijkbaar is met het proberen een specifieke naald in een hooiberg te vinden door alleen naar de bovenste laag hooi te kijken. Als de naald diep verscholen zit of een dof kleurtje heeft, zal een simpele "helderheid"-check hem missen. Ze noemen dit statische rangschikking. Het geeft geen omkijken naar de specifieke vraag; het gokt puur op basis van algemene regels.

De Oplossing: F3A (De Fruitvlieg-strategie)

Het artikel introduceert een nieuwe methode genaamd F3A (Fruit-Fly-Foraging Algorithm). Om dit te begrijpen, stel je een fruitvlieg voor die op zoek is naar een stukje rottend fruit.

De Geur (Geurveld): Een fruitvlieg kijkt niet alleen naar het fruit; ze ruikt de lucht. Ze maakt een "kaart" van waar de geur het sterkst is.
- In de AI: In plaats van alleen naar de afbeelding te kijken, leest de AI eerst de vraag. Ze maakt een "geurkaart" op basis van wat de vraag vraagt. Als de vraag is "Wat is de kleur van de hoed?", weet de AI dat ze moet "ruiken" naar hoeden, niet alleen naar heldere plekken.
De Drie-stappen Jacht: De fruitvlieg landt niet zomaar willekeurig. Ze gebruikt een slimme strategie:
- Stap 1: Grof Zoeken (Het Brede Net): De vlieg vliegt hoog en zoekt naar het algemene gebied waar de geur sterk is. Ze kiest nog geen enkel blad, maar een hele tak.
  - In de AI: Het systeem kijkt naar grote stukken van de afbeelding om algemene gebieden te vinden die relevant zijn voor de vraag.
- Stap 2: Visuele Vergrendeling (De Zoom): Zodra ze een veelbelovende tak heeft gevonden, landt ze en kijkt ze nauwkeurig om te bevestigen dat het fruit er echt is en niet gewoon een blad dat naar fruit ruikt. Ze vermijdt het kiezen van twee bladeren die direct naast elkaar liggen (redundantie).
  - In de AI: Het systeem zoomt in op die specifieke gebieden om de exacte beste tokens te kiezen, en zorgt ervoor dat ze niet twee keer hetzelfde kiezen.
- Stap 3: Reddingsjump (Het Veiligheidsnet): Soms zit het fruit op een vreemde plek die de vlieg gemist heeft. De vlieg heeft een regel: "Als ik nog niet genoeg fruit heb gevonden, spring ik naar een willekeurige plek voor het geval dat."
  - In de AI: Als het systeem beseft dat het een klein maar cruciaal detail heeft gemist (zoals een klein tekstlabel of een klein object), "redt" het die tokens zodat ze niet verloren gaan.

Waarom Dit Belangrijk Is: De Resultaten

De onderzoekers testten deze "Fruitvlieg"-strategie op veel verschillende AI-modellen, variërend van kleine modellen (2 miljard parameters) tot enorme modellen (235 miljard parameters).

De "Vaste Begroting"-test: Ze vertelden de AI: "Je mag alleen naar 20% van de afbeelding kijken."
- Resultaat: De Fruitvlieg-AI (F3A) kreeg het juiste antwoord 93,86% van de tijd vergeleken met het bekijken van de hele afbeelding. Andere methoden (zoals de "one-shot" gokkers) kregen het veel minder vaak goed.
De "Vast Doel"-test: Ze vertelden de AI: "Je moet 97% van de antwoorden goed hebben, maar gebruik zo weinig pixels mogelijk."
- Resultaat: De Fruitvlieg-AI had slechts 39,9% van de pixels nodig om dat doel te bereiken. De volgende beste methode had 50,1% van de pixels nodig.

De Conclusie

Het artikel beweert dat hoe je je aandacht verdeelt, belangrijker is dan alleen hoe groot je model is.

In plaats van blind de afbeelding te verminderen op basis van algemene regels, behandelt F3A de afbeelding als een schattenkaart. Het gebruikt de vraag om een slimme, drie-stappen zoektocht te leiden (Ruiken, Vergrendelen, Redding) om de exacte aanwijzingen te vinden die nodig zijn. Hierdoor kan de AI veel sneller zijn en minder geheugen gebruiken zonder haar vermogen om de wereld te begrijpen te verliezen.

Kortom: Gooi niet zomaar de helft van de afbeelding weg omdat het "redundant" lijkt. Gebruik de vraag om te jagen op het specifieke bewijs dat je nodig hebt, net als een fruitvlieg die jacht maakt op fruit.

Technische Samenvatting: Hoeveel Visuele Tokens Hebben Multimodale Taalmodellen Nodig? Schalen van Visuele Token-Pruning met F3A

1. Probleemstelling

Naarmate Vision-Language Models (VLM's) groter en capabeler worden, vertrouwen ze steeds meer op lange reeksen visuele tokens om fijne perceptie te bereiken (bijvoorbeeld OCR, het begrijpen van grafieken, video-analyse). Deze uitgebreide reeksen brengen echter aanzienlijke rekenkosten met zich mee, domineren de prefill-berekening, vergroten de KV-caches en verhogen de end-to-end latentie.

De centrale vraag die dit werk adresseert is: Naarmate multimodale modellen groeien, hoeveel visuele tokens zijn er eigenlijk nodig, en hoe moeten ze worden toegewezen binnen een vast visueel token-budget?

Bestaande trainingsvrije pruning-methoden (bijvoorbeeld FastV, VisionZip, DivPrune, CDPruner) behandelen token-pruning doorgaans als een statisch rangschikkings- of subsetselectieprobleem gebaseerd op één-op-een proxy-signalen zoals decoder-attention, visuele gelijkenis of conditionele diversiteit. De auteurs betogen dat deze benaderingen onvolledig zijn, vooral onder agressieve compressie. De waarde van een token is niet louter een functie van zijn opvallendheid of redundantie, maar hangt af van zijn bewijskracht voor de huidige query. Standaardmethoden slagen er vaak niet in om tokens dynamisch over een afbeelding toe te wijzen op basis van de specifieke taak, wat leidt tot suboptimale prestaties wanneer token-budgetten krap zijn.

2. Methodologie: Fruit-Fly-Foraging Algorithm (F3A)

Het artikel stelt F3A voor, een trainingsvrije router die visuele token-pruning herformuleert als taak-geconditioneerde bewijszoektocht. Geïnspireerd door fruitvlieg-optimisatiealgoritmen, werkt F3A na de visietoren maar voordat het taalmodel afbeeldingstokens verwerkt. Het vereist geen modeltraining, extra LLM-forward passes of wijzigingen in de decoding-pijplijn.

De methode bestaat uit drie opeenvolgende fasen:

A. Opbouwen van het Taalgeurveld

F3A construeert een goedkope globale bewijskaart (het "geurveld") over visuele tokens.

Geursignalen: In plaats van geleerde attention, gebruikt F3A deterministische sjablonen en de bevroren tokenizer/embedding-laag van het basis-MLLM om lichtgewicht bewijsvragen te genereren. Deze omvatten een globaal signaal (volledige vraagcontext), een doelsignaal (gevraagd entiteit) en een taaksignaal (bijvoorbeeld OCR, tellen, ruimtelijke relaties).
Sparce Sensing: De signalen worden gematcht met visuele grid-tokens met behulp van bevroren sparce sensing-heads (willekeurige projecties). Dit genereert een scalair bewijsscore ( $a_i$ ) voor elke token, die prompt-relevant bewijs vertegenwoordigt zonder gradiëntupdates te vereisen.

B. Driefasig Zoekproces

F3A wijst een vast token-budget ( $K$ ) toe via drie operatoren:

Grove Zoektocht (Exploratie):
Het visuele raster wordt opgedeeld in niet-overlappende vensters. Vensters worden gescoord op basis van hun gemiddelde geurwaarde. De top-vensters worden geselecteerd om een kandidatenpool ( $P_1$ ) te vormen, en een "steiger"-subset ( $S_1$ ) wordt behouden om ruimtelijke dekking te garanderen. Dit voorkomt dat te vroeg te veel wordt ingezet op geïsoleerde tokens met hoge scores.
Visuele Vergrendeling (Lokale Exploitatie):
Binnen de grove pool verfijnt F3A de selectie om lokale bewijskracht te bevestigen en redundantie te onderdrukken.
- Lokale Ondersteuning: Tokens worden gescoord op basis van buurtondersteuning en overeenstemming met taaksignalen.
- Remming van Terugkeer: Een redundantiestraf wordt toegepast op basis van visuele gelijkenis en ruimtelijke nabijheid tot reeds geselecteerde tokens. Dit moedigt de selectie van diverse, lokaal ondersteunde bewijskracht aan in plaats van geclusterde, redundante patches.
Reddingsstap (Exploratie/Herstel):
Om te voorkomen dat kleine objecten, perifere tekst of tegenbewijs buiten de geselecteerde vensters worden gemist, wordt een fractie van het budget ( $\alpha_{jump}$ ) gereserveerd.
- Onzekerheid/Dekking: Tokens worden geselecteerd op basis van hoge onzekerheid (bijvoorbeeld kleine marges tussen optiescores in meerkeuzetaken) of lage dekking door de huidige subset.
- Deze stap zorgt ervoor dat ondergedekte gebieden worden hersteld, waardoor wordt voorkomen dat het model instort op smalle gebieden met hoge scores.

C. Sequencerestructurering

De uiteindelijke geselecteerde token-set vervangt het volledige visuele blok voordat de LLM-prefill plaatsvindt. De originele tekstprefix, prompt-sjabloon en modelgewichten blijven ongewijzigd. Voor grid-bewuste modellen worden token-indexen teruggekaart naar originele grid-coördinaten om positionele informatie te behouden.

3. Belangrijkste Bijdragen

Herformulering van Pruning: De auteurs herformuleren trainingsvrije visuele token-pruning als een cross-scale token-toewijzingsprobleem in plaats van eenvoudige compressie. Ze evalueren token-vraag over dichte en MoE-multimodale modellen om te bepalen hoeveel tokens nodig zijn om het gedrag van volledige tokens te behouden.
F3A Router: Ze introduceren F3A, een single-pass, trainingsvrije router die taak-geconditioneerde bewijszoektocht uitvoert met behulp van vraag-geconditioneerde signalen, sparce sensing en een door foraging geïnspireerd driefasig proces (grove zoektocht, vergrendeling, redding).
Grootschalige Evaluatie: De methode wordt geëvalueerd op Qwen3-VL-modellen variërend van 2B tot 235B parameters (dekkend zowel dichte als MoE-architecturen) over 11 multimodale benchmarks. Het wordt ook getest op Qwen2.5-VL en InternVL3.5 backbones om transferbaarheid aan te tonen.

4. Experimentele Resultaten

De evaluatie omvat 10 modellen en 3 retentieratio's (60%, 40%, 20%).

Prestatiebehoud: Over alle modelgroottes heen presteert F3A consistent beter dan baselines (FastV, VisionZip, DivPrune, CDPruner).
- Bij 20% visuele token-retentie behoudt F3A gemiddeld 93,86% van de prestaties van volledige tokens.
- Op het grootste model (Qwen3-VL-235B-A22B) behoudt F3A 93,86% van de prestaties, zelfs na het verwijderen van 80% van de visuele tokens.
Vaste-Fideliteit Token-vraag: Bij het richten op 97% van de prestaties van volledige tokens, vereist F3A gemiddeld slechts 39,9% visuele tokens, vergeleken met 50,1% voor de sterkste concurrerende baseline. Op het 235B-model bereikt F3A dit met 41,2% tokens.
Schalingsgedrag: In tegenstelling tot andere methoden blijft het voordeel van F3A behouden en groeit het vaak naarmate het model schaalt. De gemiddelde nauwkeurigheidswinst ten opzichte van de sterkste baseline is positief over alle 18 geteste model-retentie-instellingen.
Efficiëntie: F3A verbetert de nauwkeurigheids-latentie trade-off. Op Qwen3-VL-8B bij 20% retentie verlaagt het de end-to-end latentie van 354,7 ms naar 274,3 ms en de KV-cache-footprint van 117,7 MB naar 29,0 MB, terwijl het de hoogste nauwkeurigheid behoudt onder pruning-methoden.
Statistische Significantie: Een gepaarde teken-test over 30 model-retentie-instellingen levert een p-waarde op van $1,9 \times 10^{-9}$ , wat bevestigt dat F3A consistent beter presteert dan de sterkste niet-F3A baseline.

5. Betekenis en Claims

Het artikel beweert dat schaalbare multimodale inferentie niet alleen afhangt van modelgrootte, maar ook van de zoekgestructureerde toewijzing van taakrelevante visuele bewijskracht.

Taak-geconditioneerd versus Statisch: De resultaten suggereren dat het behandelen van pruning als een statisch rangschikkingsprobleem onvoldoende is voor agressieve compressie. De "foraging"-benadering, die dynamisch bewijskracht lokaliseert, verfijnt en herstelt op basis van de specifieke query, is noodzakelijk om het vermogen van grotere modellen onder krappe token-budgetten te behouden.
Vaste-Fideliteit Perspectief: Het werk betoogt dat het antwoord op de vraag "hoeveel tokens zijn er nodig" geen universele retentieratio is, maar een schaal-afhankelijk toewijzingsprobleem. F3A toont aan dat effectieve pruning grotere modellen in staat stelt hun volledige capaciteit te realiseren met aanzienlijk minder tokens dan eerder mogelijk leek.
Generaliseerbaarheid: De methode blijkt robuust over verschillende model-families (Qwen3, Qwen2.5, InternVL) en architecturen (Dicht versus MoE), wat suggereert dat het principe van taak-geconditioneerde bewijszoektocht een algemene oplossing is voor multimodale token-pruning.

De auteurs concluderen dat F3A een praktische weg biedt om de inferentiekosten voor multimodale modellen te verlagen zonder afbreuk te doen aan de fijne perceptiecapaciteiten die hun prestaties aandrijven.