🤖 AI

AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding

AdaptToken is een trainingsvrije, entropie-gestuurde methode die de zelfonzekerheid van multimodale grote taalmodellen gebruikt om tokens in lange video's adaptief te selecteren en te stoppen zodra voldoende zekerheid is bereikt, waardoor de nauwkeurigheid en efficiëntie aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

Gepubliceerd 2026-03-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een MLLM (een slimme kunstmatige intelligentie die zowel video als tekst begrijpt) bent. Je krijgt de opdracht om een uur lang durende documentaire te bekijken en een vraag te beantwoorden, bijvoorbeeld: "Wat gebeurt er precies in de scène waar de kat de vaas omstoot?"

Het probleem is dat deze AI's vaak "vergeten" of "overbelast" raken als ze te veel informatie tegelijk moeten verwerken. Ze hebben een beperkt geheugen. Als je ze de hele video in één keer geeft, verdrinken ze in details en raken ze de draad kwijt.

De auteurs van dit papier, AdaptToken, hebben een slimme oplossing bedacht. Ze noemen het een "Slimme Boekhouder voor Video's". Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Video in Huisjes Verdelen (Groepering)

In plaats van de hele video als één lange, saaie strooibloem te bekijken, snijdt AdaptToken de video op in kleine stukjes, noem ze maar huisjes (groepen).

Vroeger: De AI keek naar elk huisje, zocht naar belangrijke dingen, en hield alles bij. Dat kostte veel tijd en energie.
Nu: De AI kijkt eerst even snel door elk huisje heen.

2. De "Zekerheidsmeter" (Entropie)

Dit is het meest creatieve deel. De AI heeft een ingebouwde zekerheidsmeter (in het paper "entropie" genoemd, maar denk aan een "zekerheids-thermometer").

Als de AI een huisje bekijkt en denkt: "Ah! Hier zie ik duidelijk de kat en de vaas! Ik weet het zeker!", dan is de thermometer laag (hoge zekerheid).
Als de AI kijkt en denkt: "Hmm, dit is gewoon een bosje bomen, ik heb geen idee wat hier te maken heeft met de vraag", dan is de thermometer hoog (hoge onzekerheid).

De slimme truc: AdaptToken gebruikt deze thermometer om te beslissen hoeveel aandacht (of "tokens", de bouwstenen van de AI) elk huisje krijgt.

Huisjes met een lage thermometer (veel zekerheid) krijgen een grote portie aandacht. De AI mag hier diep in duiken.
Huisjes met een hoge thermometer (weinig zekerheid) krijgen een kleine portie of worden genegeerd. Waarom tijd verspillen aan saaie bomen als je de kat zoekt?

3. De "Stop-Op-De-Weg" Strategie (AdaptToken-Lite)

Stel je voor dat je op zoek bent naar een specifiek boek in een bibliotheek met duizenden planken.

De oude manier: Je loopt elke plank af, bekijkt elke rug, en noteert de titel. Pas aan het einde zoek je het boek.
De AdaptToken-methode: Je loopt langs de planken. Zodra je drie keer op rij een plank ziet met een boek dat precies past bij wat je zoekt, en je bent er 100% zeker van, stop je. Je hoeft de rest van de bibliotheek niet meer te bezoeken.

Dit heet AdaptToken-Lite. Zodra de AI genoeg bewijs heeft verzameld (drie keer een "hoge zekerheid"), stopt hij met kijken. Dit bespaart enorm veel tijd, terwijl het antwoord net zo goed blijft.

4. Geen Dubbelwerk (Verwijderen van Overbodige Stukjes)

Soms bevatten twee huisjes bijna hetzelfde beeld (bijvoorbeeld twee opeenvolgende seconden van dezelfde scène). De AI zou twee keer dezelfde informatie kunnen verwerken.
AdaptToken heeft een veiligheidscontrole: het vergelijkt de geselecteerde stukjes en verwijdert de dubbele. Het zorgt ervoor dat de AI alleen de meest unieke en belangrijke momenten behoudt, net als een redacteur die een lang artikel knipt tot een pakkend nieuwsbericht.

Waarom is dit zo geweldig?

Het werkt met elke AI: Of je nu een kleine of een gigantische AI gebruikt, deze methode helpt ze allemaal beter.
Het werkt met extreem lange video's: Zelfs video's van 10.000 beelden (ongeveer 2 uur) worden aangepakt zonder dat de AI "crasht".
Het is sneller: Door te stoppen zodra het antwoord duidelijk is, gaat het twee keer zo snel.

Kort samengevat:
AdaptToken is als een slimme filmrecensent die niet elke seconde van een film bekijkt. Hij kijkt snel door de film, herkent direct de spannende scènes (waar hij zeker van is), focust daar zijn volledige aandacht op, en stopt met kijken zodra hij genoeg heeft gezien om het verhaal te vertellen. Zo bespaart hij tijd, energie en krijgt hij toch het juiste antwoord.

Probleemstelling

Het begrijpen van lange video's vormt een grote uitdaging voor Multi-modale Grootte Taalmodellen (MLLMs). Hoewel deze modellen uitstekend presteren op korte clips, worden ze beperkt door:

Hoge geheugenkosten: Het verwerken van duizenden frames genereert een enorme hoeveelheid visuele tokens.
Context-lengte limieten: MLLMs hebben een beperkt contextvenster, waardoor ze niet alle frames van een uur lange video tegelijk kunnen verwerken.
Ondoordachte selectie: Bestaande methoden selecteren vaak frames of tokens op basis van korte clips of individuele frames. Dit mist een globaal criterium om relevantie te vergelijken tussen ver uit elkaar liggende clips. Bovendien stoppen ze niet met verwerken zodra er voldoende bewijs is verzameld, wat leidt tot onnodige rekentijd.

Methodologie: AdaptToken

AdaptToken is een trainingsvrij framework dat de zelf-onzekerheid van een MLLM omzet in een globaal besturingssignaal voor de selectie van tokens in lange video's. De methode werkt in vier hoofdstappen:

Groepering en Entropie-gebaseerde Relevantie:
- De video wordt opgedeeld in groepen frames (groups).
- Voor elke groep wordt de respons-entropie van het model berekend. Entropie meet de onzekerheid van de modelvoorspelling: een lage entropie (hoge zekerheid) suggereert dat de groep relevante informatie bevat voor de vraag, terwijl hoge entropie wijst op onzekerheid of irrelevante inhoud.
- Dit signaal dient als een maatstaf voor de globale relevantie van een groep ten opzichte van de tekstuele prompt.
Entropy-gestuurde Globale Token Selectie:
- Binnen elke groep worden visuele tokens gescoord op basis van cross-modale attention (uit een late laag van het MLLM) om intra-groep relevantie te bepalen.
- Een tweestaps toewijzing wordt toegepast:
  - Eerst wordt een globaal token-budget ( $B$ ) voor de hele video vastgesteld.
  - Dit budget wordt vervolgens verdeeld over de groepen op basis van hun entropie-score (hoger vertrouwen = meer tokens). Groepen met lage entropie krijgen dus een groter aandeel van het budget.
- Hierdoor worden informatieve tokens uit de meest relevante tijdssegmenten geselecteerd, terwijl minder relevante segmenten minder tokens krijgen.
Locatie-bewuste Globale Token Verwijdering:
- Om redundantie te voorkomen (bijvoorbeeld als opeenvolgende groepen zeer vergelijkbare inhoud hebben), wordt een extra stap toegevoegd.
- Er wordt een similariteitsmatrix berekend op basis van de cosine-afstand van token-features en de temporale afstand.
- Tokens met de hoogste wederzijdse similariteit worden iteratief verwijderd om de diversiteit en temporale dekking van de geselecteerde tokens te maximaliseren.
Early Stopping (AdaptToken-Lite):
- Het framework kan stoppen met het verwerken van verdere groepen zodra het model voldoende zekerheid heeft verzameld.
- Als drie opeenvolgende groepen een entropie-score onder een bepaalde drempel ( $C^* = 0.75$ ) hebben, wordt aangenomen dat er genoeg bewijs is. De resterende groepen worden overgeslagen, wat de inferentietijd aanzienlijk verkort.

Belangrijkste Bijdragen

Globale Token Selectie: Een trainingsvrij framework dat cross-modale attention combineert met respons-entropie om token-belang global te beoordelen, in plaats van lokaal per clip.
Early Stopping: Het gebruik van entropie om te beslissen wanneer het verwerken van een video kan worden stopgezet, wat de efficiëntie drastisch verbetert zonder nauwkeurigheid te verliezen.
Generalisatie en Schaalbaarheid: De methode werkt effectief over verschillende MLLM-architecturen (van 7B tot 72B parameters) en presteert zelfs beter bij extreem lange inputs (tot 10.000 frames).

Resultaten

De auteurs hebben AdaptToken getest op vier uitdagende benchmarks voor lange video's: VideoMME, MLVU, LongVideoBench en LVBench.

Nauwkeurigheid: AdaptToken levert consistente verbeteringen op ten opzichte van de basis-MLLMs en bestaande selectiemethoden.
- Bijvoorbeeld: Op Qwen2.5-VL 7B resulteerde AdaptToken in een gemiddelde verbetering van +6.7 punten over alle benchmarks.
- Op de InternVL2.5 8B was de gemiddelde verbetering +5.6 punten.
- De prestaties blijven zelfs stijgen bij inputs van 10.000 frames, wat uniek is voor deze schaal.
Efficiëntie (AdaptToken-Lite):
- De variant met vroege stopzetting (Lite) reduceert de inferentietijd met ongeveer 50% (bijv. van 17.8s naar 8.6s per sample op VideoMME) terwijl de nauwkeurigheid vergelijkbaar blijft met de volledige versie.
Vergelijking: AdaptToken presteert beter dan bestaande methoden zoals FlexSelect, AdaReTAKE en ZoomV, en overtreft zelfs voting-methoden die gebruikmaken van zelf-certainty voor post-hoc aggregatie.

Betekenis en Impact

Dit paper biedt een fundamentele oplossing voor het "lange video-probleem" in multi-modale AI. Door de onzekerheid van het model zelf te gebruiken als een stuurmechanisme, elimineert AdaptToken de noodzaak voor extra training of complexe heuristieken.

Schalbaarheid: Het maakt het mogelijk om ultra-lange video's (urenlang) te analyseren binnen de bestaande hardware-beperkingen van MLLMs.
Efficiëntie: Het reduceert de rekentijd aanzienlijk, wat cruciaal is voor real-time toepassingen en grootschalige implementaties.
Toekomstperspectief: Het bewijst dat "intelligente" selectie op basis van model-certainty superieur is aan statische of lokaal geoptimaliseerde selectie, en opent de deur voor verdere optimalisaties in frame-groepering en token-scoringsmechanismen.