ForestPrune: High-ratio Visual Token Compression for Video Multimodal Large Language Models via Spatial-Temporal Forest Modeling

ForestPrune is een trainingsvrije methode voor video-multimodale grote taalmodellen die via ruimtelijk-temporele bosmodellering een hoge verhouding van visuele tokens verwijdert, waardoor de rekenkosten aanzienlijk worden verlaagd terwijl de nauwkeurigheid behouden blijft.

De kern

Stel je voor dat je een multimodaal groot taalmodel (MLLM) hebt. Dit is een slimme AI die zowel tekst als video kan begrijpen. Het probleem is dat video's enorm veel data bevatten. Als je een video van een minuut aan zo'n AI geeft, moet de computer duizenden kleine stukjes (tokens) van elke frame verwerken. Dit is alsof je een hele bibliotheek in één keer moet lezen om één zin te begrijpen: het kost veel tijd, veel energie en veel geheugen.

De wetenschappers van dit paper, ForestPrune, hebben een oplossing bedacht om deze "bibliotheek" te verkleinen zonder de inhoud te verliezen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Statische Foto"-Denktrant

Bestaande methoden om video's te comprimeren (kleiner te maken) kijken vaak naar één frame per keer, alsof het losse foto's zijn. Ze zeggen: "Deze foto is belangrijk, die niet."

• Het nadeel: Als je een video hebt waarin een persoon langzaam loopt, kijken deze methoden naar frame 1, frame 2, frame 3, enzovoort. Omdat de persoon er in elk frame bijna hetzelfde uitziet, slaan ze in elk frame dezelfde "belangrijke" informatie op.
• De analogie: Stel je voor dat je een film bekijkt en je maakt van elk frame een kopie van het hoofdpersonage. Als je 100 frames hebt, heb je 100 keer hetzelfde hoofd. Dat is zonde van je ruimte! Je hebt maar één hoofd nodig om te weten wie het is.

2. De Oplossing: Een "Tijdbos" (Spatial-Temporal Forest)

ForestPrune doet iets heel anders. In plaats van naar losse foto's te kijken, kijkt het naar de video als een geheel. Ze bouwen een "bos" van informatie.

• De Bomen (De Forest): Stel je voor dat elke "boom" in dit bos een verhaal vertelt over een specifiek onderwerp in de video.
  • De wortels en de stam zijn de belangrijkste momenten (bijvoorbeeld: het moment waarop een persoon voor het eerst het scherm opent).
  • De takken en bladeren zijn de daaropvolgende momenten waar het onderwerp nog steeds hetzelfde is (de persoon loopt verder).
• De Regels: Het systeem kijkt naar drie dingen om te beslissen of twee stukjes bij dezelfde boom horen:
  1. Betekenis: Zien ze er hetzelfde uit? (Semantiek)
  2. Locatie: Zit het op dezelfde plek in het beeld? (Ruimte)
  3. Tijdstip: Gebeurt het vlak na elkaar? (Tijd)

3. Het Knippen (Pruning)

Nu hebben ze een bos vol bomen. De taak is om het bos te "snoeien" zodat er minder overblijft, maar de essentie behouden blijft.

• Hoe snoeien ze? Ze kijken naar de bomen.
  • De wortels en de stam (de belangrijkste, eerste momenten) blijven altijd staan. Die zijn cruciaal.
  • De bladeren en de uiteinden van de takken (de herhalingen, de kleine bewegingen die niets nieuws toevoegen) worden eraf geknipt.
• Het resultaat: In plaats van 100 keer hetzelfde hoofd te tonen, laat ForestPrune zien: "Hier is het hoofd (de stam), en hier is het hoofd dat een beetje beweegt (een tak), maar die 90 andere kopieën? Die zijn weggegooid."

4. Waarom is dit zo slim? (De Vergelijking)

In het paper vergelijken ze hun methode met andere methoden (zoals G-Prune of VisionZip).

• Andere methoden: Ze houden vaak te veel "redundantie" over. Het is alsof je een boek leest en elke zin 10 keer overneemt omdat je denkt dat het belangrijk is. Als je de tekst te veel wilt inkorten, mis je de plot.
• ForestPrune: Ze begrijpen dat video een continu verhaal is. Als je 90% van de informatie weglaat, houden ze alleen de "hoofdlijnen" van het verhaal over.
  • Voorbeeld uit het paper: Als een vrouw in de video van verbaasd naar gefrustreerd gaat, zien andere methoden misschien alleen de verassing (want dat was het eerste frame). ForestPrune ziet het geheel van de verandering en houdt de tokens vast die die verandering tonen, zelfs als je 90% van de data verwijdert.

5. De Resultaten in het Kort

• Efficiëntie: Het maakt video's 90% lichter voor de computer, waardoor het veel sneller gaat.
• Kwaliteit: Ondanks dat ze 90% van de data weggooien, blijft de AI bijna net zo slim als voorheen (ze houden 95% van hun vermogen om vragen te beantwoorden).
• Geen training nodig: Het is een slimme truc die je kunt toepassen op bestaande AI's zonder dat je ze opnieuw hoeft te leren (training-free).

Samenvattend:
ForestPrune is als een slimme editor die een video bekijkt en zegt: "Ik hoef niet elke seconde van dit gesprek op te slaan. Ik sla het begin op (de stam), het belangrijkste moment op (de tak), en de rest is gewoon herhaling die ik kan weglaten." Zo krijg je een snelle, lichte video die nog steeds het volledige verhaal vertelt.

Technische samenvatting

Probleemstelling

Multimodale Large Language Models (MLLMs) hebben recente doorbraken geboekt in beeld-taaktaken, maar hun toepassing op videobewerking wordt beperkt door hoge latentie en overmatige rekenkosten. Video's vereisen de verwerking van tientallen tot honderden frames, wat leidt tot een kwadratische toename in het aantal visuele tokens en aanzienlijke visuele redundantie.

Hoewel tokencompressie-methoden succesvol zijn voor afbeeldingen, presteren bestaande methoden voor video (zoals G-Prune en VisionZip) slecht bij hoge compressieratio's. De auteurs identificeren de hoofdoorzaak als een onvoldoende modellering van de temporele en continue aard van video-inhoud. Bestaande methoden focussen vaak op frame-per-frame (beeld-gecentreerde) belangrijkheid, wat leidt tot redundantie tussen opeenvolgende frames en een snelle daling van de prestaties wanneer de compressie toeneemt.

Methodologie: ForestPrune

De auteurs stellen ForestPrune voor, een trainingsvrije methode die visuele tokens comprimeert door een Spatiaal-Temporeel Bos-model (Spatial-Temporal Forest Modeling) te gebruiken. In plaats van tokens per frame onafhankelijk te beoordelen, modelleert ForestPrune de relaties tussen tokens over de tijd heen.

Het proces verloopt als volgt:

1. Selectie van Kandidaat-Nodes:
   Eerst worden representatieve tokens voor elk frame geselecteerd (via bestaande methoden of random sampling) om een set van "kandidaat-nodes" te vormen.

2. Constructie van het Spatiaal-Temporeel Bos:
   De methode bouwt semantische bomen (trees) over meerdere frames heen door drie beperkingen te combineren:

   • Semantische Similariteit: Tokens met vergelijkbare inhoud worden gekoppeld.
   • Ruimtelijke Voorkeuren (Spatial Constraints): Tokens worden gekoppeld op basis van hun coördinaten om te voorkomen dat ver verwijderde objecten onterecht worden samengevoegd.
   • Temporele Orde: De koppeling respecteert de tijdsvolgorde van de frames.

   Hierdoor ontstaan "token-bomen" waarbij de wortel (root) en stam (trunk) de belangrijkste, meest representatieve informatie bevatten, en de bladeren (leaf nodes) minder belangrijke of redundante details.

3. Token-Pruning (Knippen):
   Op basis van de diepte van de bomen en de rol van de nodes wordt een globale, optimale knipbeslissing genomen:

   • Bomen worden gesorteerd op diepte.
   • Leaf nodes (de minst belangrijke) worden eerst verwijderd.
   • Als het budget nog niet is bereikt, worden tail nodes (aan het einde van de takken) verwijderd.
   • Alleen de root- en trunk-nodes (de kern van de informatie) worden behouden.

   Dit zorgt ervoor dat de methode redundantie over de tijd heen effectief verwijdert terwijl cruciale semantische informatie behouden blijft.

Belangrijkste Bijdragen

1. Inzicht in Video-Compressie: De auteurs onthullen dat effectieve video-tokencompressie vereist dat men de ruimtelijke en temporele modellering van continue video-inhoud centraal stelt, in plaats van alleen frame-gebaseerde analyse.
2. ForestPrune Methode: Een nieuwe, trainingsvrije methode die gebruikmaakt van spatiaal-temporele bosmodellering om de globale belangrijkheid van visuele tokens te evalueren.
3. Superieure Prestaties: De methode helpt video-MLLMs om hoge prestaties te behouden terwijl een groot aantal redundante tokens wordt verwijderd, en overtreft bestaande methoden zowel in nauwkeurigheid als efficiëntie.

Resultaten

ForestPrune is getest op twee representatieve video-MLLMs: LLaVA-Video en LLaVA-OneVision, op vijf verschillende benchmarks (o.a. VideoMME, MLVU, NExT-QA).

• Hoge Compressie met Behoud van Nauwkeurigheid:
  • Bij een compressie van 90% (alleen 10% van de tokens behouden), behoudt ForestPrune 95,8% van de gemiddelde nauwkeurigheid voor LLaVA-OneVision.
  • In vergelijking hiermee dalen bestaande methoden (zoals FastV, VisionZip, G-Prune) aanzienlijk bij hoge compressieratio's.
• Verbetering t.o.v. State-of-the-Art:
  • Op de MLVU-benchmark behaalde ForestPrune +10,1% meer nauwkeurigheid dan FrameFusion.
  • Op LLaVA-Video werd de kniptijd (pruning time) met 81,4% gereduceerd ten opzichte van FrameFusion.
• Schalen van Input:
  • Door ForestPrune te gebruiken, kan het model meer frames verwerken zonder de token-limiet te overschrijden. Dit leidde tot verbeterde prestaties (bijv. 72,5 op MLVU), waardoor het model zelfs concurrerend wordt met de meest geavanceerde SOTA-modellen zoals InternVL3.5.
• Efficiëntie:
  • De methode reduceert de GPU-geheugengebruik en de rekencomplexiteit aanzienlijk, vooral omdat de compressie plaatsvindt voordat de tokens de MLLM-encoder bereiken (pre-compression).

Significantie

ForestPrune lost een kritiek probleem op in de toepassing van video-MLLMs: de afweging tussen rekenkosten en prestaties bij hoge resolutie en lange video's. Door de redundantie tussen frames slim te modelleren via een bos-structuur, maakt het mogelijk om video's extreem efficiënt te comprimeren zonder de begrijpingscapaciteit van het model te verliezen. Dit opent de deur voor het toepassen van krachtige multimodale modellen op langere video's en real-time toepassingen met beperkte rekenkracht, zonder dat er extra training van het basismodel nodig is.