RoRA: Role-Oriented Regional Allocation for Visual Token Pruning in MLLMs
RoRA is een training-vrij visueel token-pruning framework voor Multimodale Grote Taalmodellen dat de inferentie-efficiëntie en nauwkeurigheid verbetert door tokens te partitioneren in semantische, contextuele en detailrollen en ze toe te wijzen via Attention-Anchored Regions om uitgebreide objectdekking te garanderen zonder de behouden tokens als uitwisselbaar te behandelen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot probeert te leren hoe hij de wereld moet zien. Je laat de robot niet alleen een plaatje zien; je voert de robot een enorme, eindeloze stroom van kleine digitale puzzelstukjes die "tokens" worden genoemd. Elk stukje bevat een klein beetje informatie over de afbeelding. Voor een simpele foto is dit prima. Maar voor een foto met een hoge resolutie, een video of een complexe scène, wordt de robot overspoeld met duizenden van deze stukjes. Het is alsof je een hele bibliotheek aan boeken probeert te lezen om slechts één vraag te beantwoorden over een kat in de hoek. De robot raakt overweldigd, doet er eeuwig over om na te denken en heeft een enorme hoeveelheid geheugen nodig om al die stukjes in zijn geest vast te houden. Dit is het probleem waar onderzoekers op het gebied van Multimodale Large Language Models (MLLM's) proberen op te lossen: hoe de robot te helpen zich te concentreren op de belangrijke delen van een afbeelding zonder dat hij verdrinkt in de ruis.
De gebruikelijke truc is om de stukjes die minder belangrijk lijken weg te gooien. Maar hier zit de crux: het brein van de robot is niet perfect in het beslissen wat belangrijk is. Soms raakt de robot afgeleid door de randen van de foto of blijft hij hangen op een specifieke plek, waardoor hij het eigenlijke object dat je vroeg negeert. Andere methoden proberen de stukjes gelijkmatig over de afbeelding te verspreiden, maar dat is alsof je een foto maakt van een menigte en een paar pixels van de shirts van elke persoon behoudt terwijl je de gezichten volledig mist. Het resultaat is vaak een robot die de achtergrond ziet, maar de hoofdgebeurtenis mist.
Dit is waar een nieuwe methode genaamd RoRA (Role-Oriented Regional Allocation) in beeld komt, die fungeert als een slimme editor voor het zicht van de robot. In plaats van alleen de "belangrijkste" stukjes te kiezen of ze willekeurig te verspreiden, behandelt RoRA de afbeelding als een verhaal dat drie specifieke soorten bewijslast nodig heeft om correct verteld te worden.
Ten eerste identificeert RoRA de Semantic Core. Denk aan dit als de "Hoofdrolspeler" van het verhaal. Als je vraagt: "Welk nummer staat er op dat shirt van de speler?", dan is de Core de specische, betrouwbare pixels direct op dat shirt. RoRA beschermt deze stukjes fel, waardoor de robot het hoofdonderwerp nooit verliest, ongeacht hoeveel hij de rest van de afbeelding inkort.
Ten tweede kijkt het naar Complementary Context. Dit is de "Bijrollen" en de "Setting". Zodra de robot weet wie de hoofdrolspeler is, moet hij weten waar deze staat en wat er nog meer omheen gebeurt. RoRA zorgt ervoor dat er ook stukjes worden gepakt van buiten het directe gebied van de hoofdrolspeler, zodat de robot niet alleen een zwevend shirt ziet, maar begrijpt dat het een speler in een stadion is. Het vermijdt actief om te veel stukjes uit dezelfde plek te pakken (wat redundant zou zijn) en zoekt in plaats daarvan naar nieuwe informatie in de omliggende gebieden.
Ten derde bewaart RoRA een klein budget voor Fine-Grained Detail. Dit zijn de "Plotwendingen" of de kleine aanwijzingen, zoals kleine tekst op een bord, de textuur van een stof, of een klein object dat in een hoekje verstopt zit. Omdat deze details vaak klein zijn en gemakkelijk gemist kunnen worden, geeft RoRA ze een speciale "reddingsmissie" om te zorgen dat ze niet per ongeluk verwijderd worden, simpelweg omdat ze niet het grootste ding in de afbeelding zijn.
De magie van RoRA is hoe het deze rollen organiseert. Het vraagt niet alleen: "Welke stukjes zijn het meest glanzend?". In plaats daarvan vraagt het: "Hebben we onze Hoofdrolspeler? Hebben we de Setting? Hebben we de kleine aanwijzingen?". Het gebruikt een slimme kaart genaamd Attention-Anchored Regions (AARs) om aan te geven waar de Hoofdrolspeler zich bevindt, zodat het precies weet waar het naar de Setting moet zoeken (buiten de kaart) en waar het naar de aanwijzingen moet zoeken (binnen de kaart).
De resultaten zijn indrukwekkend. Bij tests op krachtige robotbreinen zoals LLaVA en Qwen-VL slaagde RoRA erin om het aantal afbeeldingsstukjes enorm te verminderen — tot wel 88,9% bij sommige modellen — terwijl het nog steeds 96,5% van de oorspronkelijke nauwkeurigheid behield. Sterker nog, bij sommige tests was het zo efficiënt dat het de denktijd van de robot met 24,6% verkortte, waardoor het 1,33 keer sneller was dan de onbewerkte versie. Nog belangrijker is dat het niet alleen gokte; het mat dit op echte hardware (een NVIDIA H800 GPU), waarbij bleek dat het slechts 0,7 milliseconde kost om te beslissen welke stukjes behouden moeten worden.
In tegen tegenstelling tot oudere methoden die per ongeluk op de verkeerde delen van een afbeelding kunnen focussen of in een lus kunnen blijven hangen waarbij elk stukje met elk ander stukje wordt vergeleken (wat traag en duur is), is RoRA snel en gefocust. Het bewees dat door specifieke "banen" toe te wijzen aan de afbeeldingsstukjes in plaats van alleen de "beste" stukjes te kiezen, we deze superintelligente robots de wereld helder, snel en zonder hoofdpijn van te veel data kunnen laten zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.