RoRA: Role-Oriented Regional Allocation for Visual Token Pruning in MLLMs

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, die Welt zu sehen. Sie zeigen ihm nicht einfach nur ein Bild; Sie füttern den Roboter mit einem massiven, endlosen Strom aus winzigen digitalen Puzzleteilen namens „Tokens“. Jedes Stück enthält ein winziges Stück Information über das Bild. Für ein einfaches Foto ist das in Ordnung. Aber für ein hochauflösendes Bild, ein Video oder eine komplexe Szene wird der Roboter von tausenden dieser Teile überflutet. Es ist, als würde man versuchen, eine ganze Bibliothek an Büchern zu lesen, nur um eine einzige Frage über eine Katze in der Ecke zu beantworten. Der Roboter wird überfordert, braucht ewig zum Nachdenken und benötigt eine riesige Menge an Speicher, nur um all diese Teile in seinem Geist zu halten. Dies ist das Problem, das Forscher auf dem Gebiet der Multimodalen Großen Sprachmodelle (MLLMs) zu lösen versuchen: wie man dem Roboter hilft, sich auf die wichtigen Teile eines Bildes zu konzentrieren, ohne im Rauschen unterzugehen.

Der übliche Trick besteht darin, die Teile wegzuwerfen, die weniger wichtig erscheinen. Aber hier ist der Haken: Das Gehirn des Roboters ist nicht perfekt darin, zu entscheiden, was wichtig ist. Manchmal lässt er sich von den Rändern des Bildes ablenken oder bleibt an einem bestimmten Punkt hängen und ignoriert das eigentliche Objekt, nach dem Sie gefragt haben. Andere Methoden versuchen, die Teile gleichmäßig über das Bild zu verteilen, aber das ist so, als würde man ein Foto von einer Menschenmenge machen und dabei ein paar Pixel von jedem einzelnen Hemd behalten, während man die Gesichter komplett übersieht. Das Ergebnis ist oft ein Roboter, der zwar den Hintergrund sieht, aber das Hauptereignis verpasst.

Hier kommt eine neue Methode namens RoRA (Role-Oriented Regional Allocation) ins Spiel, die wie ein cleverer Editor für die Vision des Roboters fungiert. Anstatt nur die „wichtigsten“ Teile auszuwählen oder sie zufällig zu verteilen, behandelt RoRA das Bild wie eine Geschichte, die drei spezifische Arten von Beweisen benötigt, um korrekt erzählt zu werden.

Zuerst identifiziert RoRA den Semantischen Kern (Semantic Core). Betrachten Sie dies als den „Hauptcharakter“ der Geschichte. Wenn Sie fragen: „Welche Nummer steht auf dem Trikot dieses Spielers?“, dann ist der Kern die spezifische, hochkonfidente Pixelmenge direkt auf diesem Trikot. RoRA schützt diese Teile vehement und stellt sicher, dass der Roboter das Hauptsubjekt niemals verliert, egal wie stark er den Rest des Bildes reduziert.

Zweitens sucht es nach dem Komplementären Kontext (Complementary Context). Dies ist die „Nebendarsteller“ und das „Setting“. Sobald der Roboter den Hauptcharakter kennt, muss er wissen, wo dieser steht und was sonst noch um ihn herum passiert. RoRA stellt sicher, dass Stücke außerhalb des unmittelbaren Bereichs des Hauptcharakters gesammelt werden, damit der Roboter nicht nur ein schwebendes Trikot sieht, sondern versteht, dass es sich auf einem Spieler in einem Stadion befindet. Es vermeidet aktiv, zu viele Teile aus demselben Bereich zu nehmen (was redundant wäre), und sucht stattdessen aktiv nach neuen Informationen in den umliegenden Bereichen.

Drittens bewahrt RoRA ein kleines Budget für Feingliedrige Details (Fine-Grained Detail) auf. Dies sind die „Plot-Twists“ oder kleinen Hinweise, wie winziger Text auf einem Schild, die Textur eines Stoffes oder ein kleines Objekt, das in einer Ecke versteckt ist. Da diese Details oft klein und leicht zu übersehen sind, gibt RoRA ihnen eine spezielle „Rettungsmission“, um sicherzustellen, dass sie nicht versehentlich gelöscht werden, nur weil sie nicht das Größte im Bild sind.

Die Magie von RoRA liegt darin, wie es diese Rollen organisiert. Es fragt nicht einfach: „Welche Teile sind am glänzendsten?“ Stattdessen fragt es: „Haben wir unseren Hauptcharakter? Haben wir das Setting? Haben wir die kleinen Hinweise?“ Es nutzt eine intelligente Karte namens Attention-Anchored Regions (AARs), um zu markieren, wo sich der Hauptcharakter befindet, sodass es genau weiß, wo es nach dem Setting (außerhalb der Karte) und wo es nach den Hinweisen (innerhalb der Karte) suchen muss.

Die Ergebnisse sind beeindruckend. Bei Tests mit leistungsstarken Robotergehirnen wie LLaVA und Qwen-VL gelang es RoRA, die Anzahl der Bildteile massiv zu reduzieren – in einigen Modellen um bis zu 88,9 % – und dabei dennoch 96,5 % der ursprünglichen Genauigkeit beizubehalten. Tatsächlich war es bei einigen Tests so effizient, dass es die Denkzeit des Roboters um 24,6 % beschleunigte, was es 1,33 Mal schneller machte als die ungeschnittene Version. Noch wichtiger ist, dass es nicht nur geraten hat; es hat dies auf echter Hardware (einer NVIDIA H800 GPU) gemessen, wobei es nur 0,7 Millisekunden dauert, um zu entscheiden, welche Teile behalten werden sollen.

Im Gegensatz zu älteren Methoden, die versehentlich auf die falschen Teile eines Bildes fokussieren könnten oder in einer Schleife stecken bleiben könnten, bei der jedes Teil mit jedem anderen Teil verglichen wird (was langsam und teuer ist), ist RoRA schnell und fokussiert. Es hat bewiesen, dass wir, indem wir den Bildteilen spezifische „Aufgaben“ zuweisen, anstatt nur die „besten“ auszuwählen, diese superintelligenten Roboter dazu bringen können, die Welt klar, schnell und ohne Kopfschmerzen durch zu viele Daten zu sehen.