Moderne Systeme der künstlichen Intelligenz, die sehen und sprechen können, werden bemerkenswert leistungsfähig, tragen jedoch eine schwere Rechenlast mit sich. Diese Vision-Language-Modelle arbeiten, indem sie zuerst ein Bild in eine lange Sequenz kleiner digitaler Stücke umwandeln, die oft als Token bezeichnet werden und verschiedene Teile des Bildes repräsentieren. Eine Standardfotografie kann in hunderte dieser Stücke zerlegt werden. Das System verarbeitet diese gesamte Sequenz dann zusammen mit dem Text, ähnlich wie ein Mensch einen Satz liest, während er ein Diagramm betrachtet. Das Problem ist, dass die für die Verknüpfung dieser Stücke erforderlichen mathematischen Operationen exponentiell ansteigen, wenn die Anzahl der Stücke zunimmt. Wenn ein Bild 576 Token erzeugt, muss der Computer eine gewaltige Menge an Arbeit leisten, um zu verstehen, wie diese Teile miteinander in Beziehung stehen, obwohl viele dieser Token unwichtige Hintergrunddetails wie eine kahle Wand oder ein Stück Himmel darstellen. Diese Ineffizienz macht es schwierig, diese leistungsstarken Systeme auf Standardhardware auszuführen oder sie für Echtzeitaufgaben wie die Videoanalyse einzusetzen.

Forscher haben schon lange versucht, dies zu lösen, indem sie die unnötigen Stücke entfernen, bevor das System mit der Arbeit beginnt. Einige Methoden wirken wie ein Filter am ganz frühen Anfang und verwerfen Token allein basierend darauf, wie das Bild aussieht. Andere warten, bis das System begonnen hat, Text und Bild gemeinsam zu verarbeiten, und entfernen Teile, die für die spezifische Frage irrelevant erscheinen. Beide Ansätze haben jedoch eine Schwachstelle. Die frühen Filter werfen oft wichtige Details weg, weil sie nicht wissen, wonach der Benutzer fragt, während die späteren Filter Energie verschwenden, indem sie das gesamte Bild verarbeiten, bevor sie überhaupt etwas löschen können. Eine neue Studie stellt einen vereinheitlichten Ansatz vor, der die Stärken beider Methoden kombiniert und einen effizienteren Pfad für diese intelligenten Systeme schafft.

Die Forscher unter der Leitung von Jianhua Cui und Meizhou Ding entwickelten ein Framework namens UniPrune, das die Token-Reduktion eher als eine zweistufig Reise denn als ein einzelnes Ereignis behandelt. Stellen Sie sich vor, Sie packen einen Koffer für eine Reise, bei der Sie das genaue Wetter noch nicht kennen. Sie würden nicht einfach alles hineinwerfen und hoffen, dass es passt, noch würden Sie versuchen zu entscheiden, was Sie behalten, nachdem Sie den ganzen Koffer bereits gepackt haben. Stattdessen könnten Sie zuerst ähnliche Gegenstände gruppieren und die repräsentativsten behalten, und sobald Sie Ihr Ziel kennen, treffen Sie eine zweite, präzisere Auswahl. Dies ist im Wesentlichen das, was UniPrune tut. Es führt zuerst eine grobe Bereinigung der Bilddaten anhand von visuellen Mustern durch und führt dann, sobald das System den Kontext einer Frage versteht, eine zweite, schärfere Bereinigung durch.

Der erste Schritt dieses Prozesses findet direkt nach dem Scannen des Bildes statt, noch bevor das Sprachmodell involviert wird. Das System gruppiert die visuellen Token in Cluster basierend auf ihrer Ähnlichkeit, ähnlich wie man einen Stapel gemischter Fotos nach ihrem allgemeinen Thema sortiert. Aus jeder Gruppe behält es das wichtigste Token und verwirft den Rest. Dies entfernt die offensichtlichen Redundanzen, wie etwa mehrere Token, die denselben blauen Himmelsabschnitt repräsentieren. Die Forscher erkannten jedoch, dass es riskant sein könnte, die Anzahl der Token in diesem Stadium einfach nur zu halbieren. Wenn das System zu aggressiv und zu früh kürzt, könnte es ein Token verlieren, das für die Beantwortung einer spezifischen Frage später entscheidend ist. Um dies zu lösen, führten sie eine dynamische Budgetierungsstrategie ein. Anstatt einer festen Regel zu folgen, wie viele Token in dieser ersten Phase beibehalten werden sollen, misst das System, wie komplex das Bild ist. Ein einfaches Bild mit einem klaren Subjekt erhält ein strengeres Budget, während eine komplexe, belebte Szene mehr Token behalten darf. Dies stellt sicher, dass das System genügend Details behält, um schwierige Fragen zu bewältigen, ohne Energie für einfache Aufgaben zu verschwenden.

Sob_dem diese erste Auswahl getroffen wurde, werden die verbleibenden Token an das große Sprachmodell übergeben, welches beginnt, sie zusammen mit dem Text zu verarbeiten. Hier setzt das System eine zweite Pruning-Strategie ein, die wie eine Pyramide funktioniert. Während die Daten durch die tieferen Schichten des Modells wandern, entfernt das System schrittweise mehr Token. Die Logik dah besteht, dass es mit zunehmendem Verständnis des Bildes im Kontext der Frage immer klarer wird, welche Informationen nicht mehr benötigt werden. Die Forscher fanden heraus, dass der effektivste Weg, die Arbeit zwischen diesen beiden Stufen aufzuteilen, nicht darin besteht, die Token gleichmäßig zu verteilen, sondern einem spezifischen mathematischen Gleichgewicht zu folgen. Sie entdeckten, dass die ideale Anzahl der nach der ersten Stufe beizubehaltenden Token etwa die Quadratwurzel aus dem Produkt der Startanzahl und der Zielanzahl ist. Diese Faustregel, die sie ein „informationsbewusstes Budget“ nennen, ermöglicht es dem System, den optimalen Punkt zu finden, an dem es genügend Rechenleistung spart, ohne die Fähigkeit zur präzisen Beantwortung von Fragen zu opfern.

Um sicherzustellen, dass die erste Stufe nicht versehentlich Token löscht, die die zweite Stufe nützlich gefunden hätte, fügten die Forscher eine dritte Ebene der Intelligenz hinzu. Sie analysierten, wie die visuellen Token innerhalb des Bild-Encoders miteinander interagieren. Sie fanden heraus, dass einige Token als globale Integratoren fungieren, die Informationen über das gesamte Bild hinweg verbinden, während andere nur lokale Detektoren sind. Indem sie diesen globalen Integratoren während des ersten Schnitts ein höheres Gewicht gaben, stellte das System sicher, dass die an das Sprachmodell weitergegebenen Token ein qualitativ hochwertiges Fundament bilden. Diese „Cross-Stage-Kontinuität“ bedeutet, dass die zweite Stufe einen besseren Ausgangspunkt hat, was es ihr ermöglicht, später intelligentere Entscheidungen darüber zu treffen, was zu entfernen ist.

Die Ergebnisse der Tests dieses Frameworks auf zwei großen Familien von Vision-Language-Modellen waren beeindruckend. Als die Forscher die Systeme an ihre extremen Grenzen trieben und nur einen winzigen Bruchteil der ursprünglichen Token behielten – manchmal nur 24 von 576 – übertraf die neue Methode bestehende Techniken deutlich. Single-Stage-Methoden, die versuchen, den gesamten Schnitt auf einmal durchzuführen, sahen unter diesen Bedingungen einen starken Rückgang ihrer Genauigkeit. Im Gegensatz dazu behielt der zweistufige UniPrune-Ansatz eine hohe Leistung bei und beantwortete Fragen über Objekte und Szenen korrekt, die andere Methoden übersahen. Beispielsweise behielt die neue Methode bei einem Standardtest des visuellen Verständnisses über 90 % der Leistung des vollständigen, unkomprimierten Modells bei, während sie nur einen Bruchteil der Rechenleistung beanspruchte.

Neben der Genauigkeit untersuchten die Forscher auch die praktischen Vorteile für den Betrieb dieser Modelle auf echter Hardware. Durch die Reduzierung der Anzahl der Token zu einem frühen Zeitpunkt im Prozess senkte das System den Spitzenwert des benötigten Speichers drastisch. Dies ist ein entscheidender Faktor für den Einsatz dieser Technologien auf Geräten mit begrenzten Ressourcen. Die Forscher berechneten, dass die neue Methode die gesamte Rechenarbeit im Vergleich zum Ausführen des Modells ohne jegliches Pruning um mehr als die Hälfte reduzierte, und sogar noch stärker im Vergleich zu Methoden, die erst am Ende die Kürzung vornehmen. Der durch die neuen intelligenten Budgetierungs- und Scoring-Mechanismen hinzugefügte Overhead war vernachlässigbar und nahm weniger als ein Prozent der Gesamtzeit ein, was bedeutet, dass die Effizienzgewinne fast ausschließlich rein sind.

Die Studie legt nahe, dass der Schlüssel zu effizienter künstlicher Intelligenz nicht nur darin besteht, Abkürzungen zu nehmen, sondern zu verstehen, wo und wann man kürzt. Indem die Forscher anerkannten, dass visuelle Redundanz in zwei verschiedenen Formen auftritt – eine basierend auf dem Bild selbst und eine basierend auf der jeweiligen Aufgabe –, schufen sie ein System, das beide bewältigt. Die Ergebnisse deuten darauf hin, dass ein vereinheitachter, mehrstufiger Ansatz einem Versuch, das Problem in einem einzigen Schritt zu lösen, überlegen ist. Diese Arbeit bietet einen klaren Weg nach vorn, um leistungsstarke Vision-Language-Modelle schneller und zugänglicher zu machen, und beweist, dass wir mit der richtigen Strategie das Überflüssige entfernen können, ohne die Essenz dessen zu verlieren, was diese Systeme intelligent macht.