Putting Registers to Work: Task Registers for Token Pruning in Vision Transformers
Dieses Paper schlägt Task-Adaptive Pruning (TAP) vor, eine Methode, die aufgabenspezifische Register nutzt, um Token dynamisch zu ranken und Pruning-Budgets über verschiedene Vision-Transformer-Aufgaben hinweg zu verteilen, wodurch signifikante Durchsatzverbesserungen bei gleichzeitig wettbewerbsfähiger Leistung in der Bildklassifizierung, semantischen Segmentierung und Objekterkennung erzielt werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten ein superintelligentes Robotergehirn, das Bilder betrachtet und versucht zu verstehen, was darin enthalten ist. Dieses Gehirn ist wie ein riesiges Team aus winzigen Arbeitern aufgebaut, von denen jeder ein Stück eines Puzzles (ein „Token“) hält. Um eine Entscheidung zu treffen, muss jeder Arbeiter mit jedem anderen Arbeiter chatten. Das Problem dabei? Wenn das Bild groß ist, explodiert die Anzahl der Chats, und das Gehirn wird überfordert, langsam und hungrig nach Elektrizität. Wissenschaftler haben versucht, dies zu beheben, indem sie dem Gehirn sagen, dass es die langweiligen Teile des Bildes ignorieren und nur die wichtigen behalten soll – ein wenig so, als würde ein Lehrer einer Klasse sagen, dass sie nur den Schülern zuhören soll, die etwas Kluges zu sagen haben. Dies wird „Token Pruning“ genannt. Aber hier ist der knifflige Teil: Was als „klug“ oder „wichtig“ gilt, ändert sich je nachdem, was der Roboter gerade versucht zu tun. Ein Teil eines Bildes, das entscheidend ist, um eine Katze aufzuspüren, könnte völlig nutzlos sein, wenn es darum geht, die Farbe des Himmels herauszufinden. Lange Zeit versuchten Wissenschaftler, dieselbe „Ignorier-Liste“ für jeden einzelnen Job zu verwenden, aber es stellt sich heraus, dass eine Einheitsgröße selten für alle passt.
Dieses Paper mit dem Titel „Putting Registers to Work“ befasst sich genau mit diesem Problem. Die Autoren, ein Team der Queen Mary University of London, entdeckten, dass die Regeln dafür, welche Bildteile man wegwirft, je nach Aufgabe völlig unterschiedlich sind. Sie fanden heraus, dass eine Strategie, die hervorragend funktioniert, um Objekte aufzuspüren (wie einen Hund in einem Park zu finden), die Fähigkeit des Roboters, eine Szene zu verstehen (wie zum Beispiel festzustellen, ob dieser Hund auf Gras oder Pflasterstein sitzt), tatsächlich beeinträchtigen kann. Um dies zu lösen, erfanden sie ein cleveres neues System namens Task-Adaptive Pruning (TAP).
Stellen Sie sich das Robotergehirn wie eine geschäftige Küche vor. Normalerweise benutzt der Chefkoch (die Pruning-Policy) dasselbe Rezept, um zu entscheiden, welche Zutaten er wegwirft, egal ob er gerade eine Suppe oder einen Kuchen kocht. Die Autoren erkannten, dass dies ein Fehler war. Stattdessen gaben sie der Küche eine Reihe spezieller „Task Registers“ – denken Sie an sie als kluge, magische Rezeptkarten, die sich ändern, je nachdem, welches Gericht gerade gekocht wird. Wenn der Roboter eine Katze identifizieren muss, zieht er die „Katzen-Karte“, die dem Gehirn genau sagt, welche Teile des Bildes es behalten und welche es ignorieren soll. Wenn er eine ganze Szene erfassen muss, tauscht er sie gegen die „Raum-Karte“ aus. Diese Karten entscheiden nicht nur, was weggeworfen wird; sie entscheiden auch darüber, wann es weggeworfen wird, während das Gehirn das Bild Schicht für Schicht verarbeitet.
Die Forscher testeten dies, indem sie ein Standard-Robotergehirn „einfroren“ und versuchten, verschiedene „Ignorier-Regeln“ auszuprobieren, ohne es neu zu trainieren. Dabei machten sie drei große Überraschungen. Erstens: Der beste Weg, wichtige Teile für das Finden von Objekten auszuwählen, ist genau das Gegenteil des besten Wegs für das Kartieren von Szenen. Zweitens: Der Roboter reagiert sehr empfindlich darauf, wie er die allerersten Verarbeitungsschichten handhabt, besonders bei einfachen Aufgaben wie der Unterscheidung, ob ein Bild eine Katze oder einen Hund zeigt. Drittens: Wenn der Robgel ein Stück des Bildes wegwirft, muss er sich daran erinnern, wie es aussah, um die Lücke später zu füllen. Aber hier ist der Clou: Beim Finden von Objekten ist es besser, einfach so zu tun, als wäre das Stück nie da gewesen, und einen nahen Nachbarn zu nutzen, um die Lücke zu füllen. Für das Kartieren von Szenen ist es besser, sich tatsächlich an den exakten Unterschied zu erinnern und ihn später wieder einzufügen.
Um all dies zu lösen, nutzt TAP eine einzige „aktive“ Registerkarte für den aktuellen Job. Diese Karte reist durch das Gehirn, beobachtet das Bild und trifft drei Entscheidungen im laufenden Betrieb:
- Selektion (Selection): Welche Tokens behalten werden und welche verworfen werden.
- Budget: Wie viele Tokens in jedem Schritt verworfen werden (vielleicht früh ein paar wegwerfen, später mehr, oder umgekehrt).
- Wiederherstellung (Recovery): Wie viel des „vergessenen“ Details zurückgebracht werden muss, wenn der Roboter eine detaillierte Karte zeichnen muss.
Die Ergebnisse sind beeindruckend. Durch die Verwendung dieser aufgabenbezogenen Karten wurde der Roboter viel schneller, ohne seine Intelligenz zu verlieren. Bei einem Standardtest für das Finden von Objekten (COCO) wurde er 1,32-mal schneller, während seine Genauigkeit fast gleich blieb (nur 0,3 Punkte Abzug). Bei einem Test für das Kartieren von Szenen (ADE20K) wurde er 1,30-mal schneller bei einem minimalen Qualitätsverlust. Selbst bei der einfachen Bildklassifizierung blieb er wettbewerbsfähig.
Die Autoren schlagen vor, dass dieser Ansatz ein Schritt hin zu einem wirklich einheitlichen Robotergehirn ist – eines, das zwischen dem Aufspüren eines Autos, dem Malen eines Straßenbildes oder dem Lesen eines Schildes wechseln kann, und zwar unter Verwendung derselben Kern-Engine, aber mit unterschiedlichen „Denkweisen“, die im laufenden Betrieb aktiviert werden. Sie haben nicht nur geraten, dass dies funktionieren würde; sie haben es bewiesen, indem sie das Gehirn einfroren, um einzelne Regeln zu testen, und zeigten, dass ihr neues „Register“-System die alten „Einheitslösungen“ konsequent übertrifft. Es ist eine Erinnerung daran, dass man in der Welt der KI manchmal das Klügste tun kann, indem man genau weiß, wann man das Rauschen ignorieren muss – und dass die Definition von „Rauschen“ davon abhängt, was man eigentlich sehen will.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.