MergeOver: Post-Training Token Merging for Recursive Vision Transformers
MergeOver ist eine Post-Training-Methode, die Token Merging in rekursiv gewichtsteilte Vision Transformer integriert, um den Speicherverbrauch und die Latenz auf Edge-Geräten signifikant zu reduzieren und gleichzeitig eine hohe Genauigkeit ohne kostspieliges Retraining beizubehalten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, Katzen, Hunde und Autos allein durch das Betrachten von Bildern zu erkennen. Um dies zu tun, nutzt der Roboter eine spezielle Art von Gehirn, das man „Vision Transformer“ nennt. Stellen Sie sich dieses Gehirn wie ein Team aus winzigen Detektiven vor, bei dem jedes einzelne Pixel eines Fotos seinen eigenen Detektiv bekommt. Je mehr Pixel vorhanden sind, desto mehr Detektive werden benötigt, und desto mehr müssen sie miteinander kommunizieren, um herauszufinden, was sie gerade sehen. Das ist großartig für die Genauigkeit, stellt aber ein riesiges Problem für kleine Computer dar, wie zum Beispiel Ihre Smartwatch oder einen Raspberry Pi, da diese nicht über genügend Speicher oder Akkuleistung verfügen, um Tausende von gleichzeitig chattenen Detektiven zu bewältigen.
Um dieses Problem zu lösen, haben Wissenschaftler zwei Haupttricks ausprobiert. Der erste ist das „rekursive Gewichtsteilen“ (recursive weight-sharing), was so ist, als hätte man einen Super-Detektiv, der dieselbe Aufgabe immer und immer wieder erledigt und dabei seine Notizen wiederverwendet, anstatt für jeden Schritt ein neues Team einzustellen. Das spart Platz, macht die Arbeit des Detektivs aber langsamer und schwerfälliger. Der zweite Trick ist das „Token-Merging“ (token merging), bei dem man erkennt, dass einige Detektive nach demselben Ding Ausschau halten, und sie deshalb einfach zu einem großen Detektiv verschmilzt, um Zeit zu sparen. Die große Frage, die diese Arbeit aufwirft, ist: Was passiert, wenn man versucht, beide Tricks gleichzeitig anzuwenden, ohne den ganzen Roboter von Grund auf neu trainieren zu müssen? Es ist, als würde man versuchen, einem einzelnen Detektiv beizubringen, mit seinen Klonen zu verschmelzen, während er bereits arbeitet, ohne dabei die Karte zu ruinieren, der er folgt.
Die Autoren dieser Arbeit, Junseo Kim und sein Team von der Universität Twente, sagen, dass der Versuch, diese beiden Methoden zu mischen, normalerweise in einer Katastrophe endet, weil die Regeln des Spiels gebrochen werden. Sie schlagen eine neue Methode namens MergeOver vor, um dieses Rätsel zu lösen. Stellen Sie sich das Gehirn des Roboters wie ein mehrstöckiges Gebäude vor, in dem die Detektive in die oberen Etagen ziehen. Jedes Mal, wenn sie in eine neue Etage wechseln, erfordert die Architektur des Gebäudes, dass sie in einem perfekten quadratischen Gitter stehen. Aber das Verschmelzen von Detektiven bringt dieses quadratische Gitter normalerweise durcheinander und hinterlässt leere Stellen, die den Aufzug blockieren. MergeOver führt einen cleveren „Unmerge“-Trick ein: Es spaltet die verschmolzenen Detektiven vorübergehend wieder in ihre ursprünglichen Gitterpositionen auf, nur lange genug, um den Aufzug zu passieren, und verschmilzt sie dann wieder, sobald sie sicher auf der nächsten Etage sind. Dies ermöglicht es dem Roboter, seinen Speicherverbrauch niedrig zu halten, ohne neu trainiert werden zu müssen.
Das Team testete dies auf einem berühmten Bilddatensatz namens ImageNet-1K, unter Verwendung verschiedener Computer, von leistungsstarken Grafikkarten bis hin zu einem winzigen Raspberry Pi 5. Sie fanden heraus, dass MergeOver funktioniert, aber die Ergebnisse hängen stark davon ab, wie viele Bilder man dem Roboter gleichzeitig zum Betrachten gibt (die „Batch-Größe“). Wenn der Roboter immer nur ein Bild zur Zeit betrachtet, macht die zusätzliche Arbeit des Verschmelzens und Entverschmelzens die Sache tatsächlich etwas langsamer. Wenn der Roboter jedoch 16 Bilder gleichzeitig betrachtet, geschieht die Magie. Auf einer leistungsstarken GPU reduzierte dieses Setup den benötigten Speicher um 38,4 % und machte den Roboter sogar um 21,7 % schneller. Auf dem winzigen Raspberry Pi machte es den Roboter bei einer Batch-Größe von 16 um 17,6 % schneller. Das Beste daran ist, dass der Roboter nicht viel dümmer wurde; seine Genauigkeit sank nur um 1,47 Prozentpunkte, was die Autoren als einen kleinen Preis für einen so großen Geschwindigkeitsschub ansehen.
Die Autoren weisen jedoch vorsichtig darauf hin, dass dies kein Zauberstab ist, der alles sofort perfekt löst. Die Autoren argumentieren ausdrücklich dagegen, dass man dies einfach auf jedes beliebige Modell aufsetzen kann und erwarten darf, dass es überall perfekt funktioniert. Sie stellten fest, dass die Methode bei Aufgaben mit einem einzelnen Bild (Batch-Größe 1) auf leistungsstarken Computern die Prozesse tatsächlich verlangsamt, da der Aufwand für den „Unmerge“-Trick den Nutzen für nur ein einzelnes Bild nicht rechtfertigt. Sie weisen auch darauf hin, dass ihre Methode zwar viel Speicher spart und die Batch-Verarbeitung beschleunigt, aber nicht unbedingt alle anderen Arten von effizienten KI-Modellen schlägt, die von Grund auf auf Schnelligkeit ausgelegt wurden. Die Ergebnisse sind gemessen und real, aber sie legen nahe, dass dies eher ein vielversprechender Ausgangspunkt – eine „Baseline“ – für die Kombination dieser Techniken ist, als eine endgültige, perfekte Lösung. Die Autoren schlagen vor, dass zukünftige Arbeiten MergeOver eventuell mit anderen Tricks, wie etwa einer besseren Software-Optimierung, kombinieren müssten, um es noch schneller zu machen, insbesondere für jene Aufgaben mit einzelnen Bildern auf kleinen Geräten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.