🤖 AI

Accelerating Vision Transformers on Brain Processing Unit

Dieses Paper schlägt eine neuartige Methode vor, um Vision Transformer auf CNN-optimierten Brain Processing Units (BPUs) zu beschleunigen, indem das Modell so umstrukturiert wird, dass lineare Schichten durch Faltungsoperatoren ersetzt werden, was eine Gewichtvererbung ohne erneutes Training ermöglicht und gleichzeitig signifikante Beschleunigungen bei der Inferenz mit minimalem Genauigkeitsverlust erzielt.

Ursprüngliche Autoren: Jinchi Tang, Yan Guo

Veröffentlicht 2026-02-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jinchi Tang, Yan Guo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen super-effizienten, spezialisierten Fabrikarbeiter namens BPU (Brain Processing Unit). Dieser Arbeiter ist ein Meister darin, 4D-Lego-Steine zu montieren (die Bilddaten wie Höhe, Breite, Farbkanäle und Batches repräsentieren). In der Welt der künstlichen Intelligenz ist dieser Arbeiter der Experten-Maurer für den Bau von CNNs (Convolutional Neural Networks), welche die traditionellen „Steinsetzer“ der Computer Vision sind.

Doch ein neuer, revolutionärer Architekt namens Vision Transformer (ViT) ist angekommen. Anstatt mit 4D-Lego-Steinen zu bauen, arbeitet der ViT mit 3D-Papierstapeln (Sequenzen von Daten). Er ist unglaublich intelligent und liefert oft bessere Ergebnisse, aber er spricht eine andere Sprache. Wenn Sie versuchen, den BPU-Fabrikarbeiter einzustellen, um einen ViT zu bauen, wird er verwirrt. Er ist darauf ausgelegt, Steine zu stapeln, nicht Papierstapel zu sortieren. Infolgedessen muss der ViT von einem viel langsameren, universellen Arbeiter (der CPU) gebaut werden, während der super-schnelle BPU untätig herumsteht.

Die Lösung aus Papier: Der „Formwandler“-Trick

Die Autoren dieser Arbeit, Jinchi Tang und Yan Guo, kamen auf eine clevere Umgehungslösung. Sie haben nicht versucht, dem BPU beizubringen, Papierstapel zu lesen (was schwierig wäre und ein erneutes Training des gesamten Systems erfordern würde). Stattdessen haben sie die Papierstapel so umgestaltet, dass sie wie Lego-Steine aussehen.

So haben sie es gemacht, unter Verwendung einfacher Analogien:

Das Problem der Linearen Schicht (Linear Layer): In einem Standard-ViT nutzt das Gehirn „Lineare Schichten“, um Informationen zu verarbeiten. Stellen Sie sich diese als einen Übersetzer vor, der eine Liste von Wörtern liest und eine neue Liste ausgibt. Der BPU kann keine Listen lesen; er versteht nur 4D-Gitter.
- Die Lösung: Die Autoren haben den „Übersetzer“ genommen und seine Anweisungen so umgestaltet, dass sie wie ein 1x1 Lego-Stein aussieht. Mathematisch gesehen erledigt er exakt dieselbe Aufgabe, aber jetzt passt er perfekt in die BPU-Fabrik. Es ist, als würde man eine flache Karte zu einem Zylinder rollen, nur damit sie in ein bestimmtes Rohr passt, ohne den Inhalt der Karte zu verändern.
Das Problem der Schichtnormalisierung (Layer Normalization): Der ViT verwendet auch einen Schritt namens „Layer Normalization“, um seine Daten im Gleichgewicht zu halten (wie ein Thermostat, der die Temperatur in einem Raum konstant hält). Der BPU hat keinen eingebauten Thermostat.
- Die Lösung: Die Autoren haben einen „Thermostaten“ aus den vorhandenen Lego-Steinen des BPU gebaut. Sie erschufen eine spezielle Kette aus winzigen Steinen (1x1 Konvolutionen), die den Durchschnitt und die Varianz berechnet und so den Thermostaten mithilfe der Werkzeuge nachahmt, die der BPU bereits besitzt.

Die Magie von „Kein Nachtraining“ (No Retraining)

Normalerweise, wenn man den Bauplan eines Gebäudes ändert, muss man es abreißen und von Grund auf neu aufbauen. Aber weil die Autoren bei ihrem „Formwandler-Trick“ so sorgfältig waren, dass ihre „Lego-Steine“ mathematisch identisch mit den ursprünglichen „Papierstapeln“ sind, funktionieren die ursprünglichen Baupläne (Gewichte) weiterhin perfekt.

Sie mussten das Modell nicht neu trainieren oder ihm neue Dinge beibringen. Sie haben einfach ihr vortrainiertes „DeiT“-Modell (eine populäre, effiziente Version des ViT) genommen, ihren Formwandler-Trick angewendet und es dem BPU übergeben. Der BPU erkannte das neue Format sofort und arbeitete mit voller Geschwindigkeit.

Die Ergebnisse: Geschwindigkeit vs. Genauigkeit

Das Team testete dies bei zwei verschiedenen Aufgaben: der Erkennung von tausenden Objekten (ImageNet) und dem Sortieren von Blumen.

Der Kompromiss: Wenn man ein Modell konvertiert, um auf dieser spezialisierten Hardware zu laufen, verliert man normalerweise ein kleines bisschen an Präzision (wie beim Wechsel von einem hochauflösenden Foto zu einem leicht komprimierten JPEG).
- Beim großen ImageNet-Test sank die Genauigkeit des DeiT-Base Modells nur um 1,4 % (von 81,8 % auf 80,4 %).
- Beim Blumen-Test war der Abfall sogar noch geringer, nämlich nur 0,5 %.
Die Belohnung: Im Austausch für diesen minimalen Genauigkeitsverlust wurde das Modell viel schneller.
- Das größte Modell (DeiT-Base) lief auf dem BPU 3,8-mal schneller als auf der Standard-CPU.
- Die kleineren Modelle zeigten ebenfalls Geschwindigkeitssteigerungen, die zwischen 1,3x und 2,1x lagen.

Eine amüsante Entdeckung

Während ihrer Tests bemerkten die Autoren etwas Interessantes. Manchmal waren die offiziellen Etiketten auf den Testbildern falsch (z. B. war ein Bild eines „Löwen“ als „Affe“ beschriftet). Das ursprüngliche DeiT-Modell identifizierte den Löwen korrekt, aber das System markierte dies als Fehler, weil das Label fehlerhaft war. Das neue, schnelle Modell der Autoren identifizierte den Löwen ebenfalls korrekt. Dies deutet darauf darauf hin, dass das Modell eigentlich noch intelligenter ist, als die offiziellen Werte vermuten lassen, da es die „Tippfehler“ in den Testdaten durchschauen kann.

Zusammenfassend

Diese Arbeit ist das erste Mal, dass es jemandem gelungen ist, einen Vision Transformer (den „Papierstapel“-Architekten) erfolgreich auf einem spezialisierten Brain Processing Unit (der „Lego“-Fabrik) zum Laufen zu bringen, ohne den Architekten von Grund auf neu entwerfen zu müssen. Durch die geschickte Umgestaltung der Mathematik, um sie an die Hardware anzupassen, erreichten sie einen 3,8-fachen Geschwindigkeitsvorteil bei fast keinem Verlust an Intelligenz. Dies beweist, dass diese fortschrittlichen KI-Modelle endlich effizient auf spezialisierten, eingebetteten Chips laufen können.

Technisches Resümee: Beschleunigung von Vision Transformern auf der Brain Processing Unit

Problemstellung
Die Arbeit adressiert eine kritische architektonische Diskrepanz zwischen spezialisierter neuronaler Hardware und modernen Vision Transformer (ViT)-Modellen. Speziell ist die Horizon Brain Processing Unit (BPU) für vierdimensionale Faltungsvorgänge (INT8-quantisiert) optimiert, wie sie typisch für Convolutional Neural Networks (CNNs) sind. ViT-Modelle, wie etwa der Data-efficient Image Transformer (DeiT), verlassen sich jedoch stark auf Linear Layers und Layer Normalization (LayerNorm), die auf dreidimensionalen Datenströmen operieren. Diese Diskrepanz verhindert, dass die BPU die Kernberechnungen von ViTs beschleunigt, was dazu führt, dass solche Modelle auf Allzweck-CPUs laufen müssen und die Beschleunigungsfähigkeiten der Hardware vergeben.

Methodik
Um diese Inkompatibilität ohne die Notwendigkeit eines Modell-Retrainings zu lösen, schlagen die Autoren eine strukturelle Reformierung der DeiT-Architektur vor. Die Kernmethodik besteht darin, die nicht-konvolutionalen Operatoren durch mathematisch äquivalente konvolutionale Operatoren zu ersetzen, die die BPU beschleunigen kann:

Transformation der Linear Layer: Linear Layers, die typischerweise 3D-Daten $(B, N, C)$ verarbeiten, werden in punktweise Konvolutionen transformiert. Dies wird erreicht, indem die Gewichtmatrix $W \in \mathbb{R}^{O \times I}$ mittels Unsqueeze-Operationen in einen 4D-Tensor $W' \in \mathbb{R}^{O \times I \times 1 \times 1}$ umgeformt wird. Der Eingabetensor wird analog dazu von $(B, N, C)$ nach $(B, C, 1, N)$ transponiert, um den Anforderungen des 4D-Datenstroms der BPU zu entsprechen.
Reformulierung der LayerNorm: Die Layer Normalization Operation wird in eine Sequenz von $1 \times 1$ Konvolutionsoperationen zerlegt. Der Mittelwert wird mittels einer Konvolution mit Gewichten von $1/H$ berechnet (wobei $H$ die Hidden Dimension ist), und die Varianz wird durch Subtraktion des Mittelwerts, Quadrieren des Ergebnisses und Anwendung einer zweiten Konvolution berechnet. Die lernbaren Parameter $\gamma$ und $\beta$ werden umgeformt, um den Eingangsdimensionen zu entsprechen.
Gewichtserbe (Weight Inheritance): Ein entscheidender Aspekt dieses Ansatzes ist, dass das restrukturierte Modell kein Retraining oder Fine-Tuning erfordert. Die ursprünglichen vortrainierten Gewichte aus Standard-DeiT-Checkpoints werden direkt von den restrukturierten konvolutionalen Layern übernommen.
Quantisierung: Die modifizierten Modelle werden durch das Horizon BPU Algorithmus-Toolchain verarbeitet, wobei Post-Training Quantization (PTQ) mit einer Min-Max-Strategie und einem Kalibrierungsdatensatz verwendet wird, um die Modelle in die INT8-Präzision zu konvertieren.

Zentrale Beiträge

Erste erfolgreiche Implementierung: Die Autoren behaupten, dies sei die erste erfolgreiche Bereitstellung von Vision Transformern auf der BPU-Plattform, die deren Hardware-Beschleunigungsfähigkeiten voll ausschöpft.
Architekturanpassung: Sie schlagen eine neuartige Methode vor, um DeiT durch Ersetzung von Linear- und LayerNorm-Layern durch äquivalente konvolutionale Operatoren zu restrukturieren, was eine INT8-Beschleunigung ohne architektonischen Verlust ermöglicht.
Bereitstellung ohne Retraining: Die Methode erlaubt die direkte Übernahme vortrainierter Gewichte, wodurch der Rechenaufwand und die Komplexität eines Retrainings oder Fine-Tunings des gesamten Modells für die neue Operatorstruktur entfallen.
Umfassende Validierung: Der Ansatz wird auf zwei unterschiedlichen Datensätzen validiert: dem groß angelegten ImageNet-Datensatz und einem kleineren Datensatz zur Klassifizierung von Blumen.

Experimentelle Ergebnisse
Das Paper berichtet über umfangreiche Experimente, die die ursprünglichen DeiT-Modelle mit den vorgeschlagenen BPU-optimierten, quantisierten Versionen vergleichen:

ImageNet-Performance:
- Genauigkeit: Das quantisierte DeiT-Base Modell erreicht eine 80,4 % Top-1 Genauigkeit auf ImageNet, was nur ein Sinken um 1,4 % gegenüber dem Original von 81,8 % ist. Destillierte Varianten zeigen eine noch größere Resilienz, wobei das DeiT-Base Dist. eine Genauigkeit von 81,7 % beibehält (ein Rückgang von 1,7 %).
- Anomalieerkennung: Die Autoren beobachteten, dass sowohl die ursprünglichen als auch die quantisierten Modelle die Labels für mehrere Bilder im ImageNet-Validierungsset korrekt vorhersagten, die in den offiziellen Annotationen als falsch markiert bekannt waren, was darauf hindeutet, dass die wahre Genauigkeit der Modelle etwas höher sein könnte als die berichteten Metriken.
Blumenklassifizierungs-Performance:
- Auf einem Datensatz mit 5 Blumenklassen erreichte das quantisierte DeiT-Small Modell eine Genauigkeit von 97,4 %, was nur ein Sinken um 0,3 % gegenüber der Vollpräzisionsversion darstellt.
Inferenz-Beschleunigung:
- Die quantisierten Modelle zeigten signifikante Inferenz-Beschleunigungen auf der BPU-Hardware im Vergleich zu den Floating-Point-Pendants.
- DeiT-Base: Erzielte eine 3,82-fache Beschleunigung.
- DeiT-Small: Erzielte eine 2,16-fache Beschleunigung.
- DeiT-Tiny: Erzielte eine 1,30-fache Beschleunigung.
- Die Ergebnisse deuten darauf hin, dass die Vorteile von Quantisierung und Hardware-Beschleunigung bei größeren Modellarchitekturen ausgeprägter sind.

Bedeutung und Ansprüche
Das Paper positioniert diese Arbeit als einen entscheidenden Schritt, um die Lücke zwischen Transformer-basierten Computer-Vision-Modellen und spezialisierter Embedded-Hardware zu schließen. Durch den Nachweis, dass ViTs mit minimalem Genauigkeitsverlust und erheblichen Geschwindigkeitsverbesserungen auf BPUs eingesetzt werden können, argumentieren die Autoren, dass ihre Methode eine praktische Lösung für reale Edge-Deployment-Szenarien bietet. Die Fähigkeit, vortrainierte Gewichte ohne Retraining zu nutzen, wird als wesentlicher Effizienzgewinn hervorgehoben, der den Übergang zu hardwarebeschleunigten Transformern für ressourcenbeschränkte Umgebungen machbar macht. Die Autoren behaupten bescheiden, dass dies der erste erfolgreiche Versuch darstellt, die BPU-Beschleunigung für DeiT-Modelle vollständig zu nutzen.

Mehr davon