🤖 machine learning

Elastic Attention Cores for Scalable Vision Transformers

Dieser Beitrag stellt VECA (Visual Elastic Core Attention) vor, eine Vision-Transformer-Architektur, die eine lineare rechnerische Komplexität und eine skalierbare Verarbeitung hoher Auflösungen erreicht, indem sie die quadratische All-zu-All-Selbstaufmerksamkeit durch eine effiziente Kern-Rand-Struktur ersetzt, bei der Patch-Token ausschließlich über einen kleinen, gelernten Satz von Kern-Embeddings kommunizieren.

Ursprüngliche Autoren: Alan Z. Song, Yinjie Chen, Mu Nan, Rui Zhang, Jiahang Cao, Weijian Mai, Muquan Yu, Hossein Adeli, Deva Ramanan, Michael J. Tarr, Andrew F. Luo

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alan Z. Song, Yinjie Chen, Mu Nan, Rui Zhang, Jiahang Cao, Weijian Mai, Muquan Yu, Hossein Adeli, Deva Ramanan, Michael J. Tarr, Andrew F. Luo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige Party mit Tausenden von Gästen (den Pixeln in einem Bild) zu organisieren.

Der alte Weg: Die „Jeder spricht mit jedem"-Party

Traditionelle KI-Modelle, sogenannte Vision Transformers (ViTs), funktionieren wie eine chaotische Party, bei der jeder einzelne Gast sich jedem anderen Gast vorstellen muss, um den Raum zu verstehen.

Das Problem: Wenn Sie 100 Gäste haben, sind das 10.000 Händedrücke. Wenn Sie 1.000 Gäste haben (ein hochauflösendes Foto), sind das 1.000.000 Händedrücke. Die Zeit, die für die Organisation benötigt wird, wächst explosionsartig (quadratisch). Es ist so langsam und teuer, dass diese Modelle mit hochauflösenden Bildern Schwierigkeiten haben.
Die Annahme: Die alten Modelle gingen davon aus, dass für das „Sehen" eines Objekts durch den Computer jeder Pixel direkt mit jedem anderen Pixel sprechen muss.

Der neue Weg: VECA (Die „VIP-Kern"-Party)

Die Autoren dieses Papers, Alan Song und Kollegen, sagen: „Moment mal. Müssen wirklich alle mit allen sprechen?" Sie schlagen ein neues System namens VECA (Visual Elastic Core Attention) vor.

Stellen Sie sich VECA als eine Party mit einer VIP-Kerngruppe und einer allgemeinen Gästeliste vor.

Die VIP-Kerne: Anstatt dass Tausende von Gästen miteinander sprechen, erstellt das Modell eine kleine, feste Gruppe von „VIPs" (genannt Core Tokens). Nehmen wir an, es gibt nur 64 VIPs.
Die Kommunikationsregel:
- Die Gäste (Bildpatches) sprechen nur mit den VIPs. Sie sprechen nicht direkt miteinander.
- Die VIPs sprechen mit jedem (allen Gästen und anderen VIPs).
- Das Ergebnis: Informationen fließen von Gast → VIP → Gast. Die Gäste müssen sich nie gegenseitig die Hand drücken.
Der Effizienzgewinn:
- Auf die alte Weise vervierfachte sich die Arbeit, wenn man die Anzahl der Gäste verdoppelte.
- Bei VECA verdoppelt sich die Arbeit nur, wenn man die Gäste verdoppelt (lineares Wachstum). Es ist wie ein kleines, effizientes Team von Managern (den VIPs), das das Chaos bewältigt, anstatt jeden Mitarbeiter zu zwingen, jeden anderen Mitarbeiter zu managen.

Die „elastische" Superkraft

Das Coolste an VECA ist, dass es elastisch (dehnbar) ist.

Das Training: Während des Trainings lernt das Modell, seine VIPs zu rangieren. Einige VIPs sind „Super-VIPs", die die wichtigsten Dinge wissen (wie „hier ist ein Hund"), während andere „Junior-VIPs" sind, die feinere Details kennen (wie „der Hund hat ein hängendes Ohr").
Die Inferenz (Die Party in Aktion):
- Brauchen Sie Geschwindigkeit? Sie können dem Modell sagen: „Verwenden Sie nur die Top-8-VIPs." Das Modell läuft sofort schneller, weil es das Junior-Personal ignoriert. Es mag etwas weniger detailliert sein, aber es ist sehr schnell.
- Brauchen Sie hohe Qualität? Sie können sagen: „Verwenden Sie alle 64 VIPs." Das Modell wird etwas langsamer, liefert Ihnen aber eine super-detaillierte, hochpräzise Antwort.
- Kein Nachtraining: Sie müssen kein neues Modell für Geschwindigkeit oder Qualität bauen. Sie dehnen oder schrumpfen einfach die Anzahl der VIPs im laufenden Betrieb.

Was haben sie herausgefunden?

Die Autoren testeten dies an einer Vielzahl von Aufgaben, wie dem Erkennen von Inhalten in einem Foto (Klassifizierung) und dem Zeichnen von Umrisse um Objekte (Segmentierung).

Leistung: Selbst mit dem „Abkürzung" des direkten Sprechens der Pixel funktionierte VECA fast genauso gut wie die besten, teuersten Modelle, die derzeit verfügbar sind (wie DINOv3).
Die „magische" Entdeckung: Sie stellten fest, dass die VIPs (Core Tokens) natürlich lernten, wie Objektdetektoren zu fungieren. Ohne explizit angewiesen zu werden, begannen die VIPs sich zu gruppieren, um spezifische Dinge darzustellen, wie „Eier in einer Schüssel" oder „ein Autoreifen". Sie entwickelten sich von vagen Informationsklumpen zu spezifischen, semantischen Gruppen.
Auflösung: Das Modell funktioniert hervorragend bei kleinen Bildern und skaliert auf riesige, hochauflösende Bilder hoch, ohne abzustürzen oder zu langsam zu werden, im Gegensatz zu den alten Modellen.

Das Fazit

Das Paper behauptet, dass wir die teure, quadratische „Jeder spricht mit jedem"-Methode nicht benötigen, um intelligente Seh-KI zu bauen. Indem wir ein kleines, intelligentes Team von „Core"-Tokens verwenden, um die Kommunikation zu vermitteln, können wir Modelle bauen, die:

Schneller und günstiger sind (besonders für hochauflösende Bilder).
Flexibel sind (Sie können Geschwindigkeit gegen Genauigkeit im laufenden Betrieb tauschen).
Genau so intelligent sind wie die aktuellen State-of-the-Art-Giganten.

Es ist ein neuer Baustein für die Zukunft der Computer Vision, der hochauflösende KI praktisch und effizient macht.

Technische Zusammenfassung: Elastische Attention-Kerne für skalierbare Vision Transformer

Problemstellung

Vision Transformer (ViTs) haben eine starke datengetriebene Skalierung durch die Nutzung von All-zu-All-Selbstaufmerksamkeit erreicht, die globale rezeptive Felder und flexibles Repräsentationslernen ermöglicht. Diese Flexibilität geht jedoch mit einem Rechenaufwand einher, der quadratisch ( $O(N^2)$ ) mit der Bildauflösung skaliert, wobei $N$ die Anzahl der Bildpatches ist. Diese quadratische Skalierung wird in hochauflösenden Domänen prohibitiv und begrenzt die Anwendbarkeit herkömmlicher ViTs.

Die vorherrschende Annahme im ViT-Design ist, dass dichte, paarweise Token-Interaktionen notwendig sind, um reiche visuell-semantische Repräsentationen zu erlernen. Dieser Beitrag stellt diese Annahme in Frage und vertritt die These, dass effektive visuelle Repräsentationen auch ohne direkte Patch-zu-Patch-Interaktionen erlernt werden können.

Methodik: VECA (Visual Elastic Core Attention)

Die Autoren schlagen VECA vor, eine Vision-Transformer-Architektur, die die herkömmliche dichte Selbstaufmerksamkeit durch einen block-sparse Kern-Peripherie-Attention-Mechanismus ersetzt.

Kernarchitektur

Kern-Peripherie-Struktur: Die Architektur führt eine kleine, erlernte Menge von $C$ „Kern"-Token ein, die als Kommunikationsschnittstelle fungieren. Die Bildpatches bilden die „Peripherie".
Interaktionsmechanismus:
- Kern-Token: Bilden einen vollständig verbundenen Clique, der auf alle anderen Kern-Token und alle Patch-Token achtet.
- Patch-Token: Achten ausschließlich auf die aktiven Kern-Token. Sie achten nicht direkt auf andere Patch-Token.
- Informationsfluss: Der gesamte Informationsaustausch zwischen Patches wird ausschließlich über die Kern-Token geleitet.
Komplexität: Die Attention-Kosten werden von $O(N^2)$ auf $O(2NC + C^2)$ reduziert. Für eine vorbestimmte Kernanzahl $C$ (wobei $C \ll N$ ) skaliert die Komplexität linear ( $O(N)$ ) mit der Bildauflösung.
Räumliche Dynamik: Kern-Token werden mit erlernbaren 2D-Koordinaten initialisiert und werden über Schichten hinweg mittels eines leichten Koordinatenkopfs aktualisiert. Sie nutzen eine 2D-axiale Rotationspositionskodierung (RoPE), wodurch sie sowohl semantische Repräsentationen als auch sich entwickelnde räumliche Positionen beibehalten können.

Elastisches Training und Inferenz

Nested Dropout: Während des Trainings setzt das Modell Nested Dropout auf der geordneten Bank der Kern-Token ein. Das Modell wird mit einem variablen Budget aktiver Kerne ( $C$ ) trainiert, das aus einer Verteilung gesampelt wird.
Implizites Ranking: Dieses Verfahren rankt die Kern-Token implizit nach ihrer Wichtigkeit. Frühe Kerne sind über alle Budgets hinweg aktiv und lernen, die wichtigsten, allgemein nützlichen visuellen Informationen zu kodieren. Spätere Kerne spezialisieren sich auf feinere räumliche Details oder spezifische semantische Konzepte.
Inferenz-Flexibilität: Zum Testzeitpunkt kann die Anzahl der aktiven Kerne ohne Nachtraining angepasst werden. Dies ermöglicht einen elastischen Kompromiss zwischen Rechenaufwand (Geschwindigkeit) und Genauigkeit. Eine Reduzierung von $C$ führt zu gröberen Attention-Karten, aber zu deutlich niedrigeren FLOPs.

Trainingsziel

Das Modell wird mittels Feature-Distillation von einem eingefrorenen DINOv3-Lehrer trainiert. Die Verlustfunktion richtet sowohl globale Bildrepräsentationen (vom ersten Kern-Token) als auch dichte Patch-Repräsentationen an den Zielen des Lehrers aus, wobei ungelabelte Objects365-Bilder verwendet werden.

Hauptbeiträge

VECA-Architektur: Ein visueller Backbone, der in jeder Schicht quadratische Selbstaufmerksamkeit durch lineare Kern-Peripherie-Attention ersetzt und Token-Interaktionen durch eine auflösungsinvariante Engstelle zwingt.
Leistung vs. Kosten: Die Evaluation auf Klassifizierungs- und dichten räumlichen Aufgaben zeigt, dass VECA eine mit State-of-the-Art-Foundation-Modellen (insbesondere DINOv3) konkurrenzfähige Leistung erzielt und dabei die Rechenkosten signifikant senkt.
- Klassifizierung: In der Größe ViT-Base erreicht VECA 81,93 % Top-1-Genauigkeit auf ImageNet-1k, was etwa 1,6 % unter DINOv3 (83,56 %) liegt, obwohl nur ein Bruchteil der Attention-Interaktionen genutzt wird.
- Dichte Vorhersage: Auf dem PASCAL Context-Segmentationsbenchmark erreicht VECA 57,46 mIoU im Vergleich zu 57,74 mIoU bei DINOv3, obwohl pro Schicht 87,1 % weniger Attention-Interaktionen stattfinden.
Emergente Verhaltensweisen: Die Autoren identifizieren, dass sich Kern-Token objektspezifische Repräsentationen entwickeln und sich von isotropen (sphärischen) Verteilungen in frühen Schichten zu semantisch gruppierten Strukturen in tieferen Schichten entwickeln, obwohl keine explizite Überwachung für solches Verhalten erfolgt.

Ergebnisse

Skalierbarkeit: VECA behält über verschiedene Eingabeauflösungen (256px bis 1024px) hinweg eine stabile Leistung bei, wohingegen herkömmliche ViTs unter quadratischem FLOP-Wachstum leiden. VECA zeigt eine lineare Skalierung in FLOPs und Latenz bei steigender Auflösung.
Elastizität: Das Modell kann Genauigkeit elastisch gegen Geschwindigkeit tauschen. Beispielsweise bleibt bei einer Reduzierung des Kern-Budgets von $C=64$ auf $C=8$ eine signifikante Leistung erhalten (z. B. >96 % der Leistung des Vollmodells bei der Klassifizierung), während die Rechenleistung drastisch gesenkt wird.
Dichte Features: Visualisierungen (UMAP) bestätigen, dass VECA stabile, hochwertige dichte Features erzeugt, die auch bei höheren Auflösungen robust bleiben und mit DINOv3 vergleichbar sind.

Bedeutung und Behauptungen

Der Beitrag behauptet, dass direkte Patch-zu-Patch-Selbstaufmerksamkeit nicht zwingend notwendig ist, um hochwertige dichte visuelle Repräsentationen zu erlernen. Durch die Weiterleitung von Informationen über eine kompakte Menge erlernter Kern-Token etabliert VECA elastische Kern-Peripherie-Attention als skalierbare alternative Bausteine für Vision Transformer.

Die Arbeit legt nahe, dass die Flexibilität von All-zu-All-Attention durch eine strukturierte, lineare Schnittstelle ersetzt werden kann, die die räumliche Ausrichtung und die Qualität dichter Features bewahrt. Dies bietet einen vielversprechenden Weg für den Einsatz von Vision Transformer in hochauflösenden Domänen, in denen Recheneffizienz kritisch ist, und ermöglicht Modellen, ihre Inferenzkosten dynamisch an verfügbare Ressourcen oder Aufgabenanforderungen anzupassen.