Technische Zusammenfassung: Globale visuelle Modellierung in linearer Zeit ohne explizite Aufmerksamkeit

Problemstellung

Das vorherrschende Paradigma in der Computer Vision führt die Fähigkeiten von Transformern zur globalen Sequenzmodellierung auf die explizite Berechnung von Aufmerksamkeitsgewichten zurück. Dieser Prozess umfasst die Berechnung paarweiser Token-Ähnlichkeiten zur Bildung einer $N \times N$-Aufmerksamkeitsmatrix, die anschließend zur Rekombination von Wertrepräsentationen verwendet wird. Obwohl dieser Mechanismus effektiv ist, entsteht inhärent eine quadratische rechnerische Komplexität ($O(N^2)$) in Bezug auf die Sequenzlänge, was einen Engpass für hochauflösende Eingaben und lange Sequenzen darstellt. Bestehende Effizienzverbesserungen konzentrieren sich weitgehend auf die Approximation oder Verspärung dieser expliziten Aufmerksamkeitsmatrix und bleiben somit an das Paradigma der expliziten Merkmals-Neugewichtung gebunden.

Methodik

Theoretische Neuformulierung: Aufmerksamkeit als dynamisches MLP

Die Autoren schlagen eine neue Perspektive vor: Aufmerksamkeit kann mathematisch nicht als explizite gewichtete Aggregation, sondern als Multi-Layer Perceptron (MLP) mit dynamisch vorhergesagten Parametern neu formuliert werden.

• Mechanismus: Bei der Standard-Aufmerksamkeit ist die Ausgabe für eine Abfrage $q_i$ gegeben durch $o_i = \text{Softmax}(\frac{q_i K^\top}{\sqrt{d}})V$. Die Autoren interpretieren $K^\top$ und $V$ nicht als statische Gewichte, sondern als dynamische Parameter, die aus der Eingabe $X$ generiert werden (d. h. $K=XW_K, V=XW_V$).
• Implikation: Globale Modellierung entsteht implizit. Die Eingabe $X$ wird in einen Satz dynamischer Parameter $W = G(X)$ komprimiert, die als kompakte Repräsentation des globalen Kontexts fungieren. Das Durchleiten der Eingabe durch dieses dynamisch parametrisierte Netzwerk integriert langreichweitige Abhängigkeiten, ohne jemals eine explizite $N \times N$-Aufmerksamkeitsmatrix zu berechnen oder anzuwenden.
• Komplexitätseinblick: Die quadratische Komplexität der Standard-Aufmerksamkeit entsteht, weil die effektive Breite dieses „dynamischen MLPs" mit der Anzahl der Token $N$ skaliert (da $K^\top \in \mathbb{R}^{d \times N}$). Durch die Entkopplung der Parametergenerierung von der Sequenzlänge kann globale Modellierung mit linearer Komplexität erreicht werden.

WeightFormer-Architektur

Um diese Hypothese zu validieren, stellen die Autoren WeightFormer vor, eine Vision-Architektur, die explizite Aufmerksamkeit durch dynamische Parametrisierung ersetzt und dabei lineare Komplexität ($O(N)$) beibehält.

• Späte Verteilung: Anstatt dynamische Schichten auf jeden Block anzuwenden (was hohe Overhead-Kosten verursacht), fügt WeightFormer dynamische Blöcke spärlich ein (spezifisch jeden dritten Block) und hält den Rest statisch, um Leistung und Effizienz auszubalancieren.
• Dynamische lineare Schichten: Die erste lineare Schicht im MLP wird durch eine dynamische Schicht mit Bilateraler Aktivierung ersetzt. Diese Strategie faktorisiert die Gewichtsvorhersage in zwei nichtlineare Zweige, die auf die Eingabe $X$ und ihre Transponierte $X^\top$ wirken:
  $$\Delta W(X) = W_1 \sigma(W_2 X^\top) \sigma(X W_3) W_4$$
  Dies ermöglicht dem Modell, höherordentliche Merkmalsinteraktionen und globalen Kontext ohne explizites Token-zu-Token-Routing zu erfassen.
• Dynamische Depthwise-Convolutionen (DWC): Um die räumliche Mischung der Aufmerksamkeit zu ersetzen, setzen die Autoren dynamische Depthwise-Convolutionen ein. Sie nutzen Räumlich adaptive Vorhersage, wobei die Eingabe über Adaptive Average Pooling (AAP) auf eine feste $K \times K$-Auflösung (entsprechend der Kernelgröße) heruntergesampelt wird, bevor die Kernel-Gewichte vorhergesagt werden. Dies bewahrt die räumliche Struktur und stellt gleichzeitig sicher, dass der Parametergenerierungsprozess unabhängig von der Eingabeauflösung ist.

Hauptbeiträge

1. Mathematische Neuformulierung: Die Arbeit liefert eine neue theoretische Erklärung für die globale Modellierungskraft der Aufmerksamkeit und betrachtet sie als dynamisches MLP mit eingangsbedingten Parametern anstelle einer expliziten tokenweisen Aggregation.
2. Nachweis der Machbarkeit: Sie demonstriert, dass explizite Aufmerksamkeitsgewichte für die globale Sequenzmodellierung nicht essenziell sind. Die Autoren beweisen, dass dynamische Parametrisierung die Aufmerksamkeit vollständig ersetzen kann, um Transformer-Level-Leistung mit linearer Komplexität zu erreichen.
3. WeightFormer-Architektur: Die Einführung einer Prototyp-Architektur, die dynamische Parametrisierungsstrategien (Bilaterale Aktivierung für lineare Schichten und räumlich adaptive Vorhersage für Depthwise-Convolutionen) systematisch innerhalb eines standardmäßigen CNN-ähnlichen Rahmens untersucht.

Experimentelle Ergebnisse

Die Autoren führten umfangreiche Experimente auf ImageNet-1K, COCO, ADE20K und der ImageNet-Klassen-bedingten Generierung durch.

• Bildklassifizierung (ImageNet-1K): WeightFormer erreicht im Vergleich zu starken Baselines (DeiT, PVT, ConvNeXt) eine wettbewerbsfähige oder überlegene Genauigkeit bei ähnlichen oder geringeren Rechenkosten.
  • WeightFormer-S erreicht 81,3 % Top-1-Genauigkeit und übertrifft DeiT-S (79,8 %) und ConvNeXt-S (79,7 %) bei vergleichbaren Ressourcen.
  • WeightFormer-T erreicht 76,3 % Genauigkeit mit deutlich höherem Durchsatz (3515 Bilder/s) im Vergleich zu DeiT-T (3661 Bilder/s), jedoch mit deutlich niedrigeren FLOPs bei hohen Auflösungen.
• Effizienz und Skalierbarkeit: Aufgrund seiner linearen Komplexität skaliert WeightFormer effizient auf hohe Auflösungen. Bei einer Auflösung von 1248×1248 erreicht es 7,7× höheren Durchsatz und eine 91%ige Speicherreduktion im Vergleich zu DeiT.
• Downstream-Aufgaben:
  • Objekterkennung (COCO): WeightFormer-T verbessert die Box-/Masken-AP gegenüber DeiT-T (45,0/38,3 vs. 44,4/38,1) und reduziert gleichzeitig die Backbone-FLOPs von 106G auf 77G.
  • Semantische Segmentierung (ADE20K): WeightFormer-S erreicht 45,6 mIoU und übertrifft DeiT-S (44,0 mIoU) bei reduzierten Backbone-FLOPs.
  • Bildgenerierung: Bei der klassen-bedingten Generierung erzielen WeightFormer-Varianten konsistent niedrigere FID-Werte als vergleichbare DiT- und DiG-Modelle, was auf eine verbesserte Probengüte hinweist.
• Ablationsstudien: Experimente zur Häufigkeit dynamischer Blöcke zeigen, dass eine spärliche Verteilung (ein dynamischer Block alle drei) den besten Kompromiss bietet, da das Ersetzen zu vieler statischer Schichten zu Unteranpassung und Optimierungsproblemen führt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass dynamische Parametrisierung eine fundamental effizientere Alternative zur expliziten Aufmerksamkeit für die globale Sequenzmodellierung darstellt. Durch die Verlagerung des Fokus von der expliziten Gewichtsaggregation zur impliziten Parametergenerierung eröffnen die Autoren einen neuen Gestaltungsbereich für effiziente Architekturen, die nicht auf dem quadratischen Engpass von Transformern beruhen.

Die Autoren bewahren einen bescheidenen Ton bezüglich des Umfangs ihrer Arbeit:

• Die Evaluation ist derzeit auf Visuelle Aufgaben beschränkt, und die Generalisierung auf andere Domänen (z. B. NLP) bleibt eine offene Frage.
• Das theoretische Verständnis der Ausdruckskraft und induktiven Verzerrungen der dynamischen Parametrisierung ist noch nicht vollständig.
• Die Optimierung dieser eingangsbedingten Parameter stellt Herausforderungen hinsichtlich des Gradientenflusses und der Trainingsstabilität dar.

Letztendlich dient die Arbeit als Proof-of-Concept, dass globale Modellierung von der quadratischen Komplexität entkoppelt werden kann, und motiviert weitere Untersuchungen der dynamischen Parametrisierung als viable Alternative zu auf Aufmerksamkeit basierenden Architekturen.