🤖 machine learning

Dynamic Short Convolutions Improve Transformers

Dieses Paper führt dynamische kurze Faltungen ein, ein eingabebedingtes neuronales Primitiv, das die Transformer-Leistung und Skalierungseffizienz verbessert, indem es Standard- sowie statische konvolutionale Varianten über verschiedene Architekturen und Aufgaben hinweg übertrifft und gleichzeitig die Hardware-Effizienz durch maßgeschneiderte Triton-Kernel aufrechterhält.

Ursprüngliche Autoren: Oliver Sieberling, Bharat Runwal, Rameswar Panda, Yoon Kim

Veröffentlicht 2026-06-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Oliver Sieberling, Bharat Runwal, Rameswar Panda, Yoon Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine lange Geschichte zu verstehen, wie etwa einen Roman oder ein Drehbuch. Um dies zu tun, müssen Sie sich daran erinnern, was früher passiert ist und wie es mit dem zusammenhängt, was gerade geschieht.

Seit einigen Jahren ist die beste Methode für Computer (speziell KI-Modelle namens „Transformer“), dies zu tun, die Verwendung eines Mechanismus namens Attention (Aufmerksamkeit). Denken Sie bei Attention an ein super-leistungsstarkes Scheinwerferlicht. Wenn der Computer ein Wort liert, scannt das Scheinwerferlicht die gesamte Geschichte ab, um jedes andere Wort zu finden, das relevant sein könnte, egal wie weit es entfernt ist. Dies ist unglaublich flexibel, kann aber langsam und energieintensiv sein, da der Computer alles gleichzeitig betrachten muss.

Vor einigen Jahren versuchten Forscher, Convolutions (Faltungen) in die Mischung einzubringen. Denken Sie bei einer Convolution an eine kleine, lokale „Lupe“, die nur auf die 3 oder 4 Wörter unmittelbar neben dem aktuellen Wort schaut. Sie ist schnell und effizlich, aber sie ist „statisch“. Es ist wie eine Lupe mit einer festen Linse; sie zoomt bei jedem Wort auf die gleiche Weise heran, unabhängig davon, ob das Wort ein Nomen, ein Verb oder eine verwirrende Phrase ist.

Die neue Idee: Die „schlaue, formverändernde“ Lupe

Dieses Paper stellt ein neues Werkzeug namens Dynamic Short Convolutions vor.

Wenn eine statische Convolution eine feste Lupe ist, dann ist eine dynamische Convolution eine formverändernde, schlaue Lupe.

So funktioniert es in einfachen Worten:

Es schaut lokal: Wie die alte Lupe schaut es nur auf die wenigen Wörter direkt neben dem aktuellen Wort. Das hält es schnell und effizient.
Es ändert seine Meinung: Im Gegensatz zur alten Version schaut dieses neue Werkzeug auf das aktuelle Wort und fragt: „Welche Art von Linse brauche ich gerade?“
- Wenn das Wort „can“ (als in einem Metallbehälter) ist, entscheidet das Werkzeug vielleicht, zurück auf das vorherige Wort „old“ zu schauen, um „old can“ zu verstehen.
- Wenn das Wort „can“ (als in „können/fähig sein zu“) ist, entscheidet das Werkzeug vielleicht, auf das nächste Wort „swim“ zu schauen, um „can swim“ zu verstehen.

Der Computer generiert für jedes einzelne Wort einen einzigartigen Filter (eine Linse) basierend darauf, was dieses Wort ist. Dies ermöglicht es der KI, den lokalen Kontext viel besser zu verstehen als zuvor, ohne die Geschwindigkeitsvorteile des Blickens in ein kleines Fenster zu verlieren.

Was die Forscher herausgefunden haben

Die Autoren testeten dieses neue „formverändernde“ Werkzeug auf verschiedenen KI-Modellen, die von kleinen Modellen (150 Millionen Parameter) bis hin zu großen (2 Milliarden Parameter) reichen. Hier ist, was sie entdeckten:

Es ist schlauer: In Tests, die darauf ausgelegt waren zu sehen, ob die KI spezifische Details erinnern kann (wie eine „Nadel im Heuhaufen“-Aufgabe), waren die Modelle, die dieses neue Werkzeug verwendeten, signifikant besser darin, die richtigen Informationen zu finden, als Modelle mit den alten statischen Werkzeugen.
Es ist effizienter: Sie fanden heraus, dass ein Modell mit diesem neuen Werkzeug weniger Rechenleistung benötigte, um das gleiche Niveau an Intelligenz zu erreichen. Sie berechneten, dass es einen 1,33x bis 1,60x Vorteil bietet.
- Analogie: Stellen Sie sich zwei Autos vor, die versuchen, dieselbe Strecke zurückzulegen. Das Auto mit dem neuen Werkzeug kommt mit 30 % weniger Kraftstoff als das Standardauto ans Ziel, oder es kommt schneller mit dem gleichen Kraftstoff.
Es funktioniert überall: Sie haben es nicht nur auf Standard-KI-Modelle getestet. Sie haben es auch bei neueren Arten von KI (wie „Mamba“ und „DeltaNet“) ausprobiert und fanden, dass es auch diese Modelle verbesserte.
Es ist schnell genug: Normalerweise wird ein Werkzeug „schlauer“, wenn man es macht, langsamer. Die Autoren entwickelten spezielle Software (genannt „Triton Kernels“), um sicherzustellen, dass dieses neue Werkzeug effizient auf modernen Computerchips läuft. Sie fanden heraus, dass der Geschwindigkeitsverlust sehr gering war (nur etwa 8 % langsamer für die gängigste Version), was ein kleiner Preis für den großen Intelligenz-Schub ist.

Das Fazit

Das Paper argumentiert, dass Dynamic Short Convolutions ein neues, essenzielles Bauteil für die nächste Generation der KI sind. Sie kombinieren das Beste aus zwei Welten: die Geschwindigkeit des Betrachtens von nur wenigen Wörtern zur Zeit und die Flexibilität, wie man diese Wörter basierend auf dem Kontext betrachtet.

Die Forscher kommen zu dem Schluss, dass dies eine praktische, skalierbare Methode ist, um KI-Modelle schlauer und effizienter zu machen, ohne völlig neue Architekturen aus dem Boden stampfen zu müssen. Es ist wie das Upgrade eines Standard-Automotors mit einem smarten Turbo, der sich selbst an die Straßenbedingungen anpasst und Ihnen mehr Leistung gibt, ohne dass Sie einen größeren Motor benötigen.

Technisches Resümee: Dynamische kurze Faltungen verbessern Transformer

Problemstellung

Obwohl Transformer aufgrund der Skalierbarkeit von Attention-Mechanismen zur dominierenden Architektur für große Sprachmodelle (LLMs) geworden sind, fehlt ihnen ein inhärenter induktiver Bias hinsichtlich lokaler Sequenzstrukturen. Obwohl statische kurze Faltungen (depthwise separable Convolutions mit kleinen Kernel-Breiten) untersucht wurden, um Lokalität einzuführen, wenden sie feste Filter an allen Positionen an, was die Fähigkeit einschränkt, kontextabhängige lokale Kompositionen zu modellieren. Das Paper postuliert, dass ein ausdrucksstärkeres Primitiv benötigt wird – eines, das die Effizienz und den Lokalitäts-Bias von Faltungen beibehält, aber den Filtermechanismus ermöglicht, dynamisch an den Input anzupassen, wodurch die Leistung bei Aufgaben, die eine dynamische lokale Aggregation erfordern, verbessert wird, ohne die Skalierbarkeit zu opfern.

Methodik

Dynamische kurze Faltungen

Die Autoren führen dynamische kurze Faltungen als neuronales Netzwerk-Primitiv ein. Im Gegensatz zu statischen Faltungen, bei denen die Gewichte $w$ fixiert sind, generieren dynamische Faltungen an jedem Zeitschritt $t$ inputabhängige Filter $w(t)$ .

Mechanismus: Für eine Sequenz von Aktivierungen $x_t$ wird der Output als $y_t := \sum_{k=0}^{W-1} w(t)_k \odot x_{t-k}$ berechnet.
Parametrisierung: Der Filter $w(t)$ $w (t)$ wird durch eine gelernte lineare Transformation des aktuellen Hidden State generiert. Um die Parametereffizienz zu wahren, schlagen die Autoren zwei spezifische Parametrisierungen vor:
1. Low-Rank-Faktorisierung: Die Projektion wird durch eine Low-Rank-Transformation des Rangs $R$ faktorisiert.
2. Head-weise Kopplung (Head-wise tying): Dimensionen werden in Heads aufgeteilt, wobei ein gemeinsamer Gewicht-Filter über $H$ aufeinanderfolgende Kanäle geteilt wird.
Platzierung: In den primären Experimenten werden dynamische Faltungen auf die Query (Q), Key (K) und Value (V) Projektionen vor den Rotary Position Embeddings (RoPE) angewendet, mit einer Residualverbindung ( $X = X + \text{dynamicShortConv}(X)$ ). Die Autoren experimentieren auch mit der Anwendung nach jeder linearen Schicht im Transformer.

Effiziente Trainingsimplementierung

Dynamische Faltungen sind aufgrund der geringen arithmetischen Intensität speichergebunden. Naive Implementierungen leiden unter übermäßigem High Bandwidth Memory (HBM) Traffic. Um dies zu adressieren, haben die Autoren benutzerdefinierte Triton-Kernel entwickelt:

On-Chip-Berechnung: Die Kernel lesen Aktivierungen und dynamische Gewichte, führen die vollständige Faltung auf dem Chip aus und schreiben nur das Endergebnis in den HBM.
Fused Low-Rank Kernel: Für die Low-Rank-Variante fusioniert der Kernel die zweite Projektion der Faktorisierung direkt in die Faltung. Er liest die Low-Rank-Inputs ( $z$ ) und die Projektionsmatrix ( $U$ ), generiert die Gewichte ($zU$) auf dem Chip und wendet die Faltung sofort an, wodurch die Materialisierung des vollständigen dynamischen Gewicht-Tensors im HBM vermieden wird.
Performance: Diese Kernel erreichen Latenzen, die mit optimierten statischen Faltungs-Kerneln (z. B. causal_conv1d) konkurrieren oder sogar schneller sind, mit end-to-end Trainingsdurchsatz-Verlangsamungen von etwa 8 % für die QKV-Variante und 22 % für die All-Linear-Variante bei einer Skala von 2 Mrd. Parametern.

Kernbeiträge

Neuartiges Primitiv: Der Vorschlag von dynamischen kurzen Faltungen als ein inputabhängiges, lokalitäts-biases Primitiv, das statische kurze Faltungen generalisiert.
Scaling Law Analyse: Empirische Belege, die zeigen, dass dynamische Faltungen einen Rechenvorteil gegenüber Standard-Transformern bieten.
- 1,33× Vorteil, wenn sie auf Q-, K- und V-Vektoren angewendet werden.
- 1,60× Vorteil, wenn sie nach jeder linearen Schicht angewendet werden.
Hardware-Effizienz: Die Entwicklung maßgeschneiderter Triton-Kernel, die dynamische Faltungen für das Training auf modernen GPUs (H100) mit handhabbarem Overhead praktikabel machen.
Breite Anwendbarkeit: Validierung des Ansatzes über diverse Architekturen hinweg, einschließlich dichter Transformer, Mixture-of-Experts (MoE) Modelle und linearer RNNs (Mamba-2 und Gated DeltaNet).

Experimentelle Ergebnisse

Synthetische Benchmarks

Variable-Key MQAR: Bei einer modifizierten Multi-Query Associative Recall Aufgabe, bei der Keys variable Längen haben und Tokens teilen, übertrafen dynamische Faltungen sowohl Vanilla-Transformer als auch solche mit statischen Faltungen signifikant. Dies unterstreicht die Fähigkeit des Modells, variable-längige lokale Strukturen dynamisch aufzulösen.
MAD Benchmark: Dynamische Faltungen zeigten eine starke Performance im Mechanistic Architecture Design Benchmark, insbesondere beim "Fuzzy Recall", wo Keys und Values aus variablen Token-Anzahlen bestehen.

Sprachmodellierung

Die Experimente wurden auf dem Nemotron-CC Korpus mit Modellgrößen von 150 Mio. bis 2 Mrd. Parametern und einem 7B-Parameter MoE-Modell durchgeführt.

Perplexity und Genauigkeit: Dynamische Faltungen reduzierten konsistent die Perplexity und verbesserten die Zero-Shot-Genauigkeit bei Common-Sense-Reasoning-Aufgaben (lm-eval-harness) im Vergleich zu:
- Standard-Transformern.
- Transformern mit statischen kurzen Faltungen.
- Transformern mit erhöhten Parameterzahlen (breitere FFNs), um das Parameterbudget der dynamischen Varianten abzugleichen.
Lineare RNNs: Das Ersetzen statischer Faltungen durch dynamische in Mamba-2 und Gated DeltaNet verbesserte die Perplexity signifikant, was darauf hindeutet, dass dynamische Faltungen einen effektiveren Sequence-Mixing-Mechanismus bieten als das Redesign des Sequence-Mixers selbst.
RULER Benchmark: Dynamische Faltungen zeigten besondere Gewinne in Multi-Key-, Multi-Query- und Multi-Value-Subtasks, was mit ihrer Fähigkeit zur inputabhängigen lokalen Aggregation korreliert.

Ablationsstudien

Kernel-Breite: Eine Breite von $W=3$ oder $4$ wurde als optimaler "Sweet Spot" identifiziert.
Platzierung: Die Anwendung dynamischer Faltungen auf alle drei Projektionen (Q, K, V) lieferte die besten Ergebnisse, wobei die Value-Projektion den signifikantesten individuellen Gewinn bot.
QK-Norm: Die Vorteile dynamischer Faltungen blieben auch bei der Kombination mit QK-Norm bestehen, während statische Faltungen in diesem Setting kaum Nutzen boten.

Bedeutung und Ansprüche

Das Paper behauptet, dass dynamische kurze Faltungen ein skalierbares, hardware-effizientes und ausdrucksstarkes Primitiv zur Weiterentwicklung von Transformer-basierten Sprachmodellen darstellen. Die Autoren argumentieren:

Sie haben erfolgreich die Lücke zwischen dem Lokalitäts-Bias von Faltungen und der Ausdrucksstärke von Attention-ähnlichen Mechanismen geschlossen.
Die beobachteten Rechenvorteile (1,33× bis 1,60×) legen nahe, dass dynamische Faltungen die Performance-Effizienz-Grenze von LLMs verbessern können.
Die maßgeschneiderten Triton-Kernel zeigen, dass diese Gewinne mit einer handhabbaren End-to-End-Trainingsverlangsamung (8–25 %) erzielbar sind, was den Ansatz für den realen Einsatz praktikabel macht.

Die Autoren bleiben bescheiden hinsichtlich des Umfangs ihrer Ergebnisse und merken an, dass zwar Trends bis zu 2 Mrd. Parametern und einem 7B MoE konsistent sind, weitere Forschung notwendig ist, um diese Vorteile bei Frontier-Skalen, längeren Trainingshorizonten und unterschiedlichen Datenmischungen zu bestätigen. Sie räumen zudem ein, dass weiteres Engineering erforderlich ist, um die Inferenz zu optimieren und eine breitere Palette von Hardware zu unterstützen.