💬 NLP

Revisiting the Shape Convention of Transformer Language Models

Diese Arbeit stellt das konventionelle schmale-breite-schmale MLP-Design in Transformern in Frage, indem sie eine tiefere, sanduhrförmige FFN vorschlägt und durch empirische Validierung nachweist, dass diese Architektur nicht nur die Leistung von Standardmodellen erreicht oder übertrifft, sondern auch eine effizientere Parameterallokation ermöglicht, wie etwa die Erweiterung der verborgenen Dimensionen, um innerhalb fester Budgets überlegene Ergebnisse zu erzielen.

Ursprüngliche Autoren: Feng-Ting Liao, Meng-Hsi Chen, Guan-Ting Yi, Da-shan Shiu

Veröffentlicht 2026-02-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Feng-Ting Liao, Meng-Hsi Chen, Guan-Ting Yi, Da-shan Shiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Transformer-Sprachmodell (die Art von KI, die Geschichten schreibt, Fragen beantwortet und mit Ihnen chattet) wie eine riesige, mehrstöckige Fabrik vor. In dieser Fabrik passiert jedes Stück Information (ein Wort oder ein Token) zwei Hauptarbeitsstationen auf jeder Etage:

Die Attention-Station: Hier schauen die Fabrikarbeiter auf den gesamten Satz, um den Kontext zu verstehen. „Oh, dieses Wort bezieht sich auf jenes Wort dort drüben.“
Die FFN-Station (Feed-Forward Network): Hier leisten die Arbeiter die schwere Arbeit der Informationsverarbeitung und -verfeinerung.

Jahrelang war der „Standard-Bauplan“ für die FFN-Station eine Schmal-Breit-Schmal-Form. Stellen Sie sich das wie einen Trichter vor, der Informationen zusammenpresst, dann plötzlich in einen massiven, breiten Raum explodieren lässt, um komplexe Berechnungen durchzuführen, und sie dann wieder zusammenpresst. Die Branche ging davon aus, dass dieser „breite Raum“ notwendig sei, weil er die meisten Arbeiter der Fabrik (Parameter) beherbergte.

Die große Idee: Die Sanduhr
Die Autoren dieser Arbeit stellten eine einfache Frage: Muss dieser breite Raum wirklich so breit sein? Oder ist das nur eine Gewohnheit, in der wir steckengeblieben sind?

Sie schlugen einen neuen Bauplan vor, den Hourglass-FFN (Sanduhr-FFN). Anstatt eines einzigen riesigen, breiten Raums stellen Sie sich eine Reihe kleinerer, gestapelter „Sanduhrformen“ vor.

Die Form: Sie beginnt breit, wird in einen schmalen Flaschenhals zusammengedrückt und dehnt sich dann wieder aus.
Der Stapel: Anstatt dies nur einmal zu machen, stapeln sie mehrere dieser Sanduhren übereinander, die durch „Residualpfade“ (wie ein Förderband, das es Informationen ermöglicht, Schritte zu überspringen, falls nötig) verbunden sind.

Die Analogie: Der Stau vs. die Abkürzung
Den traditionellen „breiten“ FFN als eine massive, überfüllte Autobahn zu betrachten, ist sinnvoll. Er hat Unmengen an Spuren (Parameter), um den Verkehr zu bewältigen, aber er ist teuer in der Bau und Instandhaltung.

Das neue „Hourglass“-FFN ist wie ein intelligentes Verkehrssystem mit einigen schmalen Tunneln.

Der Trick: Indem man den Verkehr durch einen schmalen Tunnel zwingt und ihn dann wieder expandieren lässt, wird das System gezwacht, effizienter zu sein. Es filtert das Rauschen heraus und konzentriert sich auf die wichtigsten Signale.
Der Bonus: Da der „Tunnel“ schmaler ist, sparen Sie eine enorme Menge an Baukosten (Parameter).

Was haben sie mit dem gesparten Geld gemacht?
Dies ist der spannendste Teil. Im alten Design verbrauchte die FFN-Station etwa 75 % des Budgets. Mit dem neuen Hourglass-Design haben sie einen Großteil dieses Budgets eingespart.

Anstatt die Fabrik nur billiger zu machen, haben sie die Ersparnisse reinvestiert. Sie haben die eingesparten Arbeiter genommen und sie zur Attention-Station bewegt.

Das Ergebnis: Die Fabrik hat nun ein viel besseres „Attention“-Team, das Kontexte und Beziehungen zwischen Wörtern viel besser verstehen kann, während das „Verarbeitungsteam“ schlanker, aber tiefer (mehr Schichten) ist.

Die Erkenntnisse (Die Rennergebnisse)
Die Autoren bauten mehrere Fabriken verschiedener Größen (von kleinen 113-Millionen-Parameter-Modellen bis hin zu 1-Milliarde-Parameter-Modellen), um das Design zu testen.

Kleine bis mittlere Fabriken (bis zu ~900 Mio. Parameter): Das Hourglass-Design gewann. Es lieferte bessere Ergebnisse (geringere Verwirrung, besseres logisches Denken) als das traditionelle „Breite“-Design. Es bewies, dass man keinen riesigen breiten Raum braucht, um gute Arbeit zu leisten; eine Reihe effizienter, gestapelter Sanduhren funktioniert besser.
Die 1-Milliarde-Parameter-Fabrik: Bei dieser massiven Skalierung schnitt das Hourglass-Design genauso gut ab wie das traditionelle Design. Es hat nicht verloren, aber es hat auch nicht mit einem riesigen Vorsprung gewonnen. Dies deutet darauf hin, dass das Hourglass zwar großartig ist, es aber dennoch ein Mindestmaß an „Verarbeitungsraum“ für sehr große Modelle benötigt.
Der Sweet Spot: Sie fanden heraus, dass das beste Gleichgewicht nicht einfach darin bestand, Dinge breiter oder tiefer zu machen. Es ging darum, ein spezifisches „U-Shape“-Gleichgewicht zu finden, bei dem das Modell weder zu dünn (zu tief) noch zu fett (zu breit) ist.

Das Fazit
Lange Zeit glaubten KI-Ingenieure, dass die „Schmal-Breit-Schmal“-Form der einzige Weg sei, um ein gutes Sprachmodell zu bauen. Diese Arbeit zeigt, dass diese Form tatsächlich eher eine Gewohnheit als ein Naturgesetz ist.

Indem wir zu einer Deep Hourglass-Form wechseln, können wir:

Modelle bauen, die genauso intelligent sind, aber weniger Ressourcen verbrauchen.
Den Fokus darauf legen, den „Attention“-Teil des Gehirns stärker zu machen, was dem Modell hilft, den Kontext besser zu verstehen.
Beweisen, dass es manchmal klüger ist, „schmaler, aber tiefer“ zu gehen, als „breiter und flacher“.

Kurz gesagt: Die Arbeit legt nahe, dass wir aufhören sollten, riesige, breite Verarbeitungsräume zu bauen, und stattdessen effiziente, gestapelte Sanduhren zu konstruieren, was es uns ermöglicht, mehr Gehirnschmalz in das Verständnis des eigentlichen Gesprächs zu investieren.

Technisches Resümee: Überprüfung der Formkonvention von Transformer-Sprachmodellen

Problemstellung

Dichte Transformer-Sprachmodelle folgten historisch einer starren Architekturkonvention: Das Feed-Forward-Netzwerk (FFN) nutzt eine „schmal–breit–schmale“ Multilayer-Perzeptron-Form (MLP). In diesem Design wird die Modell-Dimension ( $d_{model}$ ) auf eine breitere Zwischendimension ( $d_h$ ) mit einem Expansionsverhältnis, das typischerweise zwischen 2 und 4 liegt, erweitert, bevor sie wieder zurückprojiziert wird. Diese Struktur dominiert die Parameterallokation und macht oft den Großteil der Parameter und der Gleitkommaoperationen eines Modells aus.

Die Autoren hinterfragen, ob diese spezifische Form essenziell oder lediglich eine bequeme Instanziierung ist. Jüngste theoretische Arbeiten legen nahe, dass residuelle „breit–schmal–breit“ (Hourglass/Sanduhr) MLPs als optimale Funktionsapproximatoren dienen können, was potenziell eine überlegene Expressivität mit weniger Parametern bietet. Darüber hinaus hat empirische Evidenz in generativen Visionsmodellen und Mixture-of-Experts (MoE) Transformern gezeigt, dass Hourglass-Strukturen herkömmliche Designs übertreffen können. Der Kern des adressierten Problems ist, ob die konventionelle schmal–breit–schmale FFN-Struktur eine notwendige Einschränkung ist oder ob eine tiefere, schmalere Hourglass-FFN eine effizientere Allokation der Kapazität zwischen Attention- und FFN-Modulen bieten kann.

Methodik

Das Paper schlägt eine Transformer-Variante vor, die das konventionelle FFN durch ein Hourglass FFN ersetzt. Die Methodik umfasst:

Architektonische Neugestaltung:
- Das Hourglass FFN ersetzt die einzelne breite Expansionsschicht durch einen Stapel von $K$ hourglassförmigen Sub-MLPs, die durch Residualpfade verbunden sind.
- Jedes Sub-MLP ( $MLP_i$ ) folgt einer Kompressions-Expansions-Struktur: Es projiziert den Input von $d_{model}$ auf eine Bottleneck-Dimension $d_h$ (wobei $d_h < d_{model}$ ), wendet eine nichtlineare Aktivierung (SwiGLU) an und projiziert zurück zu $d_{model}$ .
- Der Layer-Output ist das Ergebnis des Durchlaufens des Inputs durch $K$ solcher residuellen Sub-Blöcke.
Strategie zur Parameter-Umverteilung:
- Durch die Reduzierung der Zwischendimension $d_h$ (wodurch das FFN „schmaler“ wird), sparen die Autoren Parameter, die normalerweise der Breite des FFN zugewiesen werden.
- Diese eingesparten Parameter werden entweder neu alloziert für:
  - Die Erhöhung der Modell-Dimension ( $d_{model}$ ) und der Attention-Kapazität.
  - Die Erhöhung der Tiefe des FFN-Stapels ( $K$ ).
  - Die Erhöhung der Anzahl der Transformer-Layer ( $L$ ).
Experimentelles Setup:
- Baselines: Vergleiche werden mit Standard-LLaMA-Style Transformern und der State-of-the-Art OLMo-2 Architektur durchgeführt.
- Skalen: Die Experimente werden über Modellgrößen von 113M bis 1B Parametern durchgeführt.
- Constraints: Die Experimente werden unter angeglichenen Gesamtparameter-Budgets (innerhalb einer Differenz von 0,001 %) und fester Attention-Größe durchgeführt, um die Effekte der FFN-Form zu isolieren.
- Suchraum: Die Autoren führen eine architektonische Suche durch, bei der sie $K$ (Tiefe des Hourglass-Stapels), $L$ (Anzahl der Transformer-Layer), $d_{model}$ und das Verhältnis $d_h/d_{model}$ variieren.

Zentrale Beiträge

Das Paper leistet vier primäre Beiträge:

Hinterfragung des Standards: Es stellt die de facto „schmal–breit–schmale“ FFN-Form in Frage und schlägt ein effizientes „breit–schmal–breit“ Hourglass FFN vor, das seine Expressivität durch gestapelte, residual verbundene Sub-MLPs beibehält.
Parameter-Umverteilung: Es demonstriert eine Strategie, bei der die Umleitung von Parametern von der FFN-Breite zur Attention-Breite oder zur internen FFN-Tiefe ( $K > 1$ ) eine überlegene Performance liefert, insbesondere bei kleineren Skalen (113M).
Architektonische Erkenntnisse: Es identifiziert einen U-förmigen Breiten-Tiefe-Trade-off, findet optimale Verhältnisse für $d_{model}/L$ und $d_h/d_{model}$ und stellt fest, dass tiefere Hourglass-FFN-Strukturen robust sind.
Validierung der Skalierbarkeit: Es validiert das Hourglass FFN von 113M bis 1B Parametern und zeigt, dass es eine kompetitive Alternative zu Standard-Baselines darstellt, wobei spezifische Konfigurationen konventionelle Modelle bei kleineren Skalen übertreffen und sie bei größeren Skalen erreichen.

Ergebnisse

Die empirische Validierung liefert folgende Erkenntnisse:

Performance bei fester Attention: Bei der 113M-Skala mit festen Attention-Parametern erzielen Hourglass FFNs einen niedrigeren Validierungsverlust und eine niedrigere Perplexität (PPL) als konventionelle FFNs. Beispielsweise sank die PPL bei $K=8$ von 36,441 (konventionell) auf 36,179.
Optimale Konfigurationen:
- Tiefe vs. Breite: Ein Verhältnis von $d_h/d_{model} \approx 0,4$ mit $K=4$ Layern lieferte den niedrigsten Validierungsverlust.
- Parameter-Shift: Bei 113M führte das Verschieben von Parametern, um das Attention-Modul dominant zu machen (z. B. 66M Attention gegenüber 47M FFN), zur besten Performance (PPL 35,101), was darauf hindeutet, dass kontextuelle Verarbeitung für kleine Modelle wertvoller ist als statische Faktenabfrage.
- Breiten-Tiefe-Trade-off: Eine deutliche U-förmige Kurve wurde für das $d_{model}/L$ Verhältnis beobachtet, mit einem optimalen „Sweet Spot“ zwischen 100 und 250.
Skalierbarkeit:
- Kleine bis mittlere Skalen (113M – 906M): Hourglass-Varianten übertrafen konsistent konventionelle Baselines in Bezug auf Validierungsverlust, Perplexität und Downstream-Reasoning-Aufgaben (z. B. Arc Easy, HellaSwag, PIQA).
- Große Skala (1B): Auf der 1B-Parameter-Skala erreichte die Hourglass-Variante eine Performance vergleichbar mit der starken konventionellen Baseline (Val PPL 20,082 vs. 20,002) und übertraf die OLMo-2 Konfiguration (20,466).
Ablationsstudien: Eine Erhöhung der Hourglass-Tiefe $K$ verbesserte konsistent die Performance, jedoch mit abnehmenden Grenzerträgen jenseits von $K=6$ . Eine Reduzierung von $d_h/d_{model}$ unter 0,4 führte zu einer signifikanten Leistungsdegradation, was auf eine Untergrenze für die FFN-Kompression hindeutet.

Bedeutung und Ansprüche

Das Paper behauptet, dass die langjährige „schmal–breit–schmale“ MLP-Form in Transformern nicht essenziell und möglicherweise redundant ist. Durch die Verwendung eines Hourglass FFN demonstrieren die Autoren:

Effizienz: Modelle können eine kompetitive oder überlegene Performance mit einer effizienteren Parameterverteilung erreichen.
Ressourcen-Umverteilung: Die Hourglass-Struktur ermöglicht einen fundamentalen Shift, bei dem der Attention-Mechanismus zum dominanten Verbraucher von Parametern werden kann, was das traditionelle FFN-dominierte Budget infrage stellt.
Neubewertung des Designs: Die Ergebnisse regen zu einem Überdenken des Gleichgewichts zwischen Attention und FFN an und legen nahe, dass für effiziente und expressive moderne Sprachmodelle ein tieferes, schmaleres FFN in Kombination mit breiteren Attention-Mechanismen eine überlegene Designstrategie sein kann.

Die Autoren bleiben bescheiden hinsichtlich der Skalierbarkeit auf Modelle mit Zehntausenden oder Hunderttausenden von Milliarden Parametern und merken an, dass ihre Ergebnisse aus der 113M-Skala extrapoliert wurden und dass der „Fluch der Tiefe“ (Probleme der Signalpropagation) in tieferen Architekturen weitere Untersuchung erfordert. Sie weisen auch darauf hin, dass die Interaktion zwischen Hourglass FFNs und fortgeschrittenen Attention-Mechanismen (z. B. Group-Query Attention) noch unerforscht ist.