🤖 machine learning

Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning

Dieses Paper stellt Manifold-Constrained Hyper-Connections (mHC) vor, einen neuartigen, parametereffizienten Fine-Tuning-Ansatz, der Residualverbindungen in eingefrorenen Transformern adaptiert, wobei gezeigt wird, dass mHC allein nicht konsistent besser als LoRA abschneidet, die Kombination von mHC mit LoRA jedoch eine überlegene Sprachmodellierungsleistung und Benchmark-Gewinne bei gleichem Parameterbudget erzielt.

Ursprüngliche Autoren: Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven

Veröffentlicht 2026-07-21

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen riesigen, unglaublich klugen Roboter, der bereits gelernt hat zu lesen, zu schreiben und die Welt zu verstehen, indem er eine Bibliothek von fast allem studiert hat, was jemals geschrieben wurde. Dieser Roboter ist ein „Foundation Model“. Er ist brillant, aber er ist auch eine riesige, schwere Maschine. Wenn Sie ihm einen neuen Trick beibringen wollen – wie zum Beispiel lustige Witze zu schreiben oder mathematische Probleme zu lösen – müssen Sie normalerweise seine internen Zahnräder anpassen. Aber all diese Zahnräder auf einmal zu drehen, ist teuer, langsam und führt manchmal dazu, dass der Roboter seine alten Fähigkeiten vergisst. Deshalb haben Wissenschaftler das „Parameter-Efficient Finetuning“ (PEFT) erfunden. Denken Sie bei PEFT an ein kleines, maßgeschneidertes Zusatzmodul für den Roboter, anstatt die ganze Maschine neu aufzubauen. Sie frieren das Gehirn des Roboters ein und trainieren nur diesen winzigen neuen Teil.

Lange Zeit funktionierten diese Zusatzmodule, indem sie die internen Gewichte des Roboters änderten (wie das Anpassen der Spannung einer Feder) oder neue kleine Kästen hinzufügten, um Informationen zu verarbeiten. Aber es gab einen riesigen Teil des Gehirns des Roboters, den alle unberührt ließen: die „Residual Connection“ (Residuenverbindung). Stellen Sie sich ein Förderband vor, das Informationen vom Anfang eines Layers zum Ende trägt, mit einem Seitenpfad, auf dem der Roboter einige ausgeklügelte Prozesse durchführt, bevor er das Ergebnis wieder auf das Band zurückführt. Dieses Band ist entscheidend; es verhindert, dass der Robot verwirrt wird, während er tiefer in seine Prozesse eindringt. Die große Frage, die dieses Paper stellt, lautet: Was wäre, wenn wir dieses Band nicht einfach unberührt ließen? Was wäre, wenn wir einen smarten Verkehrskontrolleur für dieses Band bauten, der uns entscheiden lässt, wie genau die verschiedenen Informationsströme gemischt und zusammengeführt werden?

Dieses Paper stellt eine neue Methode namens Manifold-Constrained Hyper-Connections (mHC) vor. Die Forscher versuchten, einen eingefrorenen Roboter (speziell ein OLMo-2 Modell) mit diesen smarten Verkehrskontrolleuren zu umschließen, um zu sehen, ob sie den Roboter effizienter neue Aufgaben lehren können. Sie fanden heraus, dass diese Kontrollmechanismen zwar funktionieren können, sich aber in einem „Finetuning“-Szenario sehr anders verhalten als beim Aufbau eines Roboters von Grund auf. Die überraschendste Entdeckung? Der beste Verkehrskontrolleur war oft derjenige, der nichts an der Mischung der Ströme änderte.

Hier ist der Clou: Die Forscher fanden heraus, dass es die Dinge eher verschlechterte oder nicht viel half, wenn sie den Roboter lernen ließen, wie er die verschiedenen Informationsströme auf dem Förderband mischt. Wenn sie jedoch den Mischteil dazu zwangen, exakt so zu bleiben wie im ursprünglichen Roboter (eine „Identity“-Einstellung, was bedeutet: „Ändere den Fluss nicht“), performte der Roboter besser und verbrauchte weniger Ressourcen. Es stellt sich heraus, dass für einen Roboter, der bereits viel weiß, die beste Strategie nicht darin besteht, neu zu lernen, wie er seine Gedanken durchmischt, sondern einfach zu lernen, wo er hinschaut und wo er neue Ideen hinschreibt, während er die Hauptautobahn seiner Gedanken genau so lässt, wie sie war.

Die Geschichte des smarten Verkehrskontrolleurs

Die Forscher begannen mit einer einfachen Idee: Das Förderband (die Residual Connection) in KI-Modellen ist normalerweise eine gerade Linie. Informationen fließen hinein, werden verarbeitet und kommen wieder heraus, wobei sie zum ursprünglichen Input addiert werden. Die Autoren des Papers fragten sich: „Was wäre, wenn wir diese Linie smarter machen würden?“ Sie führten Hyper-Connections ein, die es dem Roboter ermöglichen, mehrere parallele Informationsströme zu haben (wie das Besitzen von vier Förderbändern statt nur einem) und zu lernen, wie er diese zusammenmischt.

Doch das willkürliche Mischen von Dingen kann gefährlich sein. Wenn man vier Wasserströme ohne Plan mischt, kann man am Ende eine Flut oder eine Dürre erzeugen. Um dies zu verhindern, verwendeten sie Manifold-Constrained Hyper-Connections (mHC). Betrachten Sie dies als ein strenges Regelwerk für den Verkehrskontrolleur. Es stellt sicher, dass, egal wie die Ströme gemischt werden, die Gesamtmenge des „Signals“ gleich bleibt. Es verhindert, dass der Roboter versehentlich Rauschen verstärkt oder wichtige Informationen verliert, während die Daten durch hunderte von Layern reisen.

Das Team testete dies an einem 1-Milliarden-Parameter-Modell (ein mittelgroßer Roboter) und einem 7-Milliarden-Parameter-Modell (ein riesiger Roboter). Sie verglichen ihre neue mHC-Methode mit dem Industriestandard LoRA (welches die internen Gewichte des Roboters anpasst) und anderen populären Methoden.

Die große Überrasung: Weniger Mischen ist mehr
Als sie das mHC zum ersten Mal trainierten, erwarteten sie, dass der Roboter eine komplexe, einzigartige Art lernt, seine vier Informationsströme zu mischen, um Probleme zu lösen. Doch als sie die Ergebnisse betrachteten, sahen sie etwas Seltsames. In den tieferen Layern des Roboters driftete die „Mischmatrix“ (der Teil, der entscheidet, wie die Ströme durchgemischt werden) ganz natürlich zurück zu einer Identitätsmatrix.

Auf Deutsch gesagt: Der Roboter lernte, dass der beste Weg, die Ströme zu handhaben, darin besteht, sie einfach unverändert passieren zu lassen. Es war wie ein Verkehrskontrolleur, der, nachdem er die Straße eine Weile studiert hatte, entschied: „Wisst ihr was? Der beste Weg, Autos ans Ziel zu bringen, ist, sie einfach geradeaus fahren zu lassen, ohne die Spur zu wechseln.“

Die Forscher testeten diese Theorie, indem sie den Mischteil manuell auf eine Identitätsmatrix zwangen (keine Mischung erlaubt) von Beginn an. Das Ergebnis? Der Robot performte besser oder zumindest genauso gut, verbrauchte aber signifikant weniger Parameter.

In Experimenten mit einem 1-Milliarden-Parameter-Modell reduzierte das Fixieren der Mischung auf Identity den Test-Loss (ein Maß für den Fehler) von 1,32 auf 1,27 und sparte dabei über 8 Millionen Parameter ein.
Dies deutet darauf hin, dass für einen bereits vortrainierten Roboter der „Mischpart“ der Residual Connection bereits perfekt ist. Zu versuchen, ihn neu zu lernen, ist unnötig und kann sogar schädlich sein. Die wahre Kraft liegt in den „Read“- und „Write“-Gates – den Teilen, die entscheiden, welchen Strom der Roboter betrachtet und wohin er die neuen Informationen schreibt.

Die Kraft der Teamarbeit
Das Paper fragte auch: „Kann diese neue Methode mit den alten Methoden arbeiten?“
Sie fanden heraus, dass mHC und LoRA wie zwei verschiedene Werkzeuge sind, die unterschiedliche Probleme lösen. LoRA ändert die Zahnräder (Gewichte), während mHC den Verkehrsfluss (Routing) ändert.

Als sie mHC (mit der Identity-Mischungsregel) und LoRA kombinierten, wurde der Roboter sogar noch besser.
Beispielsweise verbesserte die Kombination eines kleinen mHC-Moduls mit LoRA die Leistung des 7-Milliarden-Parameter-Modells bei Mathematik- und Denkaufgaben (wie GSM8K und HellaSwag) im Vergleich zur alleinigen Verwendung von LoRA.
Das Paper legt nahe, dass diese Kombination deshalb funktioniert, weil sie das Problem aus unterschiedlichen Blickwinkeln angehen. Eines ändert, was der Roboter weiß (Gewichte), und das andere ändert, wie er auf dieses Wissen zugreift (Routing).

Was das bedeutet
Das Paper kommt zu dem Schluss, dass mHC ein vielversprechendes neues Werkzeug ist, aber kein magisches Allheilmittel, das alles ersetzt.

Als Solist: Es schneidet nicht konsistent besser ab als die besten bestehenden Methoden wie LoRA.
Als Partner: Es glänzt, wenn es mit ihnen kombiniert wird, und bietet Verbesserungen in spezifischen Aufgaben.
Die wichtigste Lektion: Die wichtigste Erkenntnis ist, dass wir beim Finetuning aufhören sollten, zu versuchen, die Mischung der Residual Streams neu zu lernen. Die „Identity“-Einstellung (den Fluss exakt so zu lassen, wie er war) ist das Geheimrezept.

Die Autoren geben zu, dass ihre Ergebnisse auf spezifische Modelle (OLMo-2) und Datensätze bezogen sind, und sie wissen noch nicht, ob diese „Identity-Regel“ für jede Art von KI-Roboter gilt. Aber die Idee, dass „manchmal die beste Änderung darin besteht, die Hauptautobahn unangetastet zu lassen und statndessen bessere Ausfahrten zu bauen“, eröffnet eine frische, spannende Richtung, um KI intelligenter und effizienter zu machen.

Technisches Resümee: Mannigfaltigkeitsbeschränkte Hyper-Verbindungen für das parametereffiziente Fine-Tuning

Problemstellung

Moderne Deep-Learning-Systeme verlassen sich zunehmend auf Foundation-Modelle, die auf massiven Datensätzen vortrainiert wurden und anschließend mittels Fine-Tuning an spezifische Downstream-Aufgaben angepasst werden. Während das Aktualisieren aller Parameter rechenintensiv ist und das Risiko eines katastrophalen Vergessens birgt, adressieren Methoden des parametereffizienten Fine-Tunings (PEFT) dies, indem sie den Backbone einfrieren und nur eine geringe Anzahl zusätzlicher Parameter trainieren. Bestehende Ansätze, wie LoRA (Low-Rank Adaptation) und Adapter-Module, konzentrieren sich primär darauf, Gewichtmatrizen zu modifizieren oder lokale trainierbare Module einzufügen. Diese Methoden lassen jedoch den Großteil der Architektur des Backbones, insbesondere die Residuenverbindungen (Residual Connections), unverändert.

Residuenverbindungen sind grundlegend für das Training tiefer Netzwerke, da sie Identitätspfade bereitstellen, die verschwindende Gradienten mildern und den Informationsfluss erleichtern. Während neuere Arbeiten Hyper-Connections (HC) einführten, um Residuenverbindungen zu generalisieren, indem sie erlauben, wie verschiedene Tiefenströme interagieren, kann unbeschränktes HC über die Tiefe hinweg zu Instabilität führen. Manifold-Constrained Hyper-Connections (mHC) wurden vorgeschlagen, um diesen Mechanismus während des Vortrainings durch die Beschränkung der residuellen Mischmatrix auf eine normerhaltende Mannigfaltigkeit zu stabilisieren. Das zentrale Problem, das diese Arbeit adressiert, ist, ob mHC effektiv als PEFT-Methode für eingefrorene Transformer-Backbones wiederverwendet werden kann und wie sich sein Verhalten im Vergleich zum ursprünglichen Vortraining-Szenario beim Fine-Tuning verhält.

Methodik

Die Autoren implementieren mHC als Wrapper um vortrainierte Transformer-Blöcke (speziell OLMo-2-Modelle) und modifizieren dabei, wie Zwischenrepräsentationen durch die Residuenströme geroutet werden, ohne die Gewichte des eingefrorenen Backbones zu verändern.

Kernmechanismus

Standardmäßige Residuenverbindungen folgen $z_l = f_l(z_{l-1}) + z_{l-1}$ . mHC generalisiert dies, indem es $n$ parallele Residuenströme beibehält.

Routing: Das Modell lernt, aus Strömen zu lesen ( $h_{pre}$ ), diese über die Tiefe zu mischen ( $H_{res}$ ) und wieder in Ströme zurückzuschreiben ( $h_{post}$ ).
Mannigkeitsbeschränkung: Um die bei unbeschränktem HC beobachtete Instabilität zu verhindern, wird die residuelle Mischmatrix $H_{res}$ als doppelt stochastisch beschränkt (nicht-negative Einträge, Zeilen und Spalten summieren sich zu 1). Dies wird über den Sinkhorn-Knopp-Algorithmus erreicht, der unbeschränkte Logits auf das Birkhoff-Polyeder projiziert.
Varianten: Die Studie evaluiert verschiedene Parameterisierungen:
- Sinkhorn mHC: Verwendet iterative Sinkhorn-Projektion.
- mHC-lite: Nutzt den Birkhoff-von Neumann-Theorem, um $H_{res}$ als konvexe Kombination von Permutationsmatrizen zu parametrisieren.
- KromHC: Konstruiert $H_{res}$ über Kronecker-Produkte kleinerer doppelt stochastischer Matrizen, was eine bessere Skalierbarkeit bietet.
- Statisch vs. Dynamisch: Statische Varianten verwenden feste gelernte Logits pro Schicht, während dynamische Varianten die Routing-Parameter basierend auf der aktuellen Eingangsrepräsentation vorhersagen.

Experimentelles Setup

Backbone: OLMo-2-0425-1B (1B Parameter) und OLMo-2-1124-7B (7B Parameter).
Daten: Tulu-3 SFT OLMo Mixture Dataset.
Baselines: Vergleich gegen LoRA, VeRA, (IA)3, Prompt Tuning und Layer Tuning.
Evaluierung: Messung mittels Next-Token-Prediction-Loss (Training/Validierung) und Downstream-Benchmarks (BBH, DROP, GSM8K, HellaSwag, MATH, MMLU, PIQA, TriviaQA).

Zentrale Erkenntnisse und Ergebnisse

1. Identitätserhaltung ist beim Fine-Tuning entscheidend

Eine wesentliche Entdeckung ist, dass sich mHC beim Fine-Tuning grundlegend anders verhält als beim Vortraining.

Beobachtung: Im Fine-Tuning-Szenario konvergiert die gelernte residuelle Mischmatrix $H_{res}$ in tieferen Schichten natürlich gegen eine Identitätsmatrix ( $H_{res} \approx I_n$ ).
Implikation: Das Erzwingen der Identitätsmatrix (das Entfernen der lernbaren Mischparameter vollständig) verbessert oder erhält die Performance, während die Anzahl der trainierbaren Parameter signifikant reduziert wird.
Mechanismus: Die Autoren hypothetisieren, dass der Backbone im Fine-Tuning bereits über reiche Repräsentationen verfügt. Das Stören des vortrainierten Residuenpfads durch gelerntes Mischen ist kontraproduktiv. Stattdessen profitiert das Modell von eingangsabhängigem Read/Write-Routing ( $h_{pre}$ und $h_{post}$ ), während der tiefenabhängige Residuenpfad statisch bleibt.

2. Performance als eigenständige PEFT-Methode

Loss-Reduktion: mHC-Varianten reduzieren den Trainings- und Test-Loss erfolgreich im Vergleich zum eingefrorenen Baseline-Modell.
Benchmark-Vergleich: Als eigenständige Methode schneidet mHC über alle Downstream-Aufgaben hinweg nicht konsistent besser ab als etablierte Baselines wie LoRA oder VeRA. Während es bei spezifischen wissensbasierten Aufgaben (z. B. TriviaQA, PIQA) konkurrenzfähige Ergebnisse zeigt, fällt es bei reasoning-intensiven Aufgaben im Vergleich zu LoRA oft ab.
Parametereffizienz: Statische Varianten (z. B. Static KromHC) sind extrem leichtgewichtig (z. B. 384 Parameter für das 1B-Modell), aber dynamische Varianten (die besser abschneiden) benötigen mehr Parameter, wodurch sich der Abstand zu LoRA verringert.

3. Synergie mit bestehenden PEFT-Methoden

Die vielversprechendste Anwendung von mHC ist als Ergänzung zu bestehenden Methoden statt als Ersatz.

Kombinierter Ansatz: Die Kombination von mHC (speziell der identitätserhaltenden dynamischen KromHC-Variante) mit LoRA liefert Verbesserungen.
Ergebnisse: Bei gleichem Parameterbudget verbessert die Kombination von mHC und LoRA den Language-Modeling-Loss und zeigt aufgabenspezifische Gewinne in Downstream-Benchmarks (z. B. Verbesserungen bei GSM8K, HellaSwag und PIQA auf der 7B-Skala).
Interpretation: Dies deutet darauf hin, dass mHC und LoRA auf orthogonalen Achsen operieren: LoRA adaptiert lokale Gewichtstransformationen, während mHC das Routing der Repräsentationen durch die Residuenströme adaptiert.

Bedeutung und Beiträge

Das Paper leistet fünf primäre Beiträge:

Neuer PEFT-Axis: Es führt mHC als PEFT-Mechanismus für eingefrorene Transformer ein und verlagert den Fokus von der Gewichtsadaption zur Residuen-Adressierung (Residual Routing).
Mechanistischer Einblick: Es identifiziert die Identitätserhaltung als zentrale Erkenntnis und zeigt auf, dass das Fixieren der Mischmatrix auf die Identität die Performance beim Fine-Tuning verbessert, im Gegensatz zum Vortraining, wo gelerntes Mischen vorteilhaft ist.
Komplementarität: Es stellt fest, dass mHC am effektivsten ist, wenn es mit Standard-PEFT-Methoden (wie LoRA) kombiniert wird, was einen distinkten Adaptationsmechanismus bietet, der den Loss und die aufgabenspezifische Performance verbessern kann.
Skalierbarkeit: Es validiert diese Erkenntnisse über verschiedene Modellskalen hinweg (1B und 7B) und zeigt, dass die Vorteile von identitätserhaltendem mHC und dessen Kombination mit LoRA auch bei größeren Skalen bestehen bleiben.
Effizienz: Es demonstriert, dass Residuen-Routing eine stabile und effektive PEFT-Strategie sein kann, wobei spezifische Varianten (wie KromHC) eine effiziente Parametrisierung bieten.

Fazit

Das Paper kommt zu dem Schluss, dass mHC als eigenständige PEFT-Methode zwar nicht universell LoRA übertrifft, aber eine distinkte und vielversprechende Achse für das Fine-Tuning eröffnet: das Residuen-Routing. Die wichtigste Erkenntnis ist, dass es für eingefrorene Backbones effektiver ist, den vortrainierten Residuenpfad zu bewahren (indem $H_{res}$ auf Identität fixiert wird), während die Kapazität für eingangsabhängige Read/Write-Gates genutzt wird, als komplexe Cross-Stream-Mischprozesse zu lernen. Folglich sollte mHC nicht als direkter Ersatz für bestehende Methoden betrachtet werden, sondern als komplementärer Mechanismus, der PEFT dadurch verbessert, dass er moduliert, wie Repräsentationen durch die Residuenströme des Modells fließen.