🤖 machine learning

Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning

Dit artikel introduceert Manifold-Constrained Hyper-Connections (mHC), een nieuwe parameter-efficiënte fine-tuning aanpak die residuele verbindingen in bevroren Transformers aanpast, waarbij wordt aangetoond dat hoewel mHC alleen niet consistent beter presteert dan LoRA, het combineren van mHC met LoRA superieure taalmodelleringprestaties en winst in benchmarks oplevert bij gelijkwaardige parameterbudgetten.

Oorspronkelijke auteurs: Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven

Gepubliceerd 2026-07-21

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk slimme robot hebt die al heeft geleerd te lezen, te schrijven en de wereld te begrijpen door een bibliotheek van bijna alles wat ooit geschreven is te bestuderen. Deze robot is een "foundation model". Hij is briljant, maar het is ook een gigantische, zware machine. Als je hem een nieuwe truc wilt leren — zoals het schrijven van grappige grappen of het oplossen van wiskundeproblemen — moet je meestal zijn interne tandwielen aanpassen. Maar al die tandwielen tegelijk draaien is duur, traag, en soms vergeet de robot dan zijn oude vaardigheden. Dus hebben wetenschappers "Parameter-Efficient Finetuning" (PEFT) uitgevonden. Denk aan PEFT als een kleine, op maat gemaakte add-on module op de robot plaatsen in plaats van de hele machine te herbouwen. Je bevriest de hersenen van de robot en traint alleen dit kleine nieuwe onderdeel.

Lama de tijd dat deze add-ons werkten door de interne gewichten van de robot te veranderen (zoals het aanpassen van de spanning op een veer) of door nieuwe kleine doosjes toe te voegen om informatie te verwerken, bleef er één groot deel van de hersenen van de robot ongemoeid: de "residual connection". Stel je een lopende band voor die informatie van het begin van een laag naar het einde draagt, met een zijpad waar de robot wat bijzondere verwerking uitvoert voordat hij het resultaat weer samenvoegt op de band. Deze band is cruciaal; het voorkomt dat de robot in de war raakt naarmig hij dieper wordt. De grote vraag die dit artikel stelt is: Wat als we die band niet ongemoeid lieten? Wat als we een slimme verkeerregelaar voor die band bouwden, waardoor we precies kunnen beslissen hoe verschillende stromen informatie mengen en samensmelten terwijl ze door de robot reizen?

Dit artikel introduceert een nieuwe methode genaamd Manifold-Constrained Hyper-Connections (mHC). De onderzoekers probeerden een bevroren robot (specifiek een OLMo-2 model) te omwikkelen met deze slimme verkeersregelaars om te zien of ze de robot efficiënter nieuwe taken konden leren. Ze ontdekten dat hoewel deze controllers kunnen werken, ze heel anders gedragen in een "finetuning"-setting dan wanneer een robot vanaf nul wordt gebouwd. De meest verrassende ontdekking? De beste verkeersregelaar was vaak degene die niets deed aan het mengen van de stromen.

Hier is de twist: De onderzoekers ontdekten dat wanneer ze de robot lieten leren hoe hij de verschillende stromen informatie op de lopende band moest mengen, dit de boel eigenlijk slechter maakte of niet veel hielp. Echter, wanneer ze de mengfunctie dwongen om exact hetzelfde te blijven als de originele robot (een "identity"-instelling, wat betekent "verander de flow niet"), presteerde de robot beter en gebruikte hij minder middelen. Het blijkt dat voor een robot die al veel weet, de beste strategie niet is om opnieuw te leren hoe hij zijn gedachten moet door elkaar husselen, maar simpelweg te leren waar hij moet kijken en waar hij nieuwe ideeën moet opschrijven, terwijl de hoofdweg van zijn gedachten precies zo blijft als hij was.

Hoewel deze nieuwe methode (mHC) de huidige kampioenen (zoals LoRA) niet versloeg wanneer deze alleen werd gebruikt, liet het iets opwindends zien wanneer het werd gecombineerd met hen. Het combineren van de "slimme verkeersregelaar" met de standaard "gewichtsaanpasser" (LoRA) creëerde een team dat beter was in sommige taken dan elk van hen alleen kon zijn. Dit suggereert dat er een heel nieuwe manier is om deze robots af te stemmen — niet door hun tandwielen te veranderen, maar door de route te herzien van hoe hun gedachten stromen — wat een krachtig hulpmiddel kan zijn voor de toekomst van AI.

Het Verhaal van de Slimme Verkeersregelaar

De onderzoekers begonnen met een eenvoudig idee: de lopende band (residual connection) in AI-modellen is meestal gewoon een rechte lijn. Informatie gaat erin, wordt verwerkt, en komt er weer uit, toegevoegd aan de oorspronkelijke input. De auteurs van het artikel vroegen zich af: "Wat als we die lijn slimmer maken?" Ze introduceerden Hyper-Connections, die de robot toestaan om meerdere parallelle informatiestromen te hebben (zoals het hebben van vier lopende banden in plaats van één) en te leren hoe hij deze samen kan mengen.

Echter, het willekeurig mengen van dingen kan gevaarlijk zijn. Als je vier stromen water zonder plan mengt, kun je eindigen met een overstroming of een droogte. Om dit op te lossen, gebruikten ze Manifold-Constrained Hyper-Connections (mHC). Denk aan dit als een strikt regelboek voor de verkeersregelaar. Het zorgt ervoor dat, ongeacht hoe de stromen worden gemengd, de totale hoeveelheid "signaal" gelijk blijft. Het voorkomt dat de robot per ongeluk ruis versterkt of belangrijke informatie verliest terwijl de data door honderden lagen reist.

Het team testte dit op een model met 1 miljard parameters (een middelgrote robot) en een model met 7 miljard parameters (een gigantische robot). Ze vergeleken hun nieuwe mHC-methode met de industriestandaard, LoRA (die de interne gewichten van de robot aanpast), en andere populaire methoden.

De Grote Verrassing: Minder Mengen is Meer
Toen ze de mHC voor het eerst trainden, verwachtten ze dat de robot een complexe, unieke manier zou leren om zijn vier stromen informatie te mengen om problemen op te lossen. Maar toen ze naar de resultaten keken, zagen ze iets vreemds. In de diepere lagen van de robot bewoog de "mengmatrix" (het deel dat beslist hoe de stromen worden gehusseld) van nature terug naar een identiteitsmatrix.

In gewone mensentaal: de robot leerde dat de beste manier om de stromen te behandelen, was om ze gewoon onveranderd door te laten. Het was also als een verkeersregelaar die, nadat hij de weg een tijdje had bestudeerd, besloot: "Weet je wat? De beste manier om auto's naar de bestemming te krijgen, is door ze gewoon rechtuit te laten rijden zonder van rijstrook te wisselen."

De onderzoekers testten deze theorie door de mengfunctie handmatig te dwingen om vanaf het begin een identiteitsmatrix te blijven (geen menging toegestaan). Het resultaat? De robot presteerde beter of net zo goed, maar met aanzienlijk minder trainbare parameters.

In experimenten met een model van 1 miljard parameters verminderde het vastzetten van de menging op identiteit de testverlies (een maatstaf voor fouten) van 1,32 naar 1,27, terwijl er meer dan 8 miljoen parameters werden bespaard.
Dit suggereert dat voor een robot die al is voorgetraind, het "menggedeelte" van de residual connection al perfect is. Het proberen opnieuw te leren hoe het moet mengen is onnodig en kan zelfs schadelijk zijn. De echte kracht komt van de "lees"- en "schrijf"-poorten — de onderdelen die beslissen naar welke stroom de robot kijkt en waar hij de nieuwe informatie plaatst.

De Kracht van Teamwerk
Het artikel vroeg ook: "Kan deze nieuwe methode ook samen met de oude methoden werken?"
Ze ontdekten dat mHC en LoRA als twee verschillende gereedschappen zijn die verschillende problemen oplossen. LoRA verandert de tandwielen (gewichten), terwijl mHC de verkeersstroom verandert (routing).

Wanneer ze mHC (met de identiteitsmengregel) en LoRA combineerden, werd de robot zelfs nog beter.
Bijvoorbeeld, op een model van 7 miljard parameters verbeterde de combinatie van een kleine mHC-module met LoRA de prestaties van de robot op wiskunde- en redeneertaken (zoals GSM8K en HellaSwag) vergeleken met het gebruik van alleen LoRA.
Het artikel suggereert dat deze combinatie werkt omdat ze het probleem vanuit verschillende hoeken aanpakken. De een verandert wat de robot weet (gewichten), en de ander verandert hoe hij die kennis toegankelijk maakt (routing).

Wat dit Betekent
Het artikel concludeert dat mHC een veelbelovend nieuw hulpmiddel is, maar geen magische oplossing die alles vervangt.

Als solo-act: Het verslaat niet consistent de beste bestaande methoden zoals LoRA.
Als partner: Het blinkt uit wanneer het met hen wordt gecombineerd, waarbij het verbeteringen biedt in specifieke taken.
De belangrijkste les: Het belangrijkste is dat we voor finetuning moeten stoppen met proberen te leren hoe we de residual streams moeten mengen. De "identity"-instelling (het behouden van de flow precies zoals die was) is het geheime ingrediënt.

De auteurs geven toe dat hun bevindingen gebaseerd zijn op specifieke modellen (OLMo-2) en datasets, en dat ze nog niet weten of deze "identiteitsregel" voor elk type AI-robot geldt. Maar het idee dat "soms de beste verandering is om de hoofdweg ongemoeid te laten en alleen betere afritten te bouwen", opent een frisse, opwindende richting voor het slimmer en efficiënter maken van AI.

Technische Samenvatting: Manifold-Constrained Hyper-Connections voor Parameter-Efficiënte Finetuning

Probleemstelling

Moderne deep learning-systemen vertrouwen steeds vaker op foundation models die zijn voorgetraind op enorme datasets, die vervolgens worden aangepast aan specifieke downstream-taken via finetuning. Hoewel het bijwerken van alle parameters computationeel duur is en het risico op catastrofaal vergeten met zich meebrengt, pakken Parameter-Efficient Finetuning (PEFT) methoden dit aan door de backbone te bevriezen en alleen een klein aantal aanvullende parameters te trainen. Bestaande benaderingen, zoals LoRA (low-rank adaptation) en Adapter-modules, richten zich primair op het wijzigen van gewichtsmatrices of het invoegen van lokale trainbare modules. Deze methoden laten echter de architecturale backbone van het model, specif으로 de residuele verbindingen (residual connections), grotendeels ongewijzigd.

Residuele verbindingen zijn fundamenteel voor het trainen van diepe netwerken, omdat ze identiteitspaden bieden die vanishing gradients mitigeren en informatiestroom faciliteren. Hoewel recent werk Hyper-Connections (HC) introduceerde om residuele verbindingen te generaliseren door het model te laten leren hoe verschillende dieptestromen interageren, kunnen onbeperkte HC leiden tot instabiliteit over de diepte heen. Manifold-Constrained Hyper-Connections (mHC) werden voorgesteld om dit mechanisme tijdens pre-training te stabiliseren door de residuele mengmatrix te beperken tot een norm-behoudende manifold. Het centrale probleem dat dit artikel adresseert, is of mHC effectief kan worden ingezet als een PEFT-methode voor bevroren Transformer-backbones, en hoe het gedrag ervan in finetuning zich verhoudt tot de oorspronkelijke pre-training setting.

Methodologie

De auteurs implementeren mHC als een wrapper rondom gepre-trainde Transformer-blocks (specifiek OLMo-2 modellen), waarbij de manier waarop intermediaire representaties door de residuele stromen worden gerouteerd wordt gewijzigd zonder de gewichten van de bevroren backbone aan te passen.

Kernmechanisme

Standaard residuele verbindingen volgen $z_l = f_l(z_{l-1}) + z_{l-1}$ . mHC generaliseert dit door $n$ parallelle residuele stromen te onderhouden.

Routing: Het model leert te lezen uit stromen ( $h_{pre}$ ), deze over de diepte te mengen ( $H_{res}$ ), en terug te schrijven naar stromen ( $h_{post}$ ).
Manifold Constraint: Om de instabiliteit te voorkomen die wordt gezien bij onbeperkte HC, wordt de residuele mengmatrix $H_{res}$ beperkt tot een dubbel stochastische matrix (niet-negatieve entiteiten, rijen en kolommen sommeren tot 1). Dit wordt bereikt via het Sinkhorn-Knopp algoritme, dat onbeperkte logits projecteert op de Birkhoff-polytoop.
Varianten: De studie evalueert verschillende parametrisaties:
- Sinkhorn mHC: Gebruikt iteratieve Sinkhorn-projectie.
- mHC-lite: Gebruikt de Birkhoff-von Neumann stelling om $H_{res}$ te parametriseren als een convexe combinatie van permutatiematrices.
- KromHC: Construeert $H_{res}$ via Kronecker-producten van kleinere dubbel stochastische matrices, wat een betere schaalbaarheid biedt.
- Static vs. Dynamic: Statische varianten gebruiken vaste geleerde logits per laag, terwijl dynamische varianten de routing-parameters voorspellen op basis van de huidige input-representatie.

Experimentele Opzet

Backbone: OLMo-2-0425-1B (1B parameters) en OLMo-2-1124-7B (7B parameters).
Data: Tulu-3 SFT OLMo mixture dataset.
Baselines: Vergeleken met LoRA, VeRA, (IA)3, Prompt Tuning en Layer Tuning.
Evaluatie: Gemeten via next-token prediction loss (training/validatie) en downstream benchmarks (BBH, DROP, GSM8K, HellaSwag, MATH, MMLU, PIQA, TriviaQA).

Belangrijkste Bevindingen en Resultaten

1. Identiteitsbehoud is Cruciaal in Finetuning

Een cruciale ontdekking is dat mHC fundamenteel anders functioneert in finetuning vergeleken met pre-training.

Observatie: In de finetuning-setting convergeert de geleerde residuele mengmatrix $H_{res}$ van nature naar een identiteitsmatrix ( $H_{res} \approx I_n$ ) in diepere lagen.
Implicatie: Het afdwingen van $H_{res}$ als de identiteitsmatrix (het volledig verwijderen van de leerbare mengparameters) verbetert of behoudt de prestaties terwijl het aantal trainbare parameters aanzienlijk wordt verminderen.
Mechanisme: De auteurs hypothetiseren dat de backbone in de finetuning-setting al rijke representaties bevat. Het verstoren van het gepre-trainde residuele pad via geleerd mengen is contraproductief. In plaats daarvan profiteert het model van input-afhankelijke read/write routing ( $h_{pre}$ en $h_{post}$ ) terwijl het diepte-waartse residuele pad statisch blijft.

2. Prestaties als een Zelfstandige PEFT-methode

Loss Reductie: mHC-varianten reduceren de trainings- en test-loss succesvol vergeleken met de bevroren baseline.
Benchmark Vergelijking: Als zelfstandige methode presteert mHC niet consistent beter dan gevestigde baselines zoals LoRA of VeRA over alle downstream-taken. Hoewel het competitieve resultaten laat zien op specifieke kennisgebaseerde taken (bijv. TriviaQA, PIQA), presteert het vaak minder goed op redeneerintensieve taken vergeleken met LoRA.
Parameter Efficiëntie: Statische varianten (bijv. Static KromHC) zijn extreem lichtgewicht (bijv. 384 parameters voor het 1B model), maar dynamische varianten (die beter presteren) vereisen meer parameters, waardoor het gat met LoRA kleiner wordt.

3. Synergie met Bestaande PEFT-methoden

De meest veelbelovende toepassing van mHC is als een complement voor bestaande methoden in plaats van een vervanging.

Gecombineerde Aanpak: Het combineren van mHC (specifiek de identiteits-behoudende dynamische KromHC-variant) met LoRA levert verbeteringen op.
Resultaten: Bij een gelijkwaardig parameterbudget levert de combinatie van mHC en LoRA een verbetering in de taalmodellerings-loss en toont het taakafhankelijke winsten op downstream benchmarks (bijv. verbeteringen op GSM8K, HellaSwag en PIQA op de 7B schaal).
Interpretatie: Dit suggereert dat mHC en LoRA op orthogonale assen opereren: LoRA past lokale gewichtstransformaties aan, terwijl mHC de routing van representaties door de residuele stromen aanpast.

Betekenis en Bijdragen

Het artikel levert vijf primaire bijdragen:

Nieuwe PEFT-as: Het introduceert mHC als een PEFT-mechanisme voor bevroren Transformers, waarbij de focus verschuift van gewichtsaanpassing naar residuele routing.
Mechanistisch Inzicht: Het identificeert identiteitsbehoud als een sleutenvinding, waarbij wordt aangetoond dat het vastzetten van de residuele mengmatrix op de identiteit de prestaties verbetert in finetuning, wat contrasteert met de pre-training setting waar geleerd mengen juist wel voordelig is.
Complementariteit: Het stelt vast dat mHC het meest effectief is wanneer het wordt gecombineerd met standaard PEFT-methoden (zoals LoRA), wat een onderscheidend adaptatiemechanisme biedt dat de loss en taakspecifieke prestaties kan verbeteren.
Schaalbaarheid: Het valideert deze bevindingen over verschillende model-schalen (1B en 7B), waarbij wordt aangetoond dat de voordelen van identiteits-behoudende mHC en de combinatie met LoRA standhouden bij grotere schalen.
Efficiëntie: Het demonstreert dat residuele routing een stabiele en effectieve PEFT-strategie kan zijn, waarbij specifieke varianten (zoals KromHC) een efficiënte parametrisatie bieden.

Conclusie

Het artikel concludeert dat hoewel mHC niet universeel beter presteert dan LoRA als een zelfstandige PEFT-methode, het een duidelijke en veelbelovende as opent voor finetuning: residuele routing. De belangrijkste les is dat voor bevroren backbones het behouden van het gepre-trainde residuele pad (door $H_{res}$ vast te zetten op de identiteit) terwijl capaciteit wordt gebruikt voor input-afhankelijke read/write gates, effectiever is dan het leren van complexe cross-stream menging. Bijgevolg moet mHC niet worden gezien als een directe vervanging voor bestaande methoden, maar als een complementair mechanisme dat PEFT versterkt door te moduleren hoe representaties door de residuele stromen van het model vloeien.