🤖 machine learning

Generalizing the Geometry of Model Merging Through Frechet Averages

Dit artikel stelt een algemeen raamwerk voor modelmerging voor op basis van Fréchet-gemiddelden over geschikte variëteiten om symmetrie-invariantie te waarborgen, waarbij wordt aangetoond dat het bestaande methoden zoals Fisher-merging omvat en een praktisch algoritme biedt voor het samenvoegen van low-rank adapters (LoRA) dat de beperkingen van huidige benaderingen aanpakt.

Oorspronkelijke auteurs: Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een team van expert-koks voor. Elke kok heeft een specifiek gerecht onder de knie: de ene maakt de perfecte lasagne, de ander de ideale sushi, en een derde de fijnste soufflé. Nu wil je een "Superkok" creëren die alle drie de gerechten perfect kan bereiden, maar je hebt geen tijd om een nieuwe kok vanaf nul op te leiden. Je wilt gewoon de kennis van de bestaande koks combineren.

In de wereld van AI heet dit Model Merging. Je neemt de "weights" (de interne instellingen) van verschillende AI-modellen en probeert ze in één te mengen.

Het Probleem: De "Verkeerde Kaart"

Het artikel stelt dat de oude manier om dit te doen, vergelijkbaar is met het proberen om de recepten van deze koks te mengen door simpelweg hun aantallen op een stuk papier te middelen. Dit werkt prima als iedereen in dezelfde taal schrijft en dezelfde eenheden gebruikt.

Maar AI-modellen hebben een verborgen eigenaardigheid: Symmetrie.
Stel je dit voor: Kok A schrijft "2 koppen bloem", terwijl Kok B schrijft "1 kop bloem + 1 kop bloem". Ze bedoelen precies hetzelfde, maar de aantallen zien er anders uit. Of, Kok C heeft de volgorde van de ingrediënten in zijn notitieboekje verwisseld, maar de smaak van het gerecht is identiek.

In AI zijn er veel manieren om exact hetzelfde "recept" (model) op te schrijven met verschillende aantallen. Als je gewoon het gemiddelde van de aantallen neemt (Naive Averaging), kun je eindigen met een recept dat zegt "0 koppen bloem" omdat de positieve en negatieve aantallen elkaar hebben opgeheven. Je hebt dan een gebroken model gecreëerd dat niets kan bereiden.

De auteurs noemen dit het verlaten van de baan. Stel je voor dat het "ware" recept op een cirkelvormige baan ligt (een orbit). Als je gewoon een rechte lijn trekt tussen twee punten op de baan, snijd je dwars door het midden van de cirkel en beland je in de modder (een gebroken model), in plaats van op de baan te blijven waar de goede recepten wonen.

De Oplossing: De "Slimme Kompas" (GeoMerge)

Het artikel stelt een nieuwe methode voor genaamd GeoMerge. In plaats van alleen aantallen te middelen, behandelen ze de ruimte van AI-modellen als een gebogen landschap (een Riemanniaanse variëteit).

De Kaart: Ze beseffen dat, vanwege de symmetrie (de verschillende manieren om hetzelfde recept op te schrijven), de "ware" kaart geen plat vel papier is. Het is een gevouwen, gebogen oppervlak waar verschillende punten eigenlijk hetzelfde voorstellen.
Het Kompas: Ze gebruiken een wiskundig hulpmiddel genaamd een Fréchet-gemiddelde. Denk hierbij niet aan een simpel gemiddelde, maar aan het vinden van het "zwaartepunt" op een gebogen oppervlak.
Uitlijning: Voordat ze de modellen mengen, "alignen" ze ze eerst. Het is alsof ze ervoor zorgen dat Kok A en Kok B beide dezelfde meetbekers gebruiken en in dezelfde volgorde schrijven. Ze vinden de specifieke versie van het recept van elke kok die het dichtst bij de anderen ligt, en negeren de cosmetische verschillen in hoe de aantallen zijn opgeschreven.
Het Pad: In plaats van recht door de modder te snijden, lopen ze langs het gebogen pad (een geodeet) dat op de baan van "goede recepten" blijft.

Waarom Dit Belangrijk Is voor "LoRA" (De Gespecialiseerde Koks)

Het artikel richt zich sterk op een populaire techniek genaamd LoRA (Low-Rank Adaptation). Stel je voor dat dit geen volledige koks zijn, maar gespecialiseerde sous-koks die slechts een paar specifieke ingrediënten aanpassen om een gerecht te verbeteren.

De auteurs ontdekten dat wanneer je probeert deze gespecialiseerde aanpassingen te mergen met oude methoden, het "symmetrie"-probleem nog erger is. De notities van de sous-koks zijn zo flexibel dat ze op duizenden verschillende manieren kunnen worden opgeschreven die allemaal hetzelfde betekenen.

Oude Methode (KnOTS): Probeert de notities uit te lijnen met een stijve, stap-voor-stap wiskundige truc (SVD). Het werkt redelijk, maar het is alsof je probeert vierkante pennen in ronde gaten te forceren.
GeoMerge: Erkent dat de notities natuurlijk op een gebogen oppervlak leven. Het gebruikt de "Slimme Kompas" om het ware centrum van de groep te vinden zonder ze in een stijve vorm te forceren.

De Resultaten

De onderzoekers testten dit op een groot AI-model (Llama 3) dat was gespecialiseerd voor verschillende soorten taalpuzzels (Natural Language Inference).

De Uitkomst: GeoMerge creëerde een "Superkok" die beter presteerde dan de vorige beste methode (KnOTS).
De Efficiëntie: Nog beter, GeoMerge deed dit terwijl het de "grootte" van het recept klein hield. De oude methode eindigde met een enorm, opgeblazen recept (hoge rang), terwijl GeoMerge het slank en efficiënt hield, wat bewees dat het de geometrie van het probleem beter begreep.

In Het Kort

Het artikel zegt: Middelen niet zomaar de aantallen. AI-modellen zijn als recepten die in veel verschillende talen kunnen worden geschreven. Als je ze wilt samenvoegen, moet je ze eerst vertalen naar een gemeenschappelijke taal (uitlijning) en vervolgens het centrum van de groep vinden met een kaart die de vorm van de wereld respecteert (geometrie), in plaats van een platte liniaal. Dit voorkomt dat de "Superkok" een gebroken puinhoop wordt.

1. Probleemstelling

Modelmerging heeft tot doel meerdere getrainde neurale netwerken te combineren tot één enkel model zonder aanvullende end-to-end training. Hoewel eenvoudige parameter-ruimte-averaging (bijv. Model Soups) goed werkt voor full-rank fine-tuned modellen, faalt dit aanzienlijk wanneer toegepast op Parameter-Efficient Fine-Tuning (PEFT) methoden zoals LoRA (Low-Rank Adaptation).

Het kernprobleem is architecturale symmetrie:

Parameteren van neurale netwerken zijn geen canonieke coördinaten; verschillende parameterinstellingen kunnen exact dezelfde input-output-functie vertegenwoordigen door symmetrieën (bijv. permutaties van neuronen, herschaling, of ijk-symmetrieën in low-rank factorisaties).
Naïeve averaging (Euclidisch) negeert deze symmetrieën. Het kan "van het juiste pad" stappen op de correcte geometrische baan, wat leidt tot destructieve interferentie waarbij het gemergde model instort of slecht presteert.
Bestaande alignemethoden (zoals KnOTS) proberen dit op te lossen door taakupdates via SVD te aligneren, maar ze vertrouwen vaak op specifieke ijk-keuzes of coördinaat-afhankelijke heuristieken die de onderliggende geometrie niet volledig respecteren.

2. Methodologie: GeoMerge

De auteurs stellen GeoMerge voor, een kader dat modelmerging herformuleert als het berekenen van een Fréchet-gemiddelde op een Riemanniaanse variëteit.

Fundamenteel Conceptueel Verschil

In plaats van parameters te middelen in een Euclidische ruimte, behandelt GeoMerge de parameter ruimte als een quotiëntvariëteit ( $\mathcal{M} = \bar{\mathcal{M}} / G$ ), waarbij $G$ de symmetriegroep is (bijv. $GL(r)$ voor LoRA).

Intrinsieke Averaging: Het doel is een punt op de quotiëntvariëteit te vinden dat de som van de geodetische afstanden tot de invoermodellen minimaliseert.
Symmetrie-invariantie: Door te opereren op het quotiënt wordt de merging invariant voor de specifieke parameterisatie (ijk) van de invoermodellen.

Wiskundige Formulering

Fréchet-gemiddelde: Gegeven modellen $\theta_1, \dots, \theta_T$ , is het gemergde model $\mu^*$ de minimalizer van de Fréchet-functionaal:
$\mu^* \in \arg\min_{\mu \in \mathcal{M}} \sum_{i=1}^T w_i d_{\mathcal{M}}(\mu, \theta_i)^2$
waarbij $d_{\mathcal{M}}$ de geodetische afstand op de variëteit is.
Quotiënt-geometrie voor LoRA:
- LoRA-updates worden weergegeven als $\Delta W = GH^\top$ . Deze factorisatie heeft een $GL(r)$-symmetrie: $(G, H) \sim (GA^{-1}, HA^\top)$ .
- De auteurs stellen het gebruik van een Polaire Factorisatie ( $\Delta W = UBV^\top$ ) voor om het probleem te mappen naar een product van Stiefel-variëteiten ($St$) en Symmetrisch Positief Definitieve (SPD) variëteiten.
- Ze definiëren specifieke Riemanniaanse metrieken:
  - Een affine-invariante metriek voor de SPD-factor ( $B$ ).
  - Een canonieke Stiefel-metriek voor de orthogonale factoren ( $U, V$ ).
Algoritme (Quotiënt GeoMerge):
Het algoritme wisselt tussen twee stappen om het gemiddelde te berekenen:
- Alignement (Orbit-minimalisatie): Voor een huidige schatting $\mu_t$ , vind de symmetrie-transformatie $G_i$ voor elke invoer $\theta_i$ die de afstand tot $\mu_t$ minimaliseert. Dit aligneert de invoer naar dezelfde "ijk" (horizontale ruimte).
- Intrinsieke Averaging: Bereken de logaritme-afbeelding (raakvector) van $\mu_t$ naar de gealigneerde invoer. Deze vectoren zijn gegarandeerd horizontaal (orthogonaal op de symmetrie-banen). Het gemiddelde wordt bijgewerkt door te bewegen langs de geodeet die wordt gedefinieerd door het gewogen som van deze horizontale vectoren.

3. Belangrijkste Bijdragen

Geometrische Unificatie: Het artikel stelt vast dat modelmerging fundamenteel een probleem is van het berekenen van Fréchet-gemiddelden op Riemanniaanse variëteiten. Het verenigt diverse merging-strategieën onder dit geometrische perspectief.
Symmetrie-bewuste Merging: Het biedt een principiële oplossing voor het "misalignement"-probleem in PEFT door de parameter ruimte expliciet te modelleren als een quotiëntvariëteit, waardoor de merging invariant is voor ijk-keuzes.
Verbinding met Fisher Merging: De auteurs tonen aan dat Fisher-gewogen merging een hanteerbare benadering is van het Fréchet-gemiddelde onder de Fisher-Rao-geometrie (informatie-geometrie), specifiek bij gebruik van een kwadratische surrogaat en het negeren van covariantieveranderingen. Ze merken echter op dat standaard Fisher merging nog steeds last heeft van symmetrie-problemen omdat het averaging-mechanisme zelf niet symmetrie-invariant is.
Praktisch Algoritme voor LoRA: Ze leiden een concreet algoritme af voor LoRA-adapters met behulp van polaire factorisatie en specifieke Riemanniaanse metrieken, wat efficiënte berekening van geodeten en alignement zonder data mogelijk maakt.
Analyse van een Toy Model: Ze bieden een gesloten-formule analytische oplossing voor een eenvoudig schaal-symmetrisch model, waarmee wordt bewezen dat naïeve Euclidische averaging faalt (instorten tot nul) terwijl GeoMerge correct de intrinsieke predictor herwint.

4. Experimentele Resultaten

De auteurs evalueerden GeoMerge op Llama-3 8B met LoRA-adapters die zijn fine-tuned op zes Natural Language Inference (NLI) datasets (SNLI, MNLI, SICK, QNLI, RTE, SciTail).

Basislijn: Ze vergeleken met KnOTS, een state-of-the-art methode die LoRA-updates aligneert via gezamenlijke SVD voordat wordt gemerged.
Prestatie: GeoMerge presteerde consistent beter dan KnOTS op alle datasets in termen van genormaliseerde nauwkeurigheid (de verhouding van de nauwkeurigheid van het gemergde model tot die van de beste specialist).
- Gemiddelde Genormaliseerde Nauwkeurigheid: GeoMerge behaalde 91,88% versus 90,38% voor KnOTS.
Efficiëntie: Een kritieke bevinding is dat GeoMerge superieure prestaties bereikt met een veel lagere effectieve rang.
- KnOTS verhoogt typisch de rang van het gemergde model naar $T \times r$ (waarbij $T$ het aantal taken is).
- GeoMerge behoudt de oorspronkelijke rang $r$ , wat suggereert dat het de gewichtscapaciteit efficiënter benut door de variëteit-geometrie te respecteren in plaats van de parameter ruimte uit te breiden.

5. Betekenis en Impact

Theoretische Vooruitgang: Het artikel verschuift het paradigma van modelmerging van "heuristische parameter-averaging" naar "geometrische optimalisatie op variëteiten". Het benadrukt dat de keuze van de geometrie (metriek en variëteit) de meest kritieke ontwerpkeuze is in merging.
Robuustheid: Door symmetrieën intrinsiek aan te pakken, biedt GeoMerge een robuustere oplossing voor het mergen van gespecialiseerde modellen, met name in het PEFT-tijdperk waar low-rank updates standaard zijn.
Toekomstige Richtingen: Het kader opent de deur voor het integreren van andere geometrische concepten (bijv. Riemanniaanse medianen, Huber-gemiddelden) en uitbreiding naar andere PEFT-methoden of full-rank modellen waar symmetrieën aanwezig zijn. Het suggereert ook dat "alignement" niet slechts een voorverwerkingsstap is, maar een integraal onderdeel van het averaging-proces op de quotiëntruimte.

Kortom, GeoMerge lost de fragiliteit van modelmerging onder architecturale symmetrieën op door het probleem te behandelen als een geometrische averaging-taak op een quotiëntvariëteit, wat resulteert in state-of-the-art prestaties voor LoRA-merging met verbeterde parameter-efficiëntie.