🤖 machine learning

Generalizing the Geometry of Model Merging Through Frechet Averages

Dieser Artikel schlägt ein allgemeines Framework für das Modell-Merging auf Basis von Fréchet-Mittelung über geeigneten Mannigfaltigkeiten vor, um Symmetrieinvarianz zu gewährleisten, zeigt seine Fähigkeit auf, bestehende Methoden wie Fisher-Merging zu umfassen, und stellt einen praktischen Algorithmus zum Mergen von Low-Rank-Adaptern (LoRA) bereit, der die Einschränkungen aktueller Ansätze adressiert.

Ursprüngliche Autoren: Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

Veröffentlicht 2026-05-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben ein Team von Spitzenköchen. Jeder Koch beherrscht ein bestimmtes Gericht perfekt: einer das perfekte Lasagne, ein anderer das ideale Sushi und ein dritter den feinsten Soufflé. Nun möchten Sie einen „Super-Koch" erschaffen, der alle drei Gerichte perfekt zubereiten kann, aber Sie haben keine Zeit, einen neuen Koch von Grund auf zu trainieren. Sie möchten lediglich das vorhandene Wissen der Köche kombinieren.

In der Welt der KI nennt man dies Model Merging. Man nimmt die „Gewichte" (die internen Einstellungen) verschiedener KI-Modelle und versucht, sie zu einem einzigen zu verschmelzen.

Das Problem: Die „falsche Karte"

Die Arbeit argumentiert, dass die alte Methode, dies zu tun, dem Versuch gleicht, die Rezepte dieser Köche einfach durch das Mitteln ihrer Zahlen auf einem Blatt Papier zu mischen. Das funktioniert gut, wenn alle in derselben Sprache schreiben und dieselben Einheiten verwenden.

Aber KI-Modelle haben eine versteckte Eigenart: Symmetrie.
Stellen Sie es sich so vor: Koch A schreibt „2 Tassen Mehl", während Koch B „1 Tasse Mehl + 1 Tasse Mehl" schreibt. Sie meinen exakt dasselbe, aber die Zahlen sehen unterschiedlich aus. Oder Koch C hat die Reihenfolge seiner Zutaten im Notizbuch vertauscht, doch der Geschmack des Gerichts ist identisch.

In der KI gibt es viele Möglichkeiten, dasselbe exakte „Rezept" (Modell) mit unterschiedlichen Zahlen aufzuschreiben. Wenn Sie einfach den Durchschnitt der Zahlen nehmen (Naive Averaging), landen Sie möglicherweise bei einem Rezept, das „0 Tassen Mehl" besagt, weil sich positive und negative Zahlen gegenseitig aufgehoben haben. Sie haben ein defektes Modell erschaffen, das nichts kochen kann.

Die Autoren nennen dies das Verlassen der Umlaufbahn. Stellen Sie sich vor, das „wahre" Rezept existiert auf einer kreisförmigen Bahn (einer Umlaufbahn). Wenn Sie einfach eine gerade Linie zwischen zwei Punkten auf der Bahn ziehen, schneiden Sie durch die Mitte des Kreises und landen im Schlamm (ein defektes Modell), anstatt auf der Bahn zu bleiben, wo die guten Rezepte leben.

Die Lösung: Der „kluge Kompass" (GeoMerge)

Die Arbeit schlägt eine neue Methode namens GeoMerge vor. Anstatt einfach Zahlen zu mitteln, behandeln sie den Raum der KI-Modelle wie eine gekrümmte Landschaft (ein Riemannsche Mannigfaltigkeit).

Die Karte: Sie erkennen, dass aufgrund der Symmetrie (der verschiedenen Möglichkeiten, dasselbe Rezept zu schreiben) die „wahre" Karte kein flaches Blatt Papier ist. Es ist eine gefaltete, gekrümmte Oberfläche, auf der verschiedene Punkte tatsächlich dasselbe darstellen.
Der Kompass: Sie verwenden ein mathematisches Werkzeug namens Fréchet-Durchschnitt. Denken Sie daran nicht als einfachen Durchschnitt, sondern als das Finden des „Schwerpunkts" auf einer gekrümmten Oberfläche.
Ausrichtung: Bevor sie die Modelle mischen, „richten" sie diese zunächst aus. Es ist so, als würden sie sicherstellen, dass Koch A und Koch B dieselben Messbecher verwenden und in derselben Reihenfolge schreiben. Sie finden die spezifische Version des Rezepts jedes Kochs, die den anderen am nächsten kommt, und ignorieren die kosmetischen Unterschiede in der Schreibweise der Zahlen.
Der Pfad: Anstatt gerade durch den Schlamm zu schneiden, gehen sie entlang des gekrümmten Pfades (einer Geodäte), der auf der Bahn der „guten Rezepte" bleibt.

Warum dies für „LoRA" (die spezialisierten Köche) wichtig ist

Die Arbeit konzentriert sich stark auf eine beliebte Technik namens LoRA (Low-Rank Adaptation). Stellen Sie sich diese nicht als Vollköche vor, sondern als spezialisierte Sous-Chefs, die nur ein paar bestimmte Zutaten anpassen, um ein Gericht zu verbessern.

Die Autoren fanden heraus, dass bei dem Versuch, diese spezialisierten Anpassungen mit alten Methoden zu verschmelzen, das „Symmetrie"-Problem noch schlimmer ist. Die Notizen der Sous-Chefs sind so flexibel, dass sie in tausenden verschiedenen Weisen geschrieben werden können, die alle dasselbe bedeuten.

Alte Methode (KnOTS): Versucht, die Notizen durch einen starren, schrittweisen mathematischen Trick (SVD) in Ausrichtung zu bringen. Es funktioniert einigermaßen, aber es ist wie der Versuch, quadratische Stifte in runde Löcher zu zwingen.
GeoMerge: Erkennt, dass die Notizen natürlich auf einer gekrümmten Oberfläche existieren. Es verwendet den „klugen Kompass", um das wahre Zentrum der Gruppe zu finden, ohne sie in eine starre Form zu zwingen.

Die Ergebnisse

Die Forscher testeten dies an einem großen KI-Modell (Llama 3), das für verschiedene Arten von Sprachrätseln (Natural Language Inference) spezialisiert worden war.

Das Ergebnis: GeoMerge erschuf einen „Super-Koch", der besser performte als die vorherige beste Methode (KnOTS).
Die Effizienz: Noch besser: GeoMerge tat dies, während es die „Größe" des Rezepts klein hielt. Die alte Methode endete mit einem massiven, aufgeblähten Rezept (hoher Rang), während GeoMerge es schlank und effizient hielt, was bewies, dass es die Geometrie des Problems besser verstand.

Auf den Punkt gebracht

Die Arbeit sagt: Mitteln Sie nicht einfach die Zahlen. KI-Modelle sind wie Rezepte, die in vielen verschiedenen Sprachen geschrieben werden können. Wenn Sie sie verschmelzen wollen, müssen Sie sie zunächst in eine gemeinsame Sprache übersetzen (Ausrichtung) und dann das Zentrum der Gruppe mit einer Karte finden, die die Form der Welt respektiert (Geometrie), anstatt mit einem flachen Lineal. Dies verhindert, dass der „Super-Koch" zu einem kaputten Durcheinander wird.

1. Problemstellung

Model Merging (Modellverschmelzung) zielt darauf ab, mehrere trainierte neuronale Netze ohne zusätzliches End-to-End-Training in ein einziges Modell zu kombinieren. Während einfaches Mittelbilden im Parameterraum (z. B. Model Soups) bei vollrängig feinabgestimmten Modellen gut funktioniert, versagt es erheblich, wenn es auf Parameter-Effiziente Feinabstimmung (PEFT)-Methoden wie LoRA (Low-Rank Adaptation) angewendet wird.

Das Kernproblem ist die architektonische Symmetrie:

Parameter neuronaler Netze sind keine kanonischen Koordinaten; unterschiedliche Parametereinstellungen können aufgrund von Symmetrien (z. B. Neuronen-Permutationen, Skalierung oder Eichsymmetrien in niedrigrangigen Faktorisierungen) exakt dieselbe Eingabe-Ausgabe-Funktion darstellen.
Naives Mittelbilden (euklidisch) ignoriert diese Symmetrien. Es kann „vom korrekten geometrischen Orbit abtreten", was zu destruktiver Interferenz führt, bei der das verschmolzene Modell kollabiert oder schlecht performt.
Bestehende Ausrichtungsmethoden (wie KnOTS) versuchen dies zu beheben, indem sie Aufgaben-Updates via SVD ausrichten, verlassen sich jedoch oft auf spezifische Eichwahlen oder koordinatenabhängige Heuristiken, die der zugrunde liegenden Geometrie nicht vollständig gerecht werden.

2. Methodik: GeoMerge

Die Autoren schlagen GeoMerge vor, ein Framework, das Modellverschmelzung als Berechnung eines Fréchet-Mittels auf einer Riemannschen Mannigfaltigkeit neu fasst.

Grundlegender konzeptioneller Wandel

Anstatt Parameter im euklidischen Raum zu mitteln, behandelt GeoMerge den Parameterraum als Quotientenmannigfaltigkeit ( $\mathcal{M} = \bar{\mathcal{M}} / G$ ), wobei $G$ die Symmetriegruppe ist (z. B. $GL(r)$ für LoRA).

Intrinsisches Mittelbilden: Das Ziel ist es, einen Punkt auf der Quotientenmannigfaltigkeit zu finden, der die Summe der geodätischen Abstände zu den Eingabemodellen minimiert.
Symmetrie-Invarianz: Durch die Operation auf dem Quotienten wird die Verschmelzung invariant gegenüber der spezifischen Parametrisierung (Eichung) der Eingabemodelle.

Mathematische Formulierung

Fréchet-Mittel: Gegeben Modelle $\theta_1, \dots, \theta_T$ , ist das verschmolzene Modell $\mu^*$ der Minimierer des Fréchet-Funktionals:
$\mu^* \in \arg\min_{\mu \in \mathcal{M}} \sum_{i=1}^T w_i d_{\mathcal{M}}(\mu, \theta_i)^2$
wobei $d_{\mathcal{M}}$ die geodätische Distanz auf der Mannigfaltigkeit ist.
Quotienten-Geometrie für LoRA:
- LoRA-Updates werden dargestellt als $\Delta W = GH^\top$ . Diese Faktorisierung besitzt eine $GL(r)$-Symmetrie: $(G, H) \sim (GA^{-1}, HA^\top)$ .
- Die Autoren schlagen die Verwendung einer Polar-Faktorisierung ( $\Delta W = UBV^\top$ ) vor, um das Problem auf ein Produkt aus Stiefel-Mannigfaltigkeiten ($St$) und Mannigfaltigkeiten symmetrischer positiv definiter (SPD) Matrizen abzubilden.
- Sie definieren spezifische Riemannsche Metriken:
  - Affin-invariante Metrik für den SPD-Faktor ( $B$ ).
  - Kanonsche Stiefel-Metrik für die orthogonalen Faktoren ( $U, V$ ).
Algorithmus (Quotient GeoMerge):
Der Algorithmus wechselt zwischen zwei Schritten ab, um das Mittel zu berechnen:
- Ausrichtung (Orbit-Minimierung): Für eine aktuelle Schätzung $\mu_t$ wird für jedes Eingabemodell $\theta_i$ die Symmetrietransformation $G_i$ gefunden, die den Abstand zu $\mu_t$ minimiert. Dies richtet die Eingaben auf denselben „Eich"-Raum (horizontaler Raum) aus.
- Intrinsisches Mittelbilden: Berechnung der Logarithmus-Abbildung (Tangentenvektoren) von $\mu_t$ zu den ausgerichteten Eingaben. Diese Vektoren sind garantiert horizontal (orthogonal zu den Symmetrie-Orbits). Das Mittel wird aktualisiert, indem entlang der Geodäte bewegt wird, die durch die gewichtete Summe dieser horizontalen Vektoren definiert ist.

3. Hauptbeiträge

Geometrische Vereinheitlichung: Das Papier stellt fest, dass Modellverschmelzung fundamental ein Problem der Berechnung von Fréchet-Mitteln auf Riemannschen Mannigfaltigkeiten ist. Es vereinheitlicht verschiedene Verschmelzungsstrategien unter dieser geometrischen Perspektive.
Symmetrie-bewusstes Verschmelzen: Es bietet eine prinzipielle Lösung für das „Fehlausrichtungs"-Problem bei PEFT, indem der Parameterraum explizit als Quotientenmannigfaltigkeit modelliert wird, wodurch die Verschmelzung invariant gegenüber Eichwahlen wird.
Verbindung zu Fisher-Verschmelzung: Die Autoren zeigen, dass Fisher-gewichtete Verschmelzung eine handhabbare Approximation des Fréchet-Mittels unter der Fisher-Rao-Geometrie (Informationsgeometrie) ist, speziell bei Verwendung eines quadratischen Surrogats und unter Vernachlässigung von Kovarianzänderungen. Sie stellen jedoch fest, dass die Standard-Fisher-Verschmelzung immer noch unter Symmetrie-Problemen leidet, da der Mittelbildungsmechanismus selbst nicht symmetrie-invariant ist.
Praktischer Algorithmus für LoRA: Sie leiten einen konkreten Algorithmus für LoRA-Adapter ab, der die Polar-Faktorisierung und spezifische Riemannsche Metriken verwendet, was eine effiziente Berechnung von Geodäten und Ausrichtung ohne Daten ermöglicht.
Analyse eines Toy-Modells: Sie liefern eine geschlossene analytische Lösung für ein einfaches skalierungssymmetrisches Modell und beweisen, dass naives euklidisches Mittelbilden versagt (Kollaps auf Null), während GeoMerge den intrinsischen Prädiktor korrekt wiederherstellt.

4. Experimentelle Ergebnisse

Die Autoren bewerteten GeoMerge auf Llama-3 8B mit LoRA-Adaptern, die auf sechs Natural Language Inference (NLI)-Datensätzen feinabgestimmt wurden (SNLI, MNLI, SICK, QNLI, RTE, SciTail).

Basislinie: Sie verglichen mit KnOTS, einer State-of-the-Art-Methode, die LoRA-Updates vor dem Verschmelzen via gemeinsamer SVD ausrichtet.
Leistung: GeoMerge übertraf KnOTS konsistent über alle Datensätze hinweg in Bezug auf die normalisierte Genauigkeit (das Verhältnis der Genauigkeit des verschmolzenen Modells zur besten Speziallösung).
- Durchschnittliche normalisierte Genauigkeit: GeoMerge erreichte 91,88 % gegenüber 90,38 % bei KnOTS.
Effizienz: Ein entscheidendes Ergebnis ist, dass GeoMerge mit einer viel niedrigeren effektiven Rangzahl überlegene Leistung erzielt.
- KnOTS erhöht typischerweise den Rang des verschmolzenen Modells auf $T \times r$ (wobei $T$ die Anzahl der Aufgaben ist).
- GeoMerge behält den ursprünglichen Rang $r$ bei, was darauf hindeutet, dass es die Gewichtskapazität effizienter nutzt, indem es die Mannigfaltigkeitsgeometrie respektiert, anstatt den Parameterraum zu erweitern.

5. Bedeutung und Auswirkung

Theoretischer Fortschritt: Das Papier verschiebt das Paradigma der Modellverschmelzung von „heuristischem Parameter-Mittelbilden" hin zu „geometrischer Optimierung auf Mannigfaltigkeiten". Es hebt hervor, dass die Wahl der Geometrie (Metrik und Mannigfaltigkeit) die kritischste Designentscheidung beim Verschmelzen ist.
Robustheit: Durch die intrinsische Behandlung von Symmetrien bietet GeoMerge eine robustere Lösung für das Verschmelzen spezialisierter Modelle, insbesondere im PEFT-Zeitalter, in dem niedrigrangige Updates Standard sind.
Zukünftige Richtungen: Das Framework ebnet den Weg für die Integration anderer geometrischer Konzepte (z. B. Riemannsche Mediane, Huber-Mittel) und die Erweiterung auf andere PEFT-Methoden oder vollrängige Modelle, bei denen Symmetrien vorliegen. Es legt zudem nahe, dass „Ausrichtung" nicht nur ein Vorverarbeitungsschritt, sondern ein integraler Bestandteil des Mittelbildungsprozesses auf dem Quotientenraum ist.

Zusammenfassend löst GeoMerge die Fragilität der Modellverschmelzung unter architektonischen Symmetrien, indem es das Problem als geometrische Mittelbildungsaufgabe auf einer Quotientenmannigfaltigkeit behandelt, was zu State-of-the-Art-Leistung bei der LoRA-Verschmelzung mit verbesserter Parameter-Effizienz führt.