Functionality-Oriented LLM Merging on the Fisher--Rao Manifold

Diese Arbeit schlägt eine funktionale Methode zum Zusammenführen von LLMs vor, die den Fisher-Rao-Manifold nutzt, um die Limitierungen euklidischer Parameter-Space-Ansätze zu überwinden und stabile, hochwertige Modelle auch bei der Kombination heterogener Experten zu gewährleisten.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würden wir über das Zusammenfügen von verschiedenen Kochrezepten sprechen, statt über komplexe Mathematik.

Das Problem: Wenn man zwei gute Rezepte einfach mischt, entsteht oft Brei

Stellen Sie sich vor, Sie haben zwei sehr gute Köche:

1. Koch A ist ein Meister im Backen von Kuchen.
2. Koch B ist ein Meister im Grillen von Steaks.

Beide haben ihre eigenen speziellen Werkzeuge und Techniken (in der KI-Sprache: ihre "Gewichte" oder Parameter).

Die aktuelle Methode, um einen "Super-Koch" zu erschaffen, der beides kann, ist oft sehr simpel: Man nimmt einfach die Werkzeuge von Koch A und Koch B und wirft sie in einen Mixer. Man mischt sie zu 50/50 durch.

Das Problem dabei:
Wenn die beiden Köche zu unterschiedlich sind (einer backt, einer grillt), passiert beim Mischen im Mixer oft ein Kollaps.

• Die Werkzeuge verlieren ihre Schärfe.
• Der neue Koch kann weder gut backen noch gut grillen. Er ist wie ein Anfänger, der verwirrt ist.
• In der KI-Welt nennt man das "Kollaps der Aktivität": Die KI wird dumm, weil ihre inneren "Gedanken" (Aktivierungen) zusammenbrechen und keine Vielfalt mehr haben.

Die Lösung: Der "Koch-Atlas" (Die Fisher-Rao-Mannigfaltigkeit)

Die Autoren dieses Papers sagen: "Halt! Wir mischen nicht einfach im Mixer. Wir müssen die Köche auf einer Landkarte betrachten."

Stellen Sie sich vor, alle möglichen guten KI-Modelle liegen nicht auf einer flachen Ebene (wie ein Stück Papier), sondern auf einer krummen Kugeloberfläche (wie die Erde).

• Ein flacher Weg (die alte Methode) würde durch den Erdkern schneiden. Das ist kurz, aber man landet in der falschen Dimension (im Erdkern gibt es keine Köche!).
• Der richtige Weg ist, auf der Oberfläche der Kugel zu bleiben.

Die Autoren nennen diese krumme Oberfläche die Fisher-Rao-Mannigfaltigkeit. Das ist ein komplizierter Name für "der Raum, in dem die KI-Funktionen wirklich Sinn ergeben".

Die neue Methode: Der "Kugelmittelwert" (Karcher-Mittelwert)

Statt die Werkzeuge im Mixer zu zerkleinern, nutzen die Autoren eine neue Technik, die wie ein GPS für Kugeln funktioniert:

1. Der Weg statt der Luftlinie: Wenn Sie von New York nach London wollen, ist die kürzeste Linie durch die Erde (Luftlinie) nicht der Weg, den ein Flugzeug fliegt. Das Flugzeug fliegt einer Kurve entlang (einem Großkreis), um auf der Erdoberfläche zu bleiben. Das ist genau das, was diese neue Methode macht. Sie folgt den natürlichen Kurven der KI-Welt.
2. Mehr als zwei Köche: Bisher gab es Methoden, um nur zwei Köche zu mischen. Diese neue Methode kann viele Köche (bis zu 11 oder mehr) gleichzeitig mischen, ohne dass der Brei entsteht. Sie berechnet einen "Mittelwert" auf der Kugeloberfläche, der sicherstellt, dass alle Fähigkeiten erhalten bleiben.
3. Kein Kollaps: Weil sie auf der Kugeloberfläche bleiben, verlieren die Werkzeuge nicht ihre Schärfe. Die "Vielfalt" der Gedanken der KI bleibt erhalten.

Ein einfaches Bild: Das Seil und der Bogen

• Alte Methode (Linear): Stellen Sie sich zwei Punkte auf einem gespannten Seil vor. Wenn Sie die Mitte des Seils nehmen, ist das die Mitte. Aber wenn das Seil sehr lang ist und die Punkte weit auseinander liegen, ist die Mitte des Seils oft weit weg von der eigentlichen "guten" Kurve.
• Neue Methode (Geodätisch/Karcher): Stellen Sie sich vor, die Punkte liegen auf einem Berg. Die alte Methode würde eine gerade Linie durch den Berg bohren (was kaputtgeht). Die neue Methode sucht den Weg, der genau über den Bergkamm führt. Dort ist das Wetter am besten (die KI ist am intelligentesten).

Warum ist das wichtig?

• Stabilität: Wenn man immer mehr verschiedene KI-Modelle zusammenfügt (z. B. eines für Medizin, eines für Recht, eines für Programmieren), bricht die alte Methode zusammen. Die neue Methode wird immer besser, je mehr man hinzufügt.
• Kein Neulernen nötig: Man muss die KI nicht von vorne trainieren. Man nimmt einfach die fertigen Modelle und "schmilzt" sie auf die intelligente Weise zusammen.
• Bessere Ergebnisse: In Tests hat diese Methode deutlich besser abgeschnitten als alle bisherigen Methoden, besonders wenn die Modelle sehr unterschiedlich waren.

Zusammenfassung in einem Satz

Die Forscher haben eine neue Art gefunden, verschiedene KI-Modelle zu kombinieren, indem sie nicht einfach alles durcheinanderwürfeln, sondern die Modelle wie Punkte auf einer gekrümmten Landkarte betrachten und den besten Weg zwischen ihnen finden, damit keine der Fähigkeiten verloren geht.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Functionality-Oriented LLM Merging on the Fisher–Rao Manifold" auf Deutsch:

1. Problemstellung

Das Ziel des Model Merging (Modellverschmelzung) besteht darin, mehrere feinabgestimmte Large Language Models (LLMs) zu einem einzigen Modell zu kombinieren, ohne ein erneutes Training (Retraining) durchzuführen. Bestehende Ansätze basieren jedoch fast ausschließlich auf heuristischen Methoden im Parameterraum (z. B. lineares Gewichten oder Task-Vektoren). Dies führt zu drei wesentlichen praktischen Einschränkungen:

1. Falsche Geometrie: Methoden wie lineares Averaging operieren in euklidischen Koordinaten, obwohl das eigentliche Ziel die Verschmelzung von Funktionalitäten (Vorhersageverhalten) ist. Die zugrundeliegende Geometrie des Parameterraums ist jedoch gekrümmt.
2. Repräsentationskollaps (Representation Collapse): Wenn die Quellmodelle weit voneinander entfernt sind oder sehr heterogen sind, führen euklidische Mischungen oft zu einem „Kollaps". Dies äußert sich in einer Verringerung der Aktivierungsvarianz (variance collapse) und einem Verlust der effektiven Dimensionalität (rank collapse), was die Genauigkeit drastisch verschlechtert.
3. Skalierbarkeit: Viele geometrisch inspirierte Methoden (wie SLERP) funktionieren gut für die Interpolation zwischen zwei Modellen, lassen sich aber nicht sauber auf das Merging von $N > 2$ Experten mit einem prinzipiellen Ziel erweitern.

2. Methodik: Fisher–Rao Karcher-Mittelwert

Die Autoren formulieren das Modell-Merging neu als Berechnung eines (gewichteten) Karcher- oder Fréchet-Mittelwerts auf der Fisher–Rao-Mannigfaltigkeit.

• Theoretische Grundlage: Anstatt die euklidische Distanz zwischen Parametern zu minimieren, wird die Divergenz zwischen den Vorhersageverteilungen der Modelle minimiert. Die Fisher–Rao-Metrik (FR) verbindet die Geometrie des Parameterraums mit der Divergenz im Verteilungsraum. Lokal gilt:
  $$d^2_{FR}(\theta, \theta') \approx 2 \cdot KL(p_\theta \parallel p_{\theta'})$$
  Das Ziel ist also die Minimierung einer KL-basierten Funktionsdistanz.
• Optimierungsziel: Gegeben Experten $\{\theta^{(i)}\}$ und Gewichte $\alpha^{(i)}$, wird der Punkt $\theta^*$ gesucht, der die gewichtete Summe der geodätischen Abstände minimiert:
  $$\theta^* := \arg \min_\theta \sum_{i=1}^N \alpha^{(i)} d^2_{FR}(\theta, \theta^{(i)})$$
• Algorithmus (Fixpunkt-Iteration): Da die exakte Berechnung der Fisher–Rao-Log/Exp-Abbildungen für moderne LLMs unmöglich ist, leiten die Autoren einen praktischen Algorithmus ab:
  1. Sphärischer Proxy: Sie nutzen die empirische Beobachtung, dass feinabgestimmte Checkpoints oft auf einer dünnen Schale um das Basismodell liegen. Sie behandeln Parameterblöcke als Vektoren, normalisieren sie auf die Einheitssphäre und berechnen den Karcher-Mittelwert auf der Sphäre ($S^{d-1}$).
  2. Normerhaltung: Der resultierende Vektor wird mit einer repräsentativen Norm (z. B. dem Durchschnitt der Quell-Normen) skaliert. Dies verhindert den Norm-Schrumpf, der bei linearen Mischungen auftritt.
  3. Skalierbarkeit: Dieser Ansatz reduziert sich für zwei Modelle auf SLERP (Spherical Linear Interpolation), skaliert aber prinzipiell auf $N > 2$ Modelle.
  4. Optional: Es kann eine Fisher-Information (z. B. diagonal oder KFAC) als Vorbedingung (Preconditioning) integriert werden, um Richtungen mit hohem Einfluss auf die Vorhersage zu schützen.

3. Wichtige Beiträge

1. Neue Formulierung: Modell-Merging wird erstmals als Berechnung eines Karcher-Mittelwerts auf der Fisher–Rao-Mannigfaltigkeit definiert, was direkt auf die Minimierung der KL-Divergenz (Funktionsdistanz) abzielt.
2. Praktischer Algorithmus: Entwicklung eines leichtgewichtigen Fixpunkt-Algorithmus mit einem sphärischen Proxy, der Normen erhält und sich nahtlos auf Multi-Expert-Merging ($N > 2$) erweitert.
3. Empirische Stabilität: Nachweis, dass die Methode stabil bleibt, wenn die Anzahl und Heterogenität der zu verschmelzenden Modelle steigt, und dass sie den Kollaps der Repräsentation (Varianz/Rang) effektiv verhindert.

4. Ergebnisse

Die Methode (KARCHER) wurde auf verschiedenen Benchmarks (HellaSwag, BBH, MMLU-Pro, MuSR, GPQA-Diamond) und mit dem Qwen2.5-Modellfamilie evaluiert.

• Leistung bei 2 Modellen: KARCHER übertrifft konsistent alle Baselines (einschließlich LERP, SLERP, TIES, DARE, Model Stock) und erzielt die höchste durchschnittliche Genauigkeit.
• Leistung bei $N > 2$ Modellen: Dies ist der entscheidende Vorteil. Während euklidische Baselines (wie LERP, TIES, DARE) bei der Verschmelzung von 5 oder mehr Modellen einen drastischen Leistungsabfall („Collapse") zeigen (z. B. sinkt die Durchschnittsleistung von ~0,54 auf ~0,24 bei 5 Modellen), bleibt KARCHER stabil und verbessert die Leistung sogar weiter (auf ~0,61).
• Diagnostik: Analysen der Aktivierungsstatistiken zeigen, dass KARCHER die Aktivierungsvarianz und den effektiven Rang (EffRank) über alle Schichten hinweg deutlich besser erhält als lineare Interpolationsmethoden. Dies bestätigt, dass die Methode den „Repräsentationskollaps" verhindert.
• Skalierbarkeit: Die Vorteile von KARCHER werden besonders deutlich, wenn die Quellmodelle weiter voneinander entfernt oder heterogener sind (z. B. bei der Verschmelzung von 11 verschiedenen Checkpoints).

5. Bedeutung und Fazit

Das Paper adressiert ein fundamentales Problem beim Merging von LLMs: Die Diskrepanz zwischen der euklidischen Annäherung in der Praxis und der gekrümmten Realität des Funktionsraums.

• Paradigmenwechsel: Der Ansatz verschiebt den Fokus von der Parameter-Ebene auf die Funktionsebene (Predictive Distributions).
• Robustheit: Die Methode bietet eine robuste Lösung für das Merging großer Mengen heterogener Experten, wo herkömmliche Methoden versagen.
• Effizienz: Trotz der komplexen theoretischen Grundlage ist der Algorithmus leichtgewichtig und benötigt kein zusätzliches Training.

Die Arbeit zeigt, dass geometrisch fundierte Ansätze (insbesondere auf der Fisher–Rao-Mannigfaltigkeit) notwendig sind, um die Leistungsfähigkeit von LLMs bei der Kombination mehrerer Modelle zu erhalten und zu steigern, insbesondere in Szenarien mit hoher Heterogenität.