💬 NLP

InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion

InfiGFusion stellt ein neuartiges strukturaware Modell-Fusions-Framework vor, das Graph-on-Logits-Distillation mit einer effizienten, geschlossenen Gromov-Wasserstein-Approximation einsetzt, um semantische Abhängigkeiten zwischen Vokabelkanälen zu erfassen und dadurch komplexe Schlussfolgerungsaufgaben im Vergleich zu bestehenden Baselines signifikant zu übertreffen.

Ursprüngliche Autoren: Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben drei verschiedene Meisterköche. Einer ist ein Meister der italienischen Pasta, ein anderer ein Zauberer mit scharfen indischen Currys und der dritte ein Genie beim Backen französischer Gebäcke. Sie möchten einen einzigen „Super-Koch" erschaffen, der alle drei Küchen perfekt kochen kann, ohne drei separate Personen einstellen zu müssen.

Dies ist die Herausforderung der Modellfusion in der Künstlichen Intelligenz. Die Arbeit stellt eine neue Methode namens InfiGFusion vor, um dieses Problem zu lösen, speziell für Large Language Models (LLMs) wie die, die Chatbots antreiben.

Hier ist, wie die Arbeit ihre Lösung erklärt, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Solo"-Ansatz vs. der „Team"-Ansatz

Die meisten aktuellen Methoden zur Kombination von KI-Modellen sind so, als würde man den Super-Koch bitten, sich die Zutaten für ein Pastagericht anzusehen, dann die Zutaten für ein Curry und dann einen Geschmack einzelnes Zutat für Zutat zu entscheiden.

Der Fehler: Dies ignoriert, wie Zutaten interagieren. In einem echten Rezept arbeiten Knoblauch und Zitrone zusammen, um einen bestimmten Geschmack zu erzeugen. Wenn man sie als separate Gegenstände behandelt, verpasst man das „Geschmacksprofil" oder die semantische Abhängigkeit.
Die Sicht der Arbeit: Bestehende Methoden betrachten die „Gedanken" der KI (genannt Logits) wortweise. Sie sagen: „Die KI denkt, dass 'Katze' wahrscheinlich ist, und 'Hund' ist wahrscheinlich", aber sie verstehen nicht, dass die KI eine Beziehung zwischen „Katze" und „Hund" als „Tiere" sieht. Sie verpassen die Struktur des Denkens.

2. Die Lösung: Eine Landkarte des Denkens zeichnen (Graph-on-Logits)

InfiGFusion ändert das Spiel, indem es nicht einzelne Wörter betrachtet, sondern wie sie miteinander verbunden sind.

Die Analogie: Stellen Sie sich vor, die Gedanken der KI sind nicht nur eine Liste von Wörtern, sondern ein soziales Netzwerk.
- Knoten (Menschen): Jedes mögliche Wort, das die KI sagen könnte, ist eine Person.
- Kanten (Freundschaften): Wenn die KI oft über „Feuer" und „Rauch" zusammen nachdenkt, gibt es eine starke Freundschaftslinie zwischen ihnen.
Die Innovation: Anstatt nur die Liste der Wörter zu vergleichen, die die KI vorhersagt, vergleicht InfiGFusion die gesamte Landkarte der Freundschaften. Es fragt: „Sieht die Landkarte des Super-Kochs, wie sich 'Feuer' auf 'Rauch' bezieht, ähnlich aus wie die Landkarte des italienischen Kochs und des indischen Kochs?"

3. Die geheime Zutat: Der „Gromov-Wasserstein"-Abstand (Der Form-Matcher)

Um diese komplexen Karten zu vergleichen, verwenden die Autoren ein mathematisches Werkzeug namens Gromov-Wasserstein (GW)-Abstand.

Die Analogie: Stellen Sie sich vor, Sie haben zwei verschiedene Formen aus Ton. Eine ist ein Würfel, eine ist eine Kugel. Sie möchten wissen, wie ähnlich sie sind.
- Alter Weg: Sie messen die Höhe, Breite und Tiefe jedes einzelnen Punkts. Das ist langsam und chaotisch.
- GW-Weg: Sie betrachten die Form des Objekts. Hat der Würfel Ecken? Hat die Kugel Kurven? Sie vergleichen die Beziehungen zwischen den Punkten, nicht nur die Punkte selbst.
Das Problem mit GW: Normalerweise ist dieses „Form-Matching" unglaublich langsam und rechenintensiv (wie der Versuch, ein Puzzle mit einer Milliarde Teilen zu lösen). Es würde zu lange dauern, um die KI zu trainieren.

4. Der Durchbruch: Die „Sortier"-Abkürzung

Die größte technische Leistung der Arbeit ist eine neue Art, dieses Form-Matching schnell durchzuführen.

Die Analogie: Anstatt zu versuchen, jede einzelne Person im sozialen Netzwerk eins nach dem anderen zu matchen, stellten sie fest, dass sie alle einfach nach ihrer Beliebtheit rängen könnten (wie viele Verbindungen sie haben).
- Wenn der „Super-Koch" eine „Feuer"-Person hat, die die 5. beliebteste ist, und der „Quell-Koch" auch eine „Feuer"-Person hat, die die 5. beliebteste ist, matchen sie sie!
Das Ergebnis: Dieser „Sortier"-Trick verwandelt eine Aufgabe, die früher ewig dauerte (O(n⁴)), in eine Aufgabe, die fast sofort erledigt ist (O(n log n)). Es ist wie der Wandel von einer 10-stündigen Wanderung zu einer 10-minütigen Fahrradtour.

5. Die Ergebnisse: Besser im „Denken"

Die Autoren testeten diesen neuen „Super-Koch" an 11 verschiedenen Herausforderungen, darunter Mathematik, Programmieren und Logikrätsel.

Das Ergebnis: InfiGFusion war bei komplexem Schlussfolgern deutlich besser als frühere Methoden.
- Beispiel: Bei einem „Multi-Schritt-Arithmetik"-Test (Lösen eines Matheproblems, das mehrere Schritte erfordert) verbesserte es sich um 35,6 Punkte.
- Beispiel: Bei „Kausaler Beurteilung" (herausfinden, ob A B verursacht hat) verbesserte es sich um 37 Punkte.
Warum? Weil es die Beziehungen zwischen Ideen bewahrte. Es memorisierte nicht nur die Antwort; es lernte die Logik, wie die Quellmodelle schlossen.

Zusammenfassung

InfiGFusion ist eine neue Art, KI-Modelle zu kombinieren. Anstatt nur die Antworten wortwörtlich zu kopieren, kopiert es die Struktur des Denkens. Es behandelt die Vorhersagen der KI wie eine Landkarte von Verbindungen und verwendet einen cleveren „Sortier"-Trick, um diese Karten schnell auszurichten. Das Ergebnis ist ein fusioniertes KI-System, das bei der Lösung komplexer, mehrstufiger Probleme viel schlauer ist als Modelle, die nur isolierte Wörter betrachten.

Technischer Zusammenfassung: InfiGFusion

Problemstellung
Die jüngsten Bemühungen, heterogene Large Language Models (LLMs) zu einheitlichen Systemen zu fusionieren, stützen sich weitgehend auf logit-basierte Distillationsmethoden. Während diese Ansätze die Inferenzeffizienz beibehalten, behandeln sie Vokabulardimensionen typischerweise unabhängig voneinander und richten Token-Verteilungen mittels Zielgrößen wie der KL-Divergenz oder der Wasserstein-Distanz aus. Diese tokenweise Ausrichtung übersieht semantische Abhängigkeiten – die interdimensionalen Interaktionen und Koaktivierungsmuster, die die internen Denkprozesse eines Modells kodieren. Folglich haben bestehende Methoden Schwierigkeiten, Modelle mit divergierenden Generierungsverhalten auszurichten, insbesondere bei Aufgaben, die mehrstufiges Schlussfolgern, relationale Inferenz und eine feingranulare semantische Ausrichtung erfordern.

Methodik: InfiGFusion
Die Autoren schlagen InfiGFusion vor, ein struktur Bewusstes Fusionsframework, das diese semantischen Abhängigkeiten explizit modelliert. Die Kerninnovation ist der Graph-on-Logit-Distillation (GLD)-Verlust, der wie folgt funktioniert:

Konstruktion des Logit-Graphen: Anstatt Logits als unabhängige Vektoren zu behandeln, konstruiert die Methode einen globalen Koaktivierungsgraphen. Für jede Ausgabe werden die Top- $k$ -Logits beibehalten, um Sparsamkeit zu gewährleisten. Die äußeren Produkte dieser Logits über Sequenzpositionen hinweg werden aggregiert, um einen Graphen zu bilden, bei dem Knoten Vokabularkanäle repräsentieren und Kanten ihre gemeinsamen Aktivierungen (Ähnlichkeit) quantifizieren.
Struktur Bewusste Ausrichtung: Um die Logit-Graphen von Quellmodellen mit einem Pivot-Modell auszurichten, verwendet das Framework die Gromov-Wasserstein (GW)-Distanz. GW wird aufgrund seiner Fähigkeit gewählt, Verteilungen basierend auf interner struktureller Ähnlichkeit statt direkter Knotenkorrespondenz abzugleichen.
Effiziente Approximation: Die Berechnung der Standard-GW-Distanz hat eine prohibitiv hohe Komplexität von $O(n^4)$ $O (n^{4})$ , was sie für große Vokabulare ( $n > 10^5$ $n > 1 0^{5}$ ) unpraktikabel macht. Die Autoren führen eine neuartige sortierungsbasierte geschlossene Form-Approximation ein, die die Komplexität auf $O(n \log n)$ reduziert.
- Komprimierung von Graph-Features: Die Ähnlichkeitsmatrix wird in skalare Knoten-Features komprimiert (spezifisch Zeilenmittelwerte oder Grad-artige Features).
- Sortierungsbasiertes Matching: Die Ausrichtung erfolgt durch Sortieren dieser Features und das Zuordnen des $i$ -größten Eintrags der Quelle zum $i$ -größten Eintrag des Ziels.
- Theoretische Garantien: Die Arbeit liefert eine beweisbare Approximationsfehlergrenze von $\frac{n-1}{n^2} + \frac{m-1}{m^2}$ , die als $O(1/n)$ abnimmt. Darüber hinaus zeigen die Autoren, dass der GW-gesteuerte Verlust eine signifikant niedrigere Lipschitz-Konstante aufweist als KL- und Standard-Wasserstein-Verluste, was engere Generalisierungsgrenzen und ein stabileres Training nahelegt.
Einheitliches Ziel: Das endgültige Trainingsziel kombiniert den struktur Bewussten GLD-Verlust mit einem grobgranularen Universal Logit Distillation (ULD)-Verlust (für tokenweise Verteilungsausrichtung) und Standard-Supervised-Fine-Tuning (SFT)-Signalen.

Hauptbeiträge

Erstes Struktur Bewusstes Fusionsframework: InfiGFusion ist die erste Methode, die semantische Abhängigkeiten über feature-basierte Logit-Graphen modelliert und diese mittels eines neuartigen GLD-Verlusts ausrichtet, wodurch sie über die unabhängige tokenweise Ausrichtung hinausgeht.
Skalierbare GW-Approximation: Die Autoren schlagen eine geschlossene Form-Approximation für die Gromov-Wasserstein-Distanz vor, die die rechnerische Komplexität von $O(n^4)$ auf $O(n \log n)$ reduziert, mit beweisbaren Fehlergrenzen, was eine graphbasierte Ausrichtung für LLM-skalierte Vokabulare praktikabel macht.
Empirische Überlegenheit beim Schlussfolgern: Umfangreiche Experimente über 11 Benchmarks hinweg zeigen, dass InfiGFusion konsistent fortschrittlichste Fusions-Baselines (z. B. MiniLogit, FuseLLM, FuseChat) und SFT-Baselines übertrifft.

Ergebnisse
Die Methode wurde an 11 Benchmarks bewertet, die Schlussfolgern, Codierung, Mathematik und Instruktionsbefolgung abdecken, wobei mehrere Quellmodelle (Qwen2.5, Mistral, Qwen2.5-Coder) in ein Phi-4-Pivot-Modell fusioniert wurden.

Gewinne beim komplexen Schlussfolgern: InfiGFusion zeigte signifikante Verbesserungen bei Aufgaben, die mehrstufige und relationale Inferenz erfordern. Bemerkenswerterweise erzielte es eine +35,6-Punkte-Verbesserung bei Mehrschritt-Arithmetik und eine +37,06-Punkte-Verbesserung bei Kausaler Beurteilung gegenüber SFT-Baselines.
Gesamtleistung: Das Modell übertraf das Pivot- und die Quellmodelle in diversen Domänen und erreichte einen Durchschnittswert von 83,85 im Vergleich zu 79,54 des Pivot-Modells.
Effizienz: Trotz der strukturellen Ausrichtung behielt die Methode eine wettbewerbsfähige Effizienz bei und benötigte nur 195 GPU-Stunden für das Training, deutlich weniger als mehrstufige Fusionspipelines wie FuseChat (650 GPU-Stunden).
Ablationsstudien: Experimente bestätigten, dass sowohl die ULD-Komponente (grobgranulare Ausrichtung) als auch die GLD-Komponente (strukturelle Ausrichtung) notwendig sind, wobei GLD spezifisch die Gewinne beim Schlussfolgern vorantreibt.

Bedeutung
Die Arbeit behauptet, dass InfiGFusion eine kritische Lücke in der Modellfusion adressiert: die Unfähigkeit von tokenweisen Zielgrößen, die relationalen Strukturen zu erfassen, die dem Modell-Schlussfolgern zugrunde liegen. Durch die explizite Ausrichtung der „Form" des Logit-Raums statt nur der marginalen Verteilungen ermöglicht das Framework die Integration heterogener LLMs ohne Erhöhung der Inferenzkosten. Die Autoren gehen davon aus, dass diese strukturerhaltende Ausrichtung entscheidend für die Weiterentwicklung kollektiver LLM-Fähigkeiten ist, insbesondere in komplexen Schlussfolgerungsszenarien, in denen logische Konsistenz und mehrstufige Inferenz von höchster Bedeutung sind. Die Arbeit legt nahe, dass zukünftiger Fortschritt in der Modellfusion davon abhängt, über oberflächliches tokenweises Matching hinauszugehen, um die internen semantischen Abhängigkeiten zu bewahren, die kohärentes Schlussfolgern antreiben.