💬 NLP

InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion

InfiGFusion introduceert een nieuw model-fusieframework dat structuren bewaart en gebruikmaakt van Graph-on-Logits Distillatie met een efficiënte, gesloten-vorm Gromov-Wasserstein-benadering om semantische afhankelijkheden tussen vocabulairekanalen vast te leggen, waardoor het bestaande basismodellen aanzienlijk overtreft in complexe redeneertaken.

Oorspronkelijke auteurs: Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang

Gepubliceerd 2026-05-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je drie verschillende expert-koks hebt. De ene is een meester in Italiaanse pasta, de andere is een tovenaar met pittige Indiase curry's, en de derde is een genie in het bakken van Franse gebakjes. Je wilt een enkele "Super Chef" creëren die alle drie de keukens perfect kan bereiden zonder drie aparte mensen in dienst te hoeven nemen.

Dit is de uitdaging van Model Fusion in Kunstmatige Intelligentie. Het paper introduceert een nieuwe methode genaamd InfiGFusion om dit probleem op te lossen, specifiek voor Large Language Models (LLMs) zoals die welke chatbots aandrijven.

Hieronder legt het paper hun oplossing uit, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Solo"-aanpak versus de "Team"-aanpak

De meeste huidige methoden voor het combineren van AI-modellen zijn alsof je de Super Chef vraagt om eerst naar de ingrediënten voor een pastagerecht te kijken, dan naar de ingrediënten voor een curry, en vervolgens te beslissen over een smaak ingrediënt per ingrediënt.

De Fout: Dit negeert hoe ingrediënten met elkaar interageren. In een echt recept werken knoflook en citroen samen om een specifieke smaak te creëren. Als je ze als aparte items behandelt, mis je het "smaakprofiel" of de semantische afhankelijkheid.
Het Standpunt van het Paper: Bestaande methoden kijken woord voor woord naar de "gedachten" van de AI (zogenaamde logits). Ze zeggen: "De AI denkt dat 'kat' waarschijnlijk is, en 'hond' waarschijnlijk is", maar ze begrijpen niet dat de AI een relatie ziet tussen 'kat' en 'hond' als 'dieren'. Ze missen de structuur van het denken.

2. De Oplossing: Een Kaart van Gedachten tekenen (Graph-on-Logits)

InfiGFusion verandert het spel door niet naar woorden individueel te kijken, maar door te kijken naar hoe ze met elkaar verbonden zijn.

De Analogie: Stel je voor dat de gedachten van de AI niet zomaar een lijst van woorden zijn, maar een sociaal netwerk.
- Knopen (Mensen): Elk mogelijk woord dat de AI zou kunnen zeggen, is een persoon.
- Randen (Vriendschappen): Als de AI vaak samen over "vuur" en "rook" denkt, is er een sterke vriendschapslijn tussen hen.
De Innovatie: In plaats van alleen de lijst van woorden die de AI voorspelt te vergelijken, vergelijkt InfiGFusion de hele kaart van vriendschappen. Het vraagt: "Lijkt de kaart van de Super Chef over hoe 'vuur' relateert aan 'rook' op de kaart van de Italiaanse Chef en de Indiase Chef?"

3. De Geheime Saus: De "Gromov-Wasserstein"-afstand (De Vormmatcher)

Om deze complexe kaarten te vergelijken, gebruiken de auteurs een wiskundig hulpmiddel genaamd Gromov-Wasserstein (GW)-afstand.

De Analogie: Stel je voor dat je twee verschillende vormen hebt gemaakt van klei. De ene is een kubus, de andere een bol. Je wilt weten hoe vergelijkbaar ze zijn.
- Oude Manier: Je meet de hoogte, breedte en diepte van elk enkel punt. Dit is traag en rommelig.
- GW-Manier: Je kijkt naar de vorm van het object. Heeft de kubus hoeken? Heeft de bol krommen? Je vergelijkt de relaties tussen de punten, niet alleen de punten zelf.
Het Probleem met GW: Normaliter is deze "vormmatching" ongelooflijk traag en computergewijs duur (alsof je een puzzel probeert op te lossen met een miljard stukjes). Het zou te lang duren om de AI te trainen.

4. De Doorbraak: De "Sorteer"-Shortcut

De grootste technische prestatie van het paper is een nieuwe manier om deze vormmatching snel te doen.

De Analogie: In plaats van te proberen elke persoon in het sociale netwerk één voor één te matchen, realiseerden ze zich dat ze iedereen gewoon konden rangschikken op basis van hoe populair ze zijn (hoeveel connecties ze hebben).
- Als de "Super Chef" een "Vuur"-persoon heeft die de 5e meest populaire is, en de "Bron Chef" heeft ook een "Vuur"-persoon die de 5e meest populaire is, dan matchen ze hen!
Het Resultaat: Deze "sorteer"-truc verandert een taak die eeuwig duurde (O(n⁴)) in een taak die bijna direct is (O(n log n)). Het is alsof je een 10-uurs wandeling omzet in een 10-minuten fietsrit.

5. De Resultaten: Beter in "Denken"

De auteurs testten deze nieuwe "Super Chef" op 11 verschillende uitdagingen, waaronder wiskunde, coderen en logische puzzels.

Het Resultaat: InfiGFusion was aanzienlijk beter in complex redeneren dan eerdere methoden.
- Voorbeeld: Op een "Multi-stap Rekenen"-test (een wiskundeprobleem oplossen dat meerdere stappen vereist) verbeterde het met 35,6 punten.
- Voorbeeld: Op "Causale Oordeelsvorming" (uitvinden of A B veroorzaakte) verbeterde het met 37 punten.
Waarom? Omdat het de relaties tussen ideeën behield. Het memoriseerde niet alleen het antwoord; het leerde de logica van hoe de bronmodellen redeneerden.

Samenvatting

InfiGFusion is een nieuwe manier om AI-modellen te combineren. In plaats van alleen de antwoorden woord voor woord te kopiëren, kopieert het de structuur van het denken. Het behandelt de voorspellingen van de AI als een kaart van connecties en gebruikt een slimme "sorteer"-truc om deze kaarten snel uit te lijnen. Het resultaat is een gefuseerde AI die veel slimmer is in het oplossen van complexe, meerstapsproblemen dan modellen die alleen naar woorden in isolatie kijken.

Technische Samenvatting: InfiGFusion

Probleemstelling
Recente inspanningen om heterogene Large Language Models (LLM's) te fuseren tot uniforme systemen hebben grotendeels vertrouwd op logit-gebaseerde distillatiemethoden. Hoewel deze benaderingen de inferentie-efficiëntie behouden, behandelen ze doorgaans vocabulaire-dimensies onafhankelijk van elkaar, waarbij token-verdelingen worden afgestemd via doelen zoals KL-divergentie of de Wasserstein-afstand. Deze token-voor-token afstemming negeert semantische afhankelijkheden—de interacties tussen dimensies en co-activatiepatronen die de interne redeneerprocessen van een model coderen. Bijgevolg hebben bestaande methoden moeite om modellen met afwijkende generatiegedragingen op elkaar af te stemmen, met name bij taken die meervoudige redeneerstappen, relationele inferentie en fijnmazige semantische afstemming vereisen.

Methodologie: InfiGFusion
De auteurs stellen InfiGFusion voor, een structuurbewust fusiekader dat deze semantische afhankelijkheden expliciet modelleert. De kerninnovatie is de Graph-on-Logits Distillation (GLD)-verliesfunctie, die als volgt werkt:

Constructie van Logit-graaf: In plaats van logits als onafhankelijke vectoren te behandelen, construeert de methode een globale co-activatiegraaf. Voor elke output worden de top- $k$ logits behouden om sparsiteit te garanderen. De uitwendige producten van deze logits over sequentieposities worden geaggregeerd om een graaf te vormen waarbij knopen vocabulairekanalen vertegenwoordigen en randen hun gezamenlijke activeringen (gelijkheid) kwantificeren.
Structuurbewuste Afstemming: Om de logit-graaf van bronmodellen af te stemmen op een pivot-model, maakt het kader gebruik van de Gromov-Wasserstein (GW)-afstand. GW wordt gekozen vanwege het vermogen om verdelingen te matchen op basis van interne structurele gelijkenis in plaats van directe knoop-correspondentie.
Efficiënte Benadering: De standaardberekening van de GW-afstand heeft een prohibitieve complexiteit van $O(n^4)$ $O (n^{4})$ , wat dit onuitvoerbaar maakt voor grote vocabulaires ( $n > 10^5$ $n > 1 0^{5}$ ). De auteurs introduceren een nieuwe sorteringsgebaseerde gesloten-vorm benadering die de complexiteit reduceert tot $O(n \log n)$ .
- Compressie van Grafkenmerken: De gelijkheidsmatrix wordt gecomprimeerd tot scalare knoop-niveau kenmerken (specifiek, rijgemiddelden of graad-achtige kenmerken).
- Sorteringsgebaseerde Matching: De afstemming wordt uitgevoerd door deze kenmerken te sorteren en de $i$ -de grootste invoer van de bron te matchen met de $i$ -de grootste van het doel.
- Theoretische Waarborgen: Het artikel biedt een bewijsbaar benaderingsfoutenbound van $\frac{n-1}{n^2} + \frac{m-1}{m^2}$ , die afneemt als $O(1/n)$ . Bovendien tonen de auteurs aan dat de GW-gestuurde verliesfunctie een aanzienlijk lagere Lipschitz-constante heeft in vergelijking met KL- en standaard Wasserstein-verliesfuncties, wat wijst op strakkere generalisatiegrenzen en stabielere training.
Unificerend Doel: Het uiteindelijke trainingsdoel combineert de structuurbewuste GLD-verliesfunctie met een grofmazige Universele Logit Distillatie (ULD)-verliesfunctie (voor token-niveau verdelingsafstemming) en standaard Supervised Fine-Tuning (SFT)-signalen.

Belangrijkste Bijdragen

Eerste Structuurbewust Fusiekader: InfiGFusion is de eerste methode die semantische afhankelijkheden modelleert via kenmerk-niveau logit-graaf en deze afstemt met een nieuwe GLD-verliesfunctie, verder gaand dan onafhankelijke token-afstemming.
Schaalbare GW-Benadering: De auteurs stellen een gesloten-vorm benadering voor de Gromov-Wasserstein-afstand voor die de rekencomplexiteit reduceert van $O(n^4)$ naar $O(n \log n)$ met bewijsbare foutenbounds, waardoor graafgebaseerde afstemming haalbaar wordt voor LLM-schaal vocabulaires.
Empirische Superieure Redeneerprestaties: Uitgebreide experimenten over 11 benchmarks tonen aan dat InfiGFusion consequent de beste bestaande fusiebaselines (zoals MiniLogit, FuseLLM, FuseChat) en SFT-baselines overtreft.

Resultaten
De methode werd geëvalueerd op 11 benchmarks die redeneren, coderen, wiskunde en instructievolgen omvatten, waarbij meerdere bronmodellen (Qwen2.5, Mistral, Qwen2.5-Coder) werden gefuseerd tot een Phi-4 pivot-model.

Toename in Complex Redeneren: InfiGFusion toonde significante verbeteringen in taken die meervoudige redeneerstappen en relationele inferentie vereisen. Opmerkelijk is dat het een verbetering van +35,6 punten behaalde op Meervoudige Aritmetiek en een verbetering van +37,06 punten op Causale Oordelen ten opzichte van SFT-baselines.
Algemene Prestaties: Het model presteerde beter dan het pivot- en de bronmodellen over diverse domeinen, met een gemiddelde score van 83,85 tegenover 79,54 voor het pivot-model.
Efficiëntie: Ondanks de structurele afstemming behield de methode een concurrerende efficiëntie, waarbij slechts 195 GPU-uren nodig waren voor training, aanzienlijk minder dan multi-stap fusiepijplijnen zoals FuseChat (650 GPU-uren).
Ablatiestudies: Experimenten bevestigden dat zowel de ULD (grofmazige afstemming) als de GLD (structurele afstemming) componenten noodzakelijk zijn, waarbij GLD specifiek de winsten in redeneertaken drijft.

Betekenis
Het artikel stelt dat InfiGFusion een kritieke kloof in modelfusie aanpakt: het onvermogen van token-niveau doelen om de relationele structuren die ten grondslag liggen aan modelredeneren vast te leggen. Door expliciet de "vorm" van de logit-ruimte af te stemmen in plaats van alleen de marginale verdelingen, maakt het kader de integratie van heterogene LLM's mogelijk zonder inferentiekosten te verhogen. De auteurs stellen dat deze structuurbehoudende afstemming essentieel is voor de vooruitgang van collectieve LLM-capaciteiten, met name in complexe redeneerscenario's waar logische consistentie en multi-hop inferentie van het grootste belang zijn. Het werk suggereert dat toekomstige vooruitgang in modelfusie afhankelijk is van het overstijgen van oppervlakkige token-matching om de interne semantische afhankelijkheden te behouden die coherent redeneren aandrijven.