💬 NLP

InfiGFusion: Graph-on-Logits Distillation via Efficient Gromov-Wasserstein for Model Fusion

InfiGFusion introduit un cadre novateur de fusion de modèles sensible à la structure qui utilise la distillation de graphes sur les logit avec une approximation efficace et sous forme fermée de Gromov-Wasserstein pour capturer les dépendances sémantiques entre les canaux de vocabulaire, surpassant ainsi considérablement les références existantes dans les tâches de raisonnement complexe.

Auteurs originaux : Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuanyi Wang, Zhaoyi Yan, Yiming Zhang, Qi Zhou, Yanggan Gu, Fei Wu, Hongxia Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez trois chefs experts différents. L'un est un maître des pâtes italiennes, un autre est un magicien des currys épicés indiens, et le troisième est un génie de la pâtisserie française. Vous souhaitez créer un seul « Super Chef » capable de cuisiner parfaitement ces trois cuisines sans avoir besoin d'embaucher trois personnes distinctes.

C'est le défi du Fusion de Modèles en Intelligence Artificielle. L'article présente une nouvelle méthode appelée InfiGFusion pour résoudre ce problème, spécifiquement pour les Grands Modèles de Langage (LLM) comme ceux qui alimentent les chatbots.

Voici comment l'article explique leur solution, en utilisant des analogies simples :

1. Le Problème : L'Approche « Solo » vs L'Approche « Équipe »

La plupart des méthodes actuelles pour combiner des modèles d'IA consistent à demander au Super Chef de regarder les ingrédients d'un plat de pâtes, puis de regarder les ingrédients d'un curry, et de décider d'une saveur ingrédient par ingrédient.

Le Défaut : Cela ignore comment les ingrédients interagissent. Dans une vraie recette, l'ail et le citron travaillent ensemble pour créer un goût spécifique. Si vous les traitez comme des éléments séparés, vous manquez le « profil de saveur » ou la dépendance sémantique.
Le Point de Vue de l'Article : Les méthodes existantes examinent les « pensées » de l'IA (appelées logits) mot par mot. Elles disent : « L'IA pense que 'chat' est probable, et que 'chien' est probable », mais elles ne comprennent pas que l'IA voit une relation entre « chat » et « chien » en tant qu'« animaux ». Elles manquent la structure de la pensée.

2. La Solution : Dessiner une Carte des Pensées (Graph-on-Logits)

InfiGFusion change la donne en ne regardant pas les mots individuellement, mais en examinant comment ils se connectent.

L'Analogie : Imaginez que les pensées de l'IA ne sont pas juste une liste de mots, mais un réseau social.
- Nœuds (Personnes) : Chaque mot possible que l'IA pourrait dire est une personne.
- Arêtes (Amitiés) : Si l'IA pense souvent à « feu » et à « fumée » ensemble, il y a une forte ligne d'amitié entre eux.
L'Innovation : Au lieu de simplement comparer la liste des mots que l'IA prédit, InfiGFusion compare la carte entière des amitiés. Elle se demande : « La carte du Super Chef sur la façon dont le 'feu' se rapporte à la 'fumée' ressemble-t-elle à la carte du Chef Italien et du Chef Indien ? »

3. L'Ingrédient Secret : La Distance « Gromov-Wasserstein » (Le Comparateur de Formes)

Pour comparer ces cartes complexes, les auteurs utilisent un outil mathématique appelé distance Gromov-Wasserstein (GW).

L'Analogie : Imaginez que vous avez deux formes différentes faites d'argile. L'une est un cube, l'autre une sphère. Vous voulez savoir à quel point elles sont similaires.
- Ancienne Façon : Vous mesurez la hauteur, la largeur et la profondeur de chaque point individuel. C'est lent et désordonné.
- Façon GW : Vous regardez la forme de l'objet. Le cube a-t-il des coins ? La sphère a-t-elle des courbes ? Vous comparez les relations entre les points, pas seulement les points eux-mêmes.
Le Problème avec GW : Habituellement, ce « matching de formes » est incroyablement lent et coûteux en calcul (comme essayer de résoudre un puzzle avec un milliard de pièces). Cela prendrait trop de temps pour entraîner l'IA.

4. La Percée : Le Raccourci du « Tri »

La plus grande réalisation technique de l'article est une nouvelle façon de faire ce matching de formes rapidement.

L'Analogie : Au lieu d'essayer de faire correspondre chaque personne du réseau social une par une, ils ont réalisé qu'ils pouvaient simplement classer tout le monde par popularité (le nombre de connexions qu'ils ont).
- Si le « Super Chef » a une personne « Feu » qui est la 5e plus populaire, et que le « Chef Source » a aussi une personne « Feu » qui est la 5e plus populaire, ils les font correspondre !
Le Résultat : Ce tour de « tri » transforme une tâche qui prenait une éternité (O(n⁴)) en une tâche presque instantanée (O(n log n)). C'est comme transformer une randonnée de 10 heures en un trajet à vélo de 10 minutes.

5. Les Résultats : Meilleur pour « Penser »

Les auteurs ont testé ce nouveau « Super Chef » sur 11 défis différents, incluant les mathématiques, la programmation et des énigmes logiques.

Le Résultat : InfiGFusion était nettement meilleure pour le raisonnement complexe que les méthodes précédentes.
- Exemple : Sur un test de « Calcul Multi-étapes » (résoudre un problème mathématique nécessitant plusieurs étapes), elle a progressé de 35,6 points.
- Exemple : Sur le « Jugement Causal » (déterminer si A a causé B), elle a progressé de 37 points.
Pourquoi ? Parce qu'elle a préservé les relations entre les idées. Elle n'a pas seulement mémorisé la réponse ; elle a appris la logique de la façon dont les modèles sources raisonnaient.

Résumé

InfiGFusion est une nouvelle façon de combiner des modèles d'IA. Au lieu de simplement copier les réponses mot pour mot, elle copie la structure de la pensée. Elle traite les prédictions de l'IA comme une carte de connexions et utilise un astucieux tour de « tri » pour aligner ces cartes rapidement. Le résultat est une IA fusionnée beaucoup plus intelligente pour résoudre des problèmes complexes et multi-étapes que des modèles qui ne regardent les mots que de manière isolée.

Résumé Technique : InfiGFusion

Énoncé du Problème
Les efforts récents visant à fusionner des Modèles de Langage à Grande Échelle (LLM) hétérogènes en systèmes unifiés ont largement reposé sur des méthodes de distillation basées sur les logits. Bien que ces approches maintiennent l'efficacité de l'inférence, elles traitent généralement les dimensions du vocabulaire de manière indépendante, alignant les distributions de tokens via des objectifs tels que la divergence de KL ou la distance de Wasserstein. Cet alignement token par token néglige les dépendances sémantiques—les interactions inter-dimensionnelles et les motifs de co-activation qui encodent les processus de raisonnement interne d'un modèle. Par conséquent, les méthodes existantes peinent à aligner des modèles aux comportements de génération divergents, en particulier dans des tâches nécessitant un raisonnement multi-étapes, une inférence relationnelle et un alignement sémantique fin.

Méthodologie : InfiGFusion
Les auteurs proposent InfiGFusion, un cadre de fusion conscient de la structure qui modélise explicitement ces dépendances sémantiques. L'innovation centrale est la fonction de perte Distillation Graphique sur Logits (GLD), qui fonctionne comme suit :

Construction du Graphique des Logits : Au lieu de traiter les logits comme des vecteurs indépendants, la méthode construit un graphique global de co-activation. Pour chaque sortie, les $k$ meilleurs logits sont conservés pour assurer la parcimonie. Les produits externes de ces logits à travers les positions de séquence sont agrégés pour former un graphique où les nœuds représentent les canaux du vocabulaire et les arêtes quantifient leurs activations conjointes (similarité).
Alignement Conscient de la Structure : Pour aligner les graphiques de logits des modèles sources avec un modèle pivot, le cadre utilise la distance Gromov-Wasserstein (GW). Le choix de GW est motivé par sa capacité à faire correspondre des distributions basées sur la similarité structurelle interne plutôt que sur une correspondance directe des nœuds.
Approximation Efficace : Le calcul standard de la distance GW présente une complexité prohibitive de $O(n^4)$ $O (n^{4})$ , le rendant inapplicable pour de grands vocabulaires ( $n > 10^5$ $n > 1 0^{5}$ ). Les auteurs introduisent une nouvelle approximation sous forme close basée sur le tri qui réduit la complexité à $O(n \log n)$ .
- Compression des Caractéristiques du Graphique : La matrice de similarité est compressée en caractéristiques scalaires au niveau des nœuds (spécifiquement, les moyennes de lignes ou des caractéristiques de type degré).
- Appariement Basé sur le Tri : L'alignement est effectué en triant ces caractéristiques et en faisant correspondre la $i$ -ème plus grande entrée de la source à la $i$ -ème plus grande de la cible.
- Garanties Théoriques : L'article fournit une borne d'erreur d'approximation prouvable de $\frac{n-1}{n^2} + \frac{m-1}{m^2}$ , qui décroît en $O(1/n)$ . De plus, les auteurs démontrent que la perte guidée par GW possède une constante de Lipschitz significativement plus faible que les pertes KL et Wasserstein standard, suggérant des bornes de généralisation plus serrées et un entraînement plus stable.
Objectif Unifié : L'objectif d'entraînement final combine la perte GLD consciente de la structure avec une perte de Distillation Universelle des Logits (ULD) à granularité grossière (pour l'alignement des distributions au niveau des tokens) et des signaux standards de Finetuning Supervisé (SFT).

Contributions Clés

Premier Cadre de Fusion Conscient de la Structure : InfiGFusion est la première méthode à modéliser les dépendances sémantiques via des graphiques de logits au niveau des caractéristiques et à les aligner en utilisant une nouvelle perte GLD, dépassant ainsi l'alignement de tokens indépendants.
Approximation GW Évolutible : Les auteurs proposent une approximation sous forme close pour la distance Gromov-Wasserstein qui réduit la complexité computationnelle de $O(n^4)$ à $O(n \log n)$ avec des bornes d'erreur prouvables, rendant l'alignement basé sur les graphiques réalisable pour des vocabulaires à l'échelle des LLM.
Supériorité Empirique en Raisonnement : Des expériences extensives sur 11 benchmarks démontrent qu'InfiGFusion surpasse systématiquement les bases de fusion de l'état de l'art (par exemple, MiniLogit, FuseLLM, FuseChat) et les bases SFT.

Résultats
La méthode a été évaluée sur 11 benchmarks couvrant le raisonnement, le codage, les mathématiques et le suivi d'instructions, en fusionnant plusieurs modèles sources (Qwen2.5, Mistral, Qwen2.5-Coder) dans un modèle pivot Phi-4.

Gains en Raisonnement Complexe : InfiGFusion a montré des améliorations significatives dans les tâches nécessitant une inférence multi-étapes et relationnelle. Notamment, il a obtenu une amélioration de +35,6 points sur l'Arithmétique Multi-étapes et une amélioration de +37,06 points sur le Jugement Causal par rapport aux bases SFT.
Performance Globale : Le modèle a surpassé le modèle pivot et les modèles sources sur divers domaines, obtenant un score moyen de 83,85 contre 79,54 pour le pivot.
Efficacité : Malgré l'alignement structurel, la méthode a maintenu une efficacité compétitive, ne nécessitant que 195 heures GPU pour l'entraînement, nettement moins que les pipelines de fusion multi-étapes comme FuseChat (650 heures GPU).
Études d'Ablation : Les expériences ont confirmé que les composants ULD (alignement grossier) et GLD (alignement structurel) sont tous deux nécessaires, GLD étant spécifiquement le moteur des gains dans les tâches de raisonnement.

Signification
L'article affirme qu'InfiGFusion comble une lacune critique dans la fusion de modèles : l'incapacité des objectifs au niveau des tokens à capturer les structures relationnelles sous-jacentes au raisonnement des modèles. En alignant explicitement la « forme » de l'espace des logits plutôt que simplement les distributions marginales, le cadre permet l'intégration de LLM hétérogènes sans augmenter les coûts d'inférence. Les auteurs postulent que cet alignement préservant la structure est essentiel pour faire progresser les capacités collectives des LLM, en particulier dans des scénarios de raisonnement complexes où la cohérence logique et l'inférence multi-sauts sont primordiales. Ce travail suggère que les progrès futurs dans la fusion de modèles dépendent du dépassement de la correspondance de tokens de surface pour préserver les dépendances sémantiques internes qui alimentent un raisonnement cohérent.