💻 computer science

From Memorization to Parameter Interference: How Overtraining Experts Harms Model Merging

Cet article remet en question l'hypothèse selon laquelle l'optimisation des modèles experts pour la performance individuelle profite à la fusion de modèles en aval, démontrant au contraire que le surapprentissage entraîne une mémorisation et une interférence de paramètres négative qui dégradent la performance fusionnée, un problème efficacement atténué par un arrêt précoce dépendant de la tâche.

Auteurs originaux : Stefan Horoi, Guy Wolf, Eugene Belilovsky, Gintare Karolina Dziugaite

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Stefan Horoi, Guy Wolf, Eugene Belilovsky, Gintare Karolina Dziugaite

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : « Moins, c'est mieux » (même pour l'IA)

Imaginez que vous avez une équipe de chefs experts. Chaque chef a été formé sur une recette spécifique : l'un prépare la pizza parfaite, un autre les sushis parfaits, et un autre le gâteau parfait.

Dans le monde de l'IA, nous prenons souvent un modèle « de base » (un chef aux connaissances générales) et nous l'affinons pour qu'il devienne un expert dans une tâche spécifique. Ensuite, nous voulons combiner tous ces différents chefs experts en un seul « Super Chef » capable de tout faire à la fois. Ce processus est appelé Fusion de Modèles (Model Merging).

La croyance commune était la suivante : « Plus le chef individuel devient bon dans sa recette spécifique, meilleur sera le Super Chef. »

Ce papier prouve que cette croyance est fausse. En fait, si vous entraînez vos experts individuels trop longtemps, le Super Chef résultant devient en réalité moins bon.

Le Problème : L'Expert « Surentraîné »

Les auteurs ont découvert un phénomène qu'ils appellent « le surentraînement » (Overtraining).

Voyez cela comme un étudiant qui révise intensément pour un examen.

Au début de l'apprentissage : L'étudiant apprend les règles générales des mathématiques. Il comprend les concepts.
À la fin de l'apprentissage : L'étudiant arrête d'apprendre de nouveaux concepts et commence à mémoriser les questions spécifiques, bizarres et difficiles de l'examen blanc. Il mémorise la formulation exacte des problèmes les plus difficiles, même ceux qui comportent des fautes de frappe ou des formulations confuses.

En termes d'IA, lorsqu'un modèle expert est entraîné pendant trop d'étapes, il cesse d'apprendre des schémas généraux et commence à mémoriser un petit ensemble d'exemples très difficiles et étranges provenant de ses données d'entraînement.

La Collision : Pourquoi la Fusion Échoue

Maintenant, imaginez que vous essayiez de combiner ces chefs « mémorisateurs » en un Super Chef.

Le Chef A a mémorisé que la « Pizza » a toujours une tache bizarre et spécifique sur la croûte à cause d'une mauvaise photo dans ses données d'entraînement.
Le Chef B a mémorisé que le « Sushi » a toujours une texture bizarre et spécifique à cause d'une image bruitée.

Lorsque vous essayez de les fusionner, leurs cerveaux (les paramètres informatiques) commencent à se disputer. Le Chef A dit : « La croûte doit avoir une tache ! ». Le Chef B répond : « Non, la texture doit être bizarre ! ».

Parce qu'ils ont mémorisé des détails spécifiques et idiosyncrasiques plutôt que des règles générales, leurs instructions s'annulent mutuellement. C'est ce qu'on appelle l'Interférence Négative de Paramètres (Negative Parameter Interference).

Le résultat ? Le Super Chef oublie complètement les choses difficiles. Il peut encore faire des pizzas et des sushis simples (les exemples faciles), mais il échoue totalement face aux tâches difficiles car les instructions mémorisées et conflictuelles ont détruit le savoir.

La Preuve : Le Piège des « Exemples Difficiles »

Les chercheurs ont utilisé un outil pour mesurer à quel point un exemple d'entraînement était « difficile ». Ils ont découvert que :

Au début de l'entraînement : Le modèle apprend rapidement les exemples faciles.
À la fin de l'entraînement : Le modèle passe tout son temps à s'obséder pour les 10 % d'exemples les plus difficiles.
Le Désastre de la Fusion : Lorsqu'ils fusionnaient des modèles qui avaient été entraînés pendant longtemps, les « exemples difficiles » étaient les premiers à être oubliés. Le modèle perdait la capacité de gérer les cas complexes parce que les données mémorisées et conflictuelles les avaient balayés.

Il est intéressant de noter qu'ils ont découvert que vous avez réellement besoin d'un certain degré de mémorisation pour obtenir de bons résultats. Si vous supprimez entièrement les exemples difficiles, le modèle échoue. Mais si vous laissez le modèle mémoriser ces exemples trop intensément (en l'entraînant trop longtemps), cela casse le processus de fusion.

La Solution : Arrêtez plus tôt !

Le papier suggère une solution simple : un arrêt précoce agressif (Aggressive Early Stopping).

Au lieu d'entraîner vos modèles experts jusqu'à ce qu'ils soient parfaits pour leur tâche spécifique, vous devriez arrêter l'entraînement beaucoup plus tôt.

L'ancienne méthode : Entraîner jusqu'à ce que l'expert atteigne 90 % de précision. (Résultat : Mauvais Super Chef).
La nouvelle méthode : Entraîner jusqu'à ce que l'expert atteigne 85 % de précision, puis s'arrêter. (Résultat : Excellent Super Chef).

En arrêtant plus tôt, les experts n'ont pas eu le temps de mémoriser ces exemples bizarres et difficiles. Ils conservent les règles générales qui fonctionnent bien pour tout le monde. Lors de la fusion, ils sont d'accord sur les règles générales, et le Super Chef devient beaucoup plus performant.

Points Clés à Retenir

Meilleurs Experts $\neq$ Meilleures Fusions : Ce n'est pas parce qu'un modèle d'IA individuel est meilleur dans sa tâche spécifique qu'il aidera à construire un modèle combiné meilleur. Parfois, « assez bon » est en réalité préférable pour l'équipe.
La Mémorisation est l'Ennemie de la Fusion : Plus un modèle mémorise de points de données spécifiques et difficiles, plus il est difficile de le combiner avec d'autres modèles.
Arrêtez l'Entraînement Plus Tôt : Que vous utilisiez un entraînement complet du modèle ou des adaptateurs « LoRA » efficaces (une méthode légère d'entraînement), arrêter le processus d'entraînement plus tôt donne de meilleurs résultats lors de la fusion.
Cela Fonctionne Partout : Cela se produit aussi bien avec les modèles d'images (comme la reconnaissance de voitures ou de chats) qu'avec les modèles de langage (comme répondre à des questions), et cela se produit quel que soit la taille du modèle.

En résumé : Ne laissez pas vos experts IA devenir trop obsédés par les détails les plus difficiles. Gardez-les concentrés sur l'aspect général, et lorsque vous les combinerez, ils travailleront bien mieux ensemble.

Résumé Technique : De la Mémorisation à l'Interférence de Paramètres

Énoncé du Problème

L'apprentissage profond moderne repose largement sur un pipeline où des modèles de fondation aux poids ouverts sont pré-entraînés sur des données générales, puis affinés (fine-tuning) sur des tâches spécialisées pour créer des modèles « experts ». Ces experts sont souvent fusionnés pour combiner les capacités en un seul modèle plus performant. Une hypothèse prédominante dans ce flux de travail est que les améliorations lors de l'étape d'affinage (c'est-à-dire l'obtention d'une précision plus élevée sur la tâche spécifique de l'expert) se propagent en aval pour améliorer la performance du modèle fusionné.

Cet article remet en question cette hypothèse. Les auteurs étudient la relation entre la durée de l'affinage de l'expert et l'efficacité de la fusion de modèles. Ils postulent que le « surapprentissage » (overtraining) des experts — en les optimisant jusqu'à la convergence ou au-delà sur leurs tâches individuelles — peut en réalité dégrader la performance du modèle fusionné résultant, malgré une meilleure performance des experts sur leurs tâches d'origine.

Méthodologie

L'étude emploie une analyse empirique systématique à travers les modalités de vision et de langage, utilisant diverses familles de modèles (ViT-B-32, ViT-L-14, T5-Base/Large/3B, BERT-Base) et divers régimes d'adaptation (Affinage Complet/Full Fine-Tuning et Adaptation de Bas Rang/LoRA).

Configuration Expérimentale :

Jeux de données : 8 tâches de classification d'images (ex: Cars, MNIST, SVHN) et 7 tâches de NLP (ex: QASC, Winogrande).
Durée d'entraînement : Les experts ont été affinés pour un nombre variable d'étapes ( $s \in \{2, \dots, 2048\}$ ).
Méthodes de fusion : Les auteurs ont évalué plusieurs techniques de fusion, notamment la Moyenne de Paramètres simple, la Task Arithmetic (TA), TIES, DARE et les méthodes basées sur la SVD (Iso-C, Iso-CTS, TSV-M).
Évaluation : La métrique principale est la précision de test brute, non normalisée, moyenne sur toutes les tâches du modèle fusionné. Les auteurs évitent explicitement les métriques de précision normalisées pour prévenir les incohérences découlant des variations de performance des experts entre les expériences.

Outils Analytiques :
Pour expliquer les phénomènes observés, les auteurs utilisent des scores de difficulté de données (spécifiquement le score EL2N) pour catégoriser les exemples d'entraînement en classes de difficulté (du plus facile au plus difficile). Ils analysent :

Mémorisation : En utilisant le cadre de mémorisation de Feldman pour mesurer à quel point la confiance d'un modèle sur un exemple spécifique dépend du fait d'avoir vu cet exemple pendant l'entraînement.
Interférence de Paramètres : Quantification du conflit entre les vecteurs de tâches à l'aide de métriques telles que le pourcentage de conflit de signe, le chevauchement de paramètres, le ratio de magnitude et la variance par paramètre.
Isolation Causale : Réalisation d'expériences où des sous-ensembles spécifiques de données (faciles, moyennes, difficiles) sont mis de côté pour mesurer leur impact individuel sur le comportement du modèle et les résultats de fusion.

Principaux Résultats

1. Le Surapprentissage Nuit à la Fusion

Contrairement à l'hypothie selon laquelle de meilleurs experts produisent de meilleures fusions, les auteurs constatent qu'un entraînement plus long entraîne une dégradation de la performance de fusion.

Vision et Langage : Dans les deux domaines, la précision de fusion culmine à des étapes d'entraînement intermédiaires (ex: 256 étapes pour T5, 128 pour ViT-LoRA) et décline significativement à mesure que l'entraînement se poursuit jusqu'à 2048 étapes.
Ampleur de l'impact : La dégradation est sévère. Pour les modèles adaptés via LoRA, la précision de fusion peut chuter de plus de 16 % (ex: méthode TIES) en passant de l'arrêt précoce optimal aux points de contrôle surentraînés.
Performance de l'Expert vs Modèle Fusionné : Alors que la précision de l'expert sur sa tâche spécifique continue de s'améliorer avec un entraînement prolongé, la performance du modèle fusionné se détériore. Par exemple, en NLP, la précision de l'expert s'est améliorée de 3,7 % entre 256 et 2048 étapes, tandis que la précision de fusion a chuté d'au moins 2,4 % pour toutes les méthodes.

2. Le Mécanisme : Mémorisation et Interférence

L'article attribue cette dégradation à la mémorisation d'exemples difficiles lors des phases tardives de l'entraînement.

Mémorisation des exemples difficiles : Les premières phases d'entraînement sont dominées par l'apprentissage de caractéristiques communes (exemples faciles). Les phases ultérieures sont dictées par la mémorisation d'une petite fraction d'exemples « difficiles » (valeurs aberrantes ou étiquettes bruitées).
Mises à jour idiosyncrasiques : La mémorisation de ces exemples difficiles conduit à des mises à jour de paramètres idiosyncrasiques qui ne généralisent pas d'une tâche à l'autre.
Interférence de Paramètres Négative : Lors de la fusion, ces mises à jour de paramètres spécifiques à la tâche, issues de la mémorisation, provoquent une interférence négative. Les auteurs montrent que les exemples difficiles sont disproportionnellement oubliés lors du processus de fusion (plus de 50 % des points de données oubliés appartiennent aux 30 % d'exemples les plus difficiles), tandis que les exemples faciles restent correctement classés.
Preuve Quantitative : Les métriques d'interférence de paramètres (conflit de signe, chevauchement, variance) augmentent systématiquement avec la durée de l'entraînement, confirmant qu'un entraînement plus long crée des mises à jour de paramètres plus conflictuelles.

3. La Nécessité d'une certaine Mémorisation

Les auteurs démontrent que si une mémorisation excessive est nuisible, une certaine mémorisation est nécessaire pour une fusion optimale. Le retrait des exemples les plus difficiles de l'entraînement nuit systématiquement à la performance de fusion, suggérant qu'un équilibre est requis pour apprendre des caractéristiques généralisables sans s'ajuster (overfit) sur un bruit idiosyncrasique.

4. L'Arrêt Précoce comme Solution

Le papier propose l'arrêt précoce agressif comme principe général pour atténuer le surapprentissage.

Stratégies dépendantes de la tâche : En arrêtant l'entraînement lorsque la précision de validation plafonne (plutôt qu'en entraînant pour un nombre fixe d'étapes), les auteurs obtiennent une performance de fusion qui égale ou dépasse les meilleurs résultats obtenus par un entraînement à nombre d'étapes fixe, bien que les experts individuels soient moins précis sur leurs tâches respectives.
Spécificités de LoRA : L'arrêt précoce est particulièrement efficace pour les adaptateurs LoRA, récupérant la précision de fusion optimale qui est autrement perdue avec un entraînement standard de longue durée.

Signification et Revendications

L'article affirme introduire une nouvelle dimension critique au domaine de la fusion de modèles : la durée de l'entraînement de l'expert.

Changement de Paradigme : Il remet en question la pratique standard consistant à entraîner les experts jusqu'à convergence avant la fusion. Les auteurs soutiennent que le « meilleur » expert pour la fusion est souvent un expert « sous-entraîné » qui n'a pas encore mémorisé d'exemples difficiles et idiosyncrasiques.
Conseils Pratiques : Ce travail fournit des conseils exploitables pour les praticiens :
1. Publier des points de contrôle intermédiaires : Puisque le point de fusion optimal précède souvent la convergence, la publication de points de contrôle intermédiaires est cruciale.
2. Prioriser l'arrêt précoce : Lors de l'entraînement d'experts pour la fusion, un arrêt précoce agressif peut produire de meilleurs résultats en aval qu'un entraînement de longue durée standard.
Efficacité : En réduisant la durée d'entraînement requise pour une fusion optimale, ces découvertes peuvent réduire considérablement les coûts computationnels et environnementaux associés à l'entraînement et à la fusion des modèles d'IA.
Généralisabilité : Le phénomène est montré comme étant robuste à travers différentes échelles de modèles (de 220M à 3B de paramètres), architectures (ViT, T5, BERT), et méthodes d'adaptation (FFT, LoRA), ainsi qu'à des stratégies d'upcycling alternatives comme le Model MoErging.

Les auteurs concluent qu'une gestion minutieuse de la dynamique d'entraînement des experts, spécifiquement l'évitement de la mémorisation tardive d'exemples difficiles, est essentielle pour libérer tout le potentiel des pipelines de fusion de modèles.