🤖 machine learning

Calibration Data Trade-offs Across Capability Dimensions: Why Multi-Source Mixing Matters for High-Sparsity LLM Pruning

Cet article révèle que les sources de données de calibration présentent des compromis de signes opposés à travers différentes dimensions de capacités des LLM, incitant à la proposition d'IGSP, un protocole d'auto-calibration guidé par l'information qui automatise le mélange multi-sources pour surpasser de manière significative les bases de référence à source unique dans l'élagage à haute sparsité.

Auteurs originaux : Hu Xu, Zhaolong Xing, Congcong Liu, Jiaxing Wang, Zhida Jiang, Junshi Huang, Zhen Chen, Jianfeng Xu

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hu Xu, Zhaolong Xing, Congcong Liu, Jiaxing Wang, Zhida Jiang, Junshi Huang, Zhen Chen, Jianfeng Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Tailler dans le gras sans perdre le muscle

Imaginez que vous possédez une immense bibliothèque incroyablement intelligente (un Grand Modèle de Langage) qui sait tout faire, de l'écriture d'un poème à la réparation d'un moteur de voiture. Vous voulez réduire la taille de cette bibliothèque pour qu'elle puisse tenir dans un petit sac à dos afin qu'elle fonctionne plus rapidement sur votre téléphone. Ce processus s'appelle l'élagage (ou pruning).

Pour rétrécir la bibliothèque sans la casser, vous avez besoin d'un « échantillon de test » (appelé ensemble de calibration) pour aider la version réduite à décider quels livres garder et lesquels jeter.

L'ancienne croyance :
Pendant longtemps, les chercheurs pensaient que le choix des livres utilisés pour cet échantillon de test n'avait pas vraiment d'importance. Ils pensaient que tant que vous aviez quelques pages aléatoires provenant d'Internet, la bibliothèque rétrécirait très bien. Ils regardaient la note globale de la bibliothèque et constataient que différents échantillons de test donnaient des résultats similaires.

La nouvelle découverte :
Ce papier affirme que la « note globale » est un mensonge. C'est comme dire qu'un élève est « bon à l'école » parce qu'il a une moyenne de 80 %. Mais si l'on regarde de plus près, cet élève peut être un génie en Mathématiques mais échouer lamentablement en Histoire.

Les auteurs ont découvert que ce que vous utilisez pour l'échantillon de test change quels types de compétences survivent au processus de réduction.

Si vous utilisez du texte général d'Internet (comme des articles de presse) pour le test, la bibliothèque conserve sa capacité à écrire des histoires et à discuter, mais elle oublie comment faire des Mathématiques ou du Code.
Si vous utilisez des manuels de Mathématiques pour le test, la bibliothèque devient excellente en Mathématiques, mais elle oublie comment écrire des phrases normales.

Le problème : Le compromis du « signe opposé »

Le papier a découvert une règle frustrante : on ne peut pas avoir le beurre et l'argent du beurre.

Imaginez les compétences de la bibliothèque comme deux types de carburants différents :

Carburant Général : Nécessite du texte « complexe et désordonné » (comme un flux d'actualités chaotique) pour faire tourner le moteur.
Carburant Spécialisé (Maths/Code) : Nécessite du texte « propre, simple et structuré » (comme un manuel de mathématiques) pour faire tourner le moteur.

Le papier a découvert que ces deux carburants sont des opposés.

Si vous nourrissez la bibliothèque avec du texte « désordonné » pour sauver ses capacités générales, vous détruisez ses capacités en mathématiques.
Si vous la nourrissez avec du texte « propre » pour sauver ses capacités en mathématiques, vous détruisez ses capacités générales.

À cause de cela, utiliser un seul type de livre (même le « meilleur ») pour rétrécir la bibliothèque est une bataille perdue d'avance. Vous perdrez toujours une grande partie d'une capacité spécifique.

La solution : L'approche du « Smoothie » (Mélange multi-sources)

Puisque vous ne pouvez pas choisir un seul type de livre, les auteurs disent que vous devez faire un smoothie.

Au lieu de tester la bibliothèque uniquement avec des articles de presse ou uniquement avec des problèmes de mathématiques, vous les mélangez. Vous prenez un peu de presse, un peu de code, un peu de mathématiques et un peu de bon sens, et vous mélangez le tout en un seul échantillon de test.

Le résultat :
Lorsqu'ils ont testé cette approche de « smoothie » sur un modèle populaire (LLaMA-3.1-8B) et réduit sa taille de 60 % :

L'ancienne méthode (utilisant uniquement des articles de presse) a conservé environ 40 % des compétences totales de la bibliothèque.
La méthode du « smoothie » a conservé 58,8 % des compétences totales.
Plus important encore, la bibliothèque n'a pas perdu sa capacité à coder. En fait, elle a sauvé 52 % de ses compétences en codage, alors que l'ancienne méthode les avait presque toutes perdues (chutant à 0,4 %).

L'astuce du « Auto-Générateur » (IGSP)

Il y a un bémol : Pour faire le smoothie parfait, vous avez généralement besoin d'avoir tous ces différents livres (livres de maths, livres de code, etc.) à disposition. Mais que faire si vous ne les avez pas ?

Les auteurs ont créé un robot intelligent appelé IGSP.

Comment il fonctionne : Au lieu d'avoir besoin d'une bibliothèque de différents livres, IGSP demande au modèle d'IA lui-même d'écrire les questions de test.
L'astuce : Il ne demande pas simplement à l'IA d'« écrire n'importe quoi ». Il demande spécifiquement : « Écris un problème de mathématiques », puis « Écris une tâche de codage », puis « Écris une histoire ». Il vérifie ensuite la difficulté de ces tâches générées pour s'assurer que le mélange est équilibré.
Le résultat : Même sans posséder les vrais livres, ce robot peut créer un « smoothie » presque aussi bon que le vrai. Il bat de loin les méthodes précédentes qui demandaient simplement à l'IA d'« écrire ce qu'elle voulait ».

Pourquoi certains outils fonctionnent mieux que d'autres

Le papier a également remarqué un point intéressant concernant les outils utilisés pour rétrécir la bibliothèque.

Outil A (Wanda) : Cet outil est un peu « paresseux ». Il regarde l'échantillon de test, prend une décision rapide, puis se fige. Parce qu'il est paresseux, il ne se soucie pas vraiment de l'échantillon de test que vous lui donnez. Les résultats sont toujours à peu près les mêmes, que vous utilisiez un smoothie ou juste de la presse.
Outil B (SparseGPT) : Cet outil est un « perfectionniste ». Il utilise l'échantillon de test pour effectuer des ajustements très précis et complexes sur le cerveau de la bibliothèque. Parce qu'il prête une attention très soutenue, ce que vous lui donnez importe énormément. Si vous lui donnez un mauvais smoothie, la bibliothèque se brise. Si vous lui donnez un bon smoothie, la bibliothèque prospère.

Résumé

Ne faites pas confiance à la moyenne : Un modèle peut sembler « correct » en moyenne, mais il peut être très mauvais pour des tâches spécifiques comme le code ou les maths selon la façon dont vous l'avez réduit.
Mélangez les genres : Pour maintenir toutes les compétences en vie, vous devez mélanger différents types de données (presse, maths, code). Un type de donnée nuit toujours à un autre type de compétence.
Le Smoothie gagne : Un mélange équilibré de données préserve bien mieux les capacités du modèle qu'une seule source de données.
Le robot assistant : Si vous n'avez pas les données, un robot intelligent (IGSP) peut générer un mélange équilibré pour vous, obtenant des résultats très proches de l'utilisation de données réelles.

Résumé Technique : Compromis des données de calibration à travers les dimensions de capacité

Énoncé du problème
L'élagage (pruning) post-entraînement compresse les grands modèles de langage (LLM) vers une forte parcimonie (par exemple, 50–60 %) en utilisant un petit ensemble de calibration non étiqueté pour estimer les statistiques d'activation ou les approximations de la Hessienne. Bien que la littérature récente suggère que le choix de la source de calibration n'a qu'un « impact modeste » sur la précision moyenne post-élagage, cet article soutient que ces conclusions sont des artefacts d'une évaluation sur un axe unique. En agrégeant les performances sur des benchmarks de domaine général, les travaux précédents masquent des divergences significatives spécifiques aux capacités. Le problème central est qu'aucune source de calibration unique (réelle ou auto-générée) ne peut préserver simultanément toutes les capacités du modèle à une forte parcimonie en raison des compromis structurels dans les propriétés informationnelles des données.

Méthodologie
Les auteurs proposent un cadre d'évaluation multidimensionnel et un protocole de construction de données de calibration guidé par l'information.

Évaluation décomposée par capacité : Au lieu d'un score agrégé unique, les auteurs décomposent la capacité post-élagage en quatre dimensions distinctes : Général, Sens commun (Commonsense), Code et Mathématiques. La performance est mesurée via la rétention relative ( $S_{m,d}$ ), normalisée par rapport au modèle de base non élagué.
Analyse informationnelle : En utilisant les métriques de la Théorie de l'Information Objective (OIT), les auteurs analysent $n=15$ sources de calibration. Ils calculent les corrélations de Spearman entre six métriques d'information (Volume, Étendue, Variété, Granularité, Agrégation, Distorsion, Décalage) et les scores de rétention à travers les quatre dimensions.
Protocole IGSP : Pour répondre aux compromis identifiés sans dépendre de corpus préexistants alignés sur les capacités, les auteurs proposent l'IGSP (Information-Guided Self-Calibration for Pruning). L'IGSP automatise la construction multi-sources en utilisant uniquement le modèle de base et la taxonomie d'évaluation. Il repose sur deux principes empiriquement validés :
- Minimiser l'Agrégation : Sélectionner de manière gloutonne des échantillons pour maximire la couverture des n-grammes uniques, supprimant ainsi le biais d'estimation d'activation causé par la répétition de motifs.
- Équilibrer la Distorsion : Construire l'ensemble de calibration pour inclure des données provenant de régimes de perplexité élevés et faibles, répartis entre les dimensions de capacité, car aucun niveau de perplexité unique ne supporte toutes les capacités.

Principaux résultats et conclusions

Le compromis de signe opposé : Une conclusion critique est que la perplexité de calibration (Distorsion) est corrélée avec des signes opposés selon les dimensions de capacité.
- Capacité Générale : Corrélation positive avec la perplexité ( $\rho = +0,71$ ). Le texte web à haute perplexité (ex: C4) préserve la capacité de langage général.
- Capacités Mathématiques et Code : Corrélation négative avec la perplexité ( $\rho = -0,53$ et $-0,59$). Les données structurées à faible perplexité (ex: MetaMath) préservent les compétences de raisonnement et de codage mais provoquent un effondrement quasi total de la capacité générale.
- Conclusion : Aucune source unique ne peut optimiser simultanément les deux extrémités du spectre de perplexité.
Mélange multi-sources ( $mix\_balanced$ ) : En mélangeant uniformément des données provenant de quatre réservoirs alignés sur les capacités (Général, Sens commun, Code, Mathématiques), les auteurs obtiennent des gains significatifs. Sur LLaMA-3.1-8B élagué avec SparseGPT à 60 % de parcimonie :
- $mix\_balanced$ atteint 58,8 % de rétention totale.
- Cela surpasse la meilleure source unique (MetaMath, 50,0 %) de +8,8 points et la source par défaut C4 (40,0 %) de +18,8 points.
- La dimension Code seule voit une amélioration de +51,9 points par rapport à C4.
- L'avantage du mélange multi-sources croît de manière monotone avec la parcimonie, passant de +4,6 points à 30 % à +18,8 points à 60 %.
Performance de l'IGSP : Lorsque les corpus alignés sur les capacités ne sont pas disponibles, l'IGSP automatise la construction d'un mélange multi-sources.
- L'IGCP surpasse Self-Cal (Williams et al., 2025) de +2,4 points et SGS (Ji et al., 2025) de +4,8 points à 60 % de parcimonie.
- Cependant, un écart de 9,7 points subsiste entre l'IGSP (auto-généré) et $mix\_balanced$ (données réelles). Les auteurs attribuent cela à un « plafond de qualité de contenu », notant que le filtrage de la perplexité de surface ne peut garantir la correction exécutable du code ou l'intégrité de la dérivation mathématique requise pour des motifs d'activation de haute fidélité.
Sensibilité de l'élagueur (Pruner) : L'impact de la conception de la calibration dépend fortement de l'algorithme d'élagage.
- SparseGPT : Montre une haute sensibilité, avec un écart de 18,8 points de rétention totale entre différentes stratégies de calibration à 60 % de parcimonie. Cela s'explique par le fait que SparseGPT utilise les données de calibration pour calculer les mises à jour de poids pilotées par la Hessienne.
- Wanda : Montre une faible sensibilité, les stratégies se regroupant dans une fenêtre étroite de 3,8 points. Wanda utilise la calibration uniquement pour l'estimation locale de la magnitude d'activation, ce qui le rend moins réactif aux propriétés structurelles spécifiques des données de calibration.

Signification et affirmations
L'article affirme que la question des données de calibration pour l'élagage post-entraînement ne peut être résolue par une évaluation sur un axe unique, une source de données unique ou une optimisation à métrique unique. La principale contribution est la démonstration que la décomposition des capacités révèle des compromis structurels (spécifiquement la corrélation de signe opposé de la perplexité) que les stratégies à source unique ne peuvent surmonter.

Les auteurs soutiennent que le mélange multi-sources est la réponse structurellement nécessaire à l'élagage à forte parcimonie. Ils fournissent un protocole pratique (IGSP) qui automatise ce mélange sans nécessiter de corpus externes alignés, atteignant des résultats de pointe dans la catégorie de l'auto-génération. Enfin, ils soulignent que l'importance de la conception de la calibration est proportionnelle à la force avec laquelle l'algorithme d'élagage couple les données de calibration à sa règle de mise à jour des poids, exhortant les études futures à rapporter des résultats sur à la fois Wanda et SparseGPT pour éviter de sous-estimer l'impact de la calibration.