When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning

Imaginez que vous êtes le capitaine d'un immense vaisseau spatial de haute technologie appelé un « Large Language Model » (Grand Modèle de Langage). Ce vaisseau est construit pour comprendre et générer le langage humain, mais il est si lourd et complexe qu'il est trop lent pour voler à travers les canyons étroits d'une application du monde réel. Pour le faire voler, vous devez effectuer un « élagage » (pruning) : retirer soigneusement certaines parties du moteur du vaisseau pour l'alléger sans provoquer de crash.

La partie délicate est que le vaisseau ne transporte pas un seul type de cargaison ; il transporte de nombreux groupes de passagers différents, comme des « voyageurs généraux », des « experts en codes rares » et des « inspecteurs de sécurité ». Si vous coupez une partie du moteur dont les « experts en codes rares » dépendent, le vaisseau pourrait voler parfaitement pour tous les autres, mais les experts se retrouveraient abandonnés. La grande question dans ce domaine de l'informatique est la suivante : comment savoir quelles parties couper pour que chaque groupe de passagers reste en sécurité, même si vous ne pouvez pas tester chaque coupe possible ? Les scientifiques utilisent des « statistiques de compression » — des scores mathématiques qui tentent de prédire quelles parties sont inutiles. Mais cet article pose une question effrayante : et si le score dit qu'une partie est sûre à couper, mais qu'elle détruit en réalité le vaisseau pour un groupe spécifique de passagers ?

Cet article, intitulé « When Compression Scores Cannot Decide » (Quand les scores de compression ne peuvent décider), étudie les limites cachées de ces scores de prédiction. L'auteur, dirigé par Andrew Zhang, soutient qu'un score unique et moyen est comme regarder une carte floue : il peut montrer que le vaisseau va globalement bien, mais il cache le fait qu'un coin spécifique est en feu. Ils ont découvert que ces scores échouent souvent à prédire les dommages les plus graves pour des groupes spécifiques. Au lieu de s'appuyer sur un seul « chiffre magique » pour décider de ce qu'il faut couper, l'article suggère une nouvelle stratégie : utiliser des indices locaux pour construire une liste courte de candidats, puis tester réellement ces candidats spécifiques pour voir comment ils se comportent pour chaque groupe avant de prendre la décision finale.

Le problème du score « moyen »

Considérez un score de compression comme un professeur évaluant une classe. Si le professeur ne regarde que la moyenne de la classe, il pourrait penser que tout le monde réussit très bien. Mais que se passe-t-il si un élève échoue lamentablement alors que tous les autres réussissent l'examen ? La moyenne cache l'échec. Dans le monde de l'IA, les chercheurs utilisent des « scores d'élagage » pour décider quels neurones (les petites unités de traitement à l'intérieur de l'IA) supprimer. Ces scores regardent souvent le comportement « moyen » de l'IA à travers l'ensemble de ses données.

L'auteur a découvert que cette approche est dangereuse. Il a trouvé un score d'élagage spécifique qui était très fiable (avec une « fiabilité de division par deux » de 0,906, ce qui signifie qu'il donne systématiquement la même réponse lors de deux tests). Ce score prédisait qu'une certaine coupe améliorerait la performance de l'IA de 16,1 %. Cependant, lorsqu'ils ont effectué la coupe, le résultat fut un désastre : l'IA a performé de 6,0 % à 7,7 % moins bien que les groupes de contrôle. Le score avait raison concernant la moyenne, mais il avait complètement manqué le fait qu'il ruinerait l'expérience pour des groupes spécifiques d'utilisateurs.

La « frontière d'information » et l'écart caché

Pour expliquer pourquoi cela se produit, l'auteur utilise un concept appelé « frontière d'information ». Imaginez que vous essayiez de deviner la forme d'un objet caché en regardant son ombre. Si l'ombre est juste une moyenne simple, vous pourriez penser que l'objet est une sphère parfaite. Mais l'objet pourrait être un cube avec un coin pointu qui dépasse d'une manière que l'ombre ne montre pas.

L'article soutient que les méthodes d'élagage standard ne voient que l'« ombre » (la moyenne globale). Elles ratent les « coins tranchants » (les dommages spécifiques à des groupes individuels). L'auteur appelle l'écart entre ce que le score voit et ce qui se passe réellement la « fibre d'observation ». C'est comme une fenêtre embrumée : vous voyez la forme générale, mais vous ne voyez pas les détails qui comptent le plus.

Ils ont prouvé mathématiquement que si vous ne regardez que la moyenne, vous pourriez être erronés d'un facteur lié au nombre de groupes que vous avez. Si vous avez 4 groupes, les dommages dans le pire des cas pourraient être 4 fois plus graves que ce que suggère la moyenne. C'est une « loi conique » qu'ils ont dérivée, qui agit comme une règle de physique pour l'élagage de l'IA : la moyenne cache toujours le pire scénario, à moins de faire quelque chose de spécial pour regarder les groupes séparément.

La solution : Une danse en deux étapes

Alors, si le score moyen est un menteur, que devons-nous faire ? L'article propose un processus en deux étapes, qu'ils appellent « Proposer » et « Décider ».

Étape 1 : Proposer (Les indices locaux)
D'abord, vous utilisez des indices locaux pour construire une liste courte de candidats. Dans les modèles d'IA denses (les grands et lourds), ils ont utilisé une méthode de « diagonale résolue par groupe ». Cela revient à vérifier les pièces du moteur pour chaque groupe de passagers séparément, plutôt que de simplement regarder l'ensemble du moteur. Cette méthode était très efficace pour repérer la sévérité générale des dommages (elle avait une corrélation de 0,9239 avec le pire dommage réel). Elle pouvait vous dire : « Hé, ce groupe de passagers est en grand danger si nous coupons cette pièce ». Cependant, elle ne pouvait pas dire exactement quelle coupe était la meilleure parmi celles qui semblaient correctes. Elle était bonne pour trouver le danger, mais mauvaise pour choisir le vainqueur.

Étape 2 : Décider (Le vrai test)
Une fois que vous avez une liste courte de candidats (un « menu fini »), vous devez arrêter de deviner et commencer à tester. L'auteur a trouvé que vous ne pouvez pas compter sur un score unique pour classer ces candidats. Au lieu de cela, vous devez mesurer la performance réelle de chaque candidat sur les groupes spécifiques.

Ils ont testé cela sur trois modèles d'IA différents (Llama, SmolLM3 et Qwen). En utilisant une approche « adaptée à la cible » (target-matched) — où ils mesuraient la performance réelle des candidats sur les groupes spécifiques qui les intéressaient — ils ont constaté de réelles améliorations.

• Sur le modèle Llama, ils ont réduit l'« inflation de la perplexité du pire groupe » (une mesure de la confusion de l'IA) de 7,96 %.
• Sur Qwen, ils l'ont réduite de 2,80 %.
• Sur SmolLM3, ils l'ont réduite de 2,68 %.

Ce n'étaient pas de simples suppositions ; c'étaient des améliorations mesurées qui se maintenaient lors de tests sur de nouvelles données non vues.

Le twist du MoE : La carte secrète du routeur

L'article a également examiné un autre type d'IA appelé « Mixture of Experts » (MoE - Mélange d'Experts). Imaginez ces modèles comme une équipe de spécialistes. Au lieu d'un seul cerveau géant, vous avez de nombreux petits experts, et un « routeur » décide quel expert utiliser pour chaque question.

Dans cette configuration, le routeur laisse une « trace » ou une carte montrant quels experts sont utilisés par quels groupes. L'auteur a trouvé que cette carte était incroyablement utile. Elle pouvait prédire quel expert unique supprimer mieux qu'un choix aléatoire (réussissant 114 fois sur 192, contre 81 fois sur 192 pour une méthode standard).

Cependant, tout comme pour les grands modèles, la carte n'était pas parfaite. Elle pouvait vous dire quel expert unique était le plus dangereux à conserver, mais elle ne pouvait pas vous dire quelle était la meilleure combinaison d'experts à supprimer. Pour résoudre cela, ils ont dû tester les combinaisons complètes. En le faisant, ils ont trouvé deux mouvements spécifiques qui amélioraient la performance de l'IA de 13,7 % et 7,2 % sur les pires groupes.

La grande conclusion

La leçon principale de cet article est que vous ne pouvez pas faire confiance à un chiffre unique et moyen pour prendre des décisions de vie ou de mort pour des groupes d'IA. Si vous voulez créer une IA qui est juste et robuste pour tout le monde, vous devez être plus prudent.

1. Les indices locaux sont bons pour repérer le danger : Utilisez des scores spécifiques aux groupes pour trouver les risques majeurs.
2. Mais vous devez tester les gagnants : Une fois que vous avez une liste courte d'options, vous devez réellement mesurer comment elles se comportent sur les groupes qui vous importent.
3. L'approche « taille unique » échoue : Une stratégie d'élagage qui fonctionne pour un modèle ou un groupe peut échouer complètement pour un autre. L'auteur a trouvé que les « directions fines » (des schémas de coupe spécifiques) qui fonctionnaient pour un modèle ne fonctionnaient pas pour un autre.

L'article conclut que, bien que nous puissions construire de meilleures cartes et de meilleures listes de candidats, la décision finale nécessite toujours une mesure directe du résultat. Vous ne pouvez pas simplement calculer votre chemin vers la sécurité ; vous devez vérifier le moteur après chaque coupe. Cela garantit que lorsque vous pilotez votre vaisseau spatial d'IA, aucun groupe de passagers n'est laissé derrière dans l'obscurité.