🤖 machine learning

CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning

CoCurve est une méthode d'élagage structuré sans entraînement pour les LLM qui optimise conjointement la suppression des unités d'attention et de FFN en exploitant un développement de Taylor du second ordre pour capturer les dépendances inter-modules via une matrice de Fisher, permettant une compression efficace et sans étiquette via un programme quadratique en une seule étape sans ajustement fin.

Auteurs originaux : Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

Publié 2026-07-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un cerveau de robot géant et super intelligent, fait de milliards de minuscules engrenages et de ressorts. C'est cela, un Grand Modèle de Langage (LLM), un type d'IA capable d'écrire des histoires, de résoudre des problèmes mathématiques et même de coder des logiciels. Mais voici le hic : ces cerveaux sont si vastes et si lourds qu'ils sont incroyablement coûteux à faire fonctionner et lents à réfléchir. Pour les rendre utiles au grand public, les scientifiques doivent les rétrécir, comme si l'on essayait de faire tenir une bibliothèque massive dans un livre de poche. Ce processus est appelé « élagage » (pruning).

Pensez à l'élagage comme à l'édition d'un long film. Vous voulez couper les scènes ennuyeuses pour rendre le film plus court et plus rapide à regarder, mais vous ne voulez pas gâcher l'intrigue. Pendant longtemps, les éditeurs (les scientifiques) ont pensé que la meilleure façon de faire cela était d'examiner chaque scène individuellement. Si une scène semblait ennuyeuse en soi, on la coupait. Ils supposaient que si l'on coupait un certain nombre de scènes ennuyeuses, le film serait simplement un peu plus court, mais que l'histoire resterait la même. Ils traitaient le film comme une simple liste de clips indépendants.

Cependant, cet article soutient qu'un film (ou un cerveau d'IA) n'est pas seulement une liste de clips indépendants. C'est un réseau complexe où les scènes se parlent entre elles. Parfois, une scène qui semble ennuyeuse en elle-même est en réalité le ciment secret qui unit deux autres scènes importantes. Si vous coupez cette scène « ennuyeuse », toute l'histoire pourrait s'effondrer, même si vous n'avez pas coupé les autres scènes. L'ancienne méthode d'édition passait à côté de ces connexions cachées.

Entrez en scène : CoCurve, le détective qui cartographie les connexions

Les chercheurs derrière cet article, de l'Université technologique de Nanyang, ont introduit une nouvelle méthode appelée CoCurve (Cross-Module Co-Pruning Curvature). Au lieu de simplement regarder chaque engrenage pour voir s'il est faible, CoCurve agit comme un détective qui cartographie la façon dont chaque engrenage est connecté à tous les autres.

Voici comment ils ont procédé, en utilisant une analogie simple : imaginez que le cerveau de l'IA est une ville géante avec deux types de bâtiments : des Tours d'Attention (qui aident l'IA à se concentrer sur des mots spécifiques) et des Usines FFN (qui traitent et comprennent ces mots).

L'ancienne méthode (l'erreur du « nœud d'abord ») : Les méthodes traditionnelles parcouraient la ville, vérifiaient chaque bâtiment individuellement et disaient : « Cette tour semble un peu vide, abatons-la », ou « Cette usine semble lente, fermons-la ». Elles supposaient que l'abattage de quelques bâtiments vides ne nuirait pas à la ville. Mais elles ne voyaient pas que certaines tours « vides » étaient en fait les seuls ponts reliant deux usines très actives. Abattre ces tours provoquait des embouteillages qui arrêtaient toute la ville.
La méthode CoCurve : CoCurve ne se contente pas de vérifier les bâtiments ; il vérifie les ponts entre eux. Il utilise un tour de passe-passe mathématique ingénieux (une expansion de Taylor du second ordre d'une « divergence KL », qui est juste une façon sophistiquée de mesurer à quel point les réponses de l'IA changent lorsque vous en cachez une partie) pour dessiner une carte de la ville.
- La diagonale montre l'importance d'un seul bâtiment en soi (comme l'ancienne méthode).
- Les lignes hors diagonale montrent la « courbure de co-élagage ». Il s'agit des dégâts supplémentaires causés si l'on abat deux bâtiments spécifiques ensemble. Cela révèle que parfois, deux bâtiments faibles forment en réalité une équipe super forte, et qu'il faut garder les deux.

Le tour de magie : Aucun entraînement requis

Habituellement, comprendre ces connexions nécessite beaucoup de travail intensif, comme réentraîner l'IA ou effectuer des millions de tests. Mais CoCurve est une méthode « sans entraînement » (training-free). C'est comme un tour de magie en une seule étape.

Les chercheurs prennent un petit échantillon de texte non étiqueté (comme quelques pages d'un livre).
Ils font passer l'IA à travers ce texte, mais ils « masquent » (cachent) un bâtiment à la fois pour voir comment les réponses de l'IA oscillent.
En utilisant un raccourci mathématique ingénieux (un produit de Gram), ils peuvent calculer toute la carte des connexions à partir de ces tests uniques. Ils n'ont pas besoin de tester chaque paire possible de bâtiments (ce qui prendrait une éternité), ni de mettre à jour les poids de l'IA. Tout est fait en une seule fois.

Ce qu'ils ont découvert

L'équipe a testé CoCurve sur quatre modèles d'IA différents, allant de 3 à 24 milliards de paramètres. Ils l'ont comparé à neuf autres méthodes d'élagage populaires.

Les résultats : CoCurve a systématiquement surpassé les autres. Il a permis de garder l'IA plus intelligente et plus capable, particaiement sur des tâches complexes comme l'écriture de code ou la résolution de problèmes mathématiques, là où d'autres méthodes rendaient souvent l'IA « incapable » et provoquaient son échec total.
La grande victoire : Sur un modèle massif de 24 milliards de paramètres, lorsqu'ils ont élagué 40 % du cerveau, CoCurve était 14,5 fois meilleur que la deuxième meilleure méthode pour prédire le mot suivant (une mesure appelée perplexité).
La découverte du « pont » : L'article a prouvé que les gains ne venaient pas seulement de la recherche des « meilleurs » bâtiments à conserver. Les gains provenaient spécifiquement des arêtes cross-module (inter-modules) — les connexions entre les Tours d'Attention et les Usines FFN. Lorsqu'ils ont supprimé ces connexions du calcul, la méthode a beaucoup moins bien performé, prouvant que ces ponts cachés sont la recette secrète.

Quand cela fonctionne-t-il ?

Les chercheurs ont également trouvé une règle pour savoir quand ce travail de détective est le plus utile. Si un modèle possède trop de bâtiments redondants (comme une ville avec 100 usines identiques qui font toutes la même chose), la carte des connexions devient bruyante et confuse. Dans ces cas-là, CoCurve possède un « interrupteur de sécurité » (un facteur d'amortissement) qui désactive la cartographie complexe des ponts et se contente de la méthode simple de « vérification de chaque bâtiment ». Cela garantit qu'il ne rend jamais les choses pires, même sur des modèles où les connexions ne sont pas aussi critiques.

L'essentiel à retenir

CoCurve change la donne en nous apprenant que, dans un cerveau d'IA complexe, on ne peut pas se contenter d'élaguer les nœuds (les parties), il faut aussi élaguer les arêtes (les connexions). En respectant le travail d'équipe caché entre les différentes parties de l'IA, CoCurve crée des modèles plus petits et plus rapides qui ne perdent pas leur intelligence. C'est une manière plus intelligente d'éditer le film, en veillant à ce que l'intrigue reste intacte même lorsque la durée de visionnage est réduite de moitié.

Résumé Technique : CoCurve

Énoncé du Problème

L'élagage structuré (structured pruning) compresse les Grands Modèles de Langage (LLM) en supprimant des unités de calcul entières, telles que des têtes d'attention ou des groupes de canaux de réseaux de neurones à propagation avant (FFN). Bien que les méthodes sans entraînement (training-free) soient privilégiées en raison de l'absence d'exigences en données et en calcul, elles souffrent généralement d'un angle mort critique : elles classent les unités supprimables de manière indépendante.

La plupart des approches existantes supposent que la perte liée à l'élagage d'un ensemble d'unités est la somme des pertes individuelles de ces unités ( $\Delta L(S) \approx \sum \Delta L(u)$ ). Cette hypothèse échoue dans les architectures Transformer où les sous-couches sont couplées via un flux résiduel partagé. Par conséquent, deux unités qui semblent faibles individuellement (faible saillance) peuvent être conjointement indispensables. Le classement indépendant est aveugle à ce couplage et élimine souvent ces « unités ponts » (bridge units) aux côtés des unités qu'elles soutiennent, causant des dommages disproportionnés aux capacités génératives du modèle, particulièrement pour les tâches de code et de mathématiques.

Méthodologie : CoCurve

Les auteurs introduisent CoCurve (Cross-Module Co-Pruning Curvature), une méthode de calibration uniquement, sans entraînement, qui élague conjointement les unités d'attention et de FFN en modélisant leurs interactions.

1. Risque d'élagage comme auto-distillation de second ordre

La méthode définit le risque d'élagage comme la divergence de Kullback-Leibler (KL) au niveau des tokens entre le modèle complet gelé (enseignant) et sa copie masquée (élève) sur du texte non étiqueté.

Ordre zéro et premier ordre : À l'élagage nul, les distributions coïncident, donc le risque et son gradient s'annulent.
Second ordre : Le terme principal de l'expansion de Taylor est purement quadratique : $R(s) \approx \frac{1}{2} s^\top H s$ .
La matrice de Fisher ( $H$ ) : Cette matrice unique $H$ $H$ contient :
- Diagonale ( $H_{uu}$ ) : Saillance classique des nœuds (similaire à l'Optimal Brain Damage).
- Hors-diagonale ( $H_{uv}$ ) : Arêtes de courbure de co-élagage, représentant la distorsion supplémentaire occasionnée par la suppression simultanée des unités $u$ et $v$ .

2. Estimation pratique via des ablations d'unité unique

Calculer une matrice d'interaction complète $M \times M$ nécessite typiquement $O(M^2)$ ablations par paires. CoCurve évite cela en dérivant un estimateur en forme close :

Les entrées hors-diagonale $H_{uv}$ sont montrées comme étant un produit de Gram de caractéristiques de perturbation de logits d'unité unique.
En effectuant seulement $M$ passages d'ablation d'unité unique (un par unité) et en calculant les produits scalaires pondérés par la Fisher des décalages de logits, la matrice d'interaction complète est récupérée.
Cela ne nécessite aucun gradient, aucun produit Hessien-vecteur, et aucune exploration par paires.

3. Solveur glouton en une seule étape (One-Shot Greedy Solver)

L'élagage est formulé comme un programme quadratique binaire budgétisé. Les auteurs emploient un solveur glouton normalisé par le coût qui :

Sélectionne les unités à supprimer en fonction du risque marginal, lequel inclut à la fois la saillance du nœud et l'interaction accumulée avec les unités déjà sélectionnées.
Opère sous un budget partagé pour les unités d'attention et de FFN, permettant à l'optimisation de déterminer la répartition optimale plutôt que de la fixer manuellement.
Inclut un scalaire de zone de confiance ( $\lambda$ ) pour atténuer le terme d'arête lorsque le ratio d'élagage est élevé et que l'approximation de second ordre se dégrade. Ce $\lambda$ est déterminé par une règle sans étiquette basée sur la redondance des canaux FFN du modèle.

4. Compensation (Optionnelle)

Pour des ratios agressifs, une étape de compensation en forme close peut re-scaler les sorties des groupes FFN conservés afin d'absorber le décalage du flux résiduel causé par les unités supprimées. Cette étape est également sans gradient et utilise les mêmes blocs d'arêtes calculés lors de la sélection.

Principales Contributions

Un objectif de Nœud-à-Arête : Dériver un risque d'élagage quadratique où les termes hors-diagonale représentent la courbure de co-élagage cross-module entre l'attention et le FFN, allant au-delà du classement de nœuds indépendant.
Un estimateur et un solveur pratiques : Démontrer que la matrice d'interaction complète est un produit de Gram de caractéristiques d'ablation d'unité unique, récupérable en $O(M)$ passages. La méthode résout le problème de sélection en une seule étape sans mise à jour des poids ni récupération.
Un mécanisme interprétable : La méthode protège explicitement les « unités ponts » (faible saillance mais haute connectivité) que les méthodes basées sur les nœuds rejettent. Elle place l'élagage structuré sur un continuum avec les méthodes classiques de second ordre (OBD/OBS).
Une règle prédictive : Une statistique de calibration unique (redondance des canaux FFN) prédit a priori quand le terme d'arête doit être fié ou atténué, transformant une observation empirique en une règle d'architecture.

Résultats

Les auteurs ont évalué CoCurve sur quatre LLM denses (3B–8B) et une étude de mise à l'échelle sur un modèle de 24B, comparant contre neuf bases de référence sans entraînement sur 14 benchmarks (incluant le modélisation du langage, le bon sens, la connaissance, les mathématiques et le code).

Performance : CoCurve surpasse systématiquement les bases de référence sans entraînement les plus fortes. Sur le modèle phare (Llama-3.1-8B-Instruct) à 20 % d'élagage, il atteint les meilleurs scores en modélisation du langage, connaissance du monde et génération de code, et la moyenne la plus élevée pour les tâches de bon sens.
Tâches fragiles : La méthode montre les gains les plus importants sur les tâches génératives fragiles (code et mathématiques), là où les autres méthodes s'effondrent souvent. À 40 % d'élagage sur le modèle de 24B, CoCurve atteint une perpplexité 14,5 fois plus faible que la base de référence valide la plus forte.
Ablations :
- Supprimer le terme d'arête hors-diagonale réduit la performance à celle d'un sélecteur uniquement diagonal (de type OBD), confirmant que les arêtes pilotent le gain.
- L'élagage conjoint attention-FFN surpasse l'élagage d'un seul module.
- Le bénéfice de l'arête est inversement corrélé à la redondance des canaux FFN ; la méthode inclut une porte pour atténuer les arêtes sur les modèles à haute redondance (ex: Qwen2.5-32B) afin d'éviter la dégradation.

Signification et Revendications

Le papier recadre l'élagage structuré des LLM : « Élaguez les arêtes, pas seulement les nœuds. »

Mécanisme : Les auteurs affirment que l'échec des méthodes existantes provient de l'ignorance du couplage entre les modules hétérogènes (attention et FFN) via le flux résiduel. CoCurve capture ce couplage via une matrice de courbure de Fisher dérivée.
Efficacité : La méthode est strictement sans entraînement, ne nécessant ni étiquettes, ni fine-tuning, ni ré-estimation itérative. Elle est efficace en calcul, ne nécessant que des passages directs pour les ablations d'unité unique.
Robustesse : L'approche fournit un « repli gracieux ». Sur les modèles à haute redondance où les arêtes pourraient induire en erreur, la méthode revient automatiquement à un sélecteur diagonal fort (de type OBD), garantissant qu'elle ne performe jamais moins bien qu'une base de référence classique robuste.
Portée : Les auteurs positionnent CoCurve comme une solution pour les régimes de compression modérée (jusqu'à environ ~30-40 %). Ils reconnaissent que, comme toutes les méthodes sans entraînement, elle se dégrade de manière super-linéaire aux ratios extrêmes sans récupération, mais elle étend significativement la frontière de compression utilisable par rapport aux méthodes de classement indépendant.

Le papier conclut que les interactions cross-module ne sont pas simplement décoratives mais sont porteuses de charge (load-bearing) pour préserver le calcul fonctionnel requis pour la génération complexe, et que la modélisation de ces interactions est essentielle pour un élagage structuré efficace.