💬 NLP

Exploring the Limits of Pruning: Task-Specific Neurons, Model Collapse, and Recovery in Task-Specific Large Language Models

Ce papier démontre, grâce à des expériences systématiques d'élagage sur des modèles de langage spécifiques à une tâche, que les neurones contribuent de manière non uniforme aux performances, révélant qu'un petit sous-ensemble de neurones hautement spécialisés est essentiel au succès de la tâche, tandis que le réseau restant présente une redondance pouvant être élaguée en toute sécurité et ensuite récupérée par affinage.

Auteurs originaux : M. K. Khalidi Siam, Md. Tausif-Ul-Islam, Md. Reshad Romim Khan, Mohammed Ali Hossain, Mushfiqul Amin, Labib Hasan Khan, Niloy Farhan, Farig Sadeque

Publié 2026-05-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : M. K. Khalidi Siam, Md. Tausif-Ul-Islam, Md. Reshad Romim Khan, Mohammed Ali Hossain, Mushfiqul Amin, Labib Hasan Khan, Niloy Farhan, Farig Sadeque

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme une immense et animée ville avec des millions de travailleurs (neurones). Chaque travailleur a un emploi, mais dans une ville à vocation générale, la plupart sont des « généralistes » : ils peuvent faire un peu de tout, de la réparation de canalisations à la rédaction de poèmes.

Ce papier pose une question simple : Si nous spécialisons cette ville pour un seul emploi (comme résoudre des problèmes de mathématiques ou écrire du code), tous les travailleurs doivent-ils encore être présents ? Ou certains sont-ils en réalité simplement « distraits » par d'autres tâches ?

Voici l'histoire de ce que les chercheurs ont découvert, expliquée à travers des analogies du quotidien.

1. Le « Spécialiste » contre le « Distrait »

Les chercheurs ont examiné des modèles entraînés spécifiquement pour les Mathématiques et le Code. Ils voulaient savoir : Quels travailleurs font réellement les mathématiques, et lesquels rêvassent à autre chose ?

Ils ont développé une méthode pour mesurer la « concentration ». Imaginez que vous passiez un test à chaque travailleur.

Le Spécialiste : Un travailleur qui s'enthousiasme beaucoup (activation élevée) quand on lui pose une question de mathématiques, mais reste calme quand on lui demande de l'histoire.
Le Distrait : Un travailleur qui s'enthousiasme pour l'histoire mais ignore les mathématiques.

L'équipe a découvert que dans ces modèles spécialisés, il existe un groupe distinct de « Neurones Spécialistes » qui sont cruciaux pour la tâche, tandis que beaucoup d'autres ne sont que des « Distraits » qui n'aident pas vraiment à l'emploi spécifique.

2. L'expérience de « l'Élagage » (Renvoyer les travailleurs)

L'« élagage » est le processus de renvoi de travailleurs pour rendre la ville plus petite, moins chère et plus rapide. Les chercheurs ont essayé trois façons différentes de licencier des gens :

Élagage Aléatoire (La Loterie) : Ils ont renvoyé des travailleurs complètement au hasard.
- Résultat : La ville est devenue plus petite, mais les performances ont chuté rapidement. C'est comme licencier des gens au hasard dans un hôpital ; vous risquez de renvoyer accidentellement le seul chirurgien.
Élagage Sélectif (La Coupe Intelligente) : Ils ont renvoyé uniquement les « Distraits » — les travailleurs qui s'ennuyaient ou s'enthousiasmaient pour les mauvaises choses.
- Résultat : La ville a rétréci de manière significative (jusqu'à 35 % plus petite), et les travailleurs restants (les Spécialistes) ont maintenu la ville en fonctionnement presque aussi bien qu'avant. Cela a prouvé que tous les travailleurs ne sont pas égaux ; vous pouvez éliminer le « bruit » sans perdre le « signal ».
Élagage Inverse (Le Sabotage) : Ils ont fait l'inverse. Ils ont renvoyé en premier les travailleurs « Spécialistes » les plus enthousiastes et les plus importants.
- Résultat : Effondrement Total. Dès qu'ils ont renvoyé environ 10 % des meilleurs spécialistes, la ville a cessé de fonctionner entièrement. Le modèle ne pouvait plus résoudre un seul problème de mathématiques. Cela a montré que l'information critique est concentrée dans un très petit groupe fragile de neurones.

3. Le « Seuil de Robustesse » (Le Point de Rupture)

Les chercheurs ont trouvé un « point de bascule » pour déterminer combien vous pouvez renvoyer avant que les choses ne deviennent chaotiques.

Zone de Sécurité (0 % à 15 %) : Vous pouvez renvoyer jusqu'à 15 % des travailleurs, et la ville fonctionne bien. Elle pourrait même fonctionner plus vite.
Zone de Danger (15 % à 20 %) : C'est la falaise. Si vous renvoyez plus de 20 %, le modèle commence à se dégrader.
Les « Pièges » : Lorsque le modèle est poussé trop loin (renvoyé trop), il ne donne pas simplement une mauvaise réponse ; il reste coincé dans une boucle. Imaginez un robot essayant de répondre à une question, disant la réponse, puis oubliant d'arrêter de parler et répétant simplement la même phrase pour toujours. Les chercheurs ont appelé cela des « boucles de dégénérescence » ou des « pièges ».

4. La « Récupération » (Recrénage des Survivants)

Après avoir renvoyé tant de gens, la ville était endommagée. Mais les chercheurs avaient un tour : le Fine-Tuning (Ajustement Fin).
Pensez à cela comme un cours intensif pour les travailleurs restants. Ils ont pris les modèles élagués (plus petits) et leur ont donné un peu de formation supplémentaire (en utilisant une technique appelée LoRA).

Résultat : Les modèles ont rebondi ! Même ceux qui avaient été fortement élagués (35 % plus petits) ont regagné la majeure partie de leur capacité à résoudre des mathématiques et à écrire du code.
Insight Clé : Les travailleurs restants étaient capables, mais ils avaient juste besoin d'un peu de « réorientation » pour se rappeler comment travailler ensemble efficacement sans les collègues renvoyés.

5. Grande Ville contre Petite Ville

Ils ont testé cela sur deux tailles de modèles : un modèle 7B (une immense ville) et un modèle 1,5B (une petite ville).

La Grande Ville (7B) : Pouvait supporter plus de renvois. Elle avait tellement de travailleurs redondants qu'elle pouvait perdre beaucoup de monde et continuer à fonctionner correctement.
La Petite Ville (1,5B) : Était plus fragile. Elle a perdu sa capacité à fonctionner correctement beaucoup plus vite car elle n'avait pas autant de travailleurs supplémentaires à se permettre.

6. La Conclusion

Ce papier prouve trois choses principales en utilisant une logique simple :

La Spécialisation est Réelle : Dans les modèles entraînés pour des tâches spécifiques, il existe des « cellules cérébrales » spécifiques dédiées à cette tâche, et d'autres qui ne sont que du bruit.
Vous Pouvez les Réduire : En éliminant soigneusement les travailleurs « bruyants », vous pouvez rendre le modèle plus petit et plus rapide sans perdre son intelligence.
Ne Coupez Pas le Cœur : Si vous éliminez les travailleurs les plus importants, le modèle meurt instantanément. Mais si vous coupez les travailleurs non importants et que vous donnez ensuite aux survivants un rapide rappel de formation, le modèle survit et prospère.

Le Compromis : Bien que rendre le modèle plus petit économise de la mémoire et le rende plus rapide (comme une voiture plus légère allant plus vite), vous devez faire attention à ne pas couper tellement que la voiture se désintègre. Le point idéal semble se situer autour d'un élagage de 15 à 20 %, après quoi le risque que le modèle reste « coincé dans une boucle » augmente brusquement.

1. Énoncé du problème

Bien que les grands modèles de langage (LLM) atteignent des performances de pointe, leur taille massive et leurs coûts de calcul entravent leur déploiement dans des environnements aux ressources limitées. Bien que l'élagage neuronal soit une technique de compression prometteuse, la plupart des recherches existantes se concentrent sur les modèles à usage général. Il reste à déterminer si les neurones des modèles spécifiques à une tâche (par exemple, spécialisés en mathématiques ou en code) contribuent uniformément aux performances ou s'il existe des « neurones spécifiques à une tâche » distincts. De plus, les limites de l'élagage avant l'effondrement du modèle, la nature de l'instabilité structurelle (par exemple, les boucles de génération) et l'efficacité de la récupération post-élagage par ajustement fin ne sont pas bien comprises.

2. Méthodologie

Modèles et jeux de données

Modèles : L'étude a évalué les modèles Qwen2.5 à deux échelles : 1,5B et 7B.
- Modèles Mathématiques : Qwen2.5-Math-1.5B/7B-Instruct.
- Modèles de Code : Qwen2.5-Coder-1.5B/7B-Instruct.
Jeux de données :
- Tâches cibles : GSM8K (Mathématiques) et CodeFeedback-Filtered-Instruction (Code).
- Tâches distractrices : SQuAD (Réponses aux questions) et everyday-Conversational-cleaned (Dialogue).
- Note : Les mathématiques et le code n'ont pas été traités comme des distracteurs mutuels en raison de leur logique structurelle sous-jacente partagée.

Métrique de sélectivité basée sur l'activation

L'innovation centrale est un score de sélectivité basé sur l'activation pour identifier les neurones critiques pour la tâche cible par rapport à ceux associés aux distracteurs.

Capture d'activation : Les activations des neurones ( $h^{(\ell)}$ ) provenant de la couche intermédiaire SwiGLU des réseaux de neurones à propagation avant (FFN) sont extraites pour les invites cibles et distractrices.
Calcul de la sélectivité : Pour chaque neurone $n$ $n$ dans la couche $\ell$ $ℓ$ , un score de sélectivité directionnel $S_n^{(\ell)}$ $S_{n}^{(ℓ)}$ est calculé :
$S_n^{(\ell)} = \frac{\mu_{target,n}^{(\ell)} - \mu_{distractor,n}^{(\ell)}}{\sigma_n^{(\ell)} + \epsilon}$
Où $\mu$ $μ$ représente l'activation moyenne et $\sigma$ $σ$ l'écart-type.
- Score positif : Pertinent pour la cible.
- Score négatif : Associé aux distracteurs (candidats à l'élagage).

Stratégies d'élagage

Élagage sélectif : Supprime les neurones ayant les scores de sélectivité les plus faibles (favorables aux distracteurs).
Élagage aléatoire : Référence où les neurones sont supprimés au hasard.
Élagage inverse : Supprime les neurones ayant les scores de sélectivité les plus élevés (critiques pour la tâche) pour tester la nécessité de neurones spécifiques.
Implémentation : L'élagage structurel est appliqué physiquement en tranchant des lignes/colonnes des matrices de poids ( $W_{gate}, W_{up}, W_{down}$ ) dans les blocs MLP. L'élagage est uniforme à travers les couches pour maintenir l'efficacité matérielle (divisible par 128).

Mécanisme de récupération

Après l'élagage, les modèles subissent un ajustement fin LoRA (Low-Rank Adaptation) pour récupérer les performances.

Modèles Mathématiques : $r=8$ , LR= $2\times10^{-5}$ .
Modèles de Code : $r=16$ , LR= $2\times10^{-4}$ .
Entraînés pendant 2 époques sur les ensembles de données d'entraînement de la tâche cible.

Métriques d'évaluation

Précision : Exact Match (EM) pour les mathématiques ; Pass@1 sur HumanEval pour le code.
Stabilité : Détection de « pièges » (boucles de dégénérescence, tokens EOS manquants, texte répétitif).
Performance des distracteurs : Similarité sémantique (BERTScore + SBERT) pour assurer la spécificité de la tâche.
Ressources : Utilisation de la VRAM et débit d'inférence (tokens/seconde).

3. Contributions clés

Spécialisation des neurones spécifiques à une tâche : Preuve empirique que les LLM spécifiques à une tâche contiennent un petit sous-ensemble hautement spécialisé de neurones (environ 10 %) critiques pour les performances, tandis que le reste est redondant ou lié aux distracteurs.
Seuil de robustesse : Identification d'un seuil critique d'élagage (15–20 %). Au-delà, la précision chute brutalement et l'instabilité structurelle (pièges de génération) augmente de manière exponentielle.
Validation par élagage inverse : Il a été démontré que la suppression d'environ 10 % des neurones les plus pertinents pour la tâche provoque un effondrement complet du modèle, tandis que la suppression de 30–35 % des neurones les moins pertinents préserve une fonctionnalité significative.
Récupération par ajustement fin : Il a été montré que l'ajustement fin LoRA peut substantiellement récupérer les performances même dans des modèles fortement élagués, atténuant à la fois la perte de précision et l'instabilité de la génération.

4. Résultats clés

A. Élagage sélectif vs aléatoire vs inverse

Sélectif vs Aléatoire : L'élagage sélectif a constamment surpassé l'élagage aléatoire à tous les ratios, confirmant que la sélection basée sur l'activation offre un avantage systématique.
Élagage inverse : La suppression des 10 % supérieurs des neurones spécifiques à la tâche a provoqué un effondrement complet des performances (précision proche de zéro) et des échecs fréquents de génération. Cela prouve que l'information critique de la tâche est concentrée dans une infime fraction du réseau.
Élagage sélectif : A permis jusqu'à 35 % d'élagage avec un déclin graduel de la précision, bien que la stabilité ait souffert à des ratios plus élevés.

B. Échelle du modèle et robustesse

7B vs 1,5B : Les modèles plus grands (7B) ont présenté une redondance plus élevée et ont pu tolérer des ratios d'élagage plus élevés avec une perte de précision relative moindre par rapport aux modèles plus petits (1,5B).
Seuil : Les deux échelles ont montré une dégradation brutale des performances et un pic de « pièges » (boucles de génération) lorsque l'élagage dépassait 15–20 %.

C. Récupération post-élagage (LoRA)

L'ajustement fin a récupéré avec succès les performances à tous les niveaux d'élagage.
Découverte contre-intuitive : Dans certains cas (par exemple, Qwen 1,5B Code), les modèles modérément élagués (10–15 %) ont surpassé les modèles légèrement élagués (5 %) après ajustement fin, suggérant que la suppression de certaines redondances peut parfois aider le processus d'ajustement fin.
Stabilité : L'ajustement fin a considérablement réduit la fréquence des pièges de génération, restaurant la stabilité structurelle.

D. Efficacité des ressources

VRAM et débit : L'élagage a entraîné des réductions linéaires de l'utilisation de la VRAM et des augmentations du débit d'inférence.
- Exemple (Qwen-7B) : 35 % d'élagage ont réduit la VRAM de 14,26 Go à 10,56 Go et augmenté le débit de 35,83 à 42,70 tokens/seconde.

E. Analyse par couche

Couches précoces : Majoritairement orientées vers les distracteurs (traitement général).
Couches intermédiaires : Transition vers des activations pertinentes pour la cible.
Couches tardives : Les modèles mathématiques sont restés fortement dominés par la cible ; les modèles de code ont montré un mélange, revenant occasionnellement à une domination des distracteurs.

5. Signification et implications

Spécialisation des neurones : L'étude fournit de solides preuves que les LLM spécifiques à une tâche ne sont pas uniformément redondants ; ils reposent sur un « noyau » de neurones spécialisés. Cela remet en question l'hypothèse selon laquelle tous les neurones contribuent également.
Limites de l'élagage : Elle définit une « zone sûre » pratique pour l'élagage (jusqu'à ~15 %) avant que l'instabilité structurelle ne devienne ingérable sans récupération.
Stratégie de récupération : Elle valide l'ajustement fin LoRA comme une stratégie de réhabilitation essentielle et peu coûteuse pour les modèles élagués, rendant l'élagage agressif viable pour le déploiement.
Optimisation matérielle : En supprimant physiquement les neurones (élagage structurel) plutôt qu'en masquant simplement les poids, l'approche offre des avantages matériels tangibles (réduction de la VRAM, débit plus élevé) adaptés au déploiement en périphérie.

Conclusion

Le papier conclut que les modèles de langage spécifiques à une tâche possèdent une architecture distincte où un petit sous-ensemble de neurones pilote les performances de la tâche. Bien que l'élagage agressif risque l'effondrement et l'instabilité du modèle, une combinaison d'élagage sélectif basé sur l'activation et d'ajustement fin LoRA post-élagage offre une voie robuste pour déployer des modèles spécialisés et efficaces sans sacrifier les capacités critiques.