Imaginez que vous possédez un cerveau de robot massif et super intelligent, conçu pour résoudre des énigmes, écrire du code et traduire des langues. Ce cerveau n'est pas fait d'un seul bloc de métal lourd et massif ; il est construit comme une immense usine composée de centaines de postes de travail spécialisés. C'est le monde des Modèles de Langage de Grande Taille (LLM), les moteurs d'IA qui alimentent tout, des chatbots aux assistants de codage. Pour rendre ces cerveaux rapides et efficaces, les ingénieurs utilisent une astuce appelée Mixture-of-Experts (MoE) ou Mélange d'Experts. Imaginez cela comme une équipe géante de 256 « experts » différents dans chaque pièce de l'usine. Lorsqu'une question arrive, un gestionnaire intelligent (appelé « routeur ») décide de quels quelques experts sont nécessaires pour résoudre ce problème spécifique, tandis que le reste de l'équipe prend une pause café. Cela permet au robot de rester rapide car il ne réveille que les travailleurs dont il a réellement besoin.

Mais voici la grande question : tous ces travailleurs sont-ils également importants ? Si vous deviez rétrécir l'usine pour gagner de l'espace et de l'électricité, pourriez-vous simplement licencier 30 % des travailleurs dans chaque pièce de manière aléatoire ? Ou existe-t-il un motif secret ? Les scientifiques l'ont supposé, mais ils n'avaient pas de carte claire pour savoir quelles parties du cerveau sont fragiles et lesquelles sont robustes. Comprendre cela est crucial car ces modèles deviennent énormes, et si nous pouvons « élaguer » (supprimer) en toute sécurité les parties inutiles, nous pouvons les faire fonctionner plus rapidement sur des ordinateurs moins coûteux, économisant ainsi de l'énergie et de l'argent sans perdre leur intelligence.

---

Le Grand Audit de l'Usine : Qui Pouvons-Nous Laisser Partir ?

Dans cet article, une équipe de chercheurs de Persistent Systems a décidé de jouer à un jeu à haute responsabilité : « couper le cordon » sur un modèle d'IA spécifique et massif appelé Qwen3.6-35B-A3B. Ce modèle est un colosse : il possède 40 couches (considérez-les comme 40 étages dans une usine en forme de gratte-ciel), et sur chaque étage, il y a 256 experts. Chaque fois que le modèle traite un mot, il choisit les 8 meilleurs experts pour effectuer le travail.

Les chercheurs voulaient découvrir : si nous forçons le modèle à ignorer les « experts les plus faibles » (ceux qui ont les chiffres les plus petits dans leur cerveau) dans certaines couches, le modèle s'effondre-t-il ou continue-t-il de fonctionner ? Ils ont testé cela sur une tâche complexe : traduire du code d'un langage de programmation à un autre (comme transformer du C++ en Python), en utilisant un benchmark appelé XLCoST.

La Découverte : Tout est une Question de Coupe

L'équipe a testé différentes méthodes de coupe, comme un chirurgien testant différents sites d'incision. Ils avaient trois théories principales :

1. La Théorie de la « Coupe Plate » : Couper simplement 30 % des experts les plus faibles de chaque étage, partout.
2. La Théorie de la « Coupe Précoce » : Peut-être que les étages inférieurs sont les plus importants ?
3. La Théorie de la « Coupe Tardive » : Peut-être que les étages supérieurs ne font que répéter ce que les étages inférieurs ont déjà fait ?

Les résultats ont été un choc total pour l'idée de la « Coupe Plate ».
Lorsqu'ils ont tenté la Coupe Plate (supprimant 30 % des experts de chacun des 40 étages), le modèle a pratiquement oublié comment faire son travail. Sur 300 énigmes de codage, il n'en a réussi que 150 (ou « Bon/Similaire »). Il a commencé à halluciner, à laisser fuiter son processus de pensée interne dans le code final, et à commettre des erreurs de syntaxe. C'était comme licencier 30 % du personnel de la fondation, des bureaux du milieu et du dernier étage en même temps — tout le bâtiment a commencé à vaciller.

Mais ensuite, ils ont trouvé la « Zone Magique ».
Les chercheurs ont découvert que la sensibilité du modèle change radicalement selon l'étage où l'on se trouve :

• Étages 0–9 (La Fondation) : Ils sont super fragiles. Si vous coupez des experts ici, le modèle se brise immédiatement.
• Étages 10–29 (Le Milieu) : Également très fragiles.
• Étages 30–39 (Le Penthouse) : Ces étages supérieurs sont étonnamment robustes ! Les experts ici semblent effectuer beaucoup de travail redondant. Le « routeur » (le gestionnaire) est déjà confus ici, choisissant des experts avec une confiance très faible, ce qui signifie que les experts sont en quelque sorte interchangeables.

La Stratégie Gagnante : L'Élagage « Top-Down »

L'équipe a mené une expérience massive avec 300 prompts pour trouver le calendrier d'élagage parfait. Ils ont découvert que si l'on concentre les coupes uniquement sur les étages supérieurs, le modèle reste sain.

• La Stratégie de la « Rampe Tardive » : Ils ont coupé 35 % des experts sur les étages 30–34, et 55 % sur les tout derniers étages (35–39).
• Le Résultat : Sur 300 prompts, cette stratégie a permis de maintenir 255 sorties fonctionnelles ! C'est bien mieux que la coupe plate, et cela a supprimé plus de 1 100 experts.

Mais attendez, ils ne se sont pas arrêtés là. Ils voulaient être sûrs qu'il ne s'agissait pas d'un coup de chance, alors ils ont testé leurs meilleures idées sur un nouvel ensemble de 500 prompts inédits. C'est là que l'histoire devient encore plus intéressante.

Sur le test plus large, la « Rampe Tardive » était toujours bonne, mais une stratégie plus étroite a remporté le prix :

• La Stratégie « Très-Tardive Uniquement » : Ils n'ont touché que les 5 derniers étages (35–39) et ont coupé 50 % des experts de ces étages.
• Le Résultat : Cette frappe chirurgicale précise a maintenu 419 sorties sur 500 parfaitement fonctionnelles ! Mieux encore, elle n'a supprimé que 640 experts au total (sur un total de 10 240 experts dans l'ensemble du modèle).

Cela signifie que les chercheurs ont trouvé un moyen de retirer une partie significative de la « musculature » du modèle tout en haut, et le modèle l'a à peine remarqué. C'est comme réaliser que les derniers étages d'un gratte-ciel sont principalement des balcons décoratifs ; vous pouvez retirer la moitié de la rambarde, et le bâtiment tient toujours aussi bien.

Une Quête Secondaire : Le Mystère de la « Pensée » vs de la « Réponse »

L'équipe a également essayé de voir si le modèle utilise des experts différents lorsqu'il « réfléchit » (raisonne sur un problème) par rapport à lorsqu'il « répond » (écrit le code final). Ils ont examiné une version légèrement plus ancienne du modèle (Qwen3.5) pour voir s'ils pouvaient déceler une différence.
Ils ont découvert que durant la phase de « réflexion », le modèle utilise une foule d'experts large et désordonnée. Mais au moment de « répondre », il devient plus concentré et utilise moins d'experts. Cela suggère que si nous voulons élaguer le modèle à l'avenir, nous devrons faire attention à ne pas couper les experts de la « réflexion », même s'ils paraissent faibles sur le papier. Cependant, les auteurs précisent qu'il ne s'agit que d'une piste pour l'avenir, et non d'une règle prouvée.

Qu'en est-il de la Vitesse ?

Ils ont aussi essayé une autre astuce : au lieu de couper des experts, ils ont dit au modèle de ne choisir que 6 experts au lieu des 8 habituels pour chaque mot. Sur un petit test de 100 prompts, cela a rendu le modèle beaucoup plus rapide (temps d'exécution réduit) sans perdre de qualité. Mais, lorsqu'ils ont tenté de combiner ce gain de vitesse avec l'élagage agressif des experts, le modèle s'est emmêlé les pinceaux. Il semble qu'on ne puisse pas simplement empiler ces raccourcis les uns sur les autres sans les tester soigneusement.

L'Essentiel à Retenir

La conclusion principale de cet article est un « Ne faites pas ça » pour l'élagage uniforme et un « Faites ceci » pour un élagage intelligent.

• Ne faites pas l'erreur de couper 30 % des experts de chaque couche de manière égale ; cela détruit la capacité de réflexion du modèle.
• Faites plutôt l'élagage sur les couches les plus hautes (étages 35–39). Le modèle est étonnamment tolérant à la perte de la moitié de ses experts à ce niveau.

Les auteurs précisent avec prudence qu'ils n'ont pas encore réellement supprimé les poids de la mémoire de l'ordinateur (ils ont juste dit au routeur de les ignorer). Ainsi, bien que le modèle agisse comme s'il était plus petit et plus efficace, il occupe toujours la même place sur le disque dur. La prochaine étape, qu'ils suggèrent pour les travaux futurs, est de procéder à une véritable « chirurgie physique des poids » pour supprimer définitivement ces experts inutilisés et économiser réellement de l'espace de stockage.

En résumé, les chercheurs ont découvert que le « cerveau » de ce modèle d'IA possède un point faible très spécifique : les étages supérieurs sont beaucoup plus redondants que les étages inférieurs. En élagant le haut, nous pourrions construire des modèles d'IA plus petits, plus rapides et moins coûteux sans les briser.