Résumé Technique : Les Modèles de Raisonnement Peuvent Être Élagués avec Précision par Reconstruction de la Chaîne de Pensée

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) dotés de capacités de raisonnement étape par étape, tels que DeepSeek-R1, génèrent des chaînes de pensée explicites (CoT) avant de produire une réponse finale. Bien que cela améliore considérablement la précision sur des tâches complexes comme les mathématiques et la programmation, cela entraîne des séquences de sortie extrêmement longues, rendant le déploiement de ces modèles à grande échelle coûteux en raison d'une latence d'inférence élevée et d'exigences mémoire importantes.

L'élagage de modèle est une technique standard pour réduire la taille du modèle et le coût d'inférence. Cependant, les auteurs observent que l'application de méthodes d'élagage standard (par exemple, SparseGPT) aux modèles de raisonnement produit des résultats contre-intuitifs et préjudiciables :

1. Dégradation de la Précision : L'élagage standard provoque des baisses significatives de la précision des tâches à mesure que la parcimonie augmente.
2. Inflation du Temps d'Exécution : Contrairement à l'objectif de compression, les modèles de raisonnement fortement élagués deviennent souvent plus lents. Les modèles produisent des traces CoT plus longues, plus verbeuses et moins précises, augmentant le nombre total de tokens et le temps d'inférence.

L'article émet l'hypothèse que cet échec provient d'un décalage de distribution. L'élagage standard calibre les poids en utilisant uniquement les invites d'entrée (où $|x| \gg |y|$), alors que les modèles de raisonnement sont des tâches dominées par le décodage où les tokens CoT générés ($|c| + |y| \gg |x|$) constituent la majorité du calcul d'inférence. Un élagage basé uniquement sur les activations d'invite échoue à préserver la capacité du modèle à générer des traces de raisonnement cohérentes.

2. Méthodologie : Compression Sensible au Raisonnement (RAC)

Les auteurs proposent la Compression Sensible au Raisonnement (RAC), une modification « plug-and-play » des flux de travail d'élagage en un seul passage existants, qui aligne le processus de calibration sur la distribution réelle d'inférence des modèles de raisonnement.

Mécanisme Central

Les algorithmes d'élagage standard (comme SparseGPT) minimisent l'erreur de reconstruction des poids de couche ($W_\ell$) en utilisant une matrice d'activation ($X_\ell$) dérivée uniquement des invites d'entrée. La RAC modifie cela en enrichissant l'ensemble de données de calibration avec des traces CoT sur politique.

1. Déploiement sur Politique : Pendant la phase de calibration, pour chaque invite $x^{(m)}$, le modèle dense est autorisé à générer de manière autorégressive ses propres tokens de chaîne de pensée et de réponse.
2. Collecte d'Activations : Les états cachés ($x^{(\ell)}_t$) correspondant à la fois aux tokens d'invite d'entrée et aux tokens de CoT auto-générés sont collectés.
3. Reconstruction Conjointe : L'algorithme d'élagage résout le problème d'optimisation couche par couche en utilisant une matrice d'activation combinée $X^{RAC}_\ell = [X^P_\ell, X^D_\ell]$, où $X^P$ représente les activations d'invite et $X^D$ les activations de phase de décodage (CoT).

La fonction objectif devient :
$$\min_{\hat{W}_\ell} \sum_{m} \sum_{t \in P_m \cup D_m} \| (W_\ell - \hat{W}_\ell) x^{(\ell-1,m)}_t \|_2^2$$
sous contraintes de parcimonie. Cela garantit que les poids compressés sont optimisés pour reconstruire les activations rencontrées pendant l'ensemble du processus de raisonnement, et non seulement l'invite initiale.

Détails de Mise en Œuvre

• Élagage en Un Seul Passage : La méthode ne nécessite ni réentraînement ni distillation. Elle opère en un seul passage sur les poids pré-entraînés.
• Compatibilité : La RAC s'intègre de manière transparente avec les algorithmes d'élagage couche par couche existants (par exemple, SparseGPT, WANDA, ALPS).
• Coût de Calibration : Bien que la collecte des activations CoT soit plus coûteuse que la calibration uniquement sur invite, elle reste nettement moins chère que le réentraînement complet du modèle ou la distillation.

3. Contributions Clés

1. Diagnostic de l'Échec de l'Élagage : L'article identifie que l'élagage standard échoue sur les modèles de raisonnement car il ignore la nature dominée par le décodage de la génération de CoT, entraînant des décalages de distribution qui poussent les modèles à « divaguer » et à perdre en précision.
2. Algorithme RAC : L'introduction d'une stratégie de calibration simple qui injecte des activations de CoT sur politique dans l'objectif d'élagage.
3. Validation Empirique : Des expériences extensives démontrant que la RAC permet d'élaguer les modèles de raisonnement jusqu'à des niveaux de parcimonie élevés (jusqu'à 50 %) tout en maintenant la précision et en empêchant l'explosion du temps d'exécution associée à l'élagage standard.

4. Résultats Expérimentaux

Les auteurs ont évalué la RAC sur plusieurs familles de modèles de raisonnement (variantes distillées de DeepSeek-R1 et Qwen3) à travers diverses tailles (de 1,5B à 70B) et benchmarks (MATH-500, AIME-25, LiveCodeBench).

Précision et Temps d'Exécution

• Préservation de la Précision : À 50 % de parcimonie, la RAC surpasse nettement à la fois l'élagage standard calibré sur C4 et l'élagage uniquement sur invite.
  • Exemple (DeepSeek-R1-7B sur MATH-500) : La RAC maintient une précision de 0,900, contre 0,812 (uniquement invite) et 0,744 (C4).
  • Exemple (Qwen3-8B sur MATH-500) : La RAC atteint une précision de 0,862 à 50 % de parcimonie, contre 0,564 (C4) et 0,470 (uniquement invite).
• Réduction du Temps d'Exécution : La RAC empêche le comportement de « divagation ».
  • Exemple (DeepSeek-R1-7B) : L'élagage standard a augmenté le temps d'exécution de 23,3 minutes (dense) à 135,0 minutes à 50 % de parcimonie. La RAC a réduit cela à 35,3 minutes, maintenant efficacement le profil de vitesse du modèle dense.
• Généralisation : Les bénéfices se maintiennent à travers différentes architectures (Qwen, Llama), tailles de modèles et domaines (mathématiques et code). La RAC montre également une robustesse lorsqu'elle est combinée à un élagage structuré (parcimonie 2:4) et à la quantification (FP8).

Études d'Ablation

• Sur Politique vs Hors Politique : L'utilisation de traces CoT générées par le même modèle étant élagué (sur politique) donne de meilleurs résultats que l'utilisation de traces provenant d'un modèle plus grand et différent, bien que les données hors politique offrent tout de même une amélioration par rapport à l'invite seule.
• Sensibilité au Budget de Tokens : La pénalité de temps d'exécution des modèles élagués est largement due aux limites excessives de génération de tokens. Lorsqu'ils sont contraints à des longueurs de décodage raisonnables (par exemple, 4 096 tokens), les modèles élagués par RAC égalent ou dépassent les performances des modèles denses en précision et en vitesse.
• Agnosticisme Algorithmique : La RAC améliore les performances lorsqu'elle est couplée à divers algorithmes d'élagage (SparseGPT, ALPS, WANDA), et pas seulement à SparseGPT.

Analyse de l'Erreur de Reconstruction

L'analyse de l'erreur token par token sur des problèmes de test retenus révèle que si la calibration uniquement sur invite préserve bien les activations d'entrée, elle engendre des erreurs de reconstruction élevées pendant la phase de décodage (le CoT). La RAC réduit spécifiquement ces erreurs au cours des longues chaînes de raisonnement, alignant le comportement du modèle élagué sur celui du modèle dense pendant la phase critique de génération.

5. Importance et Revendications

L'article revendique que la Compression Sensible au Raisonnement est une modification critique et simple requise pour rendre l'élagage viable pour les LLM de raisonnement.

• Impact Pratique : La RAC permet le déploiement de modèles de raisonnement plus petits et plus rapides sans l'effondrement de la précision ni les pics de latence actuellement observés avec la compression standard.
• Insight Théorique : Ce travail met en évidence que pour des tâches dominées par la génération (comme le raisonnement), les données de calibration doivent refléter la trajectoire complète d'inférence, et non seulement l'entrée.
• Limites : Les auteurs notent modestement que la RAC n'optimise pas explicitement la réduction de la longueur de séquence (bien qu'elle aide indirectement en améliorant la qualité de la génération) et que l'étape de calibration entraîne une surcharge computationnelle modeste par rapport aux méthodes uniquement sur invite. Cependant, ils soulignent que cette surcharge est négligeable par rapport au coût du réentraînement.

En résumé, l'article démontre qu'en alignant la distribution de calibration de l'élagage sur les traces de raisonnement sur politique du modèle, il est possible d'élaguer avec précision les modèles de raisonnement jusqu'à 50 % de parcimonie, en préservant jusqu'à 95 % de la précision du modèle dense et en empêchant les ralentissements d'inférence qui affectent généralement les systèmes de raisonnement compressés.