Résumé Technique : Une Méthode de Compression de Modèles à Espace d'État Profond utilisant une Majorante de l'Erreur de Sortie

Énoncé du Problème

Les modèles à espace d'état profonds (Deep SSM), tels que S5 et Mamba, ont démontré des performances de pointe dans la gestion des dépendances à long terme sans mécanismes d'attention. Cependant, le déploiement de ces modèles nécessite souvent de réduire leur nombre de paramètres tout en maintenant leurs performances. Les techniques existantes de réduction d'ordre de modèle (MOR) pour les Deep SSM appliquent généralement la compression indépendamment à chaque bloc d'espace d'état linéaire (couche par couche) sur la base de critères locaux (par exemple, la troncature équilibrée ou les normes $H_2$).

Les auteurs identifient une limitation critique dans ces approches existantes : minimiser l'erreur d'approximation des blocs linéaires individuels ne garantit pas la minimisation de l'erreur de sortie globale de l'ensemble du Deep SSM. Étant donné que les Deep SSM impliquent des couches en cascade avec des interactions non linéaires (spécifiquement des sorties quadratiques et une normalisation de couche), les erreurs locales peuvent s'accumuler ou se propager de manière imprévisible. Par conséquent, il manque un cadre théorique reliant directement les stratégies de réduction couche par couche aux performances de sortie globales du Deep SSM.

Méthodologie

1. Cadre Théorique : Systèmes LQO et Bornes d'Erreur

L'article modélise les Deep SSM comme une cascade de systèmes Linéaires à Sortie Quadratique (LQO). Un système LQO est défini par une mise à jour d'espace d'état linéaire suivie d'une application de sortie quadratique, ce qui généralise des architectures comme S5 où une activation quadratique suit un bloc linéaire.

Les auteurs dérivent une majorante prouvable de l'erreur de sortie $\ell_\infty$ entre un Deep SSM d'ordre complet et un Deep SSM d'ordre réduit.

• Insight Clé : L'erreur de sortie globale est bornée par une somme pondérée des erreurs d'approximation en norme $h_2$ des systèmes LQO individuels à chaque couche.
• Sensibilité des Couches : La borne dérivée révèle que la contribution de l'erreur d'approximation d'une couche à l'erreur de sortie totale n'est pas uniforme. Plus précisément, les erreurs dans les couches peu profondes (plus tôt dans le réseau) ont un impact significativement plus important sur l'erreur de sortie finale que les erreurs dans les couches plus profondes. Cela est dû à l'effet multiplicatif des constantes de Lipschitz associées à la normalisation de couche et à la propagation des erreurs à travers les couches subséquentes.

2. Formulation de l'Optimisation

Sur la base de la borne supérieure dérivée, les auteurs formulent un problème de réduction d'ordre de modèle (MOR). Au lieu de minimiser l'erreur de sortie directe (qui est non lisse et manque d'une caractérisation sous forme fermée), l'optimisation vise la minimisation de la borne supérieure dérivée.

• Objectif : Minimiser la somme pondérée des erreurs en norme $h_2$ entre les systèmes LQO originaux et réduits à chaque couche.
• Principe de Conception : Pour minimiser cette borne, la méthode prescrit d'attribuer des dimensions d'état réduites plus grandes aux couches peu profondes et des dimensions plus petites aux couches profondes.

3. Algorithme : MOR Basé sur le Gradient

L'article développe un algorithme d'optimisation basé sur le gradient (Algorithme 1) pour résoudre le problème MOR :

• Dérivation du Gradient : Les auteurs dérivent des gradients sous forme fermée pour l'erreur en norme $h_2$ par rapport aux paramètres des systèmes LQO réduits (matrices $\hat{A}, \hat{B}, \hat{C}, \hat{M}$). Ces gradients sont adaptés aux systèmes à temps discret et à valeurs complexes avec des matrices d'état diagonales.
• Garantie de Stabilité : L'algorithme utilise une recherche linéaire par rétroaction avec une condition d'Armijo. Crucialement, il impose explicitement la stabilité de Schur (toutes les valeurs propres à l'intérieur du disque unité) pour la matrice d'état réduite $\hat{A}$ à chaque itération, empêchant la génération de modèles instables qui peuvent survenir dans les méthodes MOR standard.
• Initialisation : La méthode peut être initialisée avec des techniques de MOR à temps limité existantes (par exemple, Troncature Équilibrée à Temps Limité ou réduction $H_2$ à Temps Limité) mais les affine en utilisant la descente de gradient proposée pour satisfaire les contraintes spécifiques des Deep SSM.

Contributions Clés

1. Borne Théorique : L'article fournit la première dérivation théorique d'une borne supérieure de l'erreur de sortie d'un Deep SSM en termes des erreurs en norme $h_2$ de ses blocs LQO constitutifs. Cela établit un lien direct entre la réduction couche par couche et les performances globales.
2. Analyse de Sensibilité Couche par Couche : L'analyse démontre que la réduction des erreurs d'approximation dans les couches peu profondes est plus efficace pour minimiser la borne d'erreur de sortie globale que la réduction des erreurs dans les couches plus profondes.
3. Algorithme d'Optimisation : Un nouvel algorithme MOR basé sur le gradient est proposé, qui minimise la borne supérieure dérivée tout en garantissant la stabilité du modèle réduit et en préservant la structure diagonale des Deep SSM.
4. Compression sans Réentraînement : La méthode est conçue pour construire des modèles compressés précis à partir de poids pré-entraînés sans nécessiter de réentraînement (compression en un seul coup).

Résultats Expérimentaux

Les auteurs ont évalué la méthode sur la tâche d'analyse de sentiments IMDb du benchmark Long Range Arena (LRA) et la tâche de modélisation du langage WikiText-103.

• Tâche IMDb :
  • Un Deep SSM pré-entraîné avec 207 490 paramètres a atteint une précision de test de 86,66 %.
  • En utilisant la méthode proposée avec une allocation spécifique de dimensions par couche ($r_{list} = [96, 48, 36, 12]$), le modèle a été compressé à 83 650 paramètres (une réduction d'environ 60 %) tout en maintenant une précision de test de 86,69 %.
  • Les résultats ont confirmé que l'allocation de dimensions plus grandes aux couches peu profondes (par exemple, $[96, 48, 36, 12]$) a produit une précision nettement supérieure à une allocation uniforme (par exemple, $[16] \times 4$) pour le même nombre total de paramètres.
  • La méthode proposée a surpassé les bases de comparaison de compression sans réentraînement existantes (comme celles de [12]) à des dimensions d'état comparables.
• Tâche WikiText-103 :
  • Des tendances similaires ont été observées où la minimisation de la borne supérieure dérivée était corrélée à une amélioration de la perplexité (PPL).
  • Les modèles avec une allocation de dimensions non uniforme (plus grande dans les couches peu profondes) ont atteint une PPL proche du modèle pré-entraîné original, tandis que l'allocation uniforme a résulté en une PPL plus élevée.

Signification et Revendications

L'article revendique que sa signification principale réside dans la fourniture d'une stratégie de compression théoriquement fondée et sans réentraînement pour les Deep SSM. En déplaçant l'accent de l'approximation locale des blocs vers une borne d'erreur globale, la méthode offre un moyen systématique de déterminer où compresser un modèle.

Les auteurs soulignent que leur approche permet un déploiement à faible coût et haute performance dans des scénarios où le réentraînement est peu pratique en raison de contraintes computationnelles. La méthode valide que la stratégie de réduction « couches peu profondes en premier » n'est pas seulement heuristique mais est soutenue par la borne d'erreur de sortie dérivée, offrant une alternative pratique aux techniques MOR existantes qui échouent souvent à préserver les performances globales du système lorsqu'elles sont appliquées couche par couche sans considération globale.