Résumé Technique : Réalisation Minimale Empirique par Compression de Réseaux de Neurones Profonds via des Tests de Contrôlabilité–Observabilité

1. Énoncé du Problème

Les réseaux de neurones profonds (DNN) présentent fréquemment une redondance substantielle dans leurs états cachés, pourtant la plupart des techniques de compression existantes opèrent directement sur les poids, les neurones ou la précision numérique sans caractériser explicitement le rôle dynamique des états internes. Les méthodes standards telles que l'élagage (pruning), la quantification et la factorisation de rang faible ne parviennent souvent pas à répondre à une question fondamentale de l'espace d'état : quelles directions des états cachés sont réellement excitées par la distribution des données, et lesquelles de ces directions sont pertinentes pour la sortie ? Par conséquent, ces méthodes peuvent réduire le nombre de paramètres ou le stockage, mais ne réduisent pas nécessairement l'ordre effectif de l'état caché ni la latence d'inférence dense associée aux couches larges.

2. Méthodologie

L'article propose un cadre de théorie du contrôle pour la réduction de l'ordre d'état empirique, traitant un DNN de propagation avant (feedforward) entraîné comme un système dynamique non linéaire indexé par la profondeur.

2.1 Formulation de l'Espace d'État

Le réseau est modélisé comme une séquence de transitions non linéaires :
$$h_{\ell+1} = f_\ell(h_\ell), \quad z = g(h_L)$$
où $h_\ell$ représente l'état caché à la couche $\ell$, et $z$ désigne les logits de sortie. L'entrée $x$ est traitée comme l'état initial $h_0$. L'objectif est d'estimer l'« ordre utile de l'état caché » — le nombre de directions cachées qui sont à la fois atteignables depuis les données et observables à la sortie.

2.2 Tests Empiriques A/B/C

Les auteurs introduisent trois tests par couche basés sur des Gramiens empiriques dérivés de clichés (snapshots) d'états cachés et de Jacobiennes de sortie :

• Test A (Atteignabilité/Reachability) : Mesure quelles directions cachées sont excitées par les données d'entrée. Il calcule le Gramien de raggiungibilité empirique ($G_{c,\ell}$) comme la covariance des clichés d'états cachés centrés. Le rang est déterminé par l'énergie spectrale nécessaire pour capturer la variance induite par les données.
• Test B (Observabilité) : Mesure quelles directions cachées influencent les logits de sortie. Il calcule le Gramien d'observabilité empirique ($G_{o,\ell}$) en utilisant les Jacobiennes de sortie ($J_\ell = \partial z / \partial h_\ell$) par rapport aux états cachés. Le rang reflète les directions qui affectent significativement la sortie du classificateur.
• Test C (Équilibré Atteignable–Observable) : Combine les deux critères pour identifier les directions qui sont simultanément atteignables à partir de la distribution des données et observables à travers la sortie. Il construit une matrice équilibrée $B_\ell = G_{c,\ell}^{1/2} G_{o,\ell} G_{c,\ell}^{1/2}$. Le rang C-équilibré ($r_\ell$) estime le nombre minimal d'états cachés requis pour préserver le comportement entrée-sortie.

2.3 Réduction Projetée vs Réduction Réalisée

Une distinction critique est faite entre deux modes de réduction :

1. Réduction Projetée : Mappe les états cachés vers des coordonnées de dimension inférieure en utilisant des bases apprises. Cela diagnostique la redondance mais conserve les poids originaux du réseau complet et les bases de projection, échouant ainsi à réduire le stockage ou la latence d'inférence dense.
2. Compression Réalisée : Utilise les rangs C-équilibrés ($r_\ell$) directement comme les largeurs réelles des couches cachées d'une nouvelle architecture de DNN compacte. Ce nouveau réseau est entraîné à partir de zéro ou via de la distillation de connaissances, ce qui résulte en une véritable réduction des paramètres et de l'ordre d'état.

3. Contributions Clés

• Formulation basée sur l'état : L'article formule les DNN de propagation avant comme des systèmes d'espace d'état non linéaires indexés par la profondeur, définissant l'« ordre de l'état caché » comme une quantité distincte et pertinente pour la compression, séparée du nombre de paramètres.
• Cadre de Contrôlabilité–Observabilité Empirique : Il propose des tests A/B/C pilotés par les données pour estimer les dimensions utiles des états cachés par couche en utilisant des Gramiens empiriques et des Jacobiennes.
• Compression C-Équilibrée Réalisée : Il introduit une méthode où les rangs C-équilibrés estimés sont convertis en largeurs physiques d'un nouveau réseau compact, comblant le fossé entre la réduction de modèle théorique et la conception d'architectures déployables.
• Évaluation Complète : La méthode est évaluée par rapport à la réduction par projection, l'élagage structuré/non structuré, la décomposition SVD de rang faible, la quantification INT8 dynamique et des lignes de base linéaires sur MNIST et CIFAR-10.

4. Résultats Expérimentaux

Le cadre a été évalué sur des DNN entièrement connectés utilisant la fonction SiLU, entraînés sur MNIST et CIFAR-10.

4.1 Résultats MNIST

• Compression : Un DNN à 4 couches avec un ordre d'état complet de 1024 a été réduit à un ordre d'état de 277 (72,95 % de compression d'état).
• Paramètres : Le nombre de paramètres est passé de 400 906 à 106 323 (73,48 % de compression, soit une réduction d'environ 3,77$\times$).
• Précision : Le modèle C-équilibré réalisé a atteint une précision de 95,45 %, contre 96,60 % pour le modèle complet (une baisse de 1,15 point de pourcentage).
• Latence : La latence d'inférence est restée comparable au modèle complet grâce à la réduction des dimensions des matrices denses.

4.2 Résultats CIFAR-10

• Compression : Un DNN plus large avec un ordre d'état complet de 4608 a été réduit à 1339 (70,94 % de compression d'état).
• Paramètres : Le nombre de paramètres est passé de 9,97 M à 1,69 M (83,09 % de compression, soit environ 5,91$\times$ de réduction).
• Précision : Le modèle réalisé a préservé la précision à 54,44 %, virtuellement identique au modèle complet de 54,45 %.
• Latence : La latence d'inférence CUDA a été réduite d'environ 3,0$\times$ (passant de 0,001582 ms/échantillon à 0,000525 ms/échantillon).

4.3 Comparaison avec les Baselines

• Élagage (Pruning) : L'élagage non structuré (50 %) a maintenu la précision mais n'a pas réduit l'ordre d'état ni la latence dense. L'élagage structuré appliqué aux rangs C-équilibrés sans ajust fin (fine-tuning) a échoué (34,50 % de précision), mais avec un ajust fin, il est revenu à 91,75 % (MNIST) ou 55,22 % (CIFAR-10), suggérant que les rangs C-équilibrés fournissent des dimensions cibles valides.
• SVD : La décomposition SVD de faible rang (fraction de 0,5) a provoqué une dégradation significative de la précision (85,50 % sur MNIST, 39,06 % sur CIFAR-10), indiquant que la factorisation locale des poids ne préserve pas aussi efficacement la géométrie non linéaire entrée-sortie que l'approche basée sur l'état C-équilibrée.
• Quantification : La quantification INT8 a réduit le stockage mais a laissé l'ordre d'état et l'architecture inchangés.

5. Signification et Revendications

L'article soutient que les rangs équilibrés atteignables–observables fournissent un critère de réalisation minimale empirique fondé sur des principes pour la conception d'architectures de réseaux compactes.

• Pont Théorique : Ce travail relie la réduction de modèle de la théorie du contrôle (spécifiquement la troncature équilibrée) à la compression de réseaux de neurones, en adaptant les Gramiens empiriques pour les systèmes non linéaires pilotés par les données.
• Utilité Pratique : Contrairement aux méthodes de projection qui ne font que diagnostiquer la redondance, l'approche « réalisée » proposée convertit ces diagnostics en réseaux plus petits et déployables, avec moins de paramètres et une latence réduite.
• Focus sur l'Ordre d'État : Les résultats démontrent qu'une compression significative peut être obtenue en ciblant l' ordre de l'état caché (la dimension des représentations internes) plutôt que simplement le nombre de poids, souvent avec peu ou pas de perte de précision.
• Modestie sur les Limites : Les auteurs reconnaissent que les rangs sont empiriques et dépendants des données, manquant de bornes d'erreur théoriques pour le pire des cas pour les systèmes non linéaires. Ils notent également le coût computationnel de l'estimation des Gramiens d'observabilité et la nécessité de réentraîner l'architecture compressée. Leurs expériences actuelles se concentrent sur les réseaux entièrement connectés pour fournir un cadre contrôlé, des extensions vers les CNN et les Transformers étant notées comme travaux futurs.

En résumé, l'article soutient qu'en observant les DNN sous l'angle de la contrôlabilité et de l'observabilité, on peut identifier et supprimer les directions redondantes des états cachés qui sont soit peu excitées par les données, soit non pertinentes pour la sortie, permettant ainsi la construction de réseaux de neurones efficaces et performants.