🤖 machine learning

Hierarchical Reinforcement Learning for Neural Network Compression (HiReLC): Pruning and Quantization

Cet article présente HiReLC, un cadre d'apprentissage par renforcement hiérarchique qui automatise la quantification conjointe et l'élagage structuré de réseaux de neurones profonds en coordonnant des agents de bas niveau par bloc avec une allocation de budget globale de haut niveau, utilisant une boucle d'apprentissage actif avec des modèles de substitution pour atteindre des taux de compression significatifs (5,99–6,72×) tout en maintenant une précision compétitive sur les benchmarks de Vision Transformers et de CNN.

Auteurs originaux : Kamar Hibatallah Baghdadi, Kawther Guoual Belhamidi, Sara Belhadj, Aissa Boulmerka, Nadir Farhi

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kamar Hibatallah Baghdadi, Kawther Guoual Belhamidi, Sara Belhadj, Aissa Boulmerka, Nadir Farhi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque immense et incroyablement détaillée (un réseau de neurones profonds) qui est brillante pour résoudre des problèmes, mais qu'elle est si vaste qu'elle ne tient pas dans votre sac à dos (votre téléphone ou un petit ordinateur). Vous devez la rétrécir sans perdre sa capacité à résoudre ces problèmes.

Cet article présente HiReLC, un système intelligent et automatisé qui agit comme un bibliothécaire maître et une équipe d'éditeurs experts travaillant ensemble pour rétrécir cette bibliothèque.

Voici comment cela fonctionne, décomposé en concepts simples :

1. L'équipe à deux niveaux (La hiérarchie)

Au lieu d'avoir une seule personne essayant de rétrécir toute la bibliothèque à la fois (ce qui serait chaotique), HiReLC utilise une équipe à deux niveaux :

Les Agents de Haut Niveau (Les Gestionnaires) : Ce sont les penseurs de la « vue d'ensemble ». Ils regardent l'ensemble de la bibliothèque et décident : « D'accord, cette section est pleine de livres en double ; nous pouvons beaucoup couper ici. Mais cette autre section est pleine de connaissances uniques et critiques ; nous devons faire attention à ne pas trop couper. » Ils attribuent un « budget » à chaque section de la bibliothèque.
Les Agents de Bas Niveau (Les Éditeurs) : Ce sont les « gens de terrain ». Ils prennent le budget donné par les Gestionnaires et se mettent au travail sur des livres spécifiques (couches du réseau). Ils décident exactement quelles pages arracher (élagage/pruning) et quels mots raccourcir ou remplacer par des abréviations (quantification) pour gagner de l'espace.

2. Le radar de « Sensibilité »

Comment les Gestionnaires savent-ils quelles sections sont importantes ? Ils utilisent un outil spécial appelé Information de Fisher. Considérez cela comme un radar de sensibilité.

Si une section de la bibliothèque est « sensible » (comme un manuscrit rare et irremplaçable), le radar émet un bip sonore fort. Les Gestionnaires donnent alors un budget large à cette section, disant aux Éditeurs : « Ne coupez pas beaucoup ici. »
Si une section est « redondante » (comme 50 copies du même annuaire), le radar est silencieux. Les Gestionnaires donnent à cette section un budget serré, disant : « Coupez agressivement ici. »

3. La boucle « Essai et Erreur » (Apprentissage Actif)

Rétrécir une bibliothèque est risqué. Si vous coupez trop, l'histoire n'a plus de sens. Pour éviter cela, HiReLC utilise une boucle de pratique ingénieuse :

Le jeu de devinettes : Avant de réellement détruire les livres, le système utilise une « boule de cristal » (une IA légère appelée Substitut/Surrogate) pour deviner si la bibliothèque rétrécie fonctionnera bien. Cela permet de gagner du temps car vérifier chaque version parfaitement prendrait une éternité.
Le test de réalité : Une fois que le système a trouvé une version rétrécie prometteuse, il la teste réellement (ajustement fin/fine-tuning) pour voir les vrais résultats.
Le feedback : Si la supposition était fausse, le système apprend de son erreur et met à jour sa boule de cristal. Si la supposition était juste, il continue. Cela se produit en un cycle jusqu'à ce qu'ils trouvent l'équilibre parfait.

4. La stratégie d'« Ensemble »

Parfois, un éditeur peut être trop prudent et un autre trop téméraire. HiReLC résout cela en engageant une équipe d'éditeurs ayant des personnalités différentes (certains conservateurs, d'autres agressifs). Ils votent tous sur la meilleure façon de rétrécir une section. La décision finale est un compromis qui fonctionne généralement mieux qu'un seul éditeur travaillant seul.

Qu'ont-ils accompli ?

L'article a testé ce système sur différents types de « bibliothèques » (réseaux de neurones), notamment :

Vision Transformers (ViTs) : Modèles d'IA modernes qui « voient » les images.
CNNs : Modèles de reconnaissance d'images classiques et plus anciens.

Les Résultats :

Ils ont réussi à rétrécir les modèles de 6 fois (les rendant 84 % plus petits) en termes d'espace de stockage.
Précision : Dans la plupart des cas, les modèles ont perdu très peu d'intelligence (seulement 0,5 % à 5 % de précision en moins).
La Surprise : Dans un test spécifique (un modèle entraîné sur une tâche d'image simple à 10 classes), le processus de rétrécissement a en fait amélioré la précision du modèle de 3,83 %. Les auteurs expliquent cela par le fait que « la compression agit comme un régularisateur », ce qui signifie qu'elle nettoie le modèle et l'aide à mieux se concentrer, tout comme ranger un bureau encombré vous aide à mieux travailler.

L'essentiel

HiReLC est une méthode intelligente et automatisée pour rétrécir des modèles d'IA complexes afin qu'ils puissent fonctionner sur de petits appareils. Il ne se contente pas de couper au hasard ; il utilise une hiérarchie de gestionnaires et d'éditeurs, guidée par un « radar de sensibilité », pour s'assurer que les parties les plus importantes du cerveau sont préservées tandis que le superflu est éliminé. Il parvient à des réductions de taille massives avec très peu de perte de performance et, dans certains cas, aide même le modèle à mieux performer.

Résumé Technique : HiReLC – Apprentissage par Renforcement Hiérarchique pour la Compression de Réseaux de Neurones

1. Énoncé du Problème

Les réseaux de neurones profonds, particulièrement les Vision Transformers (ViT), font face à des défis de déploiement importants sur les plateformes à ressources limitées en raison de leurs nombres élevés de paramètres, de leur empreinte mémoire et de leurs latences d'inférence. Bien qu'il existe des techniques de compression existantes telles que les heuristiques statiques, l'assignation de précision mixte en une seule étape (one-shot) et l'optimisation à objectif unique, celles-ci échouent souvent à capturer les dépendances inter-couches et manquent de raffinement adaptatif lors de l'ajustement fin (fine-tuning). De plus, les approches d'apprentissage par renforcement (RL) pour la compression ont historiquement lutté contre la variance élevée dans les espaces d'actions étendus, la granularité grossière et un manque de guidage sensible à la sensibilité.

Le document traite de la nécessité d'un cadre généraliste et agnostique à l'architecture, capable d'optimiser conjointement l'élagage structuré (structured pruning) et la quantification à précision mixte tout en naviguant dans les compromis complexes entre la réduction de la taille du modèle et la rétention de la précision.

2. Méthodologie : Le Cadre HiReLC

HiReLC (Hierarchical Reinforcement Learning for Neural Network Compression) est un cadre d'apprentissage par renforcement d'ensemble hiérarchique à deux niveaux, conçu pour décomposer l'espace de recherche de compression. Le système est agnostique à l'architecture au niveau du contrôleur, s'appuyant sur une abstraction de couche modulaire pour découpler l'environnement de RL de la topologie spécifique du réseau.

2.1 Structure des Agents Hiérarchiques

Le cadre emploie deux niveaux distincts d'agents :

Agents de Haut Niveau (HLAs) : Ces agents opèrent au niveau du réseau pour coordonner l'allocation globale du budget. Ils assignent un « LayerBudget » à chaque bloc compressible, déterminant les fractions de taille retenues cibles ( $R_i$ ), les limites d'élagage et les bornes de largeur de bits. Les HLAs utilisent des estimations de sensibilité basées sur l'Information de Fisher pour guider l'allocation du budget, garantissant que les blocs à haute sensibilité reçoivent une compression plus légère.
Agents de Bas Niveau (LLAs) : Opérant indépendamment par bloc, les LLAs affinent les budgets globaux en configurations spécifiques par noyau (per-kernel). Ils sélectionnent parmi un espace d'actions multi-discret à quatre dimensions pour chaque noyau :
1. Largeur de bits ( $b_{i,k}$ ) : Sélection des niveaux de précision.
2. Ratio de conservation ( $\rho_{i,k}$ ) : Détermination de la fraction des canaux de sortie à conserver (élagage structuré).
3. Type de quantification ( $\tau_{i,k}$ ) : Choix entre Entier (INT) et Flottant (FLOAT).
4. Granularité ( $\mu_{i,k}$ ) : Sélection parmi les schémas uniformes, en domaine logarithmique, par canal ou par signe-magnitude appris.

2.2 Apprentissage d'Ensemble et Consensus

Pour atténuer la variance inhérente au RL dans les grands espaces discrets, HiReLC utilise une approche d'ensemble.

Ensemble LLA : Plusieurs politiques parallèles (combinant PPO et A2C) sont entraînées avec des poids de récompense hétérogènes (accentuation variable sur la précision versus la compression). Une action de consensus est dérivée via un vote pondéré, mélangeant des stratégies conservatrices, modérées et agressives pour produire une configuration robuste.
Ensemble HLA : De même, un ensemble de HLAs propose des allocations de budget, le budget final étant déterminé par un vote majoritaire ou une agrégation par moyenne arithmétique.

2.3 Apprentissage Actif et Modélisation de Substitut (Surrogate Modeling)

Pour répondre au coût computationnel de l'évaluation de chaque configuration candidate via un ajustement fin complet après compression, HiReLC intègre une boucle d'apprentissage actif itérative :

Proxy Logit-MSE : Pendant la phase de « démarrage à froid » (avant que suffisamment de données ne soient collectées), un proxy léger basé sur l'erreur quadratique moyenne (MSE) entre les logits du modèle compressé et du modèle de référence est utilisé pour estimer la rétention de la précision.
Substitut MLP : Une fois qu'un nombre minimum de configurations est évalué, un substitut MLP (Perceptron Multicouche) léger est entraîné sur les données collectées pour prédire la précision. Ce substitut est utilisé pour le façonnage de la récompense (reward shaping) lors de l'optimisation du RL, tandis que l'ajustement fin complet est réservé aux évaluations finales par cycle.
Boucle Itérative : Le processus alterne entre l'optimisation de la politique RL, l'application de la configuration, l'ajustement fin et les mises à jour du substitut.

2.4 Formulation de la Récompense

Les fonctions de récompense sont conçues pour équilibrer la précision, la compression et la stabilité :

Récompenses LLA : Incluent des termes pour la rétention de la précision ( $R_{acc}$ ), le gain de compression ( $R_{comp}$ ), la conformité au budget ( $R_{budget}$ ) et la stabilité ( $R_{stab}$ ). Une pénalité de sensibilité ( $P_{sens}$ ) est appliquée pour décourager une compression agressive sur les blocs hautement sensibles.
Récompenses HLA : Se concentrent sur l'équilibre de l'hétérogénéité entre les blocs ( $R_{bal}$ ), l'allocation sensible à la sensibilité ( $R_{sens}$ ), l'adhérence à la cible globale ( $R_{global}$ ) et le feedback dynamique basé sur la performance du cycle précédent ( $R_{dyn}$ ).

3. Contributions Clés

Le document présente trois contributions principales :

Cadre HiReLC : Un cadre d'apprentissage par renforcement d'ensemble hiérarchique agnostique à l'architecture pour la jointure de l'élagage structuré et de la quantification à précision mixte. Il atteint des ratios de compression de stockage de paramètres efficaces de 5,99–6,72× sur quatre architectures (DeiT-Small, CLIP ViT-B/32, ResNet18, MobileNetV2) avec des chutes de précision allant de 0,55 % à 5,62 %, et même un gain de précision de 3,83 % dans un cas donné.
Guidage Sensible à la Sensibilité : L'intégration des scores de sensibilité de l'Information de Fisher aux deux niveaux hiérarchiques. Cela garantit que les blocs critiques reçoivent une compression plus légère sans nécessiter d'évaluations supplémentaires lors de la recherche, propageant l'importance des blocs basée sur le gradient à travers le façonnage de la récompense et la correction d'action.
Apprentissage Actif Augmenté par Substitut : Une boucle itérative qui entrelace l'optimisation de la politique RL avec l'ajustement fin post-compression. En utilisant un substitut MLP léger et un proxy Logit-MSE, le cadre amortit les évaluations coûteuses, rendant possible des études de cadre pratiques dans un nombre limité de cycles.

4. Résultats Expérimentaux

Les expériences ont été menées sur CIFAR-10/100 et Tiny ImageNet sur des Vision Transformers et des CNN.

Performance de Compression : Le cadre a systématiquement atteint des ratios de compression compris entre 5,99× et 6,72× (équivalent à une réduction de la taille du modèle de 83,3 % à 85,1 %).
Impact sur la Précision :
- CLIP ViT-B/32 sur CIFAR-100 : A obtenu la plus faible chute de 0,55 % à 6,63× de compression.
- CLIP ViT-B/32 sur CIFAR-10 : A démontré un gain de précision de 3,83 % (de 89,22 % à 93,05 %), attribué au fait que la compression agit comme un régularisateur pour les modèles sur-paramétrés.
- ResNet18 et MobileNetV2 sur Tiny ImageNet : Ont montré des chutes de 4,22 % et 5,62 % respectivement, reflétant les défis de la compression d'architectures déjà compactes sur des jeux de données plus difficiles.
Études d'Ablation :
- Le retrait du HLA (utilisation de budgets uniformes) a conduit à une sur-compression et à une chute de précision nettement plus élevée (6,80 % contre 1,72 % pour le système complet).
- L'utilisation d'un ensemble A2C homogène a produit des compromis moins stables qu'un ensemble mixte PPO/A2C.
- Le guidage par la sensibilité de Fisher a amélioré la rétention de la précision de 1,30 point de pourcentage et a produit des assignations de budget par bloc plus différenciées.
- Précision Mixte : Les expériences permettant la sélection par noyau des types INT/FLOAT et la granularité à échelle logarithmique ont produit des chutes de précision plus faibles que les réglages INT uniformes, suggérant que la flexibilité aide à la récupération.

5. Signification et Revendications

Le document positionne HiReLC comme un choix de conception pratique pour la compression conjointe de réseaux de neurones, en soulignant les points suivants :

Espace de Recherche Unifié : Contraênirement aux méthodes antérieures qui ciblent un seul axe de compression (élagage ou quantification) ou reposent sur des heuristiques statiques, HiReLC optimise conjointement les deux, exploitant les synergies entre l'élagage structuré et la quantification à précision mixte.
Agnosticisme à l'Architecture : Le cadre compresse avec succès diverses familles de modèles (Transformers, CLIP, ResNets, MobileNets) sans nécessiter de redéfinition spécifique à l'architecture du contrôleur.
Sensibilité à la Sensibilité : L'utilisation de l'Information de Fisher permet au système d'identifier et de protéger automatiquement les composants sensibles du réseau, améliorant le compromis précision-compression.
Praticité : En utilisant des modèles de substitut et l'apprentissage actif, le cadre réduit la charge de calcul du RL, rendant possible l'exploration de vastes espaces de configuration sans ajustement fin exhaustif de chaque candidat.

Les auteurs notent que bien que les ratios de compression atteints soient significatifs, les résultats sont dépendants du contexte (par exemple, évalués sur CIFAR/Tiny ImageNet plutôt que sur ImageNet-1K dans les tableaux principaux) et supposent un stockage structuré compacté. Le cadre est présenté comme un point de départ pour des scénarios de déploiement où la taille du modèle est la contrainte principale, avec des travaux futurs nécessaires pour optimiser la latence et les métriques d'énergie spécifiques au matériel.