Résumé Technique : SPARK – Apprentissage par Renforcement Adaptatif piloté par une Politique Spatiale pour la Distillation de Connaissances

1. Énoncé du Problème

La quantification à bas débit (utilisant 8 bits ou moins) est essentielle pour le déploiement de réseaux de restauration d'images (IR) sur des dispositifs aux ressources limitées tels que les smartphones et les drones. Cependant, la quantification introduit un bruit d'arrondi qui dégrade de manière disproportionnée les régions à haute fréquence, notamment les bords, les textures fines et les structures répétitives. Bien que la Distillation de Connaissances (KD) soit une technique standard pour entraîner des modèles légers en les supervisant avec un enseignant complexe, les méthodes de KD existantes pour l'IR appliquent les signaux de distillation de manière uniforme sur toutes les localisations spatiales.

Cette approche uniforme est sous-optimale car :

• Allocation Inefficace des Gradients : Les régions lisses à basse fréquence (par exemple, les ciels plats) sont faciles à reconstruire tant pour l'enseignant que pour l'étudiant ; forcer l'étudiant à imiter l'enseignant dans ces zones produit peu de gradients utiles et entrave l'apprentissage dans les zones plus difficiles.
• Modes de Défaillance Critiques : Le bruit de quantification est plus dommageable dans les régions à haute fréquence, là où les observateurs humains jugent la qualité. Les fonctions de perte uniformes sous-pondèrent efficacement ces zones critiques.
• Heuristiques Statiques : Les tentatives précédentes visant à traiter cela à l'aide de masques de contours faits à la main ou d'heuristiques de difficulté fixes s'engagent dans une notion unique de « difficulté » qui reste statique tout au long de l'entraînement, échouant à s'adapter à l'évolution de la capacité de l'étudiant ou aux caractéristiques spécifiques de la dégradation.

2. Méthodologie : Le Cadre SPARK

Les auteurs proposent SPARK (Spatial Policy-driven Adaptive Reinforcement learning for Knowledge distillation), un cadre qui traite l'allocation spatiale de l'effort de distillation comme un problème de décision séquentielle résolu via une politique d'Apprentissage par Renforcement (RL) légère.

Composants Cores

1. Réseaux Enseignant et Étudiant :

   • Un Réseau Enseignant de grande capacité, pré-entraîné et gelé, fournit des sorties de haute qualité ($I_t$) servant de signal de supervision doux.
   • Un Réseau Étudiant léger (quantifié via l'Entraînement Sensible à la Quantification, QAT) apprend à reproduire l'enseignant. Pendant l'entraînement, une fausse quantification est appliquée pour imiter le comportement de déploiement tout en conservant des gradients en pleine précision pour l'optimisation.

2. Extracteur de Caractéristiques de Difficulté :
   À chaque étape d'entraînement, un module non différentiable extrait quatre cartes de caractéristiques complémentaires pour évaluer la difficulté de reconstruction spatiale :

   • Variance du Laplacien : Capture la netteté des contours (régions à haute fréquence).
   • Variance des Pixels : Mesure la complexité de la texture locale.
   • Erreur de Reconstruction de l'Étudiant : La différence absolue entre la sortie de l'étudiant et la Vérité Terrain ($|Étudiant - GT|$).
   • Écart de Connaissance Enseignant-Étudiant : La différence entre les sorties de l'enseignant et de l'étudiant.

3. Réseau de Politique Spatiale (Agent RL) :

   • Un CNN compact (trois couches de convolution) traite les caractéristiques de difficulté sur une grille de $8 \times 8$.
   • Il génère une carte de poids spatiaux stochastique ($W$) en échantillonnant à partir d'une distribution gaussienne apprise ($\mathcal{N}(\mu, \sigma)$).
   • La sortie est bornée à $[0, 1]$ pour servir de carte de poids normalisée.
   • Stochasticité : L'échantillonnage aléatoire permet à la politique d'explorer des stratégies d'allocation spatiale non triviales que des objectifs purement déterministes et supervisés pourraient manquer.

4. Objectif d'Entraînement et Récompense :

   • Fonction de Perte : La perte totale combine une perte de reconstruction L1 standard (ancrant l'étudiant à la Vérité Terrain) et une Perte de KD Spatiale Pondérée. La perte de KD est une erreur quadratique moyenne (MSE) pondérée entre l'étudiant et l'enseignant, modulée par la carte de poids de la politique $W$.
   • Signal de Récompense : La politique est entraînée à l'aide d'une fonction de récompense basée sur l'amélioration de la qualité de reconstruction (PSNR et SSIM) par rapport à un étudiant de référence entraîné sans pondération spatiale.
   • Détachement de Gradient : Crucialement, l'action échantillonnée (la carte de poids) est détachée avant d'être appliquée à la perte de KD. Cela découple l'apprentissage de la politique des gradients de reconstruction pixel par pixel, permettant à la politique d'être optimisée uniquement sur la base du signal de récompense global.

5. Inférence :
   Le réseau de politique RL est écarté après l'entraînement. Par conséquent, SPARK ajoute un coût d'inférence nul et ne nécessite aucun changement architectural pour le réseau étudiant, ce qui rend la méthode agnostique à la tâche d'IR (applicable à l'amélioration de la faible luminosité, au débruitage et à la super-résolution).

3. Principales Contributions

• Identification d'un Goulot d'Étranglement : L'article identifie l'uniformité spatiale des pertes de KD existantes comme un goulot d'étranglement primaire pour l'IR à bas débit, motivant la distillation spatialement adaptative comme une composante nécessaire pour une restauration robuste à la quantification.
• Politique Spatiale Pilotée par RL : L'introduction de SPARK, la première stratégie de pondération spatiale basée sur le RL pour la KD en IR à bas débit. Elle utilise des caractéristiques de difficulté interprétables pour apprendre une carte de poids par région de bout en bout pendant le QAT.
• Exploration Stochastique : En employant une action échantillonnée selon une distribution gaussienne stochastique avec des gradients détachés, le cadre permet l'exploration d'allocations spatiales inaccessibles aux objectifs purement différentiables.
• Large Applicabilité : La méthode est démontrée comme étant efficace à travers diverses tâches d'IR (LLE, Dénouage, SR) et diverses architectures d'étudiants sans nécessiter de modifications spécifiques à la tâche.

4. Résultats Expérimentaux

Les auteurs ont évalué SPARK sur des benchmarks standards : LOLv1 (Amélioration de la faible luminosité), SIDD (Débruitage d'image) et Urban100 (Super-Résolution).

• Performance Quantitative :

  • SPARK a systématiquement surpassé le PTQ (Quantification Post-Entraînement), le QAT standard et les méthodes de KD de pointe (FAKD, DCKD, SLKD) à travers plusieurs modèles d'étudiants (MIRNet, DnCNN, RFDN, SRCNN).
  • LOLv1 : SPARK a atteint 22,01 dB de PSNR (contre 21,67 dB pour le second meilleur, SLKD) avec MIRNet comme étudiant.
  • SIDD : SPARK a atteint 33,89 dB de PSNR (contre 32,14 dB pour SLKD).
  • Urban100 (SR) : À une échelle $\times 2$, SPARK a réduit l'écart avec l'enseignant en pleine précision à seulement -0,16 dB. À une échelle $\times 4$, il a surpassé le PTQ de +2,53 dB pour les étudiants RFDN.
  • SPARK a systématiquement obtenu les scores PSNR/SSIM les plus élevés et les scores LPIPS les plus bas.

• Performance Qualitative :

  • Les comparaisons visuelles ont montré que SPARK récupère la luminosité et les détails structurels plus précisément dans les scénarios de faible luminosité par rapport aux concurrents.
  • Dans le débruitage, SPARK produit des résultats plus propres avec une plus grande uniformité des couleurs et des bords plus nets, évitant le bruit résiduel et les distorsions de couleur observés dans les autres méthodes.
  • En Super-Résolution, SPARK reconstruit des caractéristiques structurelles plus fines et une géométrie précise, évitant le lissage excessif et les artefacts d'aliasing communs aux approches SOTA.

• Études d'Ablation :

  • Les comparaisons ont confirmé que le mécanisme de récompense basé sur le RL est le principal moteur d'amélioration, surpassant de manière significative l'entraînement sans RL (utilisant uniquement les pertes L1 ou MSE).

5. Signification et Revendications

L'article affirme que SPARK établit une base pour la distillation spatialement adaptative dans la vision de bas niveau. Sa signification réside dans :

• Efficacité : Il résout le problème de la dégradation induite par la quantification dans les régions critiques sans ajouter de surcharge d'inférence.
• Adaptabilité : Il remplace les heuristiques statiques et faites à la main par un processus de décision apprenable et dépendant de l'état qui évolue à mesure que la capacité de l'étudiant change.
• Généralisation : Il démontre qu'un cadre unifié et agnostique à la tâche peut gérer efficacement diverses tâches de restauration (LLE, Dénouage, SR) sous des contraintes de calcul importantes.

Les auteurs reconnaissent modestement une limite : le signal de récompense repose sur des métriques globales (PSNR/SSIM), qui peuvent ne pas capturer pleinement la qualité perceptuelle dans tous les scénarios de dégradation, suggérant cela comme une direction pour les travaux futurs. Cependant, les résultats actuels valident l'hypothèse centrale selon laquelle la distillation spatialement adaptative est supérieure à la supervision uniforme pour l'IR à bas débit.