BiDeMem: Bidirectional Degradation Memory for Explainable Image Restoration

Basé sur le document fourni, voici un résumé technique détaillé de BiDeMem : Bidirectional Degradation Memory for Explainable Image Restoration.

1. Énoncé du problème

La restauration d'images vise à récupérer des images propres à partir d'observations dégradées par du bruit, de la brume, de la pluie, du flou ou de la compression. Bien que les approches modernes de deep learning aient amélioré la qualité de la restauration (souvent mesurée par PSNR/SSIM), le rôle sémantique des conditions sensibles à la dégradation (prompts, priors latents, états de mémoire) reste mal compris.

Les méthodes d'évaluation actuelles sont de faibles tests de sémantique car elles reposent uniquement sur la performance finale. Une condition peut améliorer le PSNR en agissant simplement comme :

• Une capacité de modèle supplémentaire.
• Un biais de correction globale.
• Un raccourci spécifique au jeu de données.
• Un vecteur de prompt dense.

Le papier soutient que pour qu'un prior de dégradation soit véritablement explicable, il doit être vérifiable. Plus précisément, il doit être aligné sur l'entrée, sensible aux priors « erronés », dépendant de slots de mémoire spécifiques sélectionnés, et capable de supporter un signal de direction inverse (reconstruire la dégradation à partir de la cible propre).

2. Méthodologie : BiDeMem

Les auteurs proposent BiDeMem, un cadre de mémoire de dégradation bidirectionnelle conçu pour faire du prior de dégradation un objet auditable. La méthode est construite sur un backbone contrôlé (NAFNet) et se compose des éléments suivants :

A. Requête guidée par l'évidence (Evidence-Guided Query)

Au lieu d'utiliser un identificateur d'image de forme libre, le système construit une requête ($q$) à partir d'indices de dégradation observables :

1. Caractéristiques de goulot d'étranglement (Bottleneck Features) : Descripteurs spatiaux et fréquentiels (statistiques FFT des bandes de fréquences basses, moyennes et hautes) provenant du backbone de restauration.
2. Statistiques d'entrée : Un vecteur de 22 dimensions contenant des statistiques RGB/luminance, des magnitudes de gradient et des ratios de fréquence.
   Ces éléments sont projetés vers un vecteur de requête partagé de 128 dimensions.

B. Mémoire Top-k compacte

Le système maintient une banque de mémoire de $N=12$ slots (dimension $d=128$).

• Récupération : La requête récupère un sous-ensemble compact de $k=4$ slots via des produits scalaires normalisés.
• Activation : Seuls les slots sélectionnés sont actifs ; les autres sont mis à zéro. Cela crée une route top-k creuse plutôt qu'une condition dense.

C. Chemins bidirectionnels

L'innovation centrale est l'identité de slot partagée utilisée dans deux chemins distincts :

1. Chemin de Restauration (Inférence et Entraînement) : Les slots récupérés génèrent un prior ($p_r$) qui module le décodeur de restauration via FiLM (Feature-wise Linear Modulation) et conditionne une tête de correction routée par slot. Cela produit l'image restaurée finale $\hat{y}$.
2. Chemin d'Explication de Dégradation Directe (Entraînement uniquement) : L'même identité de slot sélectionnée génère un prior de dégradation ($p_d$). Une tête de dégradation directe prend la cible propre $y$ et $p_d$ pour prédire l'observation dégradée $\hat{x}$. Cette branche est supervisée pour garantir que $\hat{x}$ correspond à l'entrée réelle $x$ dans les espaces de pixels, de fréquences et de statistiques.

D. Objectifs

Le modèle est entraîné avec une perte composite :

• Perte de Restauration ($L_{pix}$) : Différence pixel par pixel entre les images restaurées et propres.
• Perte de Classement ($L_{rank}$) : Encourage le prior natif à obtenir un score plus élevé que les « mauvais » priors provenant d'une file d'attente de dégradations croisées.
• Pertes de Dégradation et d'Explication ($L_{deg}, L_{explain}$) : Garantissent que la branche de dégradation directe reconstruit avec précision la dégradation d'entrée en utilisant les mêmes slots.

3. Contributions clés

1. Formulation de Prior Vérifiable : Le papier formule la mémoire de dégradation non pas seulement comme un amplificateur de performance, mais comme un prior vérifiable évalué par l'utilité de la restauration, la sensibilité à l'intervention et la cohérence de la route.
2. Architecture de Mémoire Bidirectionnelle : Une mémoire top-k compacte où l'identité du slot sélectionné est partagée entre le décodeur de restauration et une branche de cohérence de dégradation directe (uniquement pour l'entraînement).
3. Suite de Contrôle : Un ensemble rigoureux de contrôles pour isoler le mécanisme de mémoire des explications alternatives (ex: capacité de backbone supplémentaire, têtes résiduelles, prompts denses ou priors globaux statiques).
4. Évaluation par Intervention : Démontrer que le prior récupéré est sensible aux interventions contrefactuelles (ex: échange de priors, mélange de slots), cadrant la mémoire comme un mécanisme d'explication falsifiable.

4. Résultats Expérimentaux

L'étude utilise un cadre de multi-dégradations contrôlé (débruitage, suppression de pluie, désembuage) basé sur NAFNet.

• Performance de Restauration :

  • BiRank Memory (le modèle bidirectionnel complet) atteint un PSNR moyen de 29,7529 dB et un SSIM de 0,8865 sur huit benchmarks observés.
  • Il surpasse la baseline NAFNet et une variante « Rank Memory » (unidirectionnelle) par des marges faibles mais constantes.
  • Variantes de Contrôle : Les modèles utilisant uniquement une tête de correction, des priors de requête denses ou des priors globaux statiques performent 0,25–0,28 dB moins bien que BiRank, prouvant que le gain provient du mécanisme de mémoire spécifique et non de l'ajout de capacité ou de têtes.

• Sensibilité à l'Intervention (La thèse centrale) :

  • Sensibilité au Mauvais Prior : Lorsqu'un prior correct est remplacé par un mauvais, la performance de BiRank Memory chute de 1,0430 dB, contre seulement 0,2365 dB pour la Rank Memory unidirectionnelle.
  • Écart Natif vs Non-Natif : L'écart de performance entre l'utilisation du prior natif et d'un prior non-natif passe de 0,3484 dB (Rank) à 0,6134 dB (BiRank).
  • Masquage de Slots Actifs : Le masquage des slots actifs (sélectionnés) réduit significativement la performance, tandis que le masquage des slots inactifs n'a que peu d'effet, confirmant la dépendance à l'égard du sous-ensemble top-k spécifique.

• Généralisation et Efficacité :

  • Généralisation : Le modèle montre des gains (+0,20 dB) sur des dégradations non vues ou mixtes (JPEG, pluie/brume mixte).
  • Adaptation à Faibles Données : Avec seulement 10 % des données d'entraînement, BiRank Memory améliore le NAFNet entraîné de zéro de +0,7954 dB.
  • Efficacité : Le modèle est compact en paramètres (18,02M paramètres) mais introduit une latence (environ 42ms contre 26ms pour la baseline) due à la mémoire et aux têtes de correction.

• Backbones Externes : Appliqué à AirNet et PromptIR, BiRank Memory améliore systématiquement le PSNR par rapport aux contrôles appariés, bien que les gains dépendent du contexte.

5. Signification et Revendications

Le papier positionne BiDeMem non pas comme un opérateur de restauration universel de pointe, mais comme une conception orientée vers la vérification pour la restauration d'images explicable.

• Mécanisme Auditable : En forçant le même identité de slot à supporter à la fois la restauration et une explication de dégradation inverse, le modèle fait du « prior de dégradation » un objet auditable. Le système peut être testé par masquage, mélange ou remplacement de slots pour voir si la sortie se dégrade de manière prévisible.
• Au-delà des Métriques de Fin de Parcours : Les auteurs soutiennent qu'un prior de dégradation utile doit être aligné sur l'entrée et sensible à l'intervention. La conception bidirectionnelle garantit que le prior n'est pas seulement une variable latente améliorant le PSNR, mais une route qui peut être falsifiée.
• Portée Modeste : Les auteurs reconnaissent les limites, notant que la conception ajoute une latence de calcul et que la conception de slot global compact peut ne pas être optimale pour chaque backbone. La contribution principale est le protocole permettant de rendre la mémoire de dégradation testable, plutôt que de prétendre à un nouveau SOTA pour toutes les tâches de restauration.

En résumé, BiDeMem démontre qu'une mémoire bidirectionnelle compacte peut servir de prior de dégradation significatif et vérifiable, déplaçant l'attention de « restaure-t-il mieux ? » vers « la restauration dépend-elle de l'évidence de dégradation correcte et interprétable ? ».