🤖 machine learning

Restoring Without Forgetting: Continual Learning Across Image Degradations

Cet article introduit Restoring without Forgetting (RwF), un cadre d'apprentissage continu qui emploie des adaptateurs légers et un routage non supervisé pour permettre aux modèles de restauration d'images d'apprendre séquentiellement de nouveaux types de dégradations sans oubli catastrophique ni accès aux données historiques, surpassant de manière significative les approches de fine-tuning standard.

Auteurs originaux : Alif Ashrafee, Bartosz Krawczyk

Publié 2026-08-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alif Ashrafee, Bartosz Krawczyk

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un capteur de caméra qui a passé toute sa vie dans un désert ensoleillé et dégagé. Il a appris parfaitement à voir le monde sous cette lumière spécifique. Maintenant, imaginez ce même capteur déplacé dans une ville pluvieuse, puis sur une montagne brumeuse, et enfin dans une grotte obscure. Dans le monde réel, les capteurs sont confrontés à ces conditions changeantes les unes après les autres, souvent sans accès aux données des lieux précédents en raison de règles de confidentialité ou de limites de stockage. Pour qu'un ordinateur apprenne à corriger des images d'un nouvel environnement, il doit généralement être réentraîné de zéro. Si vous essayez de lui enseigner les nouvelles conditions sans effacer sa mémoire des anciennes, il oublie souvent comment gérer le premier environnement entièrement. C'est un obstacle majeur à la construction de systèmes intelligents capables de s'adapter au fil du temps. Le domaine de la restauration d'images, qui vise à nettoyer les photos floues, bruitées ou sombres, s'est largement appuyé sur des outils spécialisés pour chaque problème spécifique, ou sur de massifs systèmes « tout-en-un » qui nécessitent l'accès à tous les types de problèmes en même temps pour apprendre. Aucune de ces approches ne fonctionne bien lorsqu'un système doit apprendre de manière séquentielle, en rencontrant de nouveaux défis un par un tout en conservant ses anciennes compétences intactes.

Des chercheurs du Rochester Institute of Technology ont développé une nouvelle méthode appelée « Restoring Without Forgetting » (Restaurer sans oublier) pour résoudre exactement ce problème. Au lieu d'entraîner un nouveau réseau massif pour chaque nouveau type de dégradation d'image, ou d'essayer de condenser tout l'apprentissage dans un seul modèle géant qui finit par s'embrouiller, ils ont construit un système qui apprend à s'adapter sans perdre son passé. Le cœur de leur approche est un réseau « backbone » (colonne vertébrale) pré-entraîné qui est déjà très performant pour voir des images nettes. Ce backbone est gelé, ce qui signifie que ses paramètres internes sont verrouillés et ne sont jamais modifiés. Lorsqu'il rencontre un nouveau type de dégradation, comme la pluie ou le brouillard, le système ne réentraîne pas tout le cerveau. Au lieu de cela, il attache un module supplémentaire minuscule et léger, spécifiquement conçu pour gérer cette nouvelle condition. Cet ajout apprend uniquement les motifs spécifiques du nouveau problème, laissant les connaissances originales du backbone et des modules précédents totalement intactes. Parce que chaque nouvelle compétence dispose de son propre espace dédié et isolé, le système n'écrase jamais ce qu'il a appris auparavant.

Pour que cela fonctionne dans le monde réel, où l'ordinateur ne sait pas quel type de dégradation il regarde, les chercheurs ont ajouté un mécanisme de routage intelligent. Lorsqu'une nouvelle image endommagée arrive, le système l'analyse brièvement pour créer une signature simple basée sur les indices visuels. Il compare ensuite cette signature à une petite bibliothèque d'exemples stockés pour chaque type de dégradation connu. En fonction de l'exemple auquel elle ressemble le plus, le système sélectionne automatiquement le module complémentaire approprié pour réparer l'image. Cela se produit sans qu'un humain n'ait à dire au système quel est le problème. Les chercheurs ont testé cela sur une séquence de cinq problèmes d'image différents : le bruit, le flou de mouvement, la pluie, la brume et les conditions de faible luminosité. Ils ont constaté qu'une méthode standard consistant à simplement réentraîner le réseau sur de nouvelles données faisait perdre au système ses compétences précédentes au point que ses performances sur les tâches antérieures chutaient de plus de 15 points sur une échelle de qualité standard. En revanche, leur nouvelle méthode maintenait des performances élevées sur les cinq tâches, éliminant efficacement le problème d'oubli.

L'étude a également démontré que cette approche fonctionne sur des images réelles, et non seulement sur des images synthétiques créées en laboratoire. L'équipe a testé son système sur onze ensembles de données du monde réel contenant des milliers d'images avec des flous naturels, de la pluie et d'autres imperfections. Le système a correctement identifié l'outil de réparation à utiliser pour près de 90 pour cent des images, et la qualité de l'image finale était presque aussi bonne que si un humain avait indiqué au système exactement quel problème il affrontait. Cela suggère que le système peut généraliser son apprentissage à de nouveaux contenus non vus, tant que le type de dégradation est similaire à ce qu'il a déjà rencontré. Les chercheurs soutiennent que c'est une étape importante en avant car cela établit une manière pratique pour les systèmes de restauration d'images de croître et de s'adapter au fil du temps sans avoir besoin de stocker de massives quantités de données anciennes ou de repartir de zéro. En isolant l'apprentissage de nouvelles compétences des connaissances fondamentales du système, ils ont créé un cadre qui permet à l'intelligence artificielle d'accumuler des capacités de manière séquentielle, tout comme un humain apprenant de nouvelles compétences sans oublier les anciennes.

=== RÉSUMÉ TECHNIQUE : Restoring Without Forgetting (RwF) ===

Formulation du Problème

L'article traite du défi de la restauration d'images multi-dégradations dans un contexte d'apprentissage continu, plus précisément l'apprentissage incrémental de domaine (DIL). Bien que les architectures récentes de type « all-in-one » puissent gérer conjointement plusieurs dégradations, elles supposent un accès simultané à toutes les données de dégradation cibles pendant l'entraînement — une hypothèse de « monde fermé » qui échoue dans un déploiement réel. En pratique, les systèmes déployés sur le terrain rencontrent des dégradations (par exemple, bruit, flou, pluie, brume, faible luminosité) de manière séquentielle au fil du temps, souvent sans accès aux données d'entraînement historiques en raison de contraintes de stockage, de confidentialité ou de licence.

Les approches existantes sont confrontées à un dilemme :

Ajustement fin séquentiel (Sequential Fine-Tuning) : Le réentraînement sur de nouvelles données écrase les représentations des dégradations précédentes, entraînant un oubli catastrophique.
Réentraînement à partir de zéro : Entraîner un nouveau réseau pour chaque nouvelle dégradation est coûteux en termes de calcul et non évolutif.
Entraînement conjoint « All-In-One » : Nécessite de rassembler à nouveau toutes les données passées et présentes, ce qui est irréalisable lorsque les données antérieures ne sont plus disponibles.

De plus, les pipelines existants supposent implicitement la présence d'un « oracle » qui connaît le type de dégradation d'une image de test, une hypothèse qui s'effondre dans les scénarios de monde ouvert où les étiquettes de domaine sont indisponibles lors de l'inférence.

Méthodologie : Le cadre RwF

Les auteurs proposent Restoring without Forgetting (RwF), un cadre efficace en termes de paramètres conçu pour apprendre les dégradations de manière séquentielle sans conserver les données passées et sans connaître l'étiquette de la dégradation au moment du test.

1. Construction d'un Benchmark à Contenu Contrôlé

Pour isoler l'apprentissage de la dégradation de la variation du jeu de données, les auteurs construisent un benchmark où les cinq domaines de dégradation (Bruit, Flou de mouvement, Pluie, Brume, Faible luminosité) sont synthétisés à partir d'un corpus d'images propres partagé unique (DIV2K). Cela garantit que les différences de domaine proviennent uniquement des opérateurs de dégradation ( $T_t$ ) plutôt que des variations de contenu de la scène ( $p(c)$ ), permettant au mécanisme de routage d'apprendre des signatures spécifiques à la dégradation plutôt que des priors spécifiques au jeu de données.

2. Backbone Gelé avec Adaptateurs Isolés par Dégradation

RwF utilise un backbone de restauration pré-entraîné (par exemple, Restormer ou NAFNet) initialisé avec des poids de débruitage gaussien et gelé tout au long du processus d'apprentissage. Ce backbone sert de substrat commun et fixe fournissant un fort prior d'image naturelle.

Adaptateurs de Bas Rang (Low-Rank Adapters) : Pour chaque nouveau domaine de dégradation $t$ , un chemin d'adaptateurs de bas rang léger, traversant le réseau, est attaché au backbone. Ces adaptateurs appliquent des corrections résiduelles de goulot d'étranglement aux caractéristiques de chaque bloc.
Isolation des Paramètres : À l'étape $t$ , seul le nouveau chemin d'adaptateur $\Phi_t$ est entraîné ; le backbone et tous les chemins précédents $\Phi_{<t}$ restent gelés. Cette isolation stricte des paramètres garantit que les gradients pour les nouveaux domaines n'affectent pas les précédents, ce qui permet un oubli catastrophique nul par construction.
Efficacité : La surcharge est minimale (environ 3 à 4 % des paramètres du backbone par domaine), évoluant linéairement avec le nombre de domaines plutôt qu'en dupliquant le backbone.

3. Routage par Prototypes Non Supervisé

Puisque les étiquettes de domaine ne sont pas disponibles au moment du test, RwF emploie un mécanisme de correspondance de prototypes pour router les entrées vers le bon chemin d'adaptateur sans classifieurs auxiliaires.

Lecture de Caractéristiques (Feature Readout) : Contra-irement aux tâches de classification où les caractéristiques profondes sont utilisées, les auteurs constatent que les caractéristiques de l'encodeur précoce (sortie de la première étape de l'encodeur) sont les plus discriminantes pour les dégradations. À mesure que le backbone de restauration progresse, il supprime les signaux de dégradation pour reconstruire des images propres, rendant les caractéristiques profondes moins informatives pour distinguer le type de corruption.
Agrégation d'Embeddings : La carte de caractéristiques spatiale est agrégée en calculant à la fois la moyenne et l'écart-type à travers les canaux et les dimensions spatiales. Ces moments sont normalisés par $\ell_2$ indépendamment et concaténés pour former un embedding de domaine.
Routage : Un prototype pour chaque domaine est formé en moyennant les embeddings d'un sous-ensemble d'échantillons d'entraînement. Lors de l'inférence, un input inconnu est transformé en embedding et routé vers le chemin présentant la plus haute similitude cosinus avec son prototype.

Principales Contributions

Formulation de l'Apprentissage Continu : L'article cadre la restauration d'images multi-dégradations comme un problème d'apprentissage incrémental de domaine où les dégradations arrivent séquentiellement, les données antérieures sont indisponibles et l'identité du domaine est inconnue au moment du test.
Cadre Efficace en Paramètres : RwF introduit une architecture à backbone gelé qui élimine l'oubli via des adaptateurs de bas rang spécifiques à la dégradation. Il route les entrées de manière non supervisée via un mécanisme de correspondance de prototypes léger, évitant le coût de réseaux dédiés par domaine.
Benchmark à Contrôle de Contenu et Évaluation Sim-to-Real : Les auteurs fournissent un benchmark à cinq domaines isolant les opérateurs de dégradation des variations de contenu et démontrent que les adaptateurs appris se transfèrent à onze benchmarks de dégradations réelles canoniques (3 465 images) sans réentraînement.

Résultats Expérimentaux

Le cadre a été évalué sur les backbones Restormer (basé sur les Transformers) et NAFNet (basé sur les convolutions) à travers une séquence de cinq dégradations.

Performance vs Ajustement Fin Séquentiel : L'ajustement fin séquentiel souffre d'un oubli sévère. RwF améliore le PSNR moyen final par rapport à l'ajustement fin séquentiel de 15,25 dB (Restormer) et 11,83 dB (NAFNet).
Comparaison avec le mode « All-In-One » : RwF atteint des performances compétitives avec (et, dans le cas de Restormer, supérieures à) l'entraînement conjoint « all-in-one » sur l'union des cinq domaines, bien qu'il n'ait jamais vu de données passées lors de l'entraînement des domaines suivants.
Métriques d'Oubli : RwF atteint un oubli de 0,00 dB ( $F=0$ ), ce qui signifie que la performance sur les domaines antérieurs est parfaitement préservée après l'apprentissage de nouveaux domaines.
Transfert Réel : Sur 11 benchmarks réels, RwF atteint une précision de routage de 89,5 % avec un écart résiduel de +0,94 dB PSNR par rapport à un oracle qui connaît le domaine de vérité terrain.
Études d'Ablation :
- Profondeur de Lecture (Readout Depth) : L'utilisation des caractéristiques précoces de l'encodeur (Étape 1) produit une précision de routage nettement plus élevée (79,7 %) que les caractéristiques plus profondes ou le goulot d'étranglement (58,8 %), confirmant que les backbones de restauration suppriment les indices de dégradation dans les couches plus profondes.
- Agrégation : La combinaison de la moyenne et de l'écart-type avec une normalisation séparée surpasse le Global Average Pooling (GAP) seul.

Signification et Revendications

L'article affirme établir, à la connaissance des auteurs, le premier baseline systématique pour la restauration d'images multi-dégradations continue. Il démontre que :

L'oubli peut être éliminé dans les tâches de restauration générative grâce à une isolation stricte des paramètres, sans nécessiter de buffers de rejeu ou de pénalités de régularisation.
Le routage non supervisé est réalisable pour des tâches de niveau pixel denses en exploitant les statistiques des caractéristiques des premières étapes qui sont distinctes pour des opérateurs de dégradation spécifiques.
Le transfert Synthétique-vers-Réel est possible même lorsque le corpus d'entraînement est contrôlé en contenu, à condition que les opérateurs de dégradation soient modélisés physiquement pour correspondre aux caractéristiques du monde réel.

Les auteurs reconnaissent des limites, notant que la précision du routage diminue pour les dégradations ayant principalement des signatures globales (ex: faible luminosité) et que les voies d'adaptateurs pourraient être améliorées avec des projections dans le domaine fréquentiel ou des re-paramétrisations sensibles aux noyaux pour de meilleurs gains sur les distributions réelles dépassant la plage de synthèse d'entraînement.