🤖 machine learning

Restoring Without Forgetting: Continual Learning Across Image Degradations

Dieses Paper stellt Restoring without Forgetting (RwF) vor, ein Framework für kontinuierliches Lernen, das leichtgewichtige Adapter und unüberwachtes Routing einsetzt, um Bildrestaurationsmodellen zu ermöglichen, neue Degradationstypen sequenziell zu lernen, ohne dabei katastrophales Vergessen oder den Zugriff auf historische Daten zu erleiden, wobei es Standard-Fine-Tuning-Ansätze signifikant übertrifft.

Ursprüngliche Autoren: Alif Ashrafee, Bartosz Krawczyk

Veröffentlicht 2026-08-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Alif Ashrafee, Bartosz Krawczyk

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Kamerasensor vor, der sein ganzes Leben in einer sonnigen, klaren Wüste verbracht hat. Er hat perfekt gelernt, die Welt unter diesem spezifischen Licht zu sehen. Stellen Sie sich nun dieselbe Kamera vor, die in eine regnerische Stadt, dann in einen nebligen Berg und schließlich in eine dunkle Höhle versetzt wird. In der realen Welt sind Sensoren wechselnden Bedingungen nacheinander ausgesetzt, oft ohne Zugriff auf die alten Daten aus vorherigen Standorten aufgrund von Datenschutzregeln oder Speicherlimits. Damit ein Computer lernt, wie man Bilder aus einer neuen Umgebung korrigiert, muss er normalerweise von Grund auf neu trainiert werden. Wenn man versucht, ihn an die neuen Bedingungen heranzuführen, ohne sein Gedächtnis an die alten Bedingungen zu löschen, vergisst er oft die Fähigkeit, das erste Umfeld vollständig zu bewältigen. Dies ist eine große Hürde für den Bau intelligenter Systeme, die im Laufe der Zeit adaptiv sein können. Das Feld der Bildrestaurierung, das darauf abzielt, unscharfe, verrauschte oder dunkle Fotos zu bereinigen, hat sich weitgehend auf spezialisierte Werkzeuge für jedes spezifische Problem oder auf massive „All-in-One“-Systeme verlassen, die Zugriff auf jede Art von Problem gleichzeitig benötigen, um zu lernen. Keiner dieser Ansätze funktioniert gut, wenn ein System sequenziell lernen muss, also nacheinander auf neue Herausforderungen stößt, während es seine alten Fähigkeiten beibelt.

Forscher am Rochester Institute of Technology haben eine neue Methode namens „Restoring Without Forgetting“ entwickelt, um genau dieses Problem zu lösen. Anstatt für jeden neuen Typ von Bildschädigung ein massives neues Netzwerk zu trainieren oder zu versuchen, das gesamte Lernen in ein einziges riesiges Modell zu pressen, das schließlich verwirrt wird, haben sie ein System gebaut, das lernt, sich anzupassen, ohne die Vergangenheit zu verlieren. Der Kern ihres Ansatzes ist ein vortrainiertes „Backbone“-Netzwerk, das bereits sehr gut darin ist, saubere Bilder zu sehen. Dieses Backbone ist eingefroren, was bedeutet, dass seine internen Einstellungen festgeschrieben sind und sich nie ändern. Wenn das System auf eine neue Art von Degradation stößt, wie etwa Regen oder Nebel, trainiert es nicht das gesamte Gehirn neu. Stattdessen hängt es ein winziges, leichtgewichtiges Zusatzmodul an, das speziell für diese neue Bedingung entwickelt wurde. Dieses Zusatzmodul lernt nur die spezifischen Muster des neuen Problems, wodurch das ursprüngliche Wissen des Backbones und die vorherigen Zusatzmodule völlig unberührt bleiben. Da jeder neue Fähigkeit ihr eigener, isolierter Raum zugewiesen wird, überschreibt das System niemals das, was es zuvor gelernt hat.

Um dies in der realen Welt funktionsfähig zu machen, in der der Computer nicht weiß, um welche Art von Beschädigung es sich handelt, haben die Forscher einen intelligenten Routing-Mechanismus hinzugefügt. Wenn ein neues, beschädigtes Bild eintrifft, scannt das System es kurz, um eine einfache Signatur basierend auf den visuellen Hinweisen zu erstellen. Es vergleicht diese Signatur dann mit einer kleinen Bibliothek gespeicherter Beispiele für jede bekannte Degradationsart. Basierend darauf, mit welchem Beispiel es am engsten übereinstimmt, wählt das System automatisch das korrekte Zusatzmodul aus, um das Bild zu reparieren. Dies geschieht, ohne dass ein Mensch dem System mitteilt, worin das Problem besteht. Die Forscher testeten dies an einer Sequenz von fünf verschiedenen Bildproblemen: Rauschen, Bewegungsunschärfe, Regen, Dunst und schlechte Lichtverhältnisse. Sie fanden heraus, dass eine Standardmethode, bei der das Netzwerk einfach auf neuen Daten neu trainiert wird, dazu führte, dass das System frühere Fähigkeiten so stark vergaß, dass seine Leistung bei früheren Aufgaben auf einer Standardqualitätsskala um mehr als 15 Punkte sank. Im Gegensatz dazu behielt ihr neuer Ansatz eine hohe Leistung über alle fünf Aufgaben bei und eliminierte das Vergählproblem somit vollständig.

Die Studie demonstrierte auch, dass dieser Ansatz auf realen Bildern funktioniert und nicht nur auf synthetischen Bildern, die im Labor erstellt wurden. Das Team testete sein System an elf verschiedenen Realwelt-Datensätzen, die Tausende von Bildern mit natürlicher Unschärfe, Regen und anderen Unvollkommenheiten enthalten. Das System identifizierte korrekt, welches Reparaturwerkzeug zu verwenden war, bei fast 90 Prozent der Bilder, und die Qualität des fertigen Bildes war fast so gut, als hätte ein Mensch dem System genau gesagt, mit welchem Problem es konfrontiert ist. Dies deutet darauf darauf hin, dass das System sein Lernen auf neue, ungesehene Inhalte generalisieren kann, solange die Art der Beschädigung der ähnlich ist, die es zuvor gesehen hat. Die Forscher argumentieren, dass dies ein bedeutender Schritt nach vorn ist, da es einen praktischen Weg etabliert, wie Bildrestaurationssysteme im Laufe der Zeit wachsen und sich anpassen können, ohne riesige Mengen alter Daten speichern oder von Grund auf neu trainieren zu müssen. Durch die Isolierung des Lernens neuer Fähigkeiten vom Kernwissen des Systems haben sie einen Rahmen geschaffen, der es künstlicher Intelligenz ermöglicht, Fähigkeiten sequenziell zu akkumulieren, ganz ähnlich wie ein Mensch, der neue Fertigkeiten lernt, ohne die alten zu vergessen.

Technisches Resümee: Restoring Without Forgetting (RwF)

Problemformulierung

Das Paper adressiert die Herausforderung der Multi-Degradations-Bildrestaurierung in einem Continual Learning Setting, spezifisch im Bereich des Domain-Incremental Learning (DIL). Während jüngste „All-in-One“-Architekturen in der Lage sind, mehrere Degradationen gemeinsam zu handhaben, setzen sie eine simultane Verfügbarkeit aller Ziel-Degradationsdaten während des Trainings voraus – eine „Closed-World“-Annahme, die in realen Einsatzszenarien fehlschlägt. In der Praxis treffen im Feld eingesetzte Systeme auf Degradationen (z. B. Rauschen, Unschärfe, Regen, Dunst, schlechte Lichtverhältnisse) sequenziell über die Zeit, oft ohne Zugriff auf historische Trainingsdaten aufgrund von Speicher-, Datenschutz- oder Lizenzbeschränkungen.

Bestehende Ansätze stehen vor einem Dilemma:

Sequenzielles Fine-Tuning: Das Nachtrainieren auf neuen Daten überschreibt die Repräsentationen für vorherige Degradationen, was zu katastrophalem Vergessen (Catastrophic Forgetting) führt.
Neu-Training von Grund auf: Das Training eines neuen Netzwerks für jede neue Degradation ist rechenintensiv und nicht skalierbar.
All-in-One Joint Training: Erfordert das Wiederzusammenstellen aller vergangenen und gegenwärtigen Daten, was unmöglich ist, wenn die vorangegangenen Daten nicht mehr verfügbar sind.

Darüber hinaus setzen bestehende Pipelines implizit ein „Oracle“ voraus, das weiß, welcher Degradationstyp zu einem Testbild gehört – eine Annahme, die in Open-World-Szenarien, in denen Domänen-Labels zur Inferenzzeit nicht verfügbar sind, zusammenbricht.

Methodik: Das RwF-Framework

Die Autoren schlagen Restoring without Forgetting (RwF) vor, ein parametereffizientes Framework, das darauf ausgelegt ist, Degradationen sequenziell zu lernen, ohne vergangene Daten zu speichern und ohne zum Zeitpunkt der Inferenz den Degradations-Label zu kennen.

1. Inhaltsgesteuerte Benchmark-Konstruktion

Um die Lernung der Degradation von der Variation der Datensätze zu isolieren, konstruieren die Autoren eine Benchmark, bei der alle fünf Degradationsdomänen (Rauschen, Bewegungsunschärfe, Regen, Dunst, Low-Light) von einem gemeinsamen sauberen Bildkorpus (DIV2K) synthetisiert werden. Dies stellt sicher, dass die Unterschiede zwischen den Domänen ausschließlich aus den Degradationsoperatoren ( $T_t$ ) resultieren und nicht aus Variationen im Szeneninhalt ( $p(c)$ ), wodurch der Routing-Mechanismus in der Lage ist, degradationsspezifische Signaturen statt datensatzspezifischer Priors zu erlernen.

2. Gefrorenes Backbone mit degradationsisolierten Adaptern

RwF nutzt ein vortrainiertes Restaurations-Backbone (z. B. Restormer oder NAFNet), das mit Gewichten aus der Gaußschen Rauschunterdrückung initialisiert wurde und während des gesamten Lernprozesses eingefroren bleibt. Dieses Backbone dient als gemeinsames, fixes Substrat, das einen starken Prior für natürliche Bilder bereitstellt.

Low-Rank-Adapter: Für jede neue Degradationsdomäne $t$ wird ein leichtgewichtiges, das gesamte Netzwerk durchspannendes Pfad aus Low-Rank-Adaptern an das Backbone angehängt. Diese Adapter wenden Bottleneck-Residuen-Korrekturen an jedem Block auf die Features an.
Parameter-Isolation: In Stadium $t$ wird nur der neue Adapterpfad $\Phi_t$ trainiert; das Backbone und alle vorherigen Pfade $\Phi_{<t}$ bleiben eingefroren. Diese strikte Parameter-Isolation stellt sicher, dass Gradienten für neue Domänen keine Auswirkungen auf vorherige haben, was zu konstruktionsbedingt Null-Vergessen (Zero Catastrophic Forgetting) führt.
Effizienz: Der Overhead ist minimal (ca. 3–4 % der Backbone-Parameter pro Domäne) und skaliert linear mit der Anzahl der Domänen statt mit der Duplizierung des Backbones.

3. Unüberwachtes prototypenbasiertes Routing

Da Domänen-Labels zur Inferenzzeit nicht verfügbar sind, verwendet RwF einen Prototyp-Matching-Mechanismus, um Eingaben ohne Hilfsklassifikatoren an den korrekten Adapterpfad zu routen.

Feature Readout: Im Gegensatz zu Klassifikationsaufgaben, bei denen tiefe Features verwendet werden, stellen die Autoren fest, dass frühe Encoder-Features (Ausgang des ersten Encoder-Stadiums) am aussagekräftigsten für Degradationen sind. Während das Restaurations-Backbone fortschreitet, unterdrückt es Degradationssignale, um saubere Bilder zu rekonstruieren, wodurch tiefe Features weniger informativ für die Unterscheidung des Typs der Korruption werden.
Embedding-Aggregation: Die räumliche Feature-Map wird aggregiert, indem sowohl der Mittelwert als auch die Standardabweichung über Kanäle und räumliche Dimensionen berechnet werden. Diese Momente werden unabhängig vone voneinander $\ell_2$ -normalisiert und konkateniert, um ein Domänen-Embedding zu bilden.
Routing: Ein Prototyp für jede Domäne wird durch Mittelung der Embeddings einer Teilmenge von Trainingsbeispielen gebildet. Bei der Inferenz wird ein unbekannter Input eingebettet und zu dem Pfad geroutet, der die höchste Cosinus-Ähnlichkeit zu seinem Prototyp aufweist.

Zentrale Beiträge

Kontinuierliche Lernformulierung: Das Paper rahmt die Multi-Degradations-Restaurierung als ein Domain-Incremental Learning Problem ein, bei dem Degradationen sequenziell auftreten, vorangegangene Daten nicht verfügbar sind und die Domänenidentität zur Inferenzzeit unbekannt ist.
Parametereffizientes Framework: RwF führt eine Backbone-eingefrorene Architektur ein, die Vergessen durch degradationsspezifische Low-Rank-Adapter eliminiert. Es routet Inputs unüberwacht via eines leichtgewichtigen Prototyp-Matching-Mechanismus und vermeidet so die Kosten dedizierter pro-Domäne-Netzwerke.
Inhaltskontrollierte Benchmark & Sim-to-Real Evaluation: Die Autoren stellen eine Fünf-Domänen-Benchmark bereit, die Degradationsoperatoren von Inhaltsvariationen isoliert, und demonstrieren, dass die gelernten Adapter ohne Retraining auf elf kanonischen Real-Degradations-Benchmarks (3.465 Bilder) übertragbar sind.

Experimentelle Ergebnisse

Das Framework wurde auf Restormer (Transformer-basiert) und NAFNet (Convolutional-basiert) Backbones über eine Sequenz von fünf Degradationen evaluiert.

Performance vs. Sequenzielles Fine-Tuning: Sequenzielles Fine-Tuning leidet unter schwerem Vergessen. RwF verbessert die finale durchschnittliche PSNR gegenüber sequenziellem Fine-Tuning um 15,25 dB (Restormer) und 11,83 dB (NAFNet).
Vergleich mit All-in-One: RwF erreicht eine mit (und im Fall von Restormer, eine sogar überlegene) Performance gegenüber dem gemeinsamen „All-in-One“-Training auf der Vereinigung aller fünf Domänen, obwohl während des Trainings nachfolgender Domänen nie vergangene Daten gesehen wurden.
Vergessens-Metriken: RwF erreicht 0,00 dB Vergessen ( $F=0$ ), was bedeutet, dass die Performance auf früheren Domänen nach dem Lernen neuer Domänen perfekt bewahrt bleibt.
Real-World-Transfer: Auf 11 Real-World-Benchmarks erreicht RwF eine Routing-Genauigkeit von 89,5 % mit einer verbleibenden PSNR-Differenz von +0,94 dB im Vergleich zu einem Oracle, das die Ground-Truth-Domäne kennt.
Ablationsstudien:
- Readout-Tiefe: Die Verwendung früher Encoder-Features (Stadium 1) liefert signifikant höhere Routing-Genauigkeiten (79,7 %) als tiefere Features oder das Bottleneck (58,8 %), was bestätigt, dass Restaurations-Backbones Degradations-Cues in tieferen Schichten unterdrücken.
- Aggregation: Die Kombination von Mittelwert und Standardabweichung mit separater Normalisierung schneidet besser ab als Global Average Pooling (GAP) allein.

Signifikanz und Ansprüche

Das Paper beansprucht, nach Kenntnis der Autoren die erste systematische Baseline für kontinuierliche Multi-Degradations-Bildrestaurierung etabliert zu haben. Es zeigt auf, dass:

Vergessen eliminiert werden kann in generativen Restaurationsaufgaben durch strikte Parameter-Isolation, ohne die Notwendigkeit von Replay-Buffern oder Regularisierungsstrafen.
Unüberwachtes Routing für dichte Pixel-Level-Aufgaben machbar ist, indem man die statistischen Eigenschaften früher Stadien nutzt, die spezifisch für bestimmte Degradationsoperatoren sind.
Sim-to-Real Transfer möglich ist, selbst wenn der Trainingskorpus inhaltskontrolliert ist, sofern die Degradationsoperatoren physikalisch modelliert sind, um realen Charakteristika zu entsprechen.

Die Autoren räumen Einschränkungen ein und merken an, dass die Routing-Genauigkeit für Degradationen mit primär globalen Signaturen (z. B. Low-Light) abnimmt und dass die Adapter-Pfade mit Frequenzbereichsprojektionen oder Kernel-bewussten Reparametrisierungen für weitere Gewinne bei realen Verteilungen, die über den Trainingssynthesebereich hinausgehen, verbessert werden könnten.