🤖 machine learning

Restoring Without Forgetting: Continual Learning Across Image Degradations

Dit artikel introduceert Restoring without Forgetting (RwF), een framework voor continual learning dat lichtgewicht adapters en unsupervised routing gebruikt om beeldherstelmodellen in staat te stellen sequentieel nieuwe degradatietypes te leren zonder catastrofale vergetelheid of toegang tot historische data, waarbij het standaard fine-tuning benaderingen aanzienlijk overtreft.

Oorspronkelijke auteurs: Alif Ashrafee, Bartosz Krawczyk

Gepubliceerd 2026-08-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alif Ashrafee, Bartosz Krawczyk

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een camerasensor voor die haar hele leven in een zonnige, heldere woestijn heeft doorgebracht. Ze heeft perfect geleerd hoe ze de wereld onder dat specifieke licht moet zien. Stel je nu voor dat diezelfde camera wordt verplaatst naar een regenachtige stad, en daarna naar een mistige berg, en tot slot naar een donkere grot. In de echte wereld worden sensoren geconfronteerd met deze veranderende omstandigheden, één na het andere, vaak zonder toegang tot de oude gegevens van vorige locaties vanwege privacyregels of opslaglimieten. Om een computer te leren hoe hij afbeeldingen uit een nieuwe omgeving moet herstellen, moet hij meestal vanaf nul opnieuw worden getraind. Als je probeert het systeem de nieuwe omstandigheden te leren zonder het geheugen van de oude omgeving te wissen, vergeet het vaak volledig hoe het de eerste omgeving moet verwerken. Dit is een grote hindernis voor het bouwen van intelligente systemen die in de loop van de tijd kunnen adapteren. Het vakgebied van beeldrestauratie, dat erop gericht is wazige, ruisgevoelige of donkere foto's op te schonen, heeft grotendeels vertrouwd op gespecialiseerde hulpmiddelen voor elk specifiek probleem, of op enorme "all-in-one"-systemen die toegang vereisen tot elk type probleem tegelijkertijd om te kunnen leren. Geen van beide benaderingen werkt goed wanneer een systeem sequentieel moet leren, waarbij het nieuwe uitdagingen één voor één tegenkomt terwijl het zijn oude vaardigheden intact houdt.

Onderzoekers aan het Rochester Institute of Technology hebben een nieuwe methode ontwikkeld genaamd "Restoring Without Forgetting" om exact dit probleem op te lossen. In plaats van voor elk nieuw type beeldbeschadiging een enorm nieuw netwerk te trainen, of te proberen al het leren in één gigantisch model te proppen dat uiteindelijk in de war raakt, hebben zij een systeem gebouwd dat leert adapteren zonder het verleden te verliezen. De kern van hun aanpak is een vooraf getraind "backbone"-netwerk dat al erg goed is in het zien van schone afbeeldingen. Dit backbone-netwerk is bevroren, wat betekent dat de interne instellingen vergrendeld zijn en nooit worden gewijzigd. Wanneer het systeem een nieuw type degradatie tegenkomt, zoals regen of mist, traint het niet het hele brein opnieuw. In plaats daarvan koppelt het een kleine, lichtgewicht add-on module aan dat specifiek is ontworpen voor die nieuwe conditie. Deze add-on leert alleen de specifieke patronen van het nieuwe probleem, waardoor de oorspronkelijke kennis van het backbone-netwerk en de vorige add-ons volledig onaangetast blijven. Omdat elke nieuwe vaardigheid zijn eigen, geïsoleerde ruimte krijgt, overschrijft het systeem de eerder geleerde kennis nooit.

Om dit in de echte wereld werkend te maken, waar de computer niet weet met welk type schade hij te maken heeft, hebben de onderzoekers een slim routingmechanisme toegevoegd. Wanneer een nieuwe, beschadigde afbeelding binnenkomt, scant het systeem deze kort om een eenvoudige handtekening te creëren op basis van visuele aanwijzingen. Vervolgens vergelijkt het deze handtekening met een kleine bibliotheek van opgeslagen voorbeelden voor elk bekend type degradatie. Op basis van welk voorbeeld het het dichtstst overeenkomt, selecteert het systeem automatisch de juiste add-on om de afbeelding te herstellen. Dit gebeurt zonder dat een mens het systeem vertelt wat het probleem is. De onderzoekers testten dit op een opeenvolging van vijf verschillende beeldproblemen: ruis, bewegingsonscherpte, regen, nevel en lichtomstandigheden met weinig licht. Ze ontdekten dat een standaardmethode van het simpelweg opnieuw trainen van het netwerk op nieuwe gegevens ervoor zorgde dat het systeem de vorige vaardigheden zo slecht vergat dat de prestaties op eerdere taken met meer dan 15 punten daalden op een standaard kwaliteitschaal. In contrast hiermee behield hun nieuwe methode een hoge prestatie over alle vijf de taken, waardoor het vergeetprobleem effectief volledig werd geëlimineerd.

De studie toonde ook aan dat deze aanpak werkt op echte afbeeldingen, en niet alleen op synthetische beelden die in een laboratorium zijn gemaakt. Het team heeft hun systeem getest op elf verschillende real-world datasets die duizenden afbeeldingen bevatten met natuurlijke onscherpte, regen en andere imperfecties. Het systeem identificeerde bijna 90 procent van de afbeeldingen correct als het juiste reparatietool, en de uiteindelijke beeldkwaliteit was bijna net zo goed als wanneer een mens het systeem precies had verteld waarmee het te maken had. Dit suggereert dat het systeem kan generaliseren naar nieuwe, ongeziene inhoud, zolang het type schade maar vergelijkbaar is met wat het eerder heeft gezien. De onderzoekers stellen dat dit een belangrijke stap voorwaarts is, omdat het een praktische manier vestigt voor beeldrestauratiesystemen om in de loop van de tijd te groeien en te adapteren zonder de noodzaak om enorme hoeveelheden oude gegevens op te slaan of vanaf nul te beginnen met trainen. Door het leren van nieuwe vaardigheden te isoleren van de kernkennis van het systeem, hebben zij een raamwerk gecreëerd dat kunstmatige intelligentie in staat stelt om capaciteiten sequentieel te accumuleren, net zoals een mens nieuwe vaardigheden leert zonder de oude te vergeten.

=== SAMENVATTING ===

Technische Samenvatting: Restoring Without Forgetting (RwF)

Probleemformulering

Het artikel behandelt de uitdaging van multi-degradatie beeldrestauratie binnen een continual learning setting, specifiek Domain-Incremental Learning (DIL). Hoewel recente "all-in-one" architecturen gezamenlijk meerdere degradaties kunnen afhandelen, gaan zij uit van een "closed-world" aanname waarbij gelijktijdige toegang tot alle doel-degradatiedata tijdens de training vereist is — een aanname die in realistische implementaties niet standhoudt. In de praktijk komen in het veld ingezette systemen opeenvolgend met degradaties te maken (bijv. ruis, bewegingsonscherpte, regen, waas, weinig licht), vaak zonder toegang tot historische trainingsdata vanwege opslag-, privacy- of licentiebeperkingen.

Bestaande benaderingen kampen met een dilemma:

Sequentiële Fine-Tuning: Het opnieuw trainen op nieuwe data overschrijft de representaties voor vorige degradaties, wat leidt tot catastrofaal vergeten (catastrophic forgetting).
Retraining vanaf nul: Het trainen van een nieuw netwerk voor elke nieuwe degradatie is computationeel duur en niet schaalbaar.
All-In-One Joint Training: Vereist het opnieuw samenstellen van alle voorgaande en huidige data, wat onhaalbaar is wanneer voorgaande data niet meer beschikbaar zijn.

Bovendien gaan bestaande pipelines impliciet uit van een "oracle" dat weet welk type degradatie een testbeeld heeft, een aanname die instort in open-world scenario's waar domeinlabels niet beschikbaar zijn tijdens de inferentie.

Methodologie: Het RwF-framework

De auteurs stellen Restoring without Forgetting (RwF) voor, een parameter-efficiënt framework ontworpen om degradaties sequentieel te leren zonder historische data te bewaren en zonder de degradatielabel te kennen op het moment van testen.

1. Content-gecontroleerde Benchmark Constructie

Om het leren van degradaties te isoleren van variaties in datasets, construeren de auteurs een benchmark waarbij alle vijf de degradatiedomeinen (Ruis, Bewegingsonscherpte, Regen, Waas, Weinig Licht) worden gesynthetiseerd vanuit een gedeelde schone beeldcorpus (DIV2K). Dit zorgt ervoor dat de verschillen tussen domeinen uitsluitend voortkomen uit de degradatie-operatoren ( $T_t$ ) in plaats van variaties in de inhoud van de scène ( $p(c)$ ), waardoor het routingsmechanisme degradatie-specifieke kenmerken kan leren in plaats van dataset-specifieke priors.

2. Bevroren Backbone met Degradatie-geïsoleerde Adapters

RwF maakt gebruik van een voorgetrainde restauratie-backbone (bijv. Restormer of NAFNet) die is geïnitialiseerd met Gaussian denoising gewichten en die gedurende het leerproces bevroren blijft. Deze backbone dient als een gedeeld, vast substraat dat een sterke natuurlijke beeld-prior biedt.

Low-Rank Adapters: Voor elk nieuw degradatiedomein $t$ wordt een lichtgewicht, door het netwerk verspreid pad van low-rank adapters aan de backbone toegevoegd. Deze adapters passen bottleneck residual correcties toe op de features in elk blok.
Parameterisolatie: In fase $t$ wordt alleen het nieuwe adapterpad $\Phi_t$ getraind; de backbone en alle vorige paden $\Phi_{<t}$ blijven bevroren. Deze strikte parameterisolatie zorgt ervoor dat gradiënten voor nieuwe domeinen geen invloed hebben op vorige domeinen, wat resulteert in zero catastrophic forgetting door constructie.
Efficiëntie: De overhead is minimaal (ongeveer 3–4% van de backbone-parameters per domein) en schaalt lineair met het aantal domeinen in plaats van het dupliceren van de backbone.

3. Ongesuperviseerde Prototype-gebaseerde Routing

Omdat domeinlabels niet beschikbaar zijn tijdens de inferentie, gebruikt RwF een prototype-matching mechanisme om inputs naar het juiste adapterpad te routeren zonder hulpclassificators.

Feature Readout: In tegenstelling tot classificatietaken waarbij diepe features worden gebruikt, stellen de auteurs vast dat vroege encoder-features (de output van de eerste encoder-fase) het meest discriminerend zijn voor degradaties. Naarmate de restauratie-backbone vordert, onderdrukt deze de degradatiesignalen om schone beelden te reconstrueren, waardoor diepe features minder informatief worden voor het onderscheiden van het type corruptie.
Embedding Aggregatie: De ruimtelijke feature map wordt geaggregeerd door zowel het gemiddelde als de standaarddeviatie over kanalen en ruimtelijke dimensies te berekenen. Deze momenten worden onafhankelijk $\ell_2$ -genormaliseerd en geconcateneerd om een domein-embedding te vormen.
Routing: Een prototype voor elk domein wordt gevormd door het gemiddelde van de embeddings van een subset van trainingssamples te nemen. Tijdens de inferentie wordt een onbekende input geëmbed en gerouteerd naar het pad met de hoogste cosine similarity tot zijn prototype.

Belangrijkste Bijdragen

Continual Learning Formulering: Het artikel kadert multi-degradatie restauratie als een domain-incremental learning probleem waarbij degradaties sequentieel arriveren, voorgaande data niet beschikbaar zijn en de domeinidentiteit onbekend is tijdens de inferentie.
Parameter-efficiënt Framework: RwF introduceert een backbone-frozen architectuur die vergeten elimineert via degradatie-specifieke low-rank adapters. Het routeert inputs ongesuperviseerd via een lichtgewicht prototype-matching mechanisme, waardoor de kosten van dedicated per-domein netwerken worden vermeden.
Content-gecontroleerde Benchmark & Sim-to-Real Evaluatie: De auteurs bieden een vijf-domein benchmark die degradatie-operatoren isoleert van contentvariatie en demonstreren dat de geleerde adapters transfereren naar elf canonieke real-degradatie benchmarks (3.465 afbeeldingen) zonder hertraining.

Experimentele Resultaten

Het framework werd geëvalueerd op Restormer (Transformer-gebaseerd) en NAFNet (Convolutioneel-gebaseerd) backbones over een sequentie van vijf degradaties.

Prestaties vs. Sequentiële Fine-Tuning: Sequentiële fine-tuning lijdt onder ernstig vergeten. RwF verbetert de uiteindelijke gemiddelde PSNR ten opzichte van sequentiële fine-tuning met 15,25 dB (Restormer) en 11,83 dB (NAFNet).
Vergelijking met All-In-One: RwF behaalt prestaties die competitief zijn met (en in het geval van Restormer, superieur aan) joint "all-in-one" training op de unie van alle vijf de domeinen, ondanks het feit dat het tijdens de training van opeenvolgende domeinen nooit voorgaande data heeft gezien.
Vergetenfijting (Forgetting Metrics): RwF bereikt 0,00 dB vergeten ( $F=0$ ), wat betekent dat de prestaties op eerdere domeinen perfect behouden blijven na het leren van nieuwe domeinen.
Real-World Transfer: Op 11 real-world benchmarks behaalt RwF een routing nauwkeurigheid van 89,5% met een residu van +0,94 dB PSNR gap vergeleken met een oracle die de grondwaarheid van het domein kent.
Ablatie-studies:
- Readout Diepte: Het gebruik van vroege encoder-features (Stage 1) levert aanzienlijk hogere routing-nauwkeurigheid op (79,7%) dan diepere features of de bottleneck (58,8%), wat bevestigt dat restauratie-backbones degradatie-kenmerken onderdrukken in diepere lagen.
- Aggregatie: Het combineren van gemiddelde en standaarddeviatie met aparte normalisatie presteert beter dan enkel Global Average Pooling (GAP).

Betekenis en Claims

Het artikel beweert, naar weten van de auteurs, de eerste systematische baseline voor continual multi-degradatie beeldrestauratie te hebben gevestigd. Het demonstreert dat:

Vergeten geëlimineerd kan worden in generatieve restauratietaken door strikte parameterisolatie, zonder de noodzaak voor replay buffers of regularisatie-straffen.
Ongesuperviseerde routing haalbaar is voor dense pixel-level taken door gebruik te maken van statistieken van vroege-fase features die specifiek verschillen voor specifieke degradatie-operatoren.
Synthetic-to-Real transfer mogelijk is, zelfs wanneer de trainingscorpus content-gecontroleerd is, mits de degradatie-operatoren fysiek gemodelleerd zijn om overeen te komen met real-world karakteristieken.

De auteurs erkennen beperkingen, zoals het feit dat de routing-nauwkeurigheid afneemt voor degradaties met voornamelijk globale signatures (bijv. weinig licht) en dat de adapter-paden verbeterd kunnen worden met frequentiedomein-projecties of kernel-aware re-parameterisaties voor verdere winst op real-world distributies die de training-synthese range overschrijden.