💻 computer science

DPMambaIR: All-in-One Image Restoration via Degradation-Aware Prompt State Space Model

Het artikel stelt DPMambaIR voor, een All-in-One beeldherstelraamwerk dat een fijnmazige degradatie-extractor integreert met een Degradation-Aware Prompt State Space Model en een High-Frequency Enhancement Block om superieure prestaties te behalen over meerdere degradatietypes door dynamisch aan te passen aan fijnmazige degradatiekenmerken.

Oorspronkelijke auteurs: Zhanwen Liu, Sai Zhou, Yuchao Dai, Yang Wang, Yisheng An, Xiangmo Zhao

Gepubliceerd 2026-02-06

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhanwen Liu, Sai Zhou, Yuchao Dai, Yang Wang, Yisheng An, Xiangmo Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een collectie oude, beschadigde foto's hebt. Sommige zijn wazig, sommige zijn bedekt met regenstrepen, andere zijn te donker, en weer anderen zijn korrelig door ruis.

In het verleden was het herstellen van deze foto's alsof je voor elk probleem een andere specialist moest inhuren. Je had één expert nodig om onscherpte te herstellen, een andere om regen te verwijderen, en een derde om donkere kamers op te helderen. Als je niet precies wist wat er mis was met een foto, zat je vast.

Dit artikel introduceert DPMambaIR, een "super-restaurator" die fungeert als een alles-in-één expert die in staat is om al deze verschillende problemen tegelijkertijd op te lossen. Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. De "Detective" (De Degradatie-extractor)

Voordat het systeem een foto probeert te herstellen, treedt het eerst op als een detective. Het bekijkt de beschadigde afbeelding en vraagt: "Wat is hier precies aan de hand? Is het zware regen of slechts een lichte mist? Komt de onscherpte door een voorbijrijdende auto of door een trillende hand?"

In plaats van alleen een categorie te raden (zo zoals "Regen" of "Onscherpte"), maakt deze detective een gedetailleerd, continu verslag (een zogenaamde "degradatie-embedding"). Denk eraan als een arts die niet alleen zegt: "U heeft koorts," maar de exacte temperatuur meet en de specifieke bacterie identificeert. Dit stelt het systeem in staat om de ernst en het type schade met grote precisie te begrijpen.

2. Het "Slimme Brein" (De Degradatie-bewuste Prompt State Space Model)

Zodra de detective het verslag heeft gemaakt, overhandigt deze het aan het "Slimme Brein" (de kern van het systeem).

De Oude Manier: Stel je een fabrieksmachine voor met vaste tandwielen. Als je er een onscherpe foto in voert, probeert de machine deze te verscherpen met dezelfde tandwielen die hij ook gebruikt voor een korrelige foto. Het is rigide en heeft vaak moeite om beide tegelijkertijd goed te doen.
De Nieuwe Manier (DPMambaIR): Dit systeem is als een shapeshifting machine (een machine die van vorm kan veranderen). Wanneer het het verslag van de detective ontvangt, herconfigureert het onmiddellijk zijn eigen interne tandwielen en instellingen om bij het specifieke probleem te passen.
- Als de foto ruisig is, zet het de instellingen strakker om de korrel glad te strijken (zoals een laagdoorlaatfilter).
- Als de foto te donker is, zet het de instellingen losser om zwakke signalen te versterken en het licht naar voren te brengen.
- Als de foto onscherp is, past het zich aan om de focus op de randen te leggen.

Deze "herconfiguratie" vindt dynamisch plaats voor elk deel van de afbeelding, waardoor het systeem zijn fysica kan aanpassen aan de specifieke schade die het ziet.

3. De "Detail Polisher" (High-Frequency Enhancement Block)

Soms, wanneer een machine probeert om veel verschillende dingen tegelijk te repareren, wordt hij een beetje lui met de kleine details (zoals de textuur van stof of de scherpte van een oog). Hij focust op het grote plaatje, maar mist de fijne lijnen.

Om dit op te lossen, hebben de auteurs een kleine, lichtgewicht "Detail Polisher" toegevoegd. Denk hierbij aan een laatste touch-up artiest die specif

Technische Samenvatting: DPMambaIR

Probleemdefinitie

All-in-One beeldrestauratie streeft naar het herstellen van hoogwaardige beelden uit diverse gedegradeerde inputs met behulp van één enkel verenigd model, waarmee de praktische beperkingen worden aangepakt van het ontwerpen van specifieke modellen voor elk specifiek type degradatie (bijv. ruis, onscherpte, regen, zwak licht). Bestaande benaderingen vallen over het algemeen uiteen in twee categorieën: Mixture-of-Experts (MoE) en prompt-gebaseerde methoden. Deze kampen echter met aanzienlijke nadelen:

MoE-gebaseerde methoden brengen vaak hoge computationele kosten met zich mee en missen een expliciete fysieke modellering van degradaties, wat de aanpasbaarheid aan onvoorziene scenario's beperkt.
Prompt-gebaseerde methoden vertrouwen doorgaans op grofmazige, statische priors (discrete klassenlabels of vaste semantische tokens) die er niet in slagen de continue aard en ruimtelijke variabiliteit van realistische degradaties te vatten. Bovendien maken ze vaak gebruik van een additief fusieparadigma waarbij degradatiekenmerken slechts aan visuele kenmerken worden toegevoegd, waardoor de onderliggende netwerkarchitectuur wordt beheerst door vaste parameters die niet dynamisch kunnen aanpassen aan heterogene restauratie-eisen.

Daarnaast induceert de gezamenlijke optimalisatie van heterogene degradaties vaak een impliciete bias naar laagfrequente structuren, wat het herstel van fijne hoogfrequente details bemoeilijkt.

Methodologie

De auteurs stellen DPMambaIR voor, een nieuw All-in-One framework dat verschuift van conventionele featurefusie naar expliciete dynamische parametermodulatie. De architectuur is gebouwd op een Mamba-gebaseerd U-vormig netwerk met een asymmetrisch encoder-decoder ontwerp en bestaat uit drie kerncomponenten:

1. Degradatie-extractor

Om fijnmazige, continue degradatiekenmerken te vangen, ontwerpen de auteurs een vooraf getrainde degradatie-extractor.

Mechanisme: In plaats van te vertrouwen op discrete labels, gebruikt de extractor een reconstructie-gebaseerd doel om continue degradatie-embeddings te regresseren. Het maakt gebruik van Central Difference Convolution (CDC) om gradiëntgebaseerde aanwijzingen (randen, texturen) te identificeren en multi-scale takken om degradaties over verschillende frequentiebanden waar te nemen.
Training: De extractor wordt vooraf getraind via een zelfgesuperviseerde reconstructie-taak waarbij het een gedegradeerd beeld naar een laagdimensionale embedding ( $E_d$ ) mapt. Een decoder probeert vervolgens het gedegradeerde beeld te reconstrueren met behulp van $E_d$ en een content-embedding afgeleid van de schone grondwaarheid (ground truth). Dit zorgt ervoor dat $E_d$ zuivere degradatie-informatie vastlegt die onafhankelijk is van de beeldinhoud.
Her-parametrisatie: Tijdens de inferentie voegt een her-parametrisatietechniek de multi-branch structuur samen tot een compacte representatie om een balans te vinden tussen nauwkeurigheid en efficiëntie.

2. Degradatie-bewuste Prompt State Space Model (DP-SSM)

De kerninnovatie is de DP-SSM, die de geëxtraheerde degradatie-embeddings direct integreert in de State Space Model (SSM) dynamiek.

Dynamische Modulatie: In tegenstelling tot standaard SSM's waar parameters vast of input-afhankelijk zijn, gebruikt DP-SSM de degradatie-embedding om de discretisatiestap ( $\Delta$ $Δ$ ), de inputmatrix ( $B$ $B$ ) en de outputmatrix ( $C$ $C$ ) dynamisch te moduleren.
- $\Delta$ Modulatie: Het model leert kleinere $\Delta$ -waarden toe te wijzen voor hoogfrequente degradaties (bijv. ruis), wat een hoog-inertie toestand creëert die fungeert als een laagdoorlaatfilter om ruis te onderdrukken. Omgekeerd worden grotere $\Delta$ -waarden gegenereerd voor laagfrequente/structurele degradaties (bijv. onscherpte, zwak licht), waardoor een hoog-gain regime wordt ingegaan om zwakke signalen te versterken.
- $B$ en $C$ Modulatie: $B$ controleert hoe sterk externe observaties de toestandsveranderingen aansturen, terwijl $C$ globale degradatie-priors injecteert in de feature readout.
Efficiëntie: Deze aanpak vermijdt de hoge computationele kosten van multidirectionele scanning (gebruikt om de causale beperkingen in standaard SSM's te mitigeren) door in plaats daarvan de gemoduleerde $C$ -matrix te gebruiken om globale context te injecteren, waardoor lineaire complexiteit behouden blijft.

3. High-Frequency Enhancement Block (HEB)

Om de inherent aan gezamenlijke optimalisatie verbonden laagfrequente bias tegen te gaan, is een lichtgewicht HEB geïntroduceerd.

Functie: Het extraheert expliciet hoogfrequente componenten door globaal gemiddelde laagfrequente kenmerken van de inputkenmerken af te trekken en ze weer toe te voegen. Dit complementeert de dynamische modulatie van de DP-SSM om het herstel van lokale texturen en randen te waarborgen.

Belangrijkste Bijdragen

Fijnmazige Degradatie-extractor: Een op regressie gebaseerde module die continue, fijnmazige degradatiekenmerken (type en ernst) vastlegt in plaats van te vertrouwen op discrete klassenlabels.
Degradatie-bewuste Prompt State Space Model (DP-SSM): Een nieuw mechanisme dat SSM-parameters ( $\Delta, B, C$ ) dynamisch moduleert op basis van degradatie-priors. Dit stelt het model in staat om zijn evolutiedynamiek (bijv. schakelen tussen laagdoorlaatfiltering en signaalversterking) fysiek aan te passen aan specifieke degradatiekenmerken.
High-Frequency Enhancement Block (HEB): Een complementaire module die is ontworpen om de laagfrequente bias in multi-task learning te verlichten, wat het herstel van fijne details garandeert.
State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat DPMambaIR superieure prestaties levert over zeven degradatietypes in zowel All-in-One als degradatie-specifieke settings.

Experimentele Resultaten

De methode werd geëvalueerd op een gemengde dataset met zeven degradatietypes (mist, regen, sneeuw, zwak licht, onscherpte, ruis, JPEG) en specifieke benchmarks voor individuele taken.

All-in-One Prestaties: Op de gemengde dataset behaalde DPMambaIR een PSNR van 27,69 dB en een SSIM van 0,893, waarmee het bestaande All-in-One methoden zoals AdaIR (27,26 dB) en OneRestore (26,64 dB) overtrof. Het behaalde de beste prestaties over alle zeven sub-taken en balanceerde de conflicten tussen multi-taken effectief.
Degradatie-specifieke Prestaties: Het model behaalde ook competitieve of superieure resultaten op specifieke taken vergeleken met toegewijde SOTA-methoden:
- Deraining (Regenverwijdering): 32,30 dB PSNR (overtreft AdaIR met 0,84 dB).
- Low-Light Enhancement (Versterking bij zwak licht): 24,20 dB PSNR.
- Deblurring (Ontscherping): 31,42 dB PSNR.
- Dehazing (Mistverwijdering): 30,89 dB PSNR.
Efficiëntie: DPMambaIR behoudt een vergelijkbare computationele overhead (Params: 29,35M, GFLOPs: 153,33) als andere SOTA-methoden, terwijl het aanzienlijk hogere prestaties levert.
Generalisatie (OOD): Het model toonde een robuuste generalisatie op onvoorziene degradatietypes (regendruppels en pixelatie) zonder fine-tuning, waarbij het top-prestaties leverde. Het handelde succesvol complexe degradaties (bijv. pixelatie + zwak licht) waar andere methoden faalden.
Beperkingen: De auteurs merken een foutgrens op bij zware, ondoorzichtige regendruppels die de achtergrond volledig blokkeren, wat zij toeschrijven aan de noodzaak voor generatieve hallucinatie (inpainting) in plaats van restauratiekenmerken.

Betekenis

Het artikel beweert dat DPMambaIR een significante vooruitgang vormt voor All-in-One beeldrestauratie door verder te gaan dan statische, additieve fusieparadigma's. Door een degradatie-bewust promptmechanisme te introduceren dat de State Space Model dynamisch her-parametriseert, bereikt het framework een fysieke aanpasbaarheid aan diverse degradatiedynamieken die voorheen onbereikbaar was. Het werk onderstreept het belang van fijnmazige degradatiemodellering en dynamische featuremodulatie bij het creëren van verenigde, robuuste en efficiënte restauratieoplossingen. De resultaten valideren dat het expliciet modelleren van degradatiekenmerken en het integreren daarvan in de kern van de systeemdynamiek de inherente conflicten in multi-task leren kan oplossen, wat een veelbelovende richting biedt voor toekomstige verenigde beeldrestauratie-frameworks.