💻 informatica

Response-decomposed residual filtering for joint low-light enhancement and deblurring

Dit artikel stelt een respons-geënteerde residuele filtermodule voor die geïntegreerd is in de dynamische kernel-interfaces van LEDNet om gezamenlijk afbeeldingen met weinig licht te verbeteren en onscherpte te verwijderen, waarbij significante verbeteringen in structurele gelijkenis en perceptuele kwaliteit worden bereikt op een testset, terwijl er een bescheiden toename in parameters en latentie optreedt zonder de PSNR te verhogen.

Oorspronkelijke auteurs: Minhui Kang, Peizhe Long, Depei Cheng, Yiyao Zhang, Jiayun Zheng, Yuxin Zhu

Gepubliceerd 2026-11-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Minhui Kang, Peizhe Long, Depei Cheng, Yiyao Zhang, Jiayun Zheng, Yuxin Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een straatnaambord te lezen in het midden van een mistige nacht. De duisternis maakt de letters moeilijk zichtbaar, maar de mist vervaagt ook hun randen, waardoor de scherpe lijnen veranderen in een zachte, onduidelijke waas. Het herstellen van een dergelijke afbeelding is een dubbele uitdaging voor computers: ze moeten de scène verhelderen om de inhoud te onthullen en tegelijkertijd de randen verscherpen om het detail te herstellen. Dit is het probleem van low-light restauratie, een taak die vereist dat twee tegenstrijdige behoeften in balans worden gebracht. Als een computer simpelweg de helderheid verhoogt, versterkt het vaak de vervaging, waardoor de afbeelding er uitgebleekt en modderig uitziet. Als het probeert de afbeelding te agressief te verscherpen, kan het harde artefacten of ruis introduceren. Het doel is om zowel de zichtbaarheid als het ruimtelijke detail tegelijkertijd te herstellen, een proces dat een delicate, gelokaliseerde aanpassing vereist in plaats van een enkele, algemene oplossing.

In de wereld van digitale beeldverwerking hebben onderzoekers verschillende hulpmiddelen ontwikkeld om dit aan te pakken, maar een specifieke benadering genaamd LEDNet heeft veelbelovend gebleken door een flexibele, adaptieve methode te gebruiken om afbeeldingen te verwerken. In plaats van hetzelfde filter op de hele foto toe te passen, voorspelt LEDNet unieke, kleine filters voor elk minuscuul deel van de afbeelding, waardoor het anders kan reageren op schaduwen, lichten en texturen. De onderzoekers achter deze nieuwe studie stelden echter een specifieke vraag: konden ze een correctielaag aan dit bestaande systeem toevoegen om het nog beter te maken, zonder het zorgvuldige werk dat het oorspronkelijke systeem al had geleerd te verstoren? Ze wilden weten of ze de computer konden leren om een meer precieze, tweeledige aanpassing aan zijn eigen filters te maken, waarbij de uiteindelijke afbeelding wordt verbeterd terwijl de oorspronkelijke motor soepel blijft draaien.

Het team, onder leiding van onderzoekers van de Jiangxi Electric Vocational and Technical College en Shandong Agricultural University, stelde een methode voor die ze response-decomposed residual filtering noemen. Om te begrijpen wat dit betekent, stel je het filter van de computer voor als een hulpmiddel dat de afbeelding aanpast. De onderzoekers realiseerden zich dat dit hulpmiddel twee hoofdbetekenissen heeft: het kan de algehele helderheid van een klein gebied verschuiven, en het kan het contrast of de vorm van de details binnen dat gebied veranderen. In hun nieuwe ontwerp hebben ze deze twee gedragingen uit elkaar gehaald. Ze voegden een specifiek pad toe waarmee de computer expliciet kan beslissen hoeveel de helderheid moet verschuiven, en een apart pad dat beslist hoe de details moeten worden gevormd. Cruciaal is dat het deel dat de details vormgeeft, beperkt is tot slechts vier geleerde patronen die optellen tot nul, wat betekent dat ze de vorm veranderen zonder per ongeluk het hele deel lichter of donkerder te maken. Deze scheiding zorgt ervoor dat de computer de behoefte aan meer licht niet verwart met de behoefte aan scherpere randen.

Om dit werkend te krijgen, gebruikt het systeem twee verschillende soorten informatie om deze beslissingen te sturen. Voor de verschuiving in helderheid kijkt het alleen naar de interne kenmerken die de computer al uit de donkere afbeelding heeft geëxtraheerd. Voor de vormaanpassingen kijkt het naar diezelfde kenmerken, maar brengt het ook de originele, gedegradeerde rode, groene en blauwe kleuren van de afbeelding zelf in. Dit stelt het systeem in staat om de ruwe kleurinformatie te gebruiken om de details fijn af te stemmen, terwijl de helderheidsaanpassing gebaseerd blijft op het diepere begrip van de scène. De onderzoekers bouwden dit nieuwe pad zo dat het met nul effect begon, zodat het systeem zich exact gedroeg als de oorspronkelijke, bewezen versie toen ze begonnen met het trainen van het systeem. Naarmate de training vorderde, leerden de nieuwe paden hoe ze kleine, nuttige correcties konden aanbrengen.

De resultaten van dit experiment werden gemeten tegenover een strikte set van 1.800 testafbeeldingen genomen uit 30 verschillende video's. Toen het nieuwe systeem, dat de auteurs LEDNet-P3 noemen, werd vergeleken met de originele LEDNet, toonde het een duidelijke verbetering in hoe vergelijkbaar de gerestaureerde afbeeldingen waren met de originele scherpe doelen in termen van structuur en menselijke perceptie. Specifiek nam de score voor structurele gelijkenis toe en nam de score voor perceptueel verschil af, wat aangeeft dat de afbeeldingen er natuurlijker uitzagen en de oorspronkelijke lay-out van de scène beter behielden. Deze verbeteringen waren consistent over de overgrote meerderheid van de testvideo's. De onderzoekers merkten echter zorgvuldig op dat dit niet vertaalde naar een meetbare verbetering in de standaard peak signal-to-noise ratio, een veelgebruikte metriek voor beeldkwaliteit die zich richt op pixel-voor-pixel nauwkeurigheid. Sterker nog, het verschil in die specifieke score was zo klein dat het effectief verwaarloosbaar was, wat suggereert dat hoewel de afbeeldingen er beter uitzagen voor het oog, de ruwe pixelgegevens niet significant nauwkeuriger waren.

Er was een prijs voor deze verbetering. Het nieuwe systeem vereiste meer computergeheugen en deed er ongeveer 17,7 procent langer over om elke afbeelding te verwerken dan de originele versie. De onderzoekers vergeleken hun werk ook met een ander publiek systeem genaamd DarkIR-m, dat een andere trainingsmethode en architectuur gebruikt. Dat systeem presteerde nog steeds beter dan hun nieuwe model op alle belangrijke metrieken, wat aangeeft dat hoewel hun specifieke toevoeging het LEDNet-systeem hielp, het het beste mogelijke beschikbare systeem niet maakte. De studie testte ook of de specifieke manier waarop ze de helderheid en de vormtaken splitsten noodzakelijk was. Ze vonden dat het verwijderen van het deel dat de helderheid verschuift of het veranderen van de manier waarop het systeem de kleurinformatie gebruikte, leidde tot slechtere resultaten, wat bevestigde dat hun specifieke ontwerpkeuzes inderdaad nuttig waren.

Uiteindelijk demonstreert dit werk een succesvolle manier om een bestaand beeldrestauratiesysteem te upgraden door een gespecialiseerde, gedecomposeerde correctielaag toe te voegen. De onderzoekers hebben aangetoond dat door de beslissing om de helderheid te veranderen te scheiden van de beslissing om de vorm te veranderen, en door de ruwe kleuren van de afbeelding te gebruiken om de vormaanpassingen te sturen, ze de afbeeldingen structureel superieur konden maken. Hoewel het systeem geen magische oplossing is die elk probleem oplost of alle andere methoden overtreft, biedt het een duidelijk, meetbaar voordeel binnen zijn eigen kader. Het bewijst dat zelfs in een hoog geoptimaliseerd systeem, er nog steeds ruimte is voor een meer doordachte, gedecomposeerde aanpak om te verfijnen hoe een computer de wereld ziet en corrigeert.

Technische Samenvatting: Response-Decomposed Residual Filtering voor Gecombineerde Low-Light Enhancement en Deblurring

Probleemstelling
Gecombineerde low-light enhancement en deblurring vormt een dubbele uitdaging: het verhogen van de beeldintensiteit om scène-inhoud te onthullen en het gelijktijdig reconstrueren van verschoven randen en het herstellen van ruimtelijke details. Standaard enhancement faalt vaak bij het aanpakken van bewegingsonscherpte (motion blur), terwijl deblurring alleen niet in staat is de zichtbaarheid in donkere regio's te herstellen. Bestaande systemen, zoals LEDNet, maken gebruik van native dynamische filterinterfaces om deze gecombineerde taak aan te pakken. De specifieke uitdaging die in dit werk wordt behandeld, is hoe een aanvullend correctiemechanisme kan worden geïntroduceerd dat de herstelkwaliteit verbetert zonder de oorspronkelijke geleerde aggregatiecapaciteiten van de generator te verstoren of een volledige architecturale herziening te vereisen.

Methodologie
De auteurs stellen LEDNet-P3 voor, een model dat een gestructureerde residuele correctie direct integreert in de native dynamische kernel-interfaces van LEDNet. De kerninnovatie is response-decomposed residual filtering, die de toegevoegde correctie organiseert in specifieke functionele componenten terwijl de oorspronkelijke generator behouden blijft.

Architectuur en Integratie:
- Het model behoudt de oorspronkelijke enhancement encoder, pyramid pooling modules (PPM), curve nonlinear units (CurveNLU) en de deblurring decoder van LEDNet.
- De correctie werkt op drie native filteringsschalen (1/8, 1/4 en 1/2 resolutie).
- In plaats van de oorspronkelijke kernelvoorspeller ( $k^0$ ) te vervangen, voegt het model een residueel increment ( $\Delta k$ ) toe zodat de uiteindelijke kernel $k = k^0 + \Delta k$ is.
Response Decompositie:
De residuele increment $\Delta k$ wordt gedecomposeerd in twee afzonderlijke componenten:
- Signed Kernel-Sum Coordinate: Een feature-geconditioneerde tak voorspelt een scalaire increment ( $d$ ) per kanaal. Dit vertegenwoordigt een constante-nabuurschap respons. Het wordt berekend als $\Delta k_{sum} = \frac{d}{25}\mathbf{1}$ , waarbij $\mathbf{1}$ een vector van enen is. Deze component wordt uitsluitend afgeleid van encoder-features.
- Restricted Zero-Sum Shape Expansion: Een tweede tak voorspelt coëfficiënten voor vier geleerde, gedeelde 2D basisvectoren ( $b_r$ ) per kanaal. Deze bases zijn "gecentreerd" (zero-sum) om ervoor te zorgen dat ze alleen reageren op lokale variaties en niet op constante nabuurschappen. De coëfficiënten worden voorspeld met een combinatie van encoder-features en het gedegradeerde RGB-beeld (geprojecteerd naar de feature-resolutie). De shape-term wordt berekend als $v = \sum a_r \tilde{b}_r$ , waarbij $\tilde{b}_r$ de zero-sum bases zijn.
Kernel Synthese:
De uiteindelijke kernel-increment is de som van de constante respons en de shape-respons: $\Delta k = \frac{d}{25}\mathbf{1} + v$ . Dit ontwerp zorgt ervoor dat voor een constante nabuurschap de shape-component verdwijnt, waardoor alleen de sum-coördinaat overblijft, terwijl lokale variaties door de shape-component worden afgehandeld.
Trainingsstrategie:
- Function-Preserving Initialisatie: De gewichten voor de sum-head ( $D_s$ ) en de coefficient-head ( $H_s$ ) worden geïnitialiseerd op nul, en de bases worden geïnitialiseerd met kleine willekeurige ruis. Dit zorgt ervoor dat $\Delta k = 0$ is aan het begin van de training, waardoor de ongewijzigde functie van de backbone behouden blijft.
- Joint Training: De backbone, heads, projecties en bases worden gezamenlijk vanaf nul getraind met de originele LEDNet loss function (L1 + VGG perceptual loss + side-output loss). Er worden geen nieuwe loss-targets geïntroduceerd.

Belangrijkste Bijdragen

Native Interface Correctie: Het paper introduceert een methode om dynamische filteringsnetwerken aan te vullen door een residueel pad toe te voegen direct tijdens de kernel-voorspellingsfase, in plaats van als een post-processing CNN of een extra output skip-verbinding.
Expliciete Response Decompositie: De auteurs scheiden de kernel-correctie expliciet in een "sum" coördinaat (die constante nabuurschap responsen afhandelt) en een "shape" component (die lokale variaties afhandelt via zero-sum bases).
Conditional Routing: Het ontwerp maakt gebruik van een specifieke conditionering waarbij de shape-coëfficiënten zowel encoder-features als het gedegradeerde RGB-beeld gebruiken, terwijl de sum-coördinaat uitsluitend op encoder-features vertrouwt.
Gepaard Evaluatieprotocol: De studie gebruikt een strikt gepaard evaluatieprotocol, waarbij modellen vanaf nul worden getraind voor een vast aantal updates (60.000) op dezelfde data-splits om een eerlijke vergelijking tussen de baseline LEDNet en de voorgestelde LEDNet-P3 te garanderen.

Experimentele Resultaten
Het model werd geëvalueerd op de LOL-Blur dataset met behulp van 1.800 officiële testparen uit 30 video's.

Prestaties t.o.v. de gepaarde LEDNet:
- SSIM: Gestegen met +0.004656 (verbeteringen in 26/30 video's).
- LPIPS: Gedaald met 0.011445 (verbeteringen in 30/30 video's), wat wijst op een betere perceptuele gelijkenis.
- PSNR: Het gemiddelde verschil was -0.045441 dB, wat betekent dat een PSNR-verbetering niet werd vastgesteld. De verbeteringen waren gemengd (gunstig in 16 video's, ongunstig in 14).
Vergelijking met Publieke Systemen:
- Wanneer vergeleken met het publieke DarkIR-m systeem, presteerde LEDNet-P3 slechter op alle metrieken (PSNR: -2.92 dB, SSIM: -0.095, LPIPS: +0.106). De auteurs merken op dat DarkIR-m een ander trainingsprotocol gebruikt, wat directe architecturale attributie beperkt.
Ablatie-studies:
- Het verwijderen van de kernel-sum branch (Shape-only) resulteerde in lagere PSNR, SSIM en LPIPS, wat de noodzaak van de sum branch ondersteunt.
- Het vervangen van de uniforme carrier door een center-tap carrier leidde tot slechtere prestaties over alle metrieken.
- Het gebruik van RGB-conditionering voor shape-coëfficiënten leverde een betere SSIM/LPIPS op dan het gebruik van een feature-summary control.
Computationele Kosten:
- LEDNet-P3 voegt 226.880 parameters toe (totaal ~7,64M vs. 7,41M voor LEDNet).
- De forward latency nam met ongeveer 17,7% toe (352,98 ms vs. 299,88 ms per afbeelding op een RTX 5060).

Betekenis en Claims
Het paper claimt bescheiden dat de voorgestelde methode een begrensde, binnen-LEDNet voordeel vestigt. Specifiek:

Het demonstreert dat response-decomposed residual filtering de structurele gelijkenis (SSIM) en de geleerde perceptuele beeldpatch-gelijkenis (LPIPS) kan verbeteren ten opzichte van de originele LEDNet baseline onder een vast trainingsprotocol.
Het valideert de specifieke ontwerpkeuzes met betrekking tot de scheiding van sum en shape responsen en het gebruik van RGB-conditionering voor shape-coëfficiënten.
De auteurs geven expliciet aan dat de methode geen algemene PSNR-verbetering vaststelt en niet beter presteert dan het sterkere publieke DarkIR-m systeem onder verschillende trainingscondities.
Het werk wordt gepresenteerd als een specifieke bijdrage aan het ontwerp van aanvullende correcties binnen dynamische filterinterfaces, in plaats van een universele oplossing voor low-light restauratie die bestaande state-of-the-art systemen vervangt.

Meer zoals dit