💻 computer science

TDiR: Transformer based Diffusion for Image Restoration Tasks

Dit artikel introduceert TDiR, een op transformers gebaseerd diffusiemodel dat 18 state-of-the-art technieken verslaat op vijf benchmarks voor onderwaterverbetering, ruisonderdrukking en regenverwijdering, waardoor de gedegradeerde beeldkwaliteit effectief wordt hersteld voor downstream-taken.

Oorspronkelijke auteurs: Abbas Anwar, Ibrahim Radwan, Ali Arshad Nasir, Mudassir Masood, Saeed Anwar

Gepubliceerd 2026-07-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Abbas Anwar, Ibrahim Radwan, Ali Arshad Nasir, Mudassir Masood, Saeed Anwar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert naar een prachtig schilderij te kijken, maar iemand heeft er mist overheen gespoten, er modder op gespat of er een dikke laag regen overheen gelegd. In de wereld van computers wordt dit "beelddegradatie" genoemd. Wanneer een camera een foto maakt in een donkere grot, onder water of tijdens een storm, is de resulterende afbeelding vaak wazig, ruisachtig of heeft deze de verkeerde kleur. Dit is niet alleen een irritatie voor fotografen; het is een enorm probleem voor robots, zelfrijdende auto's en artsen die helder moeten kunnen zien om beslissingen te nemen. Jarenlang hebben computers geprobeerd deze beelden te herstellen met behulp van "discriminatieve" modellen. Denk aan deze als een strenge kunstleraar die naar een modderig schilderij kijkt en probeert te raden wat de oorspronkelijke kunst precies moest zijn, waarbij hij één enkel, rigide pad naar het antwoord volgt. Maar de rommeligheid van de echte wereld is zelden zo simpel. Soms kan een wazige plek op veel verschillende manieren worden hersteld, en een enkele rigide gok slaat vaak de plank mis.

Maak kennis met een nieuwere, meer creatieve aanpak genaamd "diffusiemodellen". Als de oude methode een strenge leraar is, dan is een diffusiemodel een beeldhouwer die met klei werkt. In plaats van direct de uiteindelijke vorm te raden, begint de beeldhouwer met een klomp willekeurige ruis (zoals een chaotische hoop kleistof) en beitelt stap voor stap de ruis weg om de verborgen afbeelding eronder te onthullen. Dit artikel introduceert een nieuw hulpmiddel genaamd TDiR (Transformer-based Diffusion for Image Restoration). Het combineert de stap-voor-stap "beeldhouwkracht" van diffusiemodellen met een "Transformer"-architectuur—een type computereenheid dat erg goed is in het begrijpen van hoe verschillende delen van een afbeelding met elkaar samenhangen, vergelijkbaar met hoe wij een zin begrijpen door te kijken naar hoe woorden met elkaar verbonden zijn. De auteurs wilden zien of deze combinatie drie zeer rommelige soorten foto's kon herstellen: onderwateropnames (die vaak groen en heiig zijn), foto's bedekt met regen, en foto's vol statische ruis.

De onderzoekers bouwden TDiR door een bestaand slim netwerk genaamd PromptIR een "noise-conditioned" upgrade te geven. Ze voegden een speciaal decoderpad toe dat de computer vertelt: "Hé, we zijn op deze specifieke stap van het schoonmaakproces, en het ruisniveau is dit hoog." Dit stelt het model in staat om zijn strategie aan te passen terwijl het werkt. Ze testten dit nieuwe systeem op vijf verschillende standaard benchmarks en vergeleken het met 18 andere topmodellen. De resultaten waren indrukwekkend. In de categorie onderwater bereikte TDiR een score van 22,90 dB in PSNR (een maatstaf voor hoe dicht de herstelde afbeelding bij het origineel ligt) en 0,8724 in SSIM (een maatstaf voor structurele gelijkenis), waarmee het dichtstbijzijnde concurrent, MetaUE, overtrof met 0,89 dB en 0,011 SSIM-punten. Voor het verwijderen van regen behaalde het 37,43 dB op de Rain100L-dataset, waarmee het een model dat specifiek voor die taak werd hertraind (PromptIR*) met 0,40 dB versloeg.

De paper is echter voorzichtig om dit niet als een perfect opgelost probleem te bestempelen. De auteurs ontdekten dat hoewel TDiR een "generalist" is die zowel ruis, regen als onderwaterproblemen tegelijkertijd kan afhandelen, het niet altijd wint van "specialistische" modellen die slechts één taak uitvoeren. In feite presteerde een model dat uitsluitend op die specifieke taak was getraind, nog steeds beter bij het verwijderen van ruis bij lagere ruisniveaus. Ze merkten ook een specifiek kenmerk op: omdat het model afbeeldingen verwerkt in kleine segmenten (zoals een mozaïek), ontstaan er soms subtiele "blokvormige" artefacten aan de randen waar de segmenten samenkomen, wat de technische scores licht kan verlagen, zelfs als de afbeelding er goed uitziet voor het menselijk oog. Bovendien is het proces trager en rekentechnisch duurder dan oudere methoden omdat het vele stappen moet doorlopen om de afbeelding weer tot leven te "beeldhouwen".

Uiteindelijk suggereert de studie dat het combineren van diffusiemodellen met transformers een krachtige manier is om gedegradeerde afbeeldingen te herstellen, waarbij vaak resultaten worden behaald die er natuurlijker uitzien en complexe, gelaagde rommel beter kunnen afhandelen dan oudere methoden. Het suggereert dat voor taken zoals onderwaterverkenning of autonoom rijden, waarbij het "juiste" antwoord niet altijd duidelijk is, deze flexibele, stap-voor-stap aanpak een aanzienlijke verbetering biedt in visuele kwaliteit, zelfs als dit gepaard gaat met hogere rekenkosten en een paar kleine technische compromissen.

Technische Samenvatting: TDiR (Transformer-gebaseerde Diffusie voor Beeldreconstructie)

Probleemstelling

Beeldreconstructie is een cruciale uitdaging in computer vision, gericht op het herstellen van schone, originele beelden uit gedegradeerde versies die worden beïnvloed door ruis, onscherpte, kleurzweven en lichtverstrooiing. Deze degradaties verminderen de bruikbaarheid van beelden voor downstream-taken zoals objectdetectie, cartografie en classificatie aanzienlijk. Hoewel niet-generatieve methoden succes hebben laten zien bij high-level vision-taken, worstelen ze vaak met de complexe, multimodale distributies die voorkomen bij low-level vision-taken zoals onderwaterreconstructie, ruisonderdrukking en deraining (het verwijderen van regen). Met name onderwaterbeelden presenteren unieke uitdagingen vanwege lichtverstrooiing, absorptie en kleurverschuivingen die variëren met de omgevingscondities, wat vaak modellen vereist die in staat zijn om door meerdere potentiële degradatiestaten te navigeren in plaats van slechts één gedegradeerde input naar één schone output te mappen.

Methodologie

Het artikel stelt TDiR voor, een transformer-gebaseerd conditioneel diffusiemodel dat is ontworpen om meerdere beeldreconstructietaken binnen een verenigd framework aan te pakken.

Architectuur: De kern van TDiR is een Transformer-gebaseerde U-Net architectuur, aangepast van de PromptIR backbone. PromptIR maakt gebruik van prompt-modules om zich aan te passen aan variërende niveaus van degradatie zonder dat hiervoor afzonderlijke modellen voor elke taak nodig zijn.
Diffusieproces: Het model werkt binnen een diffusiekader bestaande uit een forward diffusieproces (het progressief toevoegen van Gaussische ruis) en een backward denoising-fase.
- Forward Proces: Gaussische ruis wordt toegevoegd aan het invoerbeeld $y_0$ over $T$ iteraties totdat het lijkt op pure ruis.
- Backward Proces: Een denoising-netwerk leert dit proces om te keren, waarbij het van de Gaussische distributie terug beweegt naar de empirische distributie van de dataset.
Belangrijke Architecturale Modificatie: De auteurs introduceren een lichtgewicht modificatie waarbij een toegewezen decoder-pad de gedegradeerde input concateneert met een embedding van de diffusie-tijdstap. Dit stelt het netwerk in staat om zijn reconstructieproces te conditioneren op basis van het specifieke ruisniveau dat tijdens de forward pass is geïntroduceerd.
Trainingsstrategie: Om de data-hongerige aard van transformers aan te pakken, maken de auteurs gebruik van een vooraf getrainde encoder (bevroren) als backbone. Alleen de decoderparameters worden geoptimaliseerd tijdens de training. Het model wordt getraind op een gecombineerde dataset die drie taken beslaat: onderwaterverbetering, ruisonderdrukking en deraining. De objectieffunctie minimaliseert de $L_1$ -loss tussen de voorspelde ruis en de werkelijke ruis die aan het beeld is toegevoegd.
Inference: Het reconstructieproces omvat een iteratieve denoising-procedure, wat meerdere forward passes per beeld vereist.

Belangrijkste Bijdragen

Verenigd Conditioneel Diffusiemodel: De voorstel van TDiR, dat een vooraf getrainde PromptIR-backbone omzet in een ruis-geconditioneerde denoiser, wat toepassing mogelijk maakt over diverse reconstructietaken (onderwater, ruisonderdrukking, deraining) zonder taakspecifieke modelwisseling.
Lichtgewicht Tijdstap-conditionering: De introductie van een decoder-pad dat de gedegradeerde input concateneert met diffusie-tijdstap-embeddings, waardoor het model zijn reconstructiestrategie dynamisch kan aanpassen op basis van het ruisniveau.
Uitgebreide Evaluatie: Een rigoureuze beoordeling van TDiR over drie verschillende taken met behulp van vijf benchmark-datasets (UIEB, Test-60, BSD68, Rain100L, etc.) en vier evaluatiemetrieken (PSNR, SSIM, UCIQE, UIQM). De studie vergelijkt TDiR met 18 state-of-the-art technieken.
Kwalitatieve Analyse: Een onderzoek naar het diffusie-gebaseerde reconstructieproces vergeleken met puur discriminatieve netwerken, waarbij de voordelen bij het afhandelen van multimodale degradaties worden benadrukt, terwijl ook beperkingen zoals residuele patch-gebaseerde artefacten worden erkend.

Experimentele Resultaten

Het artikel rapporteert dat TDiR de huidige state-of-the-art methoden overtreft in de geëvalueerde taken:

Onderwater Beeldverbetering: Op de UIEB-dataset behaalde TDiR de hoogste full-reference scores met 22.90 dB PSNR en 0.8724 SSIM, waarmee het de dichtstbijzijnde concurrent (MetaUE) versloeg met respectievelijk 0.89 dB en 0.011 SSIM. Op de no-reference Test-60 subset behaalde het een UIQM-score van 2.73, waarmee het andere methoden significant overtrof. Kwalitatieve resultaten tonen een superieure kleurgetrouwheid en onderdrukking van groene kleurzweven vergeleken met PromptIR en andere baselines.
Beeldruisonderdrukking (Denoising): Op de BSD68-dataset presteerde TDiR beter dan alle benchmark-methoden (inclusief gespecialiseerde single-task modellen) over ruisniveaus van $\sigma=15, 25, 50$ . Opvallend genoeg, bij $\sigma=50$ , overtrof TDiR het gespecialiseerde PromptIR-model. Hoewel de SSIM licht daalde bij hoge ruisniveaus door patch-artefacten, produceerde het model visueel schonere resultaten met minder zichtbare korrelige artefacten in uniforme gebieden.
Beeldderaining (Regenverwijdering): Op de Rain100L-dataset bereikte TDiR een PSNR van 37.43, waarmee het de opnieuw getrainde PromptIR*-baseline met 0.40 dB versloeg en andere methoden zoals AirNet en MPRNet aanzienlijk overtrof. Kwalitatieve analyse bevestigde de volledige verwijdering van regestrepen in uniforme gebieden (lucht, zand) en een betere preservatie van fijne texturen vergeleken met concurrenten.

Betekenis en Claims

Het artikel claimt dat de combinatie van diffusiemodellen en transformers een robuuste oplossing biedt voor beeldreconstructie, met name in scenario's met complexe, multimodale degradaties. De auteurs benadrukken dat diffusiemodellen uitblinken in het navigeren door de diverse distributies van gedegradeerde beelden, wat een meer genuanceerde reconstructie mogelijk maakt die de realiteit weerspiegelt, wat bijzonder gunstig is voor onderwaterbeelden waar licht en helderheid sterk variëren.

Het artikel behoudt echter een bescheiden toon met betrekking tot de beperkingen. Er wordt erkend dat:

Computationele Kosten: Het iteratieve karakter van diffusie maakt TDiR aanzienlijk duurder in de inference dan single-pass discriminatieve modellen, wat real-time toepassingen kan beperken.
Artefacten: De patch-gewijze verwerking van de transformer-gebaseerde denoiser kan leiden tot blokvormige artefacten bij de randen van de patches (stitch boundaries), wat de PSNR/SSIM-scores marginaal kan verlagen ten opzichte van de perceptuele kwaliteit.
Generalisatie-afwegingen: Hoewel het verenigde model veelzijdig is, presteert het consequent minder goed dan gespecialiseerde single-task modellen in specifieke scenario's (bijv. onderwaterscènes met lage diepte en vlakke achtergronden), wat wijst op een afweging tussen veelzijdigheid en piekprecisie.
Diepte-afhankelijkheid: Het model vertrouwt op diepte-gerelateerde aanwijzingen voor effectieve onderwaterreconstructie, die in bepaalde uitdagende scènes afwezig kunnen zijn.

De auteurs concluderen dat hoewel TDiR significante verbeteringen in beeldkwaliteit laat zien over meerdere taken, toekomstig werk deze beperkingen zou kunnen aanpakken via technieken zoals overlapping-patch inference, distillatie naar minder diffusiestappen, of taak-geconditioneerde fine-tuning.