SLER-IR: Spherical Layer-wise Expert Routing for All-in-One Image Restoration

Het paper introduceert SLER-IR, een revolutionair beeldherstelframework dat dynamische expert-routing op een hypersfeer en een nieuwe module voor het samenvoegen van globale en lokale details combineert om superieure prestaties te behalen bij het herstellen van beelden met diverse en niet-uniforme degradaties.

De kern

Stel je voor dat je een foto hebt die beschadigd is. Misschien is hij wazig, heeft hij regenstrepen, is hij te donker, of zit er veel ruis op. Normaal gesproken heb je voor elk van deze problemen een heel specifieke "reparatie-apparatuur" nodig. Een apparaatje voor regen, een ander voor wazigheid, en weer een ander voor donkere foto's. Als je een foto hebt die allemaal tegelijk heeft (regen én wazig én donker), dan moet je die apparaten één voor één gebruiken, wat veel tijd kost en vaak niet perfect werkt.

De onderzoekers van dit papier hebben een slimme oplossing bedacht: SLER-IR. Laten we uitleggen hoe dit werkt met een paar alledaagse vergelijkingen.

1. Het Probleem: De "Alles-in-één" Kookpot

Vroeger probeerden slimme computersystemen om één grote "kookpot" te maken die alles kon. Ze probeerden één recept te vinden dat zowel regen als wazigheid weghaalde. Het probleem? De smaken (of in dit geval, de beelddetails) botsten met elkaar. Als je probeert de regen weg te halen, maak je de foto soms weer te wazig. Het is alsof je probeert om een taart en een soep in dezelfde pan te koken; het wordt een rommeltje.

2. De Oplossing: Een Super-Specialisten Team

SLER-IR werkt niet met één grote pot, maar met een team van specialisten.
Stel je een groot ziekenhuis voor. In plaats van dat één dokter probeert alles te genezen, heb je een team:

• Dokter Regen (voor regenstrepen).
• Dokter Wazigheid (voor onscherpe foto's).
• Dokter Donker (voor slecht licht).

Maar hier is de slimme truc: Ze werken niet allemaal tegelijk.

3. De "Sferische Route" (Het Slimme Verkeerslicht)

In het verleden was het zo dat de computer soms de verkeerde dokter koos. Misschien stuurde hij een regenfoto naar de wazigheids-dokter, omdat de computer de "afstand" tussen de problemen verkeerd begreep.

SLER-IR introduceert een Sferische Route (Spherical Layer-wise Expert Routing).

• De Vergelijking: Stel je voor dat alle soorten schade (regen, wazigheid, etc.) als punten op een grote, perfecte kogel liggen.
• Hoe het werkt: De computer kijkt naar je beschadigde foto en vraagt zich af: "Op welke plek van deze kogel ligt dit probleem?" Omdat alles op een kogel ligt, is de afstand tussen de punten eerlijk en logisch. Er is geen "kromme lijn" die de computer in de war brengt.
• De Route: De computer stuurt de foto dan niet naar één dokter, maar laat hem door een labyrint van dokters gaan.
  • In de eerste laag van het proces kiest hij Dokter A.
  • In de tweede laag kiest hij Dokter B.
  • In de derde laag kiest hij Dokter C.

Dit is als een keuzespelletje waarbij je bij elke stap een andere weg kunt nemen. Omdat er zoveel mogelijke routes zijn, kan het systeem een unieke combinatie van dokters vinden voor elke specifieke foto. Een foto met regen en wazigheid krijgt een andere route dan een foto die alleen donker is.

4. De "Globaal-Lokaal" Bril

Soms is een foto niet overal even slecht. Misschien is de linkerhoek wazig door regen, maar is de rechterkant gewoon donker.

• Het oude probleem: De computer keek vaak alleen naar het hele plaatje (globaal) en vergeten de kleine details (lokaal).
• De SLER-IR oplossing: Ze hebben een GLGF-module (Global-Local Granularity Fusion) toegevoegd.
  • Globaal: De computer kijkt naar de "sfeer" van de hele foto (zoals een detective die de hele crime scene bekijkt).
  • Lokaal: De computer kijkt ook naar kleine stukjes (zoals een forensisch expert die een specifieke vlek bekijkt).
  • De Fusie: Ze combineren deze twee inzichten. Zo weet de computer precies waar hij moet repareren en hoe hij dat moet doen, zonder dat hij de rest van de foto verpest.

5. Het Resultaat: Een Perfecte Restauratie

Door dit slimme systeem van dynamische routes en specifieke specialisten die samenwerken, kan SLER-IR:

• Regen, wazigheid, ruis en donkere foto's tegelijk aanpakken.
• Zonder dat de computer trager wordt (het kiest alleen de nodige dokters).
• Resultaten geven die scherper, helderder en natuurlijker zijn dan alle vorige methoden.

Kort samengevat:
SLER-IR is als een super-slimme reparatiewinkel waar je niet één grote machine hebt, maar een team van experts die in een slimme, ronde ruimte werken. Ze kijken precies naar wat er mis is, kiezen de perfecte route door hun team, en gebruiken zowel een verrekijker (voor het grote plaatje) als een loep (voor de kleine details) om je foto weer als nieuw te maken. En het beste van alles? Ze doen dit allemaal in één keer, zonder dat je hoeft te wachten.

Technische samenvatting

Probleemstelling

Image restoration (beeldherstel) is traditioneel opgedeeld in taakspecifieke modellen (bijv. apart voor ruisverwijdering, regenverwijdering of ontroering). Hoewel deze modellen goed presteren binnen hun domein, missen ze flexibiliteit voor complexe of onbekende degradaties in de echte wereld. Bestaande "All-in-One" frameworks proberen dit op te lossen, maar kampen met twee belangrijke beperkingen:

1. Feature Interferentie: Methoden die gebruikmaken van feature-modulatie (zoals prompts) delen een gemeenschappelijke backbone, wat leidt tot conflicterende doelen (bijv. ruis onderdrukken versus hoge frequenties behouden).
2. Onvoldoende Specialisatie en Routing: Methoden die gebruikmaken van Mixture-of-Experts (MoE) beperken experts vaak tot lokale modules. Bestaande routing-mechanismen lijden onder geometrische bias in lineaire embedding-ruimtes, wat leidt tot suboptimale expert-selectie. Daarnaast negeren veel methoden lokale, niet-continue degradaties (zoals regenslierten) en het verschil in granulariteit tussen training (patches) en inferentie (volledige beelden).

Methodologie: SLER-IR

De auteurs stellen SLER-IR voor, een unificerend framework dat drie kerncomponenten combineert om robuust beeldherstel te bereiken:

1. Sferische Laag-voor-Lag Expert Routing (SLER)

In plaats van een statische netwerkstructuur, transformeert SLER-IR de encoder-decoder door elke backbone-laag uit te breiden met meerdere parameter-onafhankelijke experts (in dit geval 3 kandidaten per laag).

• Compositional Inference: Het netwerk activeert dynamisch een specifiek expert-pad per laag op basis van de degradatie-eigenschappen van de invoer. Omdat routing onafhankelijk wordt gemaakt over 8 lagen, kan het model tot $3^8 = 6561$ unieke inferentie-paden samenstellen. Dit zorgt voor exponentiële diversiteit zonder de inferentie-overhead te verhogen.
• Twee-staps Training:
  • Fase 1 (Probabilistisch): Alle experts ontvangen gradients via een zachte selectie om stabiele degradatie-representaties te leren.
  • Fase 2 (Deterministisch): De router wordt bevroren en de expert met de hoogste waarschijnlijkheid wordt strikt geselecteerd voor fijne afstemming.

2. Sferische Uniforme Degradatie Embedding met Contrast Learning

Om betrouwbare routing te garanderen, introduceert het paper een nieuwe manier om degradaties te representeren.

• Het Probleem: Lineaire embedding-ruimtes vertonen vaak "class-distance bias", waarbij de geometrische afstand tussen degradaties kunstmatig wordt vervormd, wat leidt tot verkeerde expert-selectie.
• De Oplossing: Degradatie-embeddings worden gemapt op een unit hypersfeer via L2-normalisatie. Routing gebeurt vervolgens op basis van cosinus-similariteit.
• Contrast Learning: Een triplet-gedreven contrastieve loss wordt gebruikt om de hoekafstanden tussen verschillende degradaties te maximaliseren en binnen dezelfde klasse te minimaliseren. Dit creëert een geometrisch gebalanceerde ruimte die robuust is voor routing.

3. Global–Local Granularity Fusion (GLGF)

Deze module lost het probleem op van niet-uniforme degradaties (bijv. regen alleen in een deel van het beeld) en het granulariteitsverschil tussen trainingspatches en volledige inferentie.

• GLMC (Global–Local Map Construction): Het genereert twee kaarten: een Content Semantic Patch (CSP) map (gebaseerd op globale CLS tokens) en een Degradation Severity Patch (DSP) map (gebaseerd op lokale degradatie-extractie).
• CGDF (Content-Guided Degradation Fusion): Deze twee kaarten worden gefuseerd via cross-attention om een "restoration prior" te creëren. Deze prior wordt geïnjecteerd in de backbone om de herstelprocessen lokaal aan te passen aan de specifieke degradatie in dat gebied.

Belangrijkste Bijdragen

1. SLER-IR Framework: Een unificerend model dat compositional inference mogelijk maakt via sferische, laag-voor-laag expert-routing, waardoor progressieve specialisatie voor complexe degradaties wordt bereikt.
2. Sferische Embedding: Een nieuwe methode voor degradatie-representatie die geometrische bias elimineert door embeddings op een hypersfeer te projecteren en te optimaliseren met contrast learning, wat leidt tot stabielere routing.
3. GLGF Module: Een mechanisme dat globale semantiek en lokale degradatie-informatie combineert om de kloof tussen patch-based training en full-resolution inferentie te overbruggen, essentieel voor niet-uniforme degradaties.

Resultaten

Het model is getest op drie- en vijf-taken benchmarks (inclusief ruisverwijdering, regenverwijdering, ontroering, ontwaarding en lage-licht verbetering).

• Kwantitatieve Prestaties: SLER-IR overtreft state-of-the-art methoden (zoals AirNet, PromptIR, MoCE-IR en Restormer) consistent in zowel PSNR als SSIM.
  • Bij de drie-taken setup (ontwaarding, regen, ruis) behaalde het een gemiddelde van 33.14 dB PSNR (een verbetering van +0.41 dB t.o.v. de beste concurrent).
  • Bij de vijf-taken setup (inclusief ontroering en lage-licht) behaalde het een gemiddelde van 31.73 dB PSNR, met aanzienlijke verbeteringen op specifieke datasets (bijv. +2.59 dB op SOTS voor ontwaarding).
• Kwalitatieve Prestaties: Visuele vergelijkingen tonen aan dat SLER-IR beter in staat is om details te behouden, natuurlijke verlichting te herstellen en artefacten (zoals regenstrepen of nevel) grondiger te verwijderen dan bestaande methoden.

Significantie

SLER-IR vertegenwoordigt een belangrijke stap in de evolutie van "All-in-One" beeldherstel. Door de combinatie van sferische routing (voor betere geometrische consistentie) en compositional inference (voor flexibele paden), lost het fundamentele problemen op rond feature-interferentie en onvoldoende specialisatie. Het bewijst dat het mogelijk is om één enkel model te trainen dat zich dynamisch en effectief aanpast aan een breed scala aan complexe, gecombineerde degradaties zonder extra inferentie-kosten, wat het zeer waardevol maakt voor praktische toepassingen in de echte wereld.