Fourier-RWKV: A Multi-State Perception Network for Efficient Image Dehazing

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je door een dichte mist kijkt. Alles is wazig, de kleuren zijn grijs en de details zijn verdwenen. Dit is wat er gebeurt met camera's in de echte wereld als het mistig is: auto's zien elkaar niet goed, en beveiligingscamera's worden nutteloos.

De auteurs van dit paper hebben een nieuwe manier bedacht om die foto's weer helder te maken. Ze noemen hun uitvinding Fourier-RWKV. Laten we uitleggen hoe dit werkt, zonder ingewikkelde wiskunde, maar met een paar leuke vergelijkingen.

Het Probleem: De "Te Traag" en "Te Stijve" Oplossingen

Vroeger probeerden computers foto's te verbeteren met simpele regels, maar dat werkte niet goed in de echte, chaotische wereld.
Later kwamen er slimme systemen (zoals Transformers) die heel goed waren in het begrijpen van de hele foto tegelijk. Maar ze waren te traag. Het was alsof je een heel groot boek leest om één zin te begrijpen; het kostte te veel tijd en energie.

De auteurs wilden iets dat snel is (zoals een snelle auto) maar ook slim genoeg om de hele mist te doorzien.

De Oplossing: Een Drie-Koppig Team

Fourier-RWKV werkt niet met één grote hersenkracht, maar met een team van drie specialisten die samenwerken. Het is alsof je een foto herstelt met drie verschillende brillen tegelijk:

1. De "Vormveranderende Bril" (Spatial-form Perception)

Stel je voor dat je door een raam kijkt waar de mist ongelijkmatig zit: links is het heel dik, rechts heel dun.

Oude methode: Gebruikte een stijve bril die altijd op dezelfde manier keek. Die mistte de dunne plekken of zag de dikke plekken niet goed.
Nieuwe methode (DQ-Shift): Deze bril is elastisch. Hij kan zijn vorm veranderen. Als hij ziet dat de mist links dik is, rekent hij zijn "kijkveld" uit om daar extra goed naar te kijken. Hij past zich dynamisch aan aan de lokale situatie.

2. De "Muziek-Bril" (Frequency-domain Perception)

Dit is het meest creatieve deel. Stel je een foto voor als een muziekstuk.

De lage tonen (bass) zijn de grote vormen: de horizon, de gebouwen, de grote lijnen.
De hoge tonen (trillingen) zijn de details: de textuur van een boom, de rimpels in een gezicht.
Het geheim van de mist: Mist zit vooral in de lage tonen. Het verstoort de bass.
Hoe werkt het? De computer verandert de foto even in "muziek" (dit noemen ze de Fourier-ruimte). Hier kan hij de "mist-muziek" heel makkelijk uitfilteren zonder de "detail-muziek" aan te raken. Daarna zet hij het weer terug in een foto.
Waarom is dit slim? Omdat je in de muziekruimte de hele foto in één keer kunt horen, in plaats van pixel voor pixel te kijken. Het is alsof je een heel orkest in één keer hoort, in plaats van één viool. Dit maakt het proces heel snel en zorgt dat de grote lijnen van de foto niet verdwijnen.

3. De "Vertaler" (Semantic Bridge)

Wanneer een computer een foto herstelt, werkt hij vaak in twee stappen: eerst kijkt hij naar de ruwe, wazige foto (de "ontvanger"), en daarna bouwt hij de schone foto op (de "bouwer").

Het probleem: Soms praten de ontvanger en de bouwer niet met elkaar. De ontvanger zegt: "Ik zie een auto," maar de bouwer denkt: "Oh, ik ga een boom tekenen." Dat levert rare artefacten op (zoals een auto die eruitziet als een boom).
De oplossing (SBM): Ze hebben een vertaler ingebouwd. Deze vertaler zorgt dat de ontvanger en de bouwer precies dezelfde "taal" spreken. Hij zorgt dat de details die de ontvanger ziet, perfect worden overgedragen aan de bouwer, zodat er geen verwarring ontstaat.

Waarom is dit een doorbraak?

Deze drie specialisten werken samen in een systeem dat snel is (het kost weinig rekenkracht, dus het werkt zelfs op een telefoon) en precies is.

Snelheid: In plaats van de hele foto pixel voor pixel te lezen (wat traag is), gebruikt het slimme trucs om de hele foto in één keer te "snappen".
Kwaliteit: Het herstelt niet alleen de kleuren, maar ook de fijne details (zoals bladeren op een boom) die andere methoden vaak wazig maken.

Conclusie

Kortom: Fourier-RWKV is als een super-snelle, slimme fotorestaurator die drie briljante trucs combineert:

Hij past zijn blik aan aan de mist (elastisch).
Hij kijkt naar de foto als muziek om de mist eruit te filteren (snel en globaal).
Hij zorgt dat alle onderdelen van het team perfect met elkaar communiceren (geen fouten).

Het resultaat? Foto's die er weer uitzien alsof je er door een schoon raam naar kijkt, zelfs als het buiten dichte mist is, en dat allemaal zonder dat je computer vastloopt.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Beeldontroeting (image dehazing) is essentieel voor betrouwbare visuele perceptie in toepassingen zoals autonoom rijden, maar blijft een uitdaging onder real-world omstandigheden met niet-uniforme mist. Bestaande methoden hebben de volgende beperkingen:

CNN's: Beperkte receptieve velden maken het moeilijk om lange-afstandsafhankelijkheden te modelleren, wat cruciaal is voor het schatten van globale mistdichtheid.
Transformers: Hoewel ze uitstekend zijn in het vastleggen van globale context, hebben ze een kwadratische computationele complexiteit ( $O(N^2)$ ), wat real-time implementatie op hoge-resolutie beelden belemmert.
RWKV (State Space Models): Hoewel Vision-RWKV lineaire complexiteit ( $O(N)$ $O (N)$ ) biedt, heeft het architecturale tekortkomingen bij mistverwijdering:
1. Vaste ruimtelijke verschuivingen (Q-Shift) kunnen geen rekening houden met onregelmatige mistverdelingen.
2. Ruimtelijke sequentiemodeling lijdt aan informatie-afname over lange afstanden.
3. Er is een semantische kloof tussen de encoder en decoder in U-Net-achtige structuren, wat leidt tot artefacten.

Methodologie: Fourier-RWKV

De auteurs stellen Fourier-RWKV voor, een nieuw raamwerk gebaseerd op het Multi-State Perception-paradigma. Dit model combineert lineaire complexiteit met drie complementaire perceptiestaten om zowel lokale aanpassing als globale consistentie te bereiken.

De architectuur is een symmetrische encoder-decoder met vier resolutieniveaus, waarbij de kern de FRWKV-blok is. Deze blok bevat twee hoofdunits: een Fourier Mix-blok en een Channel Mix-blok, beide verrijkt met een nieuwe DQ-Shift-operatie.

1. DQ-Shift (Deformable Quad-directional Token Shift)

Om de rigiditeit van vaste verschuivingen in Vision-RWKV te overwinnen, introduceert DQ-Shift een dynamisch verschuivingsmechanisme:

Het combineert vaste offsets (voor basisrichtingen) met dynamische offsets die worden voorspeld door een lichtgewicht gated CNN.
Dit stelt het model in staat om het receptieve veld adaptief aan te passen aan lokale variaties in mistdichtheid en structuur.

2. Fourier Mix Blok (Frequentiedomein Perceptie)

Dit blok verlegt de WKV-attentie-mechanisme van het ruimtelijke domein naar het Fourier-domein:

Motivatie: Mistinformatie zit voornamelijk in het amplitudespectrum, terwijl structurele inhoud behouden blijft in het fasespectrum.
Werking: Na DQ-Shift worden de sleutel- ( $K$ ) en waarden- ( $V$ ) vectoren getransformeerd via FFT (Fast Fourier Transform).
Dual-Domain Gating: Om zowel ruimtelijke sensitiviteit als globale afhankelijkheden te behouden, wordt een dubbel-domein poortmechanisme gebruikt:
- De receptance ( $R_s$ ) fungeert als poort in het ruimtelijke domein.
- Een lineaire laag genereert een poort ( $R_{fft}$ ) in het Fourier-domein om lange-afstandsafhankelijkheden te reguleren.
Dit vermindert informatie-afname en benut de globale statistische eigenschappen van het frequentiedomein.

3. Semantic Bridge Module (SBM)

Om de semantische kloof tussen encoder en decoder te dichten:

SBM gebruikt Dynamic Semantic Kernel Fusion (DSK-Fusion).
Het berekent een semantische similariteitsmatrix tussen encoder- en decoder-features.
Op basis hiervan worden dynamische convolutiekernen gegenereerd voor meerschalige context.
Een Kernel Selection Fusion Unit (KSFU) fuseert deze features adaptief.
Tenslotte wordt het DC-component (gemiddelde waarde/laagfrequente mist) van de encoder-features vervangen door de semantisch verrijkte features, wat zorgt voor semantische consistentie en artefactreductie.

Verliesfunctie

Het model wordt getraind met een dual-domein verliesfunctie die zowel de ruimtelijke fout ( $L_1$ ) als de frequentiedomein-fout ( $L_1$ op FFT) minimaliseert, wat zorgt voor zowel pixelnauwkeurigheid als structurele coherentie.

Belangrijkste Bijdragen

Fourier-RWKV Architectuur: Het eerste multi-state perceptie-ontroetingsnetwerk gebaseerd op lineaire-complexiteit RWKV, wat een nieuw paradigma biedt voor efficiënte beeldherstel.
DQ-Shift: Een operatie die adaptieve ruimtelijke perceptie mogelijk maakt voor onregelmatige mistverdelingen via dynamische receptieve velden.
Fourier Mix: Een uitbreiding van de WKV-attentie naar het Fourier-domein om globale afhankelijkheden inherent vast te leggen en ruimtelijke attenuatie te mitigeren.
Semantic Bridge Module (SBM): Een module die semantische consistentie garandeert tussen encoder en decoder, wat artefacten reduceert.
State-of-the-Art Prestaties: Het model levert superieure resultaten met aanzienlijk lagere rekenkosten dan bestaande methoden.

Resultaten

Het model is uitgebreid getest op synthetische (RESIDE/SOTS) en real-world datasets (Dense-Haze, NH-HAZE).

Kwantitatieve Prestaties:
- Op SOTS-Outdoor behaalt Fourier-RWKV de beste resultaten met een PSNR van 39,76 dB en SSIM van 0,996, wat een verbetering is van +2,05 dB ten opzichte van de tweede beste methode.
- Op real-world datasets (Dense-Haze en NH-HAZE) behaalt het de beste scores in alle metrieken, met name op NH-HAZE (niet-uniforme mist) met een verbetering van +0,35 dB PSNR.
- Het model is extreem efficiënt: het heeft slechts 5,31 M parameters en 15,69 GFLOPs, wat aanzienlijk lager is dan veel concurrenten (bijv. FFA-Net heeft 287,8 GFLOPs).
Kwalitatieve Prestaties:
- Visuele vergelijkingen tonen dat Fourier-RWKV mist effectiever verwijdert zonder randvervaging of artefacten, zelfs in gebieden met grote dieptewisselingen en complexe texturen.
- Het behoudt beter kleurtrouw en structurele details dan Transformer-gebaseerde methoden.

Betekenis

Dit werk is significant omdat het de efficiëntie-knelpunt van Transformers in beeldherstel oplost zonder in te leveren op kwaliteit. Door de Fourier-transformatie te integreren in een RWKV-architectuur, slaagt het erin om de voordelen van globale context (zoals bij Transformers) te combineren met de lineaire schaalbaarheid van State Space Models. De voorgestelde Multi-State Perception-benadering biedt een robuust raamwerk voor het modelleren van zowel lokale als globale informatie, wat niet alleen nuttig is voor ontroeting, maar ook als fundament kan dienen voor andere visuele taken die complexe degradatiepatronen vereisen. De code is open source beschikbaar gesteld.