Technische Samenvatting: RTE-FM-Dehazer

Probleemstelling

Single-image dehazing streeft ernaar om een heldere scène te herstellen uit een heiige observatie, maar blijft een slecht gestelbaar probleem (ill-posed problem). Bestaande benaderingen kampen met twee primaire beperkingen:

1. Afhankelijkheid van vereenvoudigde fysische priors: Voortroscende methoden maken gebruik van het Atmospheric Scattering Model (ASM). Het ASM gaat uit van enkelvoudige verstrooiing en homogeen medium, aannames die frequent worden geschonden in de echte wereld waar mist ruimtelijk niet-uniform is en licht onderhevig is aan meervoudige verstrooiing. Dit leidt tot residuele mist, kleurdrift en overversterkte artefacten.
2. Datatekort en synthesebeperkingen: Grootschalige, real-world gepaarde hazy/clear datasets zijn onpraktisch te verzamelen. Bestaande synthesemethoden leunen vaak op dezelfde restrictieve ASM-aannames, waardoor ze er niet in slagen de volledige complexiteit van natuurlijke mist (bijv. anisotrope verstrooiing, diepte-afhankelijke attenuatie) te reproduceren. Bov�elijk introduceren recente generatieve benaderingen (Diffusion, VQGAN) stochastische artefacten, zoals kleurdrift of patch-grafting, door hun gebrek aan fysische beperkingen.

Methodologie: RTE-FM-Dehazer

De auteurs stellen RTE-FM-Dehazer voor, een framework dat dehazing herformuleert als een door fysica geïnspireerde Flow Matching-taak die wordt geregulariseerd door de Radiative Transfer Equation (RTE).

1. Fysica-geïnspireerde Regularisatie (RTE vs. ASM)

In plaats van de ASM gebruikt de methode de RTE, die verstrooiing en absorptie gezamenlijk verwerkt, wat van nature rekening houdt met niet-homogene en meervoudig verstrooiende media.

• Flow Matching Formulering: Het dehazing-proces wordt gemodelleerd als een continue traject van een heiige latente staat ($z_0$) naar een heldere latente staat ($z_1$). Een neuraal netwerk ($v_\theta$) voorspelt een snelheidveld om het beeld te evolueren via een Ordinary Differential Equation (ODE).
• RTE-afgeleide Regularisator: De auteurs trekken een structurele gelijkenis tussen de RTE diffusie-absorptieterm en de ODE in flow matching. Ze leiden een snelheidsterm af uit een gereduceerde RTE:
  $$\mathbf{v}_{\text{RTE}}(\mathbf{z}) \triangleq -D\nabla^2\mathbf{z} + \mu_a\mathbf{z}$$
  Hier modelleert $-D\nabla^2\mathbf{z}$ ruimtelijke diffusie (het gladstrijken van gradiënten), en $\mu_a\mathbf{z}$ modelleert medium-absorptie (exponentiële afname van radiantie).
• Gecombineerde Loss: Het netwerk wordt getraind om een gecombineerde loss-functie te minimaliseren die de voorspelde snelheid afstemt op zowel de optimal transport-richting ($z_1 - z_0$) als de RTE-afgeleide snelheid:
  $$\mathcal{L} = \|\mathbf{v}_{\theta} - (\mathbf{z}_1 - \mathbf{z}_0)\|^2 + \lambda \|\mathbf{v}_{\theta} - \mathbf{v}_{\text{RTE}}\|^2$$
  Dit zorgt ervoor dat het gegenereerde traject fysisch plausibel is (voldoet aan de RTE-dynamiek) terwijl het ook datagedreven blijft.

2. Schaalbare Datapijplijn (P-HAZE)

Om het gebrek aan real-world gepaarde data aan te pakken, introduceren de auteurs een pijplijn om een grootschalige dataset te genereren, P-HAZE (50.000 paren):

• VLM-gestuurde Generatie: Door gebruik te maken van Vision-Language Models (bijv. Qwen2.5-VL, Gemini-2-Flash), genereert het systeem realistische heiige beelden vanuit heldere referenties met behulp van tekstprompts. Dit legt complexe, niet-stationaire aerosolverdelingen vast (bijv. kolkende rook) zonder handmatige dieptekaarten.
• Geometrische Uitlijning: Omdat VLM-outputs lichte geometrische vervormingen kunnen hebben, extraheert de pijplijn dichte keypoints en schat een planaire homografie in om het heiige beeld pixel-voor-pixel uit te lijnen met de heldere referentie.
• Filtering: Een tweestaps filteringstrategie (SAM2 segmentatie + human-in-the-loop) verwijdert semantische artefacten.

3. Architectuur en Training

• Latente Ruimte: Het model opereert in de latente ruimte van Stable Diffusion v2.1 (64x64x4) om de computationele kosten te verlagen terwijl textuur behouden blijft.
• Netwerk: Een U-Net backbone voorspelt het snelheidveld.
• Inference: Het heldere beeld wordt hersteld door de ODE op te lossen via multi-step Euler-integratie (aanbevolen >10 stappen) om de geleidelijke transitie van heiig naar helder te simuleren.

Belangrijkste Bijdragen

1. RTE-Geregulariseerde Flow Matching: De auteurs herformuleren single-image dehazing door de Radiative Transfer Equation te integreren als een zachte prior in het flow matching-framework. Dit vervangt het restrictieve ASM en stemt de generatieve traject af op de fysische lichttransportdynamiek voor meer stabiele en realistische resultaten.
2. Deterministische Generatie: Door het verwijderen van stochastische ruis-priors en het reguleren van de flow met een diffusie-absorptieterm, levert de methode een deterministisch latent traject op dat de oorspronkelijke kleurverdeling beter behoudt dan random-sampling baselines.
3. P-HAZE Dataset: Een schaalbare, VLM-gestuurde pijplijn wordt voorgesteld om 50.000 realistische hazy/clear paren te synthetiseren, wat robuuste training mogelijk maakt zonder afhankelijk te zijn van schaarse real-world data.

Experimentele Resultaten

Het model werd alleen getraind op de synthetische P-HAZE dataset en geëvalueerd op vijf diverse real-world benchmarks (I-HAZE, D-HAZE, SMOKE, NH-HAZE, RESIDE-6K).

• Kwantitatieve Prestaties: RTE-FM-Dehazer behaalde de hoogste PSNR op vier datasets en de laagste LPIPS op vijf van de zes benchmarks. Met name op de uitdagende NH-HAZE dataset presteerde het de sterkste concurrent (LHTD) met +3.9 dB in PSNR en verminderde het LPIPS met 37%.
• Generalisatie: In tegenstelling tot supervised methoden die op real-world data degraderen door domeinverschuiving, vertoonde RTE-FM-Dehazer sterke cross-domain generalisatie, waarbij de prestaties behouden bleven over indoor, outdoor en rook-geladen scènes.
• Kwalitatieve Analyse: Visuele vergelijkingen tonen aan dat de methode effectief variërende mist en kleurzweem verwijdert, terwijl fijne texturen en de oorspronkelijke lichtstructuren behouden blijven. Het vermijdt de residuele mist van CNN/Transformer-methoden en de kleurdrift/artefacten van generatieve (GAN/Diffusion) baselines.
• Ablatie Studies: Het verwijderen van de RTE-regulator (Vanilla FM) of het ontkoppelen van de componenten (alleen absorptie of alleen diffusie) leidde tot significante prestatiedalingen, wat bevestigt dat de geïntegreerde absorptie-diffusie formulering cruciaal is voor het afhandelen van niet-uniforme mist.

Betekenis en Claims

Het artikel beweert dat RTE-FM-Dehazer de kernbeperkingen van huidige dehazing-methoden aanpakt door de kloof te overbruggen tussen datagedreven generatieve modellen en fysische wetten. Door de RTE direct in het velocity field van de flow matching te integreren, bereikt de methode een "fysisch geregulariseerde transportvergelijking" die scherpere, kleurconsistente en artefactvrije resultaten produceert. De auteurs stellen dat deze aanpak een robuuste oplossing biedt voor real-world dehazing zonder dat er gepaarde real-world trainingsdata nodig is, door gebruik te maken van de structurele gelijkenis tussen radiatieve transfer en flow matching om het generatieve proces te sturen.

Toekomstig werk, zoals opgemerkt door de auteurs, omvat het overstappen van de latente ruimte naar de pixelruimte om VAE-informatieverlies te elimineren en het onderzoeken van efficiënte numerieke solvers voor full-resolution verwerking.