NTIRE 2026 The 3rd Restore Any Image Model (RAIM) Challenge: Multi-Exposure Image Fusion in Dynamic Scenes (Track 2)

Titel: NTIRE 2026: De 3e Restore Any Image Model (RAIM) Challenge – Multi-Exposure Image Fusion in Dynamische Scenes (Track 2)

1. Het Probleem

De uitdaging richt zich op Multi-Exposure Image Fusion (MEF) in dynamische scènes. Hoewel MEF en HDR-reconstructie (High Dynamic Range) essentieel zijn voor het uitbreiden van het dynamisch bereik van camera's, blijven ze in de praktijk moeilijk te implementeren wanneer er beweging optreedt.

De specifieke problemen die in deze challenge worden aangepakt zijn:

• Beweging: Objecten die bewegen tussen de opnames van verschillende blootstellingen (exposure levels).
• Camera-shake: Handbediende camera's veroorzaken trillingen en globale misalignement.
• Illuminatie-variatie: Veranderingen in belichting tussen frames.
• Artefacten: Deze factoren leiden tot ernstige misalignement, "ghosting" (dubbele beelden), kleurvervorming en structurele artefacten.
• Praktische beperkingen: Real-world implementaties (zoals op smartphones) vereisen efficiënte verwerking op hoge resolutie met beperkt geheugen en lage latentie, wat vaak in strijd is met zware academische modellen die veelal op statische scènes zijn getraind.

2. Methodologie en Dataset

De challenge introduceert een nieuw benchmark-dataset dat specifiek is ontworpen om realistische, moeilijke HDR-situaties na te bootsen.

• Dataset:
  • Trainingsset: 100 sequenties met elk 7 blootstellingsniveaus (EV).
  • Testset: 100 sequenties met elk 5 blootstellingsniveaus.
  • Kenmerken: De data bevat bewegende objecten, lokale belichtingsveranderingen en camera-jitter. Het doel is om modellen te testen die robuust zijn tegen misalignement en ghosting.
• Evaluatieprotocol:
  • De ranking is gebaseerd op een gecombineerde score van PSNR, SSIM en LPIPS (een perceptuele metriek).
  • Formule: $Score = 30 \cdot \frac{PSNR}{50} + 22.5 \cdot \frac{SSIM - 0.5}{0.5} + 30 \cdot (1 - \frac{LPIPS}{0.4})$.
  • Naast de numerieke score worden ook reproduceerbaarheid, efficiëntie (runtime, FLOPs) en perceptuele kwaliteit geëvalueerd. Deelnemers moesten hun code en gewichten indienen voor verificatie.

3. Belangrijkste Bijdragen van Deelnemers (Top Methodes)

De challenge trok 114 teams aan. De top-methodes benaderden het probleem op verschillende manieren:

• WHU-VIP (Winnaar):

  • Gebaseerd op AFUNet met Swin Transformer.
  • Innovaties: Gebruikt slechts 3 frames (0 EV en ±2 EV) in plaats van alle 5 of 7 om efficiëntie te verhogen en misalignement te verminderen.
  • Introduceert een Spatial Feature Transform (SFT) module voor adaptieve moduleren van features op basis van lokale belichting.
  • Gebruikt een Data Consistency Module met Reliability Gating (DCM-RG) om onbetrouwbare regio's (door beweging) te onderdrukken.
  • Gebruikt een curriculum learning strategie (van alignment naar perceptuele verfijning) en kwantisatie-bewuste training.

• SHL (Tweede):

  • Een lichtgewicht strategie met globale geleiding.
  • Het volledige beeld wordt gedownsampeld en als context aan de invoer toegevoegd om globale structurele priors te bieden.
  • Introduceert een Neighboring Pixel Relationships (NPR) Loss om lokale structuurconsistentie te behouden en vervaging te voorkomen.
  • Combineert drie backbone-modellen (Restormer, Uformer, MST++) via gewogen gemiddelde.

• nunucccb (Derde):

  • Gebaseerd op een HDR-Transformer met Context-Aware Vision Transformer (CA-ViT).
  • Gebruikt ruimtelijke attentie om ongewenste misalignement door voorgrondbeweging te onderdrukken.
  • Een reconstructienetwerk dat complexe globale afhankelijkheden modelleert via CA-ViT blokken en dilated convoluties.

• Andere opvallende methodes:

  • untrafusion: Een end-to-end framework dat fysieke blootstellings-priors expliciet modelleert en een "scale-evolving" trainingsstrategie gebruikt (van kleine naar grote patches).
  • I2 Group & Transsion: Een golflet-gebaseerde (wavelet) aanpak die lage en hoge frequenties in aparte takken verwerkt, gebruikmakend van een DehazeFormer voor lage frequenties en een residu-module voor hoge frequenties.
  • NTR: Gebruikt een time-conditioned encoder-decoder (gebaseerd op een masked diffusion autoencoder) die is fijngeschaald om consistentie te bereiken met de officiële evaluatiemetrics.

4. Resultaten

• WHU-VIP behaalde de hoogste eindscore (58.889) en liet de beste balans zien tussen PSNR, SSIM en LPIPS. Hoewel SHL de hoogste PSNR en SSIM had, scoorde WHU-VIP beter op perceptuele kwaliteit (lagere LPIPS), wat cruciaal is voor de definitieve ranking.
• Stabiliteit: De top-3 teams (WHU-VIP, SHL, nunucccb) toonden consistente prestaties tussen Test Stage 1 en Test Stage 2, terwijl lagere teams vaak een daling zagen. Dit benadrukt dat het omgaan met variatie in blootstelling en beweging de grootste uitdaging blijft.
• Visuele Kwaliteit: De kwalitatieve resultaten bevestigden dat de winnende methodes scherpere structuren, minder ghosting-artefacten en betere behoud van details in dynamische gebieden produceerden.

5. Betekenis en Conclusie

Deze challenge sluit de kloof tussen academisch onderzoek en praktische implementatie in mobiele fotografie.

• Reproduceerbaarheid: Door het verplicht stellen van code-inlevering en lokale reproduceerbaarheid, wordt gegarandeerd dat de resultaten betrouwbaar zijn.
• Real-world Focus: De dataset en evaluatie focussen op de moeilijke omstandigheden van echte fotografie (beweging, jitter), in plaats van gecontroleerde statische scènes.
• Toekomst: De resultaten tonen aan dat moderne architecturen (Transformers, Diffusion-modellen) in combinatie met slimme trainingsstrategieën (curriculum learning, wavelet-decompositie) zeer effectief kunnen zijn voor HDR-fusie in dynamische omgevingen.

De dataset en de code van alle deelnemende teams zijn openbaar beschikbaar gesteld via de GitHub-repository, wat de basis legt voor verdere research in dynamische computationele fotografie.