💻 computer science

NTIRE 2026 The 3rd Restore Any Image Model (RAIM) Challenge: Multi-Exposure Image Fusion in Dynamic Scenes (Track 2)

Dieser Beitrag stellt den NTIRE 2026 RAIM-Challenge-Track 2 vor, der einen neuen Benchmark für die Multi-Exposure-Bildfusion in dynamischen Szenen mit 114 teilnehmenden Teams und 987 Einreichungen definiert, um Artefakte bei der HDR-Rekonstruktion unter realen Bedingungen wie Bewegung und Verwacklung zu reduzieren.

Ursprüngliche Autoren: Lishen Qu, Yao Liu, Jie Liang, Hui Zeng, Wen Dai, Guanyi Qin, Ya-nan Guan, Shihao Zhou, Jufeng Yang, Lei Zhang, Radu Timofte, Xiyuan Yuan, Wanjie Sun, Shihang Li, Bo Zhang, Bin Chen, Jiannan Lin, Yuxu

Veröffentlicht 2026-04-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lishen Qu, Yao Liu, Jie Liang, Hui Zeng, Wen Dai, Guanyi Qin, Ya-nan Guan, Shihao Zhou, Jufeng Yang, Lei Zhang, Radu Timofte, Xiyuan Yuan, Wanjie Sun, Shihang Li, Bo Zhang, Bin Chen, Jiannan Lin, Yuxu Chen, Qinquan Gao, Tong Tong, Song Gao, Jiacong Tang, Tao Hu, Xiaowen Ma, Qingsen Yan, Sunhan Xu, Juan Wang, Xinyu Sun, Lei Qi, He Xu, Jiachen Tu, Guoyi Xu, Yaoxin Jiang, Jiajia Liu, Yaokun Shi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: Das große Foto-Puzzle für bewegte Momente – Eine einfache Erklärung des NTIRE 2026 Challenges

Stellen Sie sich vor, Sie wollen ein tolles Foto von einem belebten Platz machen: Kinder rennen herum, Autos fahren vorbei, und die Sonne scheint hell auf ein Gebäude, während im Schatten alles dunkel ist. Wenn Sie jetzt ein normales Foto machen, passiert oft eines von zwei Dingen: Entweder sind die hellen Stellen komplett weiß (überbelichtet) und die Schatten schwarz (unterbelichtet), ODER Sie müssen mehrere Fotos machen, um alles perfekt einzufangen.

Aber hier kommt das Problem: Wenn Sie mehrere Fotos machen, während sich die Welt bewegt, entsteht ein Chaos. Die Kinder sind auf Foto A an einer anderen Stelle als auf Foto B. Wenn man diese Bilder einfach zusammenklebt, sieht es aus wie ein Geist, der durch die Wand läuft.

Genau dieses Problem hat der NTIRE 2026 Challenge (ein großer Wettbewerb für KI-Forscher) gelöst. Hier ist die Geschichte, wie sie es geschafft haben, in einfachen Worten:

1. Die Aufgabe: Der "Geister-Jäger"

Die Organisatoren (eine Gruppe von Experten aus OPPO, der Universität Nankai und anderen) haben eine spezielle Herausforderung gestellt: Wie kombiniert man mehrere Fotos unterschiedlicher Helligkeit zu einem perfekten Bild, wenn sich die Szene bewegt?

Stellen Sie sich vor, Sie haben einen Stapel von 5 oder 7 Fotos desselben Ortes:

Ein Foto ist sehr dunkel (um die hellen Wolken zu sehen).
Ein Foto ist sehr hell (um die dunklen Ecken zu sehen).
Dazwischen liegen alle Abstufungen.

Die KI muss diese Bilder wie ein Puzzle zusammenfügen. Aber da sich die Kinder im Hintergrund bewegt haben, darf die KI keine "Geister" (doppelte Bilder von Kindern) erzeugen. Sie muss die Kinder auf allen Fotos "einfangen" und an die richtige Stelle setzen, ohne dass es unscharf aussieht.

2. Der Wettbewerb: Ein riesiges Labor

Für diesen Wettkampf (Track 2) haben die Organisatoren ein riesiges Trainingslager aufgebaut:

100 Übungs-Szenen: Hier durften die Teams ihre KI-Modelle trainieren.
100 Test-Szenen: Hier wurde geprüft, ob die KI wirklich gut ist.
114 Teams: Aus der ganzen Welt (von China bis zu den USA) haben sich Forscher gemeldet. Das war wie ein riesiges Fußballturnier, bei dem jeder sein eigenes Taktiksystem entwickelt hat.

3. Die Lösungen: Wie haben die Teams es gemacht?

Die Teilnehmer haben verschiedene kreative Tricks angewendet. Hier sind ein paar Beispiele, wie sie die "Geister" bekämpft haben:

Die "Fokus-Strategie" (Team WHU-VIP):
Statt alle 7 Fotos zu benutzen, haben sie sich auf die 3 wichtigsten konzentriert (eines normal, eines dunkel, eines hell). Sie haben eine Art "Vertrauens-Filter" eingebaut. Wenn die KI merkt, dass ein Bereich auf einem Foto unscharf oder verrauscht ist (weil sich etwas bewegt hat), ignoriert sie diesen Teil und nutzt stattdessen das scharfe Bild von einem anderen Foto. Das ist wie ein Koch, der nur die besten Zutaten aus verschiedenen Schüsseln nimmt und verdorbene wegwirft.
Der "Welt-Überblick" (Team SHL):
Diese Gruppe hat ein cleveres Trickspiel benutzt. Sie haben das ganze Bild erst einmal stark verkleinert (wie eine kleine Skizze), um den "großen Zusammenhang" zu sehen, und dann dieses Wissen genutzt, um die feinen Details im großen Bild zu ordnen. Es ist wie beim Malen: Zuerst skizziert man die groben Umrisse, damit man weiß, wo das Gesicht hinkommt, und malt dann erst die feinen Details.
Der "Wellen-Maler" (Team I2 Group & Transsion):
Sie haben das Bild in zwei Teile zerlegt: Die groben Strukturen (wie die Form eines Hauses) und die feinen Details (wie die Ziegelsteine). Sie haben die groben Teile mit einer KI bearbeitet und die feinen Details mit einer anderen Methode. Dann haben sie sie wieder zusammengefügt. Das verhindert, dass die feinen Details beim Bewegen "verwackeln".
Der "Schritt-für-Schritt-Lerner" (Team untrafusion):
Diese KI hat nicht sofort versucht, das ganze Bild perfekt zu machen. Sie hat erst mit kleinen Bildausschnitten geübt und wurde dann schrittweise auf immer größere Teile trainiert. Das ist wie beim Lernen eines Instruments: Erst langsam und einfach, dann schneller und komplexer.

4. Das Ergebnis: Wer hat gewonnen?

Am Ende gab es eine große Preisverleihung. Die Gewinner wurden nicht nur danach bewertet, wie "messbar" das Bild war (wie viele Pixel perfekt sitzen), sondern auch danach, wie natürlich es aussah.

Der Gewinner (WHU-VIP): Sie haben den besten Kompromiss gefunden. Ihre Bilder sahen nicht nur technisch perfekt aus, sondern waren auch frei von diesen nervigen "Geister-Effekten" und sahen sehr natürlich aus.
Die anderen: Auch die anderen Teams haben gezeigt, dass KI heute in der Lage ist, Dinge zu tun, die früher unmöglich schienen. Sie haben gelernt, wie man mit Bewegung, unterschiedlichem Licht und wackeligen Händen umgeht.

Warum ist das wichtig für uns?

Das klingt erst einmal sehr technisch, aber es betrifft jeden, der ein Smartphone besitzt.
Wenn Sie in Zukunft ein Foto von Ihrem Kind machen, das auf dem Spielplatz rennt, oder ein Gruppenfoto bei Sonnenuntergang, wird diese Technologie im Hintergrund arbeiten. Sie sorgt dafür, dass das Bild hell genug ist, um die Gesichter zu sehen, aber nicht überbelichtet ist, und dass niemand als "Geist" doppelt im Bild erscheint.

Zusammenfassend:
Dieser Wettbewerb war wie ein großer "Schrein der Bildverbesserung". Die Forscher haben gezeigt, dass man auch in einer chaotischen, bewegten Welt perfekte Fotos machen kann, wenn man die richtigen KI-Tricks kennt. Sie haben die Lücke zwischen theoretischer Forschung und dem, was wir jeden Tag auf unseren Handys nutzen, ein Stück weit geschlossen.

1. Problemstellung und Hintergrund

Das Paper stellt den NTIRE 2026 RAIM Challenge Track 2 vor, der sich auf die Multi-Exposure Image Fusion (MEF) in dynamischen Szenen konzentriert.

Herausforderung: Während die HDR-Rekonstruktion (High Dynamic Range) in statischen Umgebungen gut gelöst ist, stellt die Fusion von Belichtungsreihen in dynamischen Szenen ein erhebliches Problem dar. Bewegte Objekte, Kamerazittern (Handheld-Jitter), lokale Beleuchtungsänderungen und unterschiedliche Belichtungswerte führen zu schweren Fehlausrichtungen (Misalignment), Geisterartefakten (Ghosting) und Farbverzerrungen.
Lücke zwischen Forschung und Praxis: Viele akademische Benchmarks basieren auf statischen Szenen. Reale Anwendungen, insbesondere auf Smartphones, erfordern jedoch effiziente und robuste Algorithmen, die mit hohen Auflösungen, begrenztem Speicher und strengen Latenzanforderungen umgehen können.
Ziel: Die Entwicklung von Modellen, die nicht nur hohe Bildqualität liefern, sondern auch robust gegenüber Bewegungsartefakten sind und in Echtzeit-Anwendungen einsetzbar bleiben.

2. Datensatz und Benchmark

Der Challenge wurde mit einem neuartigen Datensatz durchgeführt, der reale fotografische Bedingungen simuliert:

Aufbau:
- Trainingsset: 100 Sequenzen mit jeweils 7 Belichtungsebenen (Exposure Levels).
- Testset: 100 Sequenzen mit jeweils 5 Belichtungsebenen.
Schwierigkeitsgrade: Der Datensatz enthält absichtlich Szenen mit Objektbewegungen, Helligkeitsschwankungen zwischen den Frames, globaler Fehlausrichtung durch Wackeln und lokalen Über-/Unterbelichtungen.
Ziel: Die Bewertung erfolgt nicht nur nach der Bildqualität, sondern auch nach der Robustheit gegenüber Fehlausrichtungen und Geisterartefakten.

3. Evaluierungsprotokoll

Die Bewertung kombiniert objektive Metriken mit einer Überprüfung der Reproduzierbarkeit:

Hauptmetrik (Leaderboard-Score): Eine gewichtete Kombination aus PSNR, SSIM und LPIPS:
$Score = 30 \cdot \frac{PSNR}{50} + 22.5 \cdot \frac{SSIM - 0.5}{0.5} + 30 \cdot \left(1 - \frac{LPIPS}{0.4}\right)$
Zusätzliche Kriterien: Neben dem Hauptscore wurden DISTS, NIQE, subjektive Qualität sowie Effizienzmetriken (Laufzeit, Parameteranzahl, FLOPs) erfasst.
Reproduzierbarkeit: Für die finale Platzierung mussten die Teilnehmer ihren Code und die vortrainierten Gewichte einreichen. Nur Teams, deren Ergebnisse lokal reproduzierbar waren und die den Organisationsprüfungen standhielten, wurden berücksichtigt.

4. Eingereichte Methoden (Top-Teams)

Das Paper analysiert die Methoden der erfolgreichsten Teams, die verschiedene architektonische Ansätze verfolgten:

WHU-VIP (Platz 1):
- Ansatz: Basierend auf AFUNet mit Swin-Transformer.
- Innovationen: Nutzung von nur 3 Frames (Referenz ±2 EV) statt aller 7/5 Frames zur Effizienzsteigerung und Reduktion von Bewegungsartefakten.
- Module: Ein Spatial Feature Transform (SFT) Modul für adaptive Feature-Modulation und ein Data Consistency Module with Reliability Gating (DCM-RG), das Pixel-genaue Gating-Mechanismen nutzt, um unzuverlässige Bereiche (durch Bewegung oder Überbelichtung) zu unterdrücken.
- Training: Curriculum Learning in vier Stufen (Alignment, Generalisierung, Perzeptuelle Verbesserung, Quantisierungsbewusstsein).
SHL (Platz 2):
- Ansatz: Leichte globale Führungsstrategie (Global Guidance).
- Innovation: Das Vollbild wird herunter skaliert und als globaler Kontext mit dem Eingabetensor verbunden.
- Verlustfunktion: Einführung einer Neighboring Pixel Relationships (NPR) Loss, um lokale strukturelle Konsistenz zu erzwingen und Unschärfen zu vermeiden.
- Ensemble: Kombination der Vorhersagen von drei Backbone-Modellen (Restormer, Uformer, MST++).
nunucccb (Platz 3):
- Ansatz: HDR-Transformer basierend auf Context-Aware Vision Transformer (CA-ViT).
- Architektur: Zwei-Phasen-Netzwerk (Feature Extraction und Reconstruction).
- Mechanismus: Räumliche Aufmerksamkeitsmodule (Spatial Attention) unterdrücken Fehlausrichtungen bei Vordergrundbewegungen. Dilated Convolutions erweitern das rezeptive Feld.
Weitere bemerkenswerte Methoden:
- untrafusion: End-to-End-Framework mit physikalischen Belichtungspriors und einer schrittweisen Trainingsstrategie (Scale-Evolving) von kleinen zu großen Patches.
- I2 Group & Transsion: Wavelet-basierte Fusion, die Tiefpass- (Struktur) und Hochpass-Informationen (Details) in separaten Zweigen verarbeitet, um Geisterartefakte zu minimieren.
- NTR: Nutzt einen zeitbedingten Encoder-Decoder (basierend auf einem Masked Diffusion Autoencoder) und optimiert die Verlustfunktion direkt auf den offiziellen Challenge-Score ab.

5. Ergebnisse

Quantitative Ergebnisse:
- WHU-VIP belegte den ersten Platz mit einem Gesamtscore von 58,889. Das Team erreichte die beste Balance zwischen PSNR/SSIM und niedrigen LPIPS-Werten (hohe perzeptuelle Qualität).
- SHL erzielte zwar die höchsten PSNR- und SSIM-Werte, hatte aber höhere LPIPS-Werte (weniger natürliche Texturen), was im Gesamtscore zu Platz 2 führte.
- Stabilität: Die Top-3-Teams zeigten über beide Testphasen (Test Stage 1 und 2) eine stabile Leistung, während schwächere Teams bei wechselnden Bedingungen (z. B. stärkere Bewegung) deutliche Einbußen zeigten.
Qualitative Ergebnisse:
- Visuelle Vergleiche zeigen, dass die führenden Methoden Geisterartefakte effektiv unterdrücken und feine Details in dynamischen Bereichen besser erhalten als Baseline-Methoden.
- Der Kompromiss zwischen struktureller Treue und perzeptueller Natürlichkeit war der entscheidende Faktor für den Erfolg.

6. Schlüsselbeiträge und Bedeutung

Neuer Benchmark: Einführung eines realistischen, dynamischen MEF-Datensatzes, der die Lücke zwischen akademischen Benchmarks (statisch) und realen Anwendungen (mobil, dynamisch) schließt.
Robustheitsfokus: Der Challenge betont, dass reine Bildrekonstruktion nicht ausreicht; die Handhabung von Bewegungsartefakten und Fehlausrichtungen ist für den praktischen Einsatz entscheidend.
Effizienz und Reproduzierbarkeit: Durch die Anforderung an Code-Einreichung und die Bewertung von Laufzeit/Parametern wird die Entwicklung von praxistauglichen, effizienten Modellen gefördert.
Fortschritt in der Methodik: Die gewonnenen Erkenntnisse zeigen, dass hybride Ansätze (z. B. Kombination von Transformer-Architekturen mit spezifischen Gating-Mechanismen oder Wavelet-Zerlegungen) aktuell den State-of-the-Art darstellen.

Fazit:
Der NTIRE 2026 RAIM Track 2 hat gezeigt, dass die Multi-Exposure-Fusion in dynamischen Szenen zwar komplex ist, aber durch moderne Deep-Learning-Ansätze signifikant verbessert werden kann. Die Gewinnermethoden bieten einen vielversprechenden Weg für die Integration robuster HDR-Funktionen in zukünftige mobile Kamerasysteme. Die veröffentlichten Daten und Codes (GitHub) dienen als wichtige Ressource für die weitere Forschung im Bereich der computergestützten Fotografie.