💻 computer science

NTIRE 2026 3D Restoration and Reconstruction in Real-world Adverse Conditions: RealX3D Challenge Results

Dit artikel presenteert de resultaten van de NTIRE 2026 RealX3D Challenge, waarbij de methoden van 33 teams werden geëvalueerd voor robuuste 3D-restauratie en reconstructie in extreme omstandigheden met weinig licht en rookvervuiling, met nadruk op belangrijke ontwerpprincipes en aanzienlijke vooruitgang in het hanteren van degradatie van realistische scènes.

Oorspronkelijke auteurs: Shuhong Liu, Chenyu Bao, Ziteng Cui, Xuangeng Chu, Bin Ren, Lin Gu, Xiang Chen, Mingrui Li, Long Ma, Marcos V. Conde, Radu Timofte, Yun Liu, Ryo Umagami, Tomohiro Hashimoto, Zijian Hu, Yuan Gan, Tianh

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuhong Liu, Chenyu Bao, Ziteng Cui, Xuangeng Chu, Bin Ren, Lin Gu, Xiang Chen, Mingrui Li, Long Ma, Marcos V. Conde, Radu Timofte, Yun Liu, Ryo Umagami, Tomohiro Hashimoto, Zijian Hu, Yuan Gan, Tianhan Xu, Yusuke Kurose, Tatsuya Harada, Junwei Yuan, Gengjia Chang, Xining Ge, Mache You, Qida Cao, Zeliang Li, Xinyuan Hu, Hongde Gu, Changyue Shi, Jiajun Ding, Zhou Yu, Jun Yu, Seungsang Oh, Fei Wang, Donggun Kim, Zhiliang Wu, Seho Ahn, Xinye Zheng, Kun Li, Yanyan Wei, Weisi Lin, Dizhe Zhang, Yuchao Chen, Meixi Song, Hanqing Wang, Haoran Feng, Lu Qi, Jiaao Shan, Yang Gu, Jiacheng Liu, Shiyu Liu, Kui Jiang, Junjun Jiang, Runyu Zhu, Sixun Dong, Qingxia Ye, Zhiqiang Zhang, Zhihua Xu, Zhiwei Wang, Phan The Son, Zhimiao Shi, Zixuan Guo, Xueming Fu, Lixia Han, Changhe Liu, Zhenyu Zhao, Manabu Tsukada, Zheng Zhang, Zihan Zhai, Tingting Li, Ziyang Zheng, Yuhao Liu, Dingju Wang, Jeongbin You, Younghyuk Kim, Il-Youp Kwak, Mingzhe Lyu, Junbo Yang, Wenhan Yang, Hongsen Zhang, Jinqiang Cui, Hong Zhang, Haojie Guo, Hantang Li, Qiang Zhu, Bowen He, Xiandong Meng, Debin Zhao, Xiaopeng Fan, Wei Zhou, Linzhe Jiang, Linfeng Li, Louzhe Xu, Qi Xu, Hang Song, Chenkun Guo, Weizhi Nie, Yufei Li, Xingan Zhan, Zhanqi Shi, Dufeng Zhang, Boyuan Tian, Jingshuo Zeng, Gang He, Yubao Fu, Weijie Wang, Cunchuan Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een perfect 3D-model van een kamer te bouwen met behulp van een hoop foto's. Normaal gesproken maak je deze foto's bij helder, zonnig weer. Maar wat als je het zou proberen in een pikdonkere grot of terwijl je in een dikke wolk rook staat? De foto's zouden donker, wazig of vol "mist" zijn, waardoor het bijna onmogelijk wordt om te zeggen waar de muren zijn of hoe het meubilair eruitziet.

Dit artikel is het rapportcijfer voor een wereldwijde wedstrijd genaamd NTIRE 2026, waarbij 33 teams van wetenschappers en ingenieurs probeerden precies dit probleem op te lossen. Hun doel was uit te zoeken hoe ze deze "verwoeste" foto's (ofwel te donker of rokerig) konden omzetten in een helder, nauwkeurig 3D-model.

Hier volgt een eenvoudige uiteenzetting van wat er gebeurde, hoe ze het deden en wie won.

De Uitdaging: Twee Verschillende Rampen

De wedstrijd had twee tracks, zoals twee verschillende levels in een videospel:

Track 1 (De Donkere Kamer): Teams moesten foto's herstellen die bij extreem weinig licht waren genomen.
Track 2 (De Rookmachine): Teams moesten foto's herstellen die door dikke rook waren genomen.

Ze gebruikten een speciale dataset genaamd RealX3D, die werkelijke scènes bevat die onder deze vreselijke omstandigheden zijn vastgelegd. De teams moesten deze slechte foto's in hun computers invoeren en aan de andere kant een schoon 3D-beeld krijgen.

Het Geheime Wapen: "3DGS"

Bijna iedereen gebruikte een technologie genaamd 3D Gaussian Splatting (3DGS).

De Analogie: Stel je voor dat je probeert een 3D-sculptuur te schilderen. In plaats van een solide klomp klei te gebruiken, gebruik je miljoenen kleine, pluizige balletjes verf (Gaussians). Je gooit deze balletjes de lucht in en ze blijven aan elkaar plakken om de vorm van het object te vormen.
Het Probleem: Wanneer de foto's donker of rokerig zijn, raakt de computer in de war over waar hij de balletjes moet plaatsen. Hij kan denken dat een schaduw een gat is, of dat rook een muur is.
De Oplossing: De teams moesten slimme manieren bedenken om de foto's op te schonen voordat of terwijl ze de verfballetjes gooiden, zodat de computer precies weet hoe het echte object eruitziet.

Hoe de Winnaars Het Dedden (De Strategieën)

De teams gebruikten enkele zeer creatieve trucs om te winnen. Hier zijn een paar voorbeelden van hun aanpak:

De "Teamwerk"-Aanpak (FuME-GS): In plaats van te vertrouwen op één methode om de donkere foto's te herstellen, gebruikte dit team tegelijkertijd vier verschillende "herstellers". Het is alsof je vier verschillende kunstrestaurateurs vraagt om een schilderij te herstellen en vervolgens hun beste delen combineert om één perfect beeld te maken.
Het "Driekoppige Monster" (CISP-GS): Dit team bouwde een systeem met drie verschillende takken. Eén tak richtte zich op de helderheid, een andere op de camerainstellingen en een derde op de fijne details. Ze lieten alle drie samenwerken en middelden hun resultaten om een superstabiel beeld te krijgen.
De "Fysica-Detective" (Smoke-GS & GenSmoke-GS): Voor de rookuitdaging probeerden sommige teams niet alleen de rook te "wissen". Ze bouwden een wiskundig model van hoe rook zich gedraagt (zoals hoe licht verstrooit). Ze leerden de computer de regels van rookfysica, zodat het de rook wiskundig van het beeld kon aftrekken, in plaats van alleen maar te gissen.
De "Generatieve Kunstenaar" (GenSmoke-GS): Eén team gebruikte een krachtige AI (een Multi-Modal Large Language Model) om te fungeren als een kunstenaar. Ze vertelden de AI: "Hier is een rokerige foto; teken alstublieft de details die je niet kunt zien opnieuw, maar verander de vorm van het gebouw niet." De AI vulde de ontbrekende details in op basis van wat het weet over de wereld.

De Resultaten

Van de 279 personen die zich aanmeldden, slaagden slechts 33 teams erin de uitdaging te voltooien met een werkende oplossing.

De Winnaars:
- Voor de Donkere Kamer: Het team DimV won met hun methode genaamd FuME-GS. Ze kregen het helderste beeld door meerdere verbeteringstechnieken te fuseren.
- Voor de Rook: Het team PLBBL won met GenSmoke-GS. Ze gebruikten een mix van fysica en AI-generatie om de lucht te zuiveren.

Waarom Dit Belangrijk Is

Het artikel concludeert dat we, hoewel we erg goed geworden zijn in het maken van 3D-modellen in perfecte studio's, de echte wereld rommelig is. Deze winnaars hebben ons getoond dat we door beeldopschoning (het herstellen van de foto) te combineren met 3D-reconstructie (het bouwen van het model), eindelijk door de duisternis en de rook kunnen kijken.

Het artikel belooft niet dat je telefoon dit morgen zal doen, maar het bewijst dat de technologie in de juiste richting beweegt. De organisatoren hopen dat dit toekomstige robots en zelfrijdende auto's helpt veilig te navigeren, zelfs als het buiten pikdonker of mistig is.

Kortom: Het was een race om te zien wie een rommelige foto het beste kon opschonen en omzetten in een heldere 3D-wereld, en de winnaars bewezen dat met de juiste mix van wiskunde, fysica en AI, zelfs de donkerste en rokerigste scènes kunnen worden gereconstrueerd.

1. Probleemstelling

Het artikel adresseert de kritieke uitdaging van 3D-scène-reconstructie (specifiek met behulp van Neural Radiance Fields en 3D Gaussian Splatting) onder realistische adverse omstandigheden. Hoewel huidige state-of-the-art methoden (zoals NeRF en 3DGS) goed presteren in gecontroleerde, schone omgevingen, falen ze aanzienlijk wanneer invoerbeelden worden gedegradeerd door:

Extreem zwakke verlichting: Leidt tot ruis, verlies van textuur en slechte kenmerkextractie.
Rook/Mist: Veroorzaakt verstrooiing, verminderd contrast, kleverschuivingen en occlusie van geometrische details.

Het gebrek aan realistische multi-view datasets met gekoppelde gedegradeerde/schone ground truth belemmert verdere vooruitgang. Het artikel introduceert de RealX3D Challenge om robuuste pipelines voor deze specifieke degradaties te benchmarken.

2. Methodologie: De RealX3D Challenge

De challenge was georganiseerd in twee distincte tracks, beide gebruikmakend van een subset van de RealX3D-benchmark met 7 distincte scènes per track.

Dataset: Realistische multi-view beeldparen (gedegradeerd versus schoon) met ground-truth cameraposities.
- Training: 1 validatiescène (gepaard) + 4 development-scènes (alleen gedegradeerd).
- Testing: 3 scènes (alleen gedegradeerd).
Tracks:
1. Track 1: 3D Verlichtingsverbetering bij zwakke verlichting: Richt zich op het herstellen van verlichting, het reduceren van ruis en het behoud van structuur in donkere omgevingen.
2. Track 2: 3D Rookrestauratie: Richt zich op het verwijderen van verstrooiingseffecten, het herstellen van contrast en het corrigeren van kleverschuivingen veroorzaakt door rook.
Evaluatie:
- Maatstaf: Kwaliteit van Novel View Synthesis (NVS) gemeten via PSNR (primair) en SSIM (tiebreaker) tegenover ground-truth schone beelden.
- Protocol: 33 teams leverden geldige resultaten in van de 279 geregistreerde deelnemers.

3. Belangrijkste Bijdragen en Methodologische Trends

Het artikel bespreekt 27 ingediende methoden, waarbij enkele dominante technische strategieën van de best presterende teams naar voren komen:

A. Hybride "Restauratie-volgt-Reconstructie"-pipelines

De meeste topteams (zoals FuME-GS, GenSmoke-GS, 3DLLR) ontkoppelen het probleem in twee fasen:

2D Voorverwerking: Gebruik van geavanceerde 2D-restauratienetwerken (zoals Retinexformer, Zero-DCE, DarkIR, Diffusiemodellen) om pseudo-schone beelden of verbeterde kandidaten te genereren.
3D Reconstructie: Het voeden van deze verbeterde beelden in 3D Gaussian Splatting (3DGS) of NeRF-pipelines.
- Innovatie: Veel teams gebruiken ensemble-strategieën (zoals GenSmoke-GS, IC-GS) waarbij meerdere restauratiemodellen of 3D-branches worden getraind en gemiddeld om variantie en hallucinaties te reduceren.

B. Fysisch geïnformeerde en Pseudo-GT-generatie

Om overfitting op ruisachtige 2D-priors te voorkomen, integreren verschillende methoden fysische modellen:

Atmosferische Verstrooiingsmodellen: Gebruikt in Smoke-GS en SDG-GS om expliciet rooktransmissie ( $T$ ) en luchtlucht ( $A$ ) te modelleren, waardoor de 3DGS de "schone" scène-radiantie ( $J$ ) kan leren door de degradatievergelijking om te keren.
Pseudo-GT-generatie: Methoden zoals IDEAL en AdaTone-GS genereren pseudo-ground truth met diepteschatters (Depth-Anything) of analytische tooncurven, en gebruiken vervolgens Appearance Decoders (MLP's) om view-afhankelijke artefacten te absorberen, waardoor 2D-ruis niet in de 3D-geometrie wordt gebakken.

C. Multi-branch en Frequentie-gesplitste Architecturen

CISP-GS en NAKA-GS maken gebruik van multi-branch frameworks waarbij verschillende branches specifieke aspecten afhandelen (bijv. analytische verbetering versus deep learning-verbetering versus frequentiescheiding).
Frequentie-splitsing: Het scheiden van laagfrequente (structuur/kleur) en hoogfrequente (textuur) componenten stelt modellen in staat om geometrische consistentie te behouden terwijl scherpe details van diepe versterkers worden ingebracht.

D. Gecombineerde Optimalisatie (End-to-End)

Sommige benaderingen, zoals DarkIR-GS en LLE-GS, proberen end-to-end training waarbij de 3DGS-renderer gradiënten terugpropageert naar de 2D-restauratiemodule, zodat de restauratie specifiek wordt geoptimaliseerd voor de 3D-reconstructietaken in plaats van generieke 2D-maatstaven.

4. Resultaten

De kwantitatieve resultaten (Tabel 1) benadrukken aanzienlijke vooruitgang ten opzichte van baselines:

Track 1 (Zwakke verlichting):
- Winnaar: FuME-GS (DimV) behaalde de hoogste PSNR (23,38) en SSIM (0,80).
- Kerninzicht: De winnende methode gebruikte een multi-stadium fusie van meerdere verbeteringsmodellen (Retinexformer, Zero-DCE, enz.) gecombineerd met een fusie-gestuurde 3DGS-initialisatie.
- Runner-up: CISP-GS (22,78 PSNR) gebruikte een multi-branch framework met ISP-supervisie.
Track 2 (Rook):
- Winnaar: GenSmoke-GS (PLBBL) behaalde de hoogste PSNR (20,21) en SSIM (0,73).
- Kerninzicht: Deze methode combineerde ConvIR-UDPNet voor initiële restauratie, DCP voor ontroking, en een Multi-Modal Large Language Model (MLLM) voor structurele verfijning om geometrische drift te voorkomen, gevolgd door 3DGS-MCMC ensembling.
- Runner-up: Smoke-GS (18,67 PSNR) introduceerde een specifiek "Smoke Medium Module" om view-afhankelijke verstrooiing te modelleren.

Algemene Observatie: Best presterende methoden presteerden consistent beter dan eenvoudige baselines door integratie van multi-model ensembles, fysisch gebaseerde constraints en robuuste initialisatiestrategieën (bijv. het gebruik van VGGT of COLMAP met specifieke pruning).

5. Betekenis en Impact

Benchmarking van Realistische Robuustheid: Het artikel vestigt RealX3D als een kritieke benchmark voor het evalueren van 3D-reconstructie onder niet-ideale omstandigheden, waardoor het veld verder gaat dan synthetische of schone-opname datasets.
Ontwerpprincipes: Het identificeert dat de meest effectieve strategieën voor adverse omstandigheden geen single-model oplossingen zijn, maar hybride pipelines die combineren:
1. Robuuste 2D-restauratie-priors.
2. Fysisch gebaseerde degradatiemodellering.
3. Ensemble-methoden om hallucinaties te mitigeren.
4. Expliciete scheiding van geometrie (structuur) en uiterlijk (verlichting/kleur).
Praktische Toepassingen: De vooruitgang komt direct ten goede aan autonoom rijden (nacht/rookscenario's), robotnavigatie in gevaarlijke omgevingen en augmented reality onder ongecontroleerde verlichting.
Vooruitgang van de Gemeenschap: Met 33 geldige teams die nieuwe architecturen hebben ingediend, demonstreert de challenge een snelle rijping van technieken voor het hanteren van 3D-scène-degradatie, waarmee een nieuwe standaard wordt gesteld voor toekomstig onderzoek in robuuste 3D-vision.