Technische Samenvatting: De Valstrik van Leckage op Frame-niveau en Bron-scheidbare Onzekerheid bij Intrinsic Image Decomposition

1. Probleemstelling

Intrinsic image decomposition heeft als doel een waargenomen afbeelding $I$ te ontbinden in reflectie (albedo) $R$ en schaduwing $S$ (onder de Lambertiaanse aanname $I = R \circ S$). Ondanks vooruitgang in deep learning staan huidige methoden voor twee kritieke beperkingen:

1. Inconsistentie in Evaluatieprotocollen: Eerdere werken op de MPI Sintel-dataset maken vaak gebruik van splitsingen op frame-niveau voor trainen en testen. Hierdoor kunnen ruimtelijk vergelijkbare frames uit dezelfde scène voorkomen in zowel de trainings- als de testset, wat leidt tot datalekken die prestatie-metrics kunstmatig opblazen.
2. Gebrek aan Kwantificering van Onzekerheid (UQ): Bestaande methoden produceren punt-schattingen zonder kwantificering van vertrouwen. Dit is problematisch omdat decompositie inherent slecht gesteld is; ambiguïteit varieert ruimtelijk (bijvoorbeeld bij spiegelende highlights, geworpen schaduwen en getextureerde oppervlakken). In veiligheidskritieke toepassingen zoals autonoom rijden is het weten waar een decompositie onbetrouwbaar is net zo vitaal als de decompositie zelf.

2. Methodologie

2.1 Gecorrigeerd Evaluatieprotocol

De auteurs pleiten voor splitsingen op sceneniveau als gemeenschapsstandaard. In dit protocol worden volledige scènes terzijde gelegd voor testen, waardoor geen temporale of ruimtelijke overlap bestaat tussen trainings- en testsets. Dit elimineert de "lekage op frame-niveau" waarbij modellen interpoleren tussen aangrenzende frames van dezelfde scène.

2.2 Fysica-informeerde Decompositiemodel

Het artikel stelt een beeldvormingsmodel met drie componenten voor om niet-Lambertiaanse effecten te hanteren:
$$I = R \circ S + N$$
Waarbij $N$ een niet-negatief residu is dat spiegelende highlights, suboppervlakverspreiding en andere niet-Lambertiaanse effecten vastlegt. Dit stelt de reflectie- en schaduwingkoppen in staat zich te richten op hun respectieve Lambertiaanse componenten, terwijl $N$ afwijkingen verwerkt.

2.3 Netwerkbouw

De ruggengraat is een U-Net encoder-decoder. Deze splitst zich in vier koppen:

1. Reflectiekop ($\hat{R}$): Voorspelt albedo.
2. Schaduwingkop ($\hat{S}$): Voorspelt verlichting.
3. Niet-Lambertiaanse kop ($\hat{N}$): Voorspelt het residu $N$ met ReLU-activering.
4. Bron-scheidbare Onzekerheidskop: Geeft drie log-variatiekanalen uit ($\log \sigma^2_{tex}, \log \sigma^2_{light}, \log \sigma^2_{nl}$) die corresponderen met textuur, verlichting en niet-Lambertiaanse bronnen.
   • Ontwerpkies: De onzekerheidskop ontvangt een skip-verbinding van de ruwe invoerafbeelding $I$ naast de bottleneck-features. Dit behoudt hoogfrequente pixel-niveau aanwijzingen (bijvoorbeeld verzadiging, gradiënten) die tijdens het coderen verloren gaan, welke cruciaal zijn voor het detecteren van ambiguïteit.

2.4 Trainingsstrategie

Om "variatie-explosie" te voorkomen (waarbij het netwerk de verliesfunctie minimaliseert door overal oneindige onzekerheid te voorspellen), wordt een tweefasige trainingsstrategie toegepast:

• Fase 1 (Warmup): Train uitsluitend de reconstructiekoppen ($R, S, N$) gedurende 55 epochs. De onzekerheidskop is bevroren.
• Fase 2 (NLL): Breng geleidelijk de heteroscedastische Negative Log-Likelihood (NLL)-verliesfunctie in gedurende 25 epochs, waarbij alle parameters gezamenlijk worden getraind.

3. Belangrijkste Bijdragen

1. Kwantificering van Leckage op Frame-niveau: Het artikel biedt de eerste kwantitatieve demonstratie dat splitsingen op frame-niveau op MPI Sintel de test R PSNR met 1,6–2,0 dB opblazen (statistisch significant, $p < 0,01$) in vergelijking met splitsingen op sceneniveau over drie architecturen (DirectCNN, UNet en de voorgestelde methode). Bij uitgebreide training overschrijdt deze kloof 10 dB.
2. Bron-scheidbare Onzekerheid: Een nieuwe drie-weg onzekerheidskop die onzekerheid ontbindt in textuur, verlichting en niet-Lambertiaanse bronnen. De auteurs verifiëren empirisch dat deze kanalen niet instorten tot een gedeelde scalar; specifiek toont het niet-Lambertiaanse kanaal ($\sigma_{nl}$) een kruiscorrelatie van $r=0,67$ met niet-Lambertiaanse residu-fouten, meer dan 4$\times$ sterker dan de correlatie van het textuurkanaal met dezelfde fout.
3. Downstream Nut van Onzekerheid: Het artikel demonstreert dat onzekerheidsrangschikkingen praktisch informatief zijn. Het filteren van de 75% hoogste onzekerheidspixels verlaagt de reconstructie MSE met 77% op de behouden pixels, terwijl willekeurig filteren geen verbetering oplevert.
4. Negatieve Resultaten en Ablatie: De auteurs rapporteren dat een meer uitgebreide variant die frequentiedecompositie, evidentiële learning, contrastief verlies en adaptatie op testtijd (TTA) combineert, slechter presteert dan de eenvoudigere baseline. Leave-one-out ablatie bevestigt dat geen enkel onderdeel van deze complexe variant de baseline verbetert, wat suggereert dat feature-accumulatie zonder gedisciplineerde evaluatie schadelijk kan zijn.

4. Experimentele Resultaten

4.1 Kwantitatieve Prestaties (Splitsing op Sceneniveau)

Onder het strikte protocol op sceneniveau:

• Voorgestelde Methode: Bereikt 15,98 ± 0,41 dB R PSNR en 16,09 ± 0,18 dB S PSNR.
• Vergelijking: Deze prestatie is statistisch niet te onderscheiden van een UNet+Physics baseline (15,97/16,00 dB) maar significant lager dan een Deep Ensemble van 5 leden (16,78/16,51 dB).
• Kostenefficiëntie: De voorgestelde methode bereikt bijna ensemble-prestaties voor een vijfde van de parameter- en trainingskosten.
• Significantie: Geen van de incrementele architecturale wijzigingen (Physics-kop, skip-verbindingen) leverde statistisch significante PSNR-winsten op ($p > 0,05$) in gepaarde t-toetsen over seeds, wat de these van het artikel bevestigt dat marginale architecturale tweaks marginale winsten opleveren onder eerlijke evaluatie.

4.2 Onzekerheidsanalyse

• Kalibratie: De globale correlatie tussen onzekerheid en fout is bescheiden ($r = 0,131$), vergelijkbaar met of iets beter dan Deep Ensembles ($r = 0,107$) en consistent met benchmarks in optische stroming en diepteschatting.
• Specialisatie: Het niet-Lambertiaanse kanaal ($\sigma_{nl}$) correleert sterk met niet-Lambertiaanse fouten ($r=0,67$), terwijl het textuurkanaal ($\sigma_{tex}$) dit niet doet. Deze bron-specifieke specialisatie is uniek in vergelijking met scalar onzekerheidsschatters.
• Generalisatie: Het bron-scheidbare gedrag blijft bestaan op out-of-distribution echte foto's (zonder fine-tuning), waarbij $\sigma_{nl}$ een positieve correlatie toont met voorspelde niet-Lambertiaanse residuen.

4.3 Negatieve Bevindingen

• Complexe Varianten: Een variant die vijf geavanceerde mechanismen combineert (frequentierouting, cross-task supervisie, evidentiële learning, contrastief verlies, TTA) resulteerde in een daling van 3,4 dB in S PSNR en een negatieve correlatie tussen onzekerheid en fout.
• Ablatie: Leave-one-out analyse toonde aan dat geen enkel onderdeel van de complexe variant de baseline verbeterde, wat aangeeft dat het falen niet te wijten was aan één "slecht" onderdeel, maar aan de incompatibiliteit van de gecombineerde mechanismen.

5. Betekenis en Claims

Het artikel betoogt dat de community voor intrinsic image decomposition is misleid door te vergaande evaluatieprotocollen. De primaire betekenis ligt in:

1. Protocolcorrectie: Het vaststellen van splitsingen op sceneniveau als de noodzakelijke standaard om datalekken te voorkomen, met referentiecijfers voor zes modellen onder dit protocol.
2. Interpreteerbaarheid boven Ruwe Metrics: Het demonstreren dat hoewel de voorgestelde methode de PSNR niet drastisch verbetert ten opzichte van eenvoudigere baselines, haar bron-scheidbare onzekerheid unieke, actieerbare informatie biedt (bijvoorbeeld het onderscheiden van spiegelende highlights van textuur) die scalar ensembles niet kunnen bieden.
3. Gedisciplineerde Evaluatie: Het artikel waarschuwt tegen "feature-accumulatie" (toevoegen van complexe modules) zonder rigoureuze ablatie. Het suggereert dat voor slecht gestelde inverse problemen, gedisciplineerde architecturale terughoudendheid vaak robuustere resultaten oplevert dan complexe, ongeverifieerde combinaties van mechanismen.

De auteurs concluderen dat kwantificering van onzekerheid een natuurlijke, onderbelichte aanvulling is op intrinsic decomposition, en tools biedt voor downstream taken zoals herverlichting en materiaalbewerking, waarbij het kennen van de grenzen van de decompositie kritiek is.