Structural Regularities of Cinema SDR-to-HDR Mapping in a Controlled Mastering Workflow: A Pixel-wise Case Study on ASC StEM2

Deze empirische studie analyseert de structurele regulariteiten van de SDR-naar-HDR-mapping in een gecontroleerde cinemawerkstroom met ASC StEM2 en biedt een kwantitatieve basis voor het onderscheiden van EXR-herstelgebieden van adaptieve aanpassingszones.

De kern

Stel je voor dat je een oude, prachtige film hebt die is opgenomen op een zeer hoge kwaliteit (zoals een meesterwerk in een museum). Dit is de EXR-bron. Vervolgens is deze film voor de bioscoop omgezet naar twee versies: een SDR-versie (Standard Dynamic Range, de oude standaard) en een HDR-versie (High Dynamic Range, de nieuwe, heldere standaard).

De vraag die onderzoekers Xin Zhang en Xiaoyi Chen zich stellen, is simpel maar diep: "Als we naar de oude SDR-versie kijken, kunnen we dan precies terugrekenen hoe de nieuwe HDR-versie eruit moet zien, alsof we de tijd terugdraaien?"

Om dit te beantwoorden, hebben ze gekeken naar een speciale testfilm genaamd ASC StEM2. Omdat deze film in een perfecte, gecontroleerde omgeving is gemaakt, weten ze precies hoe de bron eruitzag en hoe de twee eindversies zijn gemaakt. Hier is wat ze ontdekten, vertaald naar alledaagse taal:

1. Het Grote Plaatje: Een Vaste Lijn

Stel je voor dat de SDR-versie een gedempte foto is en de HDR-versie een levendige, 3D-gekleurde foto.
De onderzoekers ontdekten dat er een zeer stabiele, voorspelbare lijn tussen deze twee versies loopt.

• De Analogie: Denk aan een ladder. Als je op sport 10 van de SDR-ladder staat, zit je bijna altijd op een vast sportje van de HDR-ladder. De structuur van het beeld (de randen, de textuur van een muur, de vorm van een gezicht) blijft bijna 100% hetzelfde.
• Conclusie: Voor het grootste deel is de HDR-versie gewoon een "opgeblazen" versie van de SDR-versie. Als je de helderheid van de SDR-versie zou kunnen uitrekken, zou je al heel dicht bij de HDR-versie komen.

2. De Uitzonderingen: Waar de Magie Gebeurt

Hoewel de ladder stabiel is, zijn er plekken waar de regels worden gebroken. De onderzoekers vonden twee soorten "plekken" waar de HDR-versie anders doet dan je zou verwachten:

• De Zelflichtende Vuurwerkplekken (Type I): Denk aan felle lampen, vonken van een explosie of de zon. In de oude SDR-versie werden deze plekken vaak "afgesneden" (zwart of wit gemaakt) omdat de oude schermen te donker of te licht waren. In de HDR-versie worden deze plekken weer levendig en gedetailleerd.
  • De les: Hier is de HDR-versie een echte "heropleving" van wat er oorspronkelijk in de scène zat.
• De Materialen (Type II): Denk aan glanzend metaal, glas of een natte straat. Hier past de HDR-versie de details iets aan om het materiaal realistischer te laten lijken, zonder de algehele helderheid te veranderen.

Het verrassende feit: Hoewel deze "bijzondere plekken" maar ongeveer de helft van de pixels uitmaken, bevatten ze 99% van de verschillen tussen de twee versies. De rest van het beeld (de muren, de lucht, de kleding) is bijna identiek.

3. De Kleuren: De Huidskleur blijft gelijk

Wat doen ze met de kleuren?

• De Analogie: Stel je voor dat je een pot verf hebt. In de SDR-versie is de verf wat "uitgebleekt" en in de HDR-versie is hij weer "vol".
• De Vinding: De tint (bijvoorbeeld: is dit rood of oranje?) blijft bijna precies hetzelfde. De filmmakers willen niet dat een gezicht plotseling groen wordt.
• De Verandering: Wat wel verandert, is de verzadiging (hoe fel de kleur is).
  • In de schaduwen (donkere plekken) worden kleuren iets minder fel, omdat het oog in het donker minder kleur ziet.
  • In het middendeel (normaal licht) worden kleuren iets feller en rijker.
  • In de felste lichten worden kleuren weer wat minder fel, omdat felle lichtbronnen van nature minder kleur hebben (een felle witte gloeilamp is niet paars).

4. De "Beslissingskaart": Wat is echt en wat is aangepast?

De onderzoekers maakten een speciale kaart om te zien waar de HDR-versie dichter bij de originele bron (EXR) ligt dan de SDR-versie.

• 82,4% van het beeld: Hier is de HDR-versie een betere, dichtere kopie van de originele scène dan de SDR-versie. Het is alsof je een vuil raam (SDR) schoonmaakt en de originele tuin (EXR) weer perfect ziet.
• 17,6% van het beeld: Hier heeft de HDR-versie creatieve aanpassingen gedaan. Bijvoorbeeld bij een heel felle lamp waar de SDR-versie niets meer van kon laten zien. De HDR-versie "verzint" hier geen nieuwe details, maar vult de gaten in op een manier die er natuurlijk uitziet, omdat de originele data in de SDR-versie te beschadigd was om direct terug te rekenen.

Wat betekent dit voor de toekomst?

Deze studie leert ons iets belangrijks voor kunstmatige intelligentie (AI) die films van SDR naar HDR moet omzetten:

1. Vertrouw op de basislijn: Je kunt een simpele, stabiele regel gebruiken voor 80% van het beeld (de ladder).
2. Wees slim bij de details: Je hebt een slimme AI nodig voor de felle lichten en de glanzende materialen, want daar is de oude versie vaak beschadigd en moet de AI creatief invullen.
3. Geen magische hersteltruc: Je kunt niet zomaar alles perfect terugrekenen. In donkere, ruisende hoeken (zoals in een grot) is de originele informatie vaak al verloren gegaan. Daar moet je voorzichtig zijn en niet proberen om details te "redden" die er nooit meer zijn.

Kortom: Het omzetten van een oude film naar HDR is niet als het terugdraaien van een video naar een ruwe opname. Het is meer als het restaureren van een oud schilderij: je herstelt de helderheid en de kleuren waar dat mogelijk is, maar je past de details aan waar het origineel te beschadigd was, terwijl je de compositie en de sfeer intact houdt.

Technische samenvatting

Probleemstelling

De conversie van SDR (Standard Dynamic Range) naar HDR (High Dynamic Range) is een cruciale uitdaging in de beeldverwerking, vooral voor het hermasteren van grote archieven van films. Bestaande methoden voor "inverse tone mapping" (ITM) gaan vaak uit van het idee dat SDR een gecomprimeerde fysieke weergave van een scène is die volledig kan worden gereconstrueerd. Echter, in de professionele filmindustrie is een release-master (zowel SDR als HDR) het resultaat van bewuste creatieve beslissingen (kleurgradering, compositie, narratieve expressie) en niet louter een fysieke reconstructie.

Er ontbreekt tot nu toe een systematisch, kwantitatief inzicht in de structurele relatie tussen professioneel gemasterde SDR- en HDR-filmparparen binnen een echte productieworkflow. Zonder deze kennis is het moeilijk om betrouwbare wiskundige modellen te bouwen voor effectieve conversie.

Methodologie

De auteurs voeren een empirisch case study uit op basis van ASC StEM2 ("The Mission"), een zeldzame, gemeenschappelijke dataset die bestaat uit:

1. EXR-brongegevens: Scène-referentie data in ACES AP0 lineaire ruimte (16-bit float).
2. SDR-release-master: DCI-P3, Gamma 2.6, 48 cd/m².
3. HDR-release-master: DCI-P3, PQ (Perceptual Quantization), 300 cd/m².

Omdat alle drie de representaties uit dezelfde mastering-pipeline komen, biedt dit een unieke basis voor analyse. De studie omvat een pixel-wijze statistische analyse van alle 18.580 frames van de film.

Kernmethodes:

• Domein-definitie: Splitsing in 'Scene-Referred' (EXR) en 'Display-Referred' (SDR/HDR).
• Luminantie-analyse: Gebruik van isotone regressie om globale monotoone relaties te verifiëren en berekening van de correlatiecoëfficiënt ($R^2$) en gradient-correlatie ($\rho$) voor structurele consistentie.
• Residuanalyse: Decoupling van lokale afwijkingen van de globale baseline. Pixels worden geclassificeerd in een "Energy-Structure" feature space en geklusterd (K-Means) in drie typen.
• Kleuranalyse: Gebruik van de perceptueel uniforme kleurruimte ICtCp en $\Delta E_{ITP}$ als metriek. Analyse van hue-stabiliteit, chroma-correlatie en verzadigingsveranderingen per luminantie-interval.
• Beslissingskaart (Decision Map): Een operationele definitie die per pixel bepaalt of de HDR-versie dichter bij de EXR-bron ligt ("EXR-closer recovery") of dat het een inhoudsadaptieve aanpassing is ("content-adaptive adjustment"), gebaseerd op perceptuele kleurafstanden.

Belangrijkste Bijdragen

1. Een domein-gebaseerd vergelijkingskader (EXR, SDR, HDR) binnen een gedeelde ACES-mastering-workflow.
2. Pixel-wijze bewijsvoering van een uiterst stabiele globale monotoone luminantie-mapping over alle frames.
3. Identificatie van spare en gestructureerde lokale residu-patronen met een fysisch onderbouwde interpretatie.
4. Een operationele pixel-level beslissingskaart die gebieden onderscheidt waar fysieke herwinning mogelijk is versus gebieden die creatieve aanpassing vereisen.

Resultaten

1. Luminantie-structuur:

• Er bestaat een hoogst stabiele globale monotoone relatie tussen SDR en HDR. De $R^2$-waarde voor de luminantie-correspondentie ligt gemiddeld op 0,9986 (boven 0,99 voor 85% van de shots).
• De geometrische structuur (randen en texturen) blijft grotendeels behouden (gradient correlatie $\rho > 0,96$).
• Afwijkingen zijn spaarzaam en geconcentreerd in specifieke gebieden:
  • Type I (Zelflichtende highlights): Bijv. lampen, vonken. Hier wordt de HDR-luminantie significant verhoogd om details te herstellen die in SDR waren afgeknapt (95,4% van de residu-energie).
  • Type II (Materiaal-gerelateerde structuren): Bijv. glasreflecties, metaal. Hier zijn kleine, gestructureerde aanpassingen voor textuurversterking.
  • Type III (Globale baseline): De meeste pixels (ca. 50%) volgen de globale mapping zonder significante lokale aanpassingen.

2. Kleur-structuur:

• Hue-stabiliteit: De tint (hue) blijft zeer stabiel; de gemiddelde verschuiving is slechts 2,38°.
• Verzadiging (Saturation): Er is een herverdeling van kleurvolume:
  • Schaduwen (<20 cd/m²): Verzadiging neemt af (desaturatie) om perceptuele consistentie te behouden bij lagere helderheid.
  • Midtones (20–100 cd/m²): Er is een beperkte toename van verzadiging (66,9% van de pixels toont versterking).
  • Highlights (>100 cd/m²): Verzadiging neemt af naarmate de luminantie de witpunt nadert, vanwege de krimp van het beschikbare kleurbereik.

3. Beslissingskaart (EXR vs. SDR/HDR):

• Onder de operationele definitie (waar HDR dichter bij EXR ligt dan SDR) worden 82,4% van de beproefde beeldgebieden geclassificeerd als "EXR-closer recovery". Dit suggereert dat HDR in de meeste gevallen een betere herwinning is van de oorspronkelijke scène-informatie.
• De resterende 17,6% (voornamelijk extreme highlights en specifieke materialen) valt onder "content-adaptive adjustment". In deze gebieden is de oorspronkelijke structuur in SDR vaak onherstelbaar beschadigd door clipping, waardoor HDR hier creatieve compensatie biedt in plaats van pure reconstructie.
• De kwaliteit van herwinning hangt sterk af van het Signaal-Ruisverhouding (SNR) van het origineel; in donkere, ruisige scènes (zoals de grot) is de correlatie tussen HDR en EXR lager dan in heldere scènes.

Significantie en Conclusie

De studie weerlegt het idee dat SDR-naar-HDR conversie puur een fysieke inversie is. In plaats daarvan wordt het gedefinieerd als een beperkt herstelproces ("restrained restoration") binnen een gestructureerde workflow:

• De globale mapping is monotoon en behoudt de scène-structuur.
• Creatieve aanpassingen zijn beperkt tot gebieden waar de display-beperkingen van SDR de originele informatie hebben vernietigd (zoals highlights).
• Voor het ontwikkelen van lerende modellen (AI/Deep Learning) suggereert deze studie dat modellen een sterke globale monotoone prior moeten combineren met een gespecialiseerde capaciteit voor het behandelen van zelflichtende highlights, materiaalspecifieke residuen en gebieden met een lage SNR.

De bevindingen bieden een interpreteerbare kwantitatieve basislijn voor SDR-naar-HDR analyse, hoewel ze specifiek zijn voor deze gecontroleerde workflow en niet direct als universele wet voor alle filmproducties kunnen worden beschouwd zonder verdere validatie.