ICTPolarReal: A Polarized Reflection and Material Dataset of Real World Objects

Probleemstelling

Het nauwkeurig modelleren van hoe realistische materialen licht reflecteren blijft een fundamentele uitdaging in inverse rendering (het ontleden van een afbeelding in zijn intrinsieke componenten zoals albedo, normaal en verlichting).

• Tekort aan data: Bestaande methoden vertrouwen zwaar op synthetische datasets. Deze datasets gebruiken vaak vereenvoudigde verlichtingsmodellen en beperkte materiaalkwaliteit, waardoor modellen moeite hebben om te generaliseren naar echte, ongecontroleerde foto's.
• Beperkingen van synthetische data: Synthetische renderers negeren vaak complexe fysieke fenomenen zoals multi-scattering, polarisatie en subsurface transport. Bovendien ontbreken er fysiek gevalideerde materiaalparameters en polarisatie-informatie in de meeste synthetische assets.
• Huidige real-world datasets: Bestaande real-world datasets (zoals Multi-Illumination) missen vaak de benodigde metingen voor intrinsieke decompositie, waardoor ze niet geschikt zijn voor het trainen van toezichthoudende (supervised) generatieve modellen.

Methodologie

De auteurs introduceren een grootschalig dataset en een opname-systeem dat is ontworpen om de kloof tussen synthetische en real-world data te overbruggen.

1. Opname-systeem (Light Stage):

• Hardware: Een Light Stage met 346 LED-lichtbronnen (georganiseerd in een geodetische koepel) en 8 gesynchroniseerde RED Komodo 6K-camera's.
• Polarisatie: Zowel de lichtbronnen als de camera's zijn uitgerust met lineaire polarisatoren. De lichtbronnen wisselen tussen kruis-polarisatie (cross-polarized) en parallel-polarisatie (parallel-polarized).
• Opname-procedure: Elke van de 218 objecten wordt opgenomen onder One-Light-at-a-Time (OLAT) verlichting. Dit resulteert in 346 lichtrichtingen per object, over 8 viewpoints, voor beide polarisatiestatussen.
• Resolutie: De dataset bevat meer dan 1,2 miljoen hoogresolutie afbeeldingen (6144×3240).

2. Data-verwerking en Afleiding:

• Scheiding van reflectie: Door gebruik te maken van de wet van Malus en de metingen van kruis- en parallel-polarisatie, kunnen diffuse en speculaire reflecties fysiek worden gescheiden:
  • Diffuse reflectie ($I_d$) wordt afgeleid uit de kruis-polarisatie metingen.
  • Speculaire reflectie ($I_s$) wordt berekend door het verschil tussen parallel- en kruis-polarisatie.
• Materiaalparameters: Uit deze gescheiden reflectievelden worden fysiek interpreteerbare grootheden afgeleid:
  • Diffuse albedo ($\rho_d$)
  • Speculaire albedo ($\rho_s$)
  • Oppervlaktenormaal ($n$)
• Lichtaugmentatie: De dataset ondersteunt het synthetiseren van willekeurige nieuwe verlichting (HDRI) door de OLAT-afbeeldingen te combineren op basis van gewichten afgeleid van een omgevingskaart.

3. Modellering en Evaluatie:
De auteurs trainen en evalueren state-of-the-art modellen voor inverse en forward rendering:

• Inverse Rendering: Modellen worden getraind om een RGB-afbeelding te ontleden in albedo, normaal en speculaire componenten. Ze gebruiken twee workflows:
  • PBR-workflow: Voorspelt fysiek gebaseerde componenten.
  • Polarisatie-workflow: Voorspelt kruis- en parallel-polarisatie componenten, wat een sterke fysieke cue biedt voor het ontrafelen van reflecties.
• Forward Rendering: Modellen renderen nieuwe afbeeldingen op basis van de intrinsieke componenten onder nieuwe verlichting.
• Fine-tuning: Bestaande modellen (zoals RGB2X en Diffusion Renderer) worden gefinetuned op deze real-world dataset met behulp van Low-Rank Adaptation (LoRA) om "catastrophic forgetting" te voorkomen.

Kernbijdragen

1. Eerste Real-World Dataset met Polarisatie: Dit is de eerste dataset die fysiek gemeten reflectie van real-world objecten combineert met volledige polarisatie-informatie, multiview-opnames en gedetailleerde materiaaleigenschappen.
2. Uitgebreide Dekking: De dataset omvat 218 dagelijkse objecten van diverse materialen (metaal, plastic, keramiek, glas, textiel, organisch, etc.) onder 346 lichtrichtingen en 8 viewpoints.
3. Fysiek Gescheiden Ground Truth: Het biedt directe ground truth voor diffuse en speculaire reflectie, wat zeldzaam is in real-world datasets.
4. Validatie van Generalisatie: Het paper demonstreert dat modellen getraind op deze data significant beter presteren op real-world taken dan modellen die alleen op synthetische data zijn getraind.

Resultaten

De evaluatie omvat intrinsieke decompositie, relighting en 3D-reconstructie:

• Intrinsieke Decompositie: Modellen getraind op de dataset tonen aanzienlijke verbeteringen in nauwkeurigheid (hoge PSNR en SSIM, lage MSE en LPIPS) vergeleken met synthetische baselines. Ze zijn beter in het ontrafelen van diffuse en geometrische componenten onder complexe verlichting.
• Relighting:
  • De PBR-workflow levert betere schaduwcontinuïteit en globale kleurbalans op.
  • De Polarisatie-workflow resulteert in consistentere verlichting en minder ruis in glanzende gebieden.
  • Modellen generaliseren beter naar echte verlichting en vertonen minder overfitting op synthetische radiatieverdelingen.
• Sparse-view 3D Reconstructie:
  • Speculaire reflecties verstoren vaak de geometrie in 3D-reconstructie.
  • Door het gebruik van de inverse model om "diffuse-only" beelden te genereren (via de polarisatie-workflow) uit standaard ongepolariseerde input, verbetert de reconstructie van 3D-geometrie aanzienlijk (hoge PSNR en lagere fouten) bij methoden zoals Dust3r en Mast3r.

Betekenis en Toekomstperspectief

• Nieuwe Basis voor Materiaalbegrip: Deze dataset legt een fysisch onderbouwde basis voor het begrijpen van materialen, waardoor modellen kunnen generaliseren buiten synthetische trainingsregimes.
• Brug naar de Realiteit: Het bewijst dat het gebruik van polarisatie-informatie (zelfs als deze alleen als trainingsdoel wordt gebruikt) cruciaal is voor het verbeteren van computer vision taken zoals reflectiescheiding en 3D-reconstructie in de echte wereld.
• Beperkingen: De huidige opname is beperkt tot statische objecten in een gecontroleerde omgeving. Zeer transparante, dynamische of sterk anisotrope materialen zijn moeilijk te meten, en subsurface parameters worden niet vastgelegd.
• Toekomst: Toekomstig werk richt zich op het uitbreiden van de opname naar complexere materialen en het ontwikkelen van schaalbare, "in-the-wild" opnametechnieken.

Kortom, dit werk biedt een cruciale missing link voor het trainen van robuuste, fysisch correcte AI-modellen voor computer vision en computer graphics.