Light of Normals: Unified Feature Representation for Universal Photometric Stereo

Dit paper introduceert LINO UniPS, een nieuwe methode voor universele fotometrische stereo die licht en oppervlaktnormals effectief ontkoppelt via Light Register Tokens en Interleaved Attention, en hoogfrequente geometrische details behoudt met een wavelet-gebaseerde architectuur, ondersteund door het grote synthetische PS-Verse-dataset.

De kern

Stel je voor dat je een object bekijkt, zoals een vaas of een beeldje, onder verschillende lampen. Soms schijnt het licht van links, soms van rechts, en soms is het een diffuse gloed. Als je een camera gebruikt, zie je alleen de schaduwen en de highlights op het oppervlak. De echte vorm (de "normaal") is verborgen.

Het doel van fotometrische stereoscopie is om die verborgen vorm terug te halen, puur op basis van hoe het licht op het object valt.

Deze paper introduceert een nieuwe methode genaamd LINO UniPS. Hier is een uitleg in gewone taal, met behulp van een paar creatieve vergelijkingen:

1. Het Grote Probleem: De "Licht- en Vorm-Mix"

Vroeger waren computerslimme systemen die dit deden, vaak verward. Ze zagen het licht en de vorm van het object door elkaar heen.

• De Analogie: Stel je voor dat je probeert het recept van een cake te achterhalen, maar de bakker heeft de suiker, het meel en de eieren in één grote, ondoorzichtige soep gegooid. Het is heel moeilijk om te zeggen: "Ah, dit stukje is suiker, en dit stukje is meel."
• In de oude systemen was het licht (de suiker) en de vorm (het meel) zo door elkaar gehusseld dat de computer moeite had om de echte vorm te zien, vooral als het licht vreemd was.

2. De Oplossing: De "Scheidingstafel" (Light Register Tokens)

De auteurs van LINO UniPS hebben een slimme truc bedacht om de soep weer te scheiden. Ze gebruiken iets dat ze "Light Register Tokens" noemen.

• De Analogie: Stel je voor dat je in een drukke keuken werkt. In plaats van dat iedereen door elkaar roept, heb je drie speciale assistenten die elk een specifieke taak hebben:
  1. De Vriend van de Lampen (Point Light): Deze kijkt alleen naar de harde, felle schijnwerpers (zoals een zaklamp).
  2. De Vriend van de Zon (Directional Light): Deze kijkt naar de grote, zachte lichtstromen (zoals zonlicht).
  3. De Vriend van de Omgeving (Env Light): Deze kijkt naar de algemene gloed van de kamer.
• Door deze drie "assistenten" expliciet te laten werken, kan de computer zeggen: "Oké, dit deel van de afbeelding komt van die assistent, dus dat is het licht. Wat overblijft, is puur de vorm van het object." Hierdoor wordt de vorm veel scherper en realistischer.

3. Het Behoud van Details: De "Microscoop" (Wavelet-architectuur)

Een ander probleem met oude systemen was dat ze fijne details (zoals rimpels in stof of de textuur van een huid) vaak verloren. Ze maakten de afbeeldingen te glad, alsof je door een wazige bril keek.

• De Analogie: Stel je voor dat je een foto maakt van een vlinder. Als je de foto te veel verkleint (downsampling), zie je de prachtige patronen op de vleugels niet meer; het wordt een groene vlek.
• LINO UniPS gebruikt een Wavelet-architectuur. Dit is alsof je niet alleen naar de grote foto kijkt, maar ook een microscoop gebruikt die specifiek zoekt naar de allerfijste lijntjes en patronen. Ze houden twee wegen tegelijk open: één voor het grote plaatje en één voor de microscopische details. Zo gaan ze nooit de fijne textuur kwijtraken.

4. De Nieuwe "Trainingsboek" (PS-Verse Dataset)

Om dit systeem slim te maken, hebben de auteurs een enorm nieuw trainingsboek gemaakt, genaamd PS-Verse.

• De Analogie: Vroeger leerden ze de computer met simpele voorbeelden, zoals een gladde bal of een kubus. Dat is als een kind leren varen in een zwembad met rustig water.
• Met PS-Verse hebben ze de computer getraind in een "oceaanstorm". Ze hebben 100.000 complexe scènes gegenereerd met rare vormen, glanzende materialen en heel veel verschillende lichtsoorten. Hierdoor is de computer nu een echte "zeeveteraan" die in elke situatie (of het nu een studio is of buiten in de natuur) de vorm perfect kan zien.

Samenvatting: Waarom is dit geweldig?

Dit nieuwe systeem (LINO UniPS) is als een meester-detective die:

1. De verdachte (het licht) en het slachtoffer (de vorm) perfect van elkaar kan scheiden.
2. Een vergrootglas heeft om zelfs de kleinste vingerafdrukken (fijne details) te zien.
3. Getraind is in de zwaarste omstandigheden die er bestaan.

Het resultaat? De computer kan nu 3D-vormen reconstrueren die eruitzien alsof ze met een dure 3D-scanner zijn gemaakt, terwijl ze alleen kijken naar een paar foto's met willekeurig licht. Het is sneller, scherper en werkt beter dan alles wat we daarvoor hadden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "LIGHT OF NORMALS: UNIFIED FEATURE REPRESENTATION FOR UNIVERSAL PHOTOMETRIC STEREO" (LINO UniPS), geschreven in het Nederlands.

Probleemstelling

Fotometrische stereoscopie (PS) heeft als doel oppervlaktenormalen te reconstrueren uit meerdere afbeeldingen onder verschillende belichtingsomstandigheden. Universele PS is een specifieke tak die moet werken onder willekeurige, onbekende belichting zonder afhankelijkheid van specifieke fysische lichtmodellen.

De auteurs identificeren twee fundamentele uitdagingen in bestaande methoden (zoals UniPS en SDM UniPS):

1. Ineffectieve ontkoppeling van licht en geometrie: Bestaande encoders verwerken lichtinformatie en normaal-informatie gezamenlijk zonder expliciete representatie van het licht. Dit leidt tot instabiele features en inconsistente normaalvoorspellingen. De decoder moet dan de moeilijke taak van ontkoppeling uitvoeren, wat de prestaties beperkt.
2. Verlies van hoogfrequente geometrische details: Traditionele operaties zoals downsamplen (bijv. bilineaire interpolatie) of pixel shuffle vegen fijne details weg of verstoren hoogfrequente semantiek. Dit resulteert in gladde, onnauwkeurige normalen, vooral in gebieden met complexe oppervlakken.

Methodologie: LINO UniPS

De auteurs stellen LINO UniPS voor, een ViT-gebaseerd (Vision Transformer) framework dat expliciet licht ontkoppelt van oppervlakte-informatie en details behoudt via een wavelet-benadering.

1. Ontkoppeling van Licht en Normaal (Encoder)

Om de encoder te laten leren wat licht is en wat geometrie, introduceert het paper twee kerncomponenten:

• Light Register Tokens: Geïnspireerd op de 'register'-mechanismen in DINO, worden drie soorten leerbare tokens geïntroduceerd om globale belichting te aggregeren:
  • Point Tokens: Voor puntlicht (hoogfrequent, glanspunten).
  • Direction Tokens: Voor richtinglicht (laagfrequent, globale schaduw).
  • Env Tokens: Voor omgevingslicht (HDRI).
  • Light Alignment Supervision: Een cruciale innovatie waarbij deze tokens expliciet worden getraind om te aligneren met de bekende lichtbronnen in de trainingsdata (via cosine similarity loss). Dit dwingt de tokens om specifieke lichtkarakteristieken te leren, waardoor licht effectief uit de normaal-features wordt gefilterd.
• Interleaved Attention Block: Een nieuw aandachtmechanisme dat globale cross-image attention combineert met frame- en licht-as attention. De blokken wisselen af in de volgorde: Frame → Light → Global → Light. Dit zorgt voor een holistisch begrip van de belichting over alle afbeeldingen heen, wat de ontkoppeling verder verbetert.

2. Behoud van Details (Architectuur en Loss)

Om het verlies van hoogfrequente details te voorkomen:

• Wavelet-based Dual-branch Architecture: In plaats van alleen downsamplen, gebruikt de encoder twee takken:
  • Een naive downsample tak voor globale semantische informatie.
  • Een wavelet tak die de Discrete Wavelet Transform (DWT) toepast om afbeeldingen te decomponeren in laag- en hoogfrequente componenten (LL, LH, HL, HH).
  • Tijdens het upsamplen wordt een inverse wavelet transform gebruikt om details te reconstrueren, waardoor hoogfrequente informatie behouden blijft.
• Normal-gradient Perception Loss: Een nieuwe loss-functie die de reconstructiefout weegt op basis van de geschatte normaal-gradiënt. Gebieden met hoge gradiënten (complexe geometrie) krijgen zwaardere straffen, waardoor het model wordt gedwongen om zich te focussen op fijne details.

3. PS-Verse Dataset

De auteurs hebben een nieuw, groot synthetisch dataset (PS-Verse) gebouwd (100.000 scènes) om de training te verbeteren.

• Complexiteit: Scènes zijn gegroepeerd in 5 niveaus van geometrische complexiteit (gebaseerd op randdichtheid).
• Materialen & Licht: Gebruik van PBR-materialen (metals, specular, diffuse) en diverse lichtconfiguraties (punt, richting, omgeving).
• Normal Mapping: Voor het eerste in een dergelijke dataset wordt normal mapping gebruikt om extreem complexe hoogfrequente details te simuleren zonder de polygonen te verhogen.
• Curriculum Learning: Het model wordt getraind van eenvoudige naar complexe scènes om generalisatie te verbeteren.

Belangrijkste Resultaten

De prestaties zijn geëvalueerd op publieke benchmarks (DiLiGenT, Luces) en de eigen PS-Verse testset.

• State-of-the-Art (SOTA) Prestaties: LINO UniPS behaalt een nieuwe SOTA op DiLiGenT met een gemiddelde Mean Angular Error (MAE) van 4.65° (tegenover 5.80° van SDM UniPS) en 9.43° op Luces (tegenover 11.21°).
• Feature Consistentie: De encoder produceert aanzienlijk consistentere features (gemeten via CSIM en SSIM) dan eerdere methoden, wat direct correleert met de hogere reconstructieprecisie.
• Efficiëntie: Het model is aanzienlijk sneller dan concurrenten zoals Uni MS-PS (die ~35x trager is bij hoge resolutie) en iets sneller dan SDM UniPS.
• Ablatie Studies:
  • Het toevoegen van Light Register Tokens + Light Alignment verlaagt de MAE aanzienlijk.
  • De Wavelet-branch en Gradient Loss zijn essentieel voor het herstel van fijne details.
  • Het gebruik van gespecialiseerde tokens (in plaats van generieke) is cruciaal voor de prestaties.
• Generalisatie: Het model toont sterke generalisatie naar real-world data en complexe materialen, zelfs zonder maskers.

Significantie en Impact

Dit paper biedt een doorbraak in het veld van Universele Fotometrische Stereoscopie door:

1. Een nieuwe filosofie voor ontkoppeling: Het bewijst dat het expliciet ontkoppelen van licht en geometrie in de encoder (via Register Tokens) superieur is aan het laten doen van deze taak door de decoder.
2. Architecturale innovatie: De combinatie van Wavelet-transformaties met Vision Transformers lost het probleem van detailverlies op, wat vaak een bottleneck was bij diepe learning methoden voor 3D-reconstructie.
3. Dataset bijdrage: PS-Verse stelt een nieuwe standaard voor synthetische data, met een focus op geometrische complexiteit en realistische materialen, wat essentieel is voor het trainen van robuuste modellen voor de echte wereld.

Samenvattend introduceert LINO UniPS een unified feature representation die zowel lichtinvariantie als hoogfrequente detailbehoud garandeert, resulterend in scherpere, betrouwbaardere 3D-normaalreconstructies dan ooit tevoren.