GS-ProCams: Gaussian Splatting-based Projector-Camera Systems

GS-ProCams introduceert het eerste framework voor projector-camera-systemen dat op Gaussian Splatting is gebaseerd, waardoor het mogelijk wordt om view-agnostische projectiemapping te realiseren met aanzienlijk minder geheugen en snellere inferentie dan NeRF-gebaseerde methoden, zonder de noodzaak van extra hardware.

De kern

Stel je voor dat je een projector hebt die een film projecteert op een muur. Als die muur perfect vlak en wit is, ziet het er geweldig uit. Maar wat als je projecteert op een oude, hobbelige baksteenmuur, of op een gekleurd schilderij? Dan wordt het beeld vertekend, vaag of de kleuren worden "opgegeten" door de muur.

Om dit op te lossen, gebruiken mensen vaak Projector-Camera Systemen (ProCams). Dit is een slimme combinatie van een camera en een projector die samenwerken. De camera kijkt naar de muur, ziet hoe hij eruitziet, en zegt tegen de projector: "Hé, hier moet je de kleuren wat donkerder maken, en daar moet je de lijnen wat buigen, zodat het er toch perfect uitziet."

Het probleem met de oude methoden was dat ze erg traag waren en alleen maar werkten vanuit één specifieke hoek. Als je een beetje opzij stapte, was de magie weg en zag het er weer raar uit. Ze waren als een fotograaf die alleen één foto van een schilderij kan maken; als je van kant verandert, werkt het niet meer.

GS-ProCams is de nieuwe, revolutionaire oplossing uit dit paper. Hier is hoe het werkt, vertaald in alledaagse taal:

1. De "Wolk van Puntjes" (Gaussian Splatting)

Stel je voor dat je een 3D-object (zoals een vaas of een muur) niet ziet als een stevige, harde schil, maar als een wolk van miljoenen kleine, zwevende stipjes.

• De oude manier (NeRF): Dit was als proberen een 3D-object te bouwen met heel veel dunne, onzichtbare draden die je met een computer moet berekenen. Het kostte enorm veel tijd en computerkracht (zoals een supercomputer die een uur doet over één seconde beeld).
• De nieuwe manier (GS-ProCams): Dit gebruikt die "wolk van stipjes" (Gaussians). Het is alsof je de muur opbouwt met duizenden kleine, gekleurde balletjes die je heel snel kunt verplaatsen en draaien. Dit is veel sneller en lichter voor de computer.

2. De "Slimme Bril" (View-Agnostic)

De echte kracht van GS-ProCams is dat het niet uitmaakt waar je staat.

• Vroeger: Als je de projector instelde voor iemand die recht voor de muur stond, zag iemand die 30 graden opzij stond een rommelig beeld. De computer moest dan opnieuw gaan rekenen en de hele setup opnieuw instellen.
• Nu: GS-ProCams heeft een soort "3D-geheugen" van de muur. Het begrijpt de vorm en de textuur van de muur volledig. Of je nu links, rechts, boven of beneden staat, het systeem past het beeld automatisch aan. Het is alsof je een slimme bril opzet die de muur in 3D ziet en de projector direct de juiste instructies geeft, ongeacht waar jij staat.

3. De "Magische Toverstaf" (Compensatie)

Het systeem doet drie dingen tegelijk, allemaal in één keer:

1. Het ziet de vorm: Het weet precies hoe hobbelig de muur is.
2. Het ziet de kleur: Het weet dat de muur hier geel is en daar rood, en past de projectie daarop aan.
3. Het ziet het licht: Het houdt rekening met het licht in de kamer (bijvoorbeeld een raam of een lamp), zodat de projectie er niet grijs uitziet door het omgevingslicht.

Waarom is dit zo geweldig? (De Analogie van de Auto)

Stel je voor dat je een auto wilt bouwen die over elk terrein rijdt.

• De oude methoden waren als een raceauto die alleen op een perfect glad circuit kon rijden. Als je op een kasseienpad kwam, viel hij uit. En als je van richting veranderde, moest je de hele motor opnieuw bouwen.
• GS-ProCams is als een off-road jeep. Hij rijdt over kasseien, door modder en op heuvels. En het beste deel? Hij is 900 keer sneller dan de raceauto en heeft 10 keer minder brandstof (computergeheugen) nodig.

Wat kun je er mee doen?

Met deze technologie kun je nu dingen doen die eerder onmogelijk of te traag waren:

• Verdwijn-magie: Je kunt een projector gebruiken om een object op een muur te "laten verdwijnen" en de achtergrond er perfect op te projecteren (zoals een camouflagemantel).
• Dynamische verhalen: Je kunt een film projecteren op een groep mensen die rondlopen. Omdat het systeem weet hoe de mensen bewegen en hoe het licht valt, blijft het beeld perfect op hen gericht, zelfs als ze van positie veranderen.
• Snelheid: Wat vroeger uren duurde om te berekenen, gebeurt nu in een fractie van een seconde.

Kortom: GS-ProCams maakt het mogelijk om projectoren slim, snel en flexibel te gebruiken op elke muur, in elke hoek en bij elk licht, zonder dat je een supercomputer of een team van ingenieurs nodig hebt. Het is de "iPhone-moment" voor projectoren: eindelijk iets dat gewoon werkt, waar je ook bent.

Technische samenvatting

1. Het Probleem

Projector-camera-systemen (ProCams) zijn essentieel voor toepassingen zoals ruimtelijke augmented reality (SAR), projectiemapping en industriële inspectie. De kernuitdaging ligt in het modelleren van de complexe geometrische en fotometrische mapping tussen de projector en het oppervlak, zodat projecties op niet-vlakke of getextureerde oppervlakken correct worden weergegeven.

Bestaande methoden hebben echter aanzienlijke beperkingen:

• CNN-gebaseerde methoden: Zijn vaak beperkt tot een specifiek gezichtspunt (view-specific). Zodra de camera of de kijker verandert, falen deze modellen omdat ze niet generaliseren naar nieuwe perspectieven.
• NeRF-gebaseerde methoden (Neural Radiance Fields): Kunnen wel gezichtspunt-onafhankelijk (view-agnostic) werken, maar vereisen vaak extra hardware (zoals een lichtbron die samenvalt met de camera) en een donkere kamer. Ze zijn ook computationally zeer intensief, wat leidt tot lange trainingstijden en hoge GPU-geheugeneisen, waardoor ze minder geschikt zijn voor real-time toepassingen.
• Omgevingslicht: Veel bestaande methoden gaan uit van een donkere kamer en kunnen de invloed van omgevingslicht (global illumination) niet goed hanteren in realistische omgevingen.

2. Methodologie: GS-ProCams

De auteurs stellen GS-ProCams voor, het eerste framework dat 2D Gaussian Splatting (2DGS) combineert met fysisch gebaseerd rendering (PBR) voor ProCams. Het doel is een efficiënte, view-agnostic simulatie en compensatie te realiseren.

Kerncomponenten van de methode:

• 2D Gaussian Representatie: In plaats van 3D-volumes of MLP's (zoals bij NeRF), wordt de scène weergegeven met 2D Gaussians. Elk Gaussian-punt wordt uitgebreid met attributen voor BRDF (Bidirectional Reflectance Distribution Function), waaronder albedo (kleur) en ruwheid (roughness).
• Fysisch Gebaseerd Rendering (PBR): Het framework lost de renderingvergelijking op door het licht te splitsen in twee componenten:
  1. Directe projectorverlichting: Gemodelleerd met een leerbaar gamma, versterking en een Point Spread Function (PSF) kernel (5x5) om onscherpte (defocus) te simuleren.
  2. Global Illumination: Omdat het modelleren van volledige indirecte verlichting duur is, wordt dit benaderd als een view-dependent residual color (overgebleven kleur) die per Gaussian wordt geschat. Dit vangt omgevingslicht en indirecte effecten op.
• Differentieerbaar Splatting: Het systeem gebruikt differentieerbare rasterisatie om de geometrie (diepte en normaalvectoren) en materiaaleigenschappen gezamenlijk te schatten vanuit meerdere opnames met bekende projectiepatronen.
• Geen Extra Hardware: Het systeem vereist geen co-locatie van lichtbronnen en werkt onder normale omgevingsverlichting.

Training en Optimalisatie:
Het framework optimaliseert de parameters van de Gaussians (positie, rotatie, schaal, opaciteit, kleur, BRDF) en de projectorresponsen (gamma, gain, PSF) gezamenlijk door de gesimuleerde beelden te vergelijken met de werkelijk opgenomen beelden (ground truth). Er worden straffen gebruikt voor geometrische consistentie, materiaalsmoothness en entropie om de Gaussians te beperken tot het relevante gebied.

3. Belangrijkste Bijdragen

1. Eerste GS-gebaseerde ProCams: Het introduceert het eerste framework voor projector-camera-systemen dat gebruikmaakt van Gaussian Splatting, wat een nieuwe richting opent voor fysisch accurate maar snelle simulatie.
2. View-Agnostic Capabilities: In tegenstelling tot CNN-methoden, werkt GS-ProCams voor willekeurige nieuwe gezichtspunten zonder opnieuw getraind te hoeven worden.
3. Extreme Efficiëntie:
   • Snelheid: De inferentie is 900 keer sneller dan NeRF-gebaseerde methoden.
   • Geheugen: Het vereist slechts 1/10 van het GPU-geheugen voor training.
   • Hardware: Geen extra lichtbronnen of donkere kamers nodig.
4. Universele Toepassingen: Het framework ondersteunt direct diverse taken zoals projectorcompensatie (correctie van vervormingen), diminished reality (verwijderen van objecten via inpainting) en text-driven projectiemapping.
5. Benchmarks: De auteurs hebben een nieuwe benchmark voor real-world ProCams gelanceerd met diverse texturen, gezichtspunten en omgevingsverlichting.

4. Resultaten

De resultaten zijn getest op zowel synthetische datasets (Nepmap) als een nieuw real-world dataset:

• Kwaliteit: GS-ProCams levert betere visuele resultaten op dan NeRF-methoden (Nepmap) en CNN-methoden (DeProCams, DPCS), met hogere PSNR, SSIM en lagere LPIPS scores. Het slaagt erin scherpe details en realistische kleuren weer te geven, zelfs op complexe oppervlakken.
• Efficiëntie:
  • Trainingstijd: Van ~3 uur (NeRF) naar slechts 3,6 minuten.
  • Inferentie FPS: Van 0,3 fps (NeRF) naar 297 fps.
  • Geheugen: Van >24 GB naar 2,0 GB.
• Generalisatie: Het systeem kan succesvol projecties compenseren en simuleren op gezichtspunten die tijdens het trainen nooit zijn gezien, terwijl view-specific methoden voor elk nieuw gezichtspunt opnieuw getraind moeten worden.
• Ablatie Studies: Het tonen aan dat het modelleren van de PSF (Point Spread Function) cruciaal is voor realisme, vooral bij complexe geometrieën met grote dieptevariaties.

5. Betekenis en Toekomst

GS-ProCams markeert een doorbraak in het veld van projectiemapping en augmented reality. Door de combinatie van de snelheid en het lage geheugengebruik van Gaussian Splatting met fysisch accurate rendering, maakt het real-time, view-agnostic ProCams-toepassingen haalbaar op standaard hardware.

Dit opent de deur voor dynamische interacties in real-world omgevingen, zoals:

• Interactieve installaties waar kijkers vrij kunnen bewegen zonder dat de projectie "breken" of opnieuw moet worden berekend.
• Industriële toepassingen waar snelle compensatie van projecties op complexe onderdelen nodig is.
• Creatieve toepassingen zoals text-driven projectiemapping (bijv. "projecteer een tijger op deze muur").

Beperkingen:
Het systeem werkt momenteel alleen voor statische scènes (geen bewegende objecten) en heeft moeite met zeer complexe materialen zoals transparant glas of sterk spiegelende oppervlakken, waar de huidige BRDF-modellen en PSF-benaderingen tekortschieten. Toekomstig werk richt zich op het uitbreiden naar dynamische scènes en het verfijnen van de optische modellen.