altiro3D: Scene representation from single image and novel view synthesis

Dit paper introduceert altiro3D, een gratis bibliotheek die vanuit één afbeelding of video realistische 3D-ervaringen en lichtveld-inhoud genereert door diepteanalyse, inpainting en een 'Fast'-projectie-algoritme te combineren voor het creëren van meervoudige gezichtspunten.

De kern

altiro3D: Hoe je een platte foto tot leven wekt zonder 3D-bril

Stel je voor dat je een prachtige foto van een berglandschap hebt. Het is prachtig, maar het is plat. Je kunt er niet omheen lopen, je kunt niet naar links of rechts kijken om te zien wat er achter die boom zit. altiro3D is een slim computerprogramma dat precies dat probleem oplost. Het neemt een gewone, platte foto (of een video) en verandert deze in een 3D-ervaring die je kunt bekijken op een speciaal scherm, zonder dat je een zware 3D-bril op hoeft te doen.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het "Brein" dat diepte ziet (MiDaS)

Een gewone camera ziet alleen kleuren en vormen, maar niet hoe ver iets weg staat. altiro3D gebruikt een slimme kunstmatige intelligentie (een soort digitaal brein genaamd MiDaS) om naar de foto te kijken en te raden: "Ah, die berg is ver weg, die boom staat dichterbij, en die steen is heel dichtbij."

Het maakt een dieptekaart aan. Denk hierbij aan een zwart-wit foto waar wit betekent "heel dichtbij" en zwart betekent "heel ver weg". Dit is de basis voor alle volgende stappen.

2. Het "Scheerapparaat" voor de camera (De Fast vs. Real methode)

Nu we weten hoe ver de dingen staan, wil het programma een nieuwe foto maken alsof je een stapje naar links of rechts hebt gelopen.

• De "Snelle" methode (Fast): Dit is als een slimme magiër. Het neemt de pixels (de kleurtjes) van de originele foto en schuift ze een beetje op. Dichtbij staande objecten (zoals de boom) schuiven veel op, verre objecten (zoals de berg) schuiven nauwelijks. Dit gebeurt razendsnel, maar het is een simpele benadering.
• De "Echte" methode (Real): Dit is als een echte filmregisseur die een nieuwe camera neerzet. Het berekent precies hoe het licht zou vallen als je echt een stapje zou zetten. Dit is veel nauwkeuriger, maar het kost veel meer rekenkracht en tijd.

3. Het "Puzzel" en de "Gatenplakker" (Quilt & Inpainting)

Wanneer je een nieuwe hoek bekijkt, ontstaan er vaak gaten in de afbeelding. Stel je voor dat je naar links kijkt: je ziet nu de achterkant van de boom, maar die was in de originele foto verborgen. De computer ziet daar niets.

• De Quilt (De Mozaïek): Het programma maakt een gigantische puzzel (een "Quilt") met tientallen verschillende hoekbeelden van dezelfde scène.
• De Gatenplakker (Inpainting): Waar er gaten zijn (bijvoorbeeld achter de boom), gebruikt het programma slimme technieken om te raden wat daar zou moeten staan, net als wanneer je een gat in een muur plakt met verf die perfect aansluit bij de rest.

4. De "Magische Lijst" (Lookup Table)

Dit is het geheim om het snel genoeg te maken voor live video. Normaal gesproken moet de computer elke keer opnieuw berekenen welk kleurtje waar moet komen. Dat is als elke keer opnieuw de weg zoeken naar de supermarkt.

altiro3D maakt één keer een magische lijst (Lookup Table). Dit is als een vooraf uitgetekend routekaartje. Als het programma een nieuwe foto moet maken, hoeft het niet meer na te denken; het kijkt gewoon op de lijst: "Pixel op positie X hoort bij positie Y". Hierdoor gaat het 50% sneller en wordt het mogelijk om video's in real-time te maken.

5. Het "Kijkkastje" (Het Scherm)

Uiteindelijk sturen ze deze berekende beelden naar een speciaal scherm (zoals de LG Portrait). Dit scherm heeft een laagje met kleine lenzen (zoals een loupe).

• Jouw linker oog ziet alleen de beelden die zijn berekend voor de linkerkant.
• Jouw rechter oog ziet alleen de beelden voor de rechterkant.

Je hersenen smaken deze twee beelden samen en creëren een diep 3D-bild. Je kunt je hoofd bewegen en het beeld beweegt mee, alsof je door een raam naar een echte wereld kijkt.

Waarom is dit cool?

• Geen bril nodig: Je kunt gewoon naar het scherm kijken.
• Van één foto: Je hebt geen dure 3D-camera's nodig; een gewone smartphonefoto is genoeg.
• Toekomst: Het maakt het mogelijk om oude, platte foto's van bijvoorbeeld historische gebouwen of familiefeestjes weer tot leven te wekken in 3D, zodat je er "in" kunt kijken.

Kortom: altiro3D is de tolk die een platte taal (2D) vertaalt naar een rijke, driedimensionale wereld, zodat je de diepte kunt voelen zonder speciale apparatuur op je hoofd.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "altiro3D: Scene representation from single image and novel view synthesis" in het Nederlands.

Probleemstelling

Er is een groeiende vraag naar realistische 3D-scène-representatie en het synthetiseren van meervoudige gezichtspunten (multiview synthesis) voor vrije-kijk (glasses-free) 3D-displays. Bestaande methoden die gebruikmaken van RGB-D invoer (kleur en diepte) of stereoscopische beeldparen leveren vaak indrukwekkende resultaten, maar hebben een hoge rekencomplexiteit. Dit maakt ze ongeschikt voor live-streaming applicaties of real-time verwerking.

Aan de andere kant vereisen methoden die starten vanuit slechts één enkele RGB-afbeelding vaak complexe berekeningen of leiden tot onnauwkeurigheden door diepte-ambiguïteiten. Het doel is een efficiënte oplossing te vinden die:

1. Start vanuit een enkele 2D-afbeelding of platte video.
2. Real-time of bijna real-time prestaties mogelijk maakt zonder speciale 3D-brillen.
3. Compatibel is met beschikbare hardware (zoals standaard PCs en lenticulaire displays zoals de LG Portrait).

Methodologie

De auteurs introduceren altiro3D, een uitgebreide C++-bibliotheek die is ontworpen om de verwerkingstijd te minimaliseren. De kern van de methode bestaat uit de volgende stappen:

1. Monoculaire Diepteschatting (MiDaS):

   • In plaats van een echte dieptekaart te meten, gebruikt het systeem het MiDaS-model (een Convolutional Neural Network of CNN) om een dieptekaart te genereren vanuit een enkele input-afbeelding.
   • Er wordt gebruik gemaakt van MiDaS 2.1-modellen (klein en groot), waarbij het "kleine" model wordt aanbevolen voor snelheid. De inferentie gebeurt via de OpenCV DNN-module, met ondersteuning voor CUDA (GPU) of CPU als fallback.

2. Synthese van N-Views en Quilt-montage:

   • Het systeem genereert $N$ virtuele beelden (gezichtspunten) die sequentieel worden samengevoegd tot een "Quilt" (een collage van $N \times M$ beelden).
   • Er worden twee algoritmen gebruikt voor het verschuiven van pixels op basis van de geschatte diepte:
     • "Fast" algoritme: Een vereenvoudigde methode die pixels proportioneel verplaatst op basis van de diepte, waarbij de originele afbeelding als centrum wordt beschouwd. Dit gebruikt cv::remap van OpenCV en is zeer snel, maar kan artefacten veroorzaken bij occlusies.
     • "Real" algoritme: Een geavanceerdere methode gebaseerd op Depth Image Based Rendering (DIBR). Deze gebruikt intrinsieke en extrinsieke camera-parameters om een echte camera-transformatie te simuleren. Dit is nauwkeuriger maar rekenkundig intensiever.

3. Inpainting (Vullen van ontbrekende data):

   • Bij het verschuiven van pixels ontstaan gaten (occlusies) waar informatie ontbreekt.
   • Voor de "Fast" methode wordt een snelle OpenCV-remap gebruikt.
   • Voor de "Real" methode wordt de Telea-inpainting-techniek (gebaseerd op de fast marching method) toegepast om ontbrekende gebieden plausibel in te vullen.

4. Lookup Table (LUT) voor Optimalisatie:

   • Een cruciale innovatie is het gebruik van een pixel- en apparaat-gebaseerde Lookup Table (LUT).
   • Deze LUT wordt eenmalig gegenereerd op basis van de kalibratiegegevens van het specifieke 3D-display (bijv. de LG Portrait, inclusief lens-pitch, hoek, etc.).
   • De LUT bevat de coördinatenmapping voor elk pixelkanaal (R, G, B) in een binair formaat. Hierdoor hoeft de complexe projectieformule (Eq. 1) niet tijdens de runtime te worden berekend, wat de rekentijd met ongeveer 50% reduceert.

5. Output:

   • De gegenereerde Quilt wordt omgezet naar een "Native" 3D-afbeelding of video die direct kan worden weergegeven op vrije-kijk LCD-schermen.

Belangrijkste Bijdragen

• altiro3D Bibliotheek: Een gratis, open-source C++-bibliotheek die een complete pipeline biedt van 2D-naar-3D conversie, specifiek geoptimaliseerd voor Linux en lenticulaire displays.
• Efficiëntie door LUT: De implementatie van een device-specifieke LUT maakt real-time 3D-streaming mogelijk op standaard hardware, wat eerder ondoenlijk was door de hoge rekenlast.
• Flexibiliteit: Het systeem ondersteunt diverse invoerformaten (foto's, video's, bestaande Quilts) en kan werken met zowel MiDaS 2.1 als toekomstige versies.
• Geen bril nodig: De focus ligt op "glasses-free" 3D-ervaringen, wat de toepassing in onderwijs, wetenschap en entertainment vergroot.

Resultaten

• Snelheid: Door de LUT en de "Fast" algoritmen kan het systeem snel enough werken voor interactieve toepassingen. De auteurs melden een reductie in rekentijd van ongeveer 50% ten opzichte van methoden zonder LUT.
• Kwaliteit: De gegenereerde beelden bieden een realistische 3D-ervaring met een breed gezichtsveld (FoV van 40° tot 100°). Hoewel de nauwkeurigheid van de dieptekaart niet perfect is (vooral op grote afstanden), is het voldoende voor een overtuigende illusie van diepte en parallax.
• Hardware-onafhankelijkheid: Het systeem draait op een standaard PC (Intel Core i5, 64-bit, 4GB RAM) en is compatibel met displays zoals de LG Portrait.
• Visualisatie: Figuur 1 en 3 in het paper tonen succesvolle conversies van 2D-foto's naar meervoudige gezichtspunten en uiteindelijke 3D-weergaven zonder artefacten die de illusie volledig verstoren.

Betekenis en Toekomstperspectief

De significante bijdrage van dit werk ligt in het democratiseerbaar maken van 3D-content creatie. Door de afhankelijkheid van dure stereoscopische camera's of zware GPU-clusters te verwijderen, kunnen gebruikers 3D-ervaringen creëren vanuit bestaande 2D-fotoarchieven (inclusief historische datasets).

Toekomstige werken richten zich op:

• Uitbreiding naar dynamische, live 3D-vision (video-streaming) met een frame rate van minimaal 10 fps.
• Integratie van nieuwere MiDaS-modellen (zoals MiDaS 3.1) voor nog realistischere perspectieven.
• Implementatie op mobiele apparaten voor bredere toepasbaarheid.

Kortom, altiro3D biedt een praktische, snelle en kosteneffectieve oplossing voor het genereren van lichtveld-inhoud (light-field content) uit één enkele afbeelding, wat een belangrijke stap is naar de adoptie van vrije-kijk 3D-technologie.