LiTo: Surface Light Field Tokenization

Dit paper introduceert LiTo, een nieuwe 3D-latente representatie die objectgeometrie en view-dependent uiterlijk (zoals spiegelreflecties) gezamenlijk modelleert door oppervlakte-lichtveldstokenisatie, waardoor realistische 3D-generatie vanuit een enkele inputafbeelding mogelijk wordt.

De kern

Stel je voor dat je een foto van een glimmende, metalen helm maakt. Als je de helm een beetje draait, zie je een nieuwe glans, een nieuwe reflectie van het licht. De meeste oude 3D-computerprogramma's kunnen zo'n helm wel nabouwen, maar ze maken hem vaak "saai". Ze denken dat de helm overal evenveel glimt, alsof hij van mat plastic is gemaakt. Ze vergeten dat echte materialen reageren op het licht en de hoek waar je naar kijkt.

LiTo (Surface Light Field Tokenization) is een nieuwe uitvinding van onderzoekers bij Apple die dit probleem oplost. Ze hebben een manier bedacht om 3D-objecten niet alleen in vorm, maar ook in hun "levendige" uiterlijk te digitaliseren.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Saai" 3D-Wereld

Vroeger was het alsof je een poppenkast maakte. Je kon de poppen wel in vorm maken (de geometrie), maar hun kleding was altijd van hetzelfde matte stof. Als je naar de poppenkast liep, veranderde het uiterlijk van de poppen niet, hoe je ook keek. Ze misten de "magie" van echte reflecties, glans en de manier waarop licht over een oppervlak glijdt.

2. De Oplossing: De "Oppervlakte-Lichtveld"

De onderzoekers zeggen: "Laten we niet alleen kijken naar waar de objecten zijn, maar ook naar hoe het licht erop valt vanuit elke mogelijke hoek."

Ze noemen dit een Oppervlakte-Lichtveld (Surface Light Field).

• De Analogie: Stel je voor dat je een honderden kleine camera's om een object heen plaatst. Elke camera maakt een foto van een heel klein stukje van het object, vanuit een heel specifieke hoek.
• Het Geniale: LiTo pakt al die miljoenen kleine foto's en foto's van lichtstralen en stopt ze in één klein, compact pakketje. Ze noemen dit een "token". Het is alsof je een heel dik boek vol met instructies over hoe een object eruitziet, samenvat tot één klein, slim magneetje.

3. Hoe het werkt: De "Slimme Vertaler"

Het systeem heeft twee hoofdonderdelen die samenwerken als een vertaalbureau:

• De Encoder (De Vertaler): Deze kijkt naar een berg aan data (de miljoenen lichtstralen) en zegt: "Oké, ik zie een glimmende helm. Ik ga dit allemaal samenvatten in een klein, digitaal pakketje." Dit pakketje bevat niet alleen de vorm, maar ook de instructies voor de glans.
• De Decoder (De Ontvanger): Deze neemt het kleine pakketje en zegt: "Ah, dit is een helm! En ik zie dat hij glimt als je er van links naar kijkt." Hij bouwt het object dan weer op, maar nu met die prachtige, realistische glans en reflecties erin verwerkt.

4. De Creatieve Sprong: Van Foto naar 3D

Het mooiste is wat LiTo kan doen met één enkele foto.

• Huidige technologie: Als je een foto van een auto toont, probeert een computer vaak het 3D-model te raden, maar het resultaat ziet er vaak plat uit of de glans klopt niet.
• Met LiTo: Je geeft de computer één foto van een object. LiTo denkt: "Oké, ik ken de regels van licht en materiaal. Ik ga een volledig 3D-object bedenken dat er precies zo uitziet, inclusief de glans die je op de foto ziet."
• Het Resultaat: Je kunt een object draaien in de lucht, en de glans beweegt mee alsof het echt is. Het voelt alsof je een hologram hebt, maar dan gemaakt van data.

5. Waarom is dit belangrijk?

Stel je voor dat je een virtuele winkel wilt bouwen, of een game waar je met vrienden kunt spelen.

• Met de oude methodes zag alles eruit alsof het van karton was gemaakt.
• Met LiTo kunnen we objecten maken die eruitzien als echt metaal, glas, of zijde. Je kunt zien hoe het licht in de ogen van een 3D-persoon schijnt, of hoe een nat oppervlak glinstert.

Kortom: LiTo is als het geven van een ziel aan 3D-objecten. Het zorgt ervoor dat ze niet alleen de juiste vorm hebben, maar ook reageren op de wereld om hen heen, precies zoals echte objecten dat doen. Het maakt de digitale wereld een stukje realistischer en mooier.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "LITO: SURFACE LIGHT FIELD TOKENIZATION", gepubliceerd op ICLR 2026, in het Nederlands.

Probleemstelling

Bestaande methoden voor 3D-generatie en -reconstructie in het machine learning-domein kampen vaak met een fundamentele beperking: ze modelleren ofwel alleen de 3D-geometrie (vorm) ofwel alleen de uiterlijke verschijning, en behandelen deze verschijning meestal als view-independent (onafhankelijk van het kijkpunt). Dit betekent dat ze diffuse kleuren kunnen reproduceren, maar falen bij het vastleggen van realistische, view-dependent effecten zoals spiegelende reflecties, glanspunten (specular highlights) en Fresnel-effecten.

De kernuitdaging is het vinden van een compacte 3D-latente representatie die zowel de onderliggende geometrie als de complexe, hoekafhankelijke verschijning (licht en materiaal) van objecten kan coderen, zonder dat dit ten koste gaat van de geometrische nauwkeurigheid of de trainingscomplexiteit.

Methodologie: LiTo (Surface Light Field Tokenization)

LiTo introduceert een nieuwe 3D-latente representatie die het oppervlakte-lichtveld (Surface Light Field) van een object tokeniseert. In plaats van alleen geometrie en kleur te coderen, encodeert het model de uitgaande straling van elk punt op het oppervlak in elke kijkrichting.

De architectuur bestaat uit drie hoofdblokken:

1. Encoder (Tokenization):

   • Input: Het model neemt willekeurige steekproeven van het oppervlakte-lichtveld als input, bestaande uit 3D-locaties ($x$), kijkrichtingen ($\hat{d}$) en kleuren ($c$), verkregen uit RGBD-beelden van meerdere hoeken.
   • Architectuur: Er wordt gebruikgemaakt van een Perceiver IO-architectuur. Om de hoge dichtheid van de lichtveld-data (miljoenen steekproeven) efficiënt te verwerken, introduceert de auteurs een 3D-patchificatie-methode. In plaats van een reguliere grid te gebruiken, worden steekproeven gegroepeerd op basis van hun $k$-naaste buren (K-nearest neighbors) in de 3D-ruimte. Dit maakt cross-attention mogelijk op ongeveer 1 miljoen input-tokens.
   • Output: Een compacte set van $k$ latent vectors (tokens), waarbij elke token een dimensie $d$ heeft.

2. Decoders:

   • Geometrie Decoder (Flow Matching): Deze decoder leert een 3D-kansdichtheidsfunctie $p(x|S)$ die de oppervlakken van het object beschrijft. Het gebruikt Flow Matching om de geometrie te genereren, wat toelaat om punten op het oppervlak te sample en oppervlaktenormals te schatten zonder expliciete mesh-voorbewerking.
   • View-Dependent Gaussian Decoder: Deze decoder converteert de latent vectors naar een set van 3D Gaussians. Cruciaal is dat deze Gaussians worden geparametriseerd met Sferische Harmonischen (Spherical Harmonics) tot graad 3. Dit stelt het model in staat om hoekafhankelijke straling (zoals spiegelingen) nauwkeurig te modelleren.

3. Generatief Model:

   • Er wordt een Latent Flow Matching-model getraind (gebaseerd op een Diffusion Transformer of DiT) dat de verdeling van de 3D-latente representaties leert, geconditioneerd op een enkel invoerbeeld.
   • Een belangrijke innovatie is het trainingsstrategie waarbij de wereldcoördinaten worden geroteerd zodat de camera van het invoerbeeld altijd in de 'identity orientation' staat. Dit elimineert de noodzaak voor het model om de 3D-oriëntatie te infereren, wat de consistentie tussen het invoerbeeld en de gegenereerde 3D-structuur verbetert.

Belangrijkste Bijdragen

1. Unificatie van Geometrie en Verschijning: LiTo is een van de eerste methoden die een compacte 3D-latente ruimte biedt die zowel geometrie als view-dependent uiterlijk (via oppervlakte-lichtveld) simultaan encodeert.
2. Efficiënte Tokenisatie van Lichtvelden: Het paper introduceert een nieuwe manier om willekeurige steekproeven van een oppervlakte-lichtveld te tokeniseren via 3D-patchificatie en cross-attention, waardoor het mogelijk is om complexe materialen te leren zonder de volledige dichtheid van het lichtveld te hoeven opslaan.
3. Gebruik van Sferische Harmonischen: Door sferische harmonischen tot graad 3 te gebruiken in de Gaussian decoder, kan het model realistische materialen (metaal, glas) en complexe belichtingseffecten reproduceren, wat een significant verschil is met eerdere methoden die alleen diffuse kleuren gebruikten.
4. Single-Stage Generatie: In tegenstelling tot methoden zoals TRELLIS, die vaak een tweestapsproces vereisen (eerst geometrie, dan textuur), encodeert LiTo de volledige objectinformatie direct, wat single-stage generatie mogelijk maakt.

Resultaten

De auteurs evalueren LiTo op diverse datasets (Toys4k, GSO, Objaverse-XL) en vergelijken het met state-of-the-art methoden zoals TRELLIS, 3DTopia-XL en TripoSG.

• Kwaliteit van Reconstructie: LiTo behaalt aanzienlijk betere scores op beeldkwaliteitsmetingen (PSNR, SSIM, LPIPS) dan concurrenten, vooral bij het modelleren van view-dependent effecten. Het kan spiegelende reflecties en Fresnel-effecten nauwkeurig reproduceren.
• Geometrische Nauwkeurigheid: Ondanks het toevoegen van complexe verschijningsinformatie, behoudt LiTo een hoge geometrische nauwkeurigheid (gemeten via Chamfer Distance). Het presteert beter dan bestaande "geometry-only" methoden en is concurrerend met methoden die extra grondwaarheid-geometrie vereisen, maar dan met een veel kleinere latent space (8192 tokens van 32 dimensies vs. grotere grids).
• Generatiekwaliteit: Bij single-image-to-3D generatie toont LiTo een hogere trouw aan het invoerbeeld (fidelity) dan TRELLIS, terwijl de kwaliteit van de gegenereerde objecten vanuit nieuwe hoeken (novel views) behouden blijft.
• Efficiëntie: Het model vereist geen zware voorbewerking van de trainingsdata (zoals het omzetten naar watertight meshes of het optimaliseren van radiance fields), wat de data-preparatie aanzienlijk vereenvoudigt.

Significantie

LiTo markeert een belangrijke stap voorwaarts in de 3D-generatieve AI. Door de beperking van view-independent verschijning te doorbreken, maakt het het mogelijk om realistische 3D-objecten te genereren die reageren op licht en perspectief op een manier die dicht bij de fysieke realiteit ligt. Dit is essentieel voor toepassingen zoals virtuele realiteit (VR), augmented reality (AR), en filmproductie, waar materialen zoals metaal, glas en natte oppervlakken realistisch moeten worden weergegeven. Bovendien biedt de methode een schaalbaar en efficiënt framework dat minder afhankelijk is van complexe data-preprocessing dan eerdere benaderingen.