RnG: A Unified Transformer for Complete 3D Modeling from Partial Observations

RnG is een door feed-forward Transformer aangedreven methode die reconstructie en generatie verenigt om via een causale attentiemechanisme en een KV-cache een volledige, impliciete 3D-weergave te voorspellen uit partiële 2D-observaties, waardoor zowel zichtbare geometrie nauwkeurig wordt gereconstrueerd als plausibele, onzichtbare structuren worden gegenereerd voor real-time toepassing.

De kern

Stel je voor dat je een foto maakt van een theekopje. Je ziet de voorkant, de handgreep en een beetje van de zijkant. Maar wat zit er aan de achterkant? En wat zit er binnenin? Een mens kan zich dat zo voorstellen: "Ach, het is een kopje, dus aan de achterkant is het ook rond en heeft het een holle binnenkant."

Vroeger konden computers dit niet zo goed. Als je een computer een paar foto's gaf, zag hij alleen wat er op de foto's stond. De rest was een zwart gat.

Nu hebben onderzoekers RnG (Reconstruction and Generation) bedacht. Dit is een slimme computerprogrammatuur die doet alsof het een virtuele 3D-scan is, maar dan in een flits. Hier is hoe het werkt, vertaald naar alledaags taal:

1. De "Geheime Schatkist" (De KV-Cache)

Stel je voor dat RnG een detective is die een raadsel oplost.

• De oude manier: Als de detective een nieuwe vraag krijgt ("Hoe ziet de achterkant eruit?"), moet hij opnieuw alle foto's bekijken, opnieuw nadenken en opnieuw tekenen. Dat duurt lang.
• De RnG-methode: RnG kijkt eerst naar de foto's en bouwt een geheime schatkist (in de tech-taal heet dit een KV-Cache). In deze schatkist legt hij niet alleen de foto's neer, maar het geheel van het object: hoe het eruitziet, hoe het eruitziet van binnen, en hoe het eruitziet van alle kanten.
• Zodra die schatkist vol is (wat in een fractie van een seconde gebeurt), hoeft hij nooit meer naar de originele foto's te kijken. Als je vraagt: "Hoe ziet het eruit als ik er omheen loop?", pakt hij gewoon een kaartje uit de schatkist en toont het je.

2. De "Slimme Leraar" (Causale Aandacht)

Hoe bouwt RnG die schatkist zo snel? Hij gebruikt een slimme truc die ze Reconstruction-Guided Causal Attention noemen. Laten we dat vergelijken met een klaslokaal:

• De Leerlingen (De bronfoto's): Deze leerlingen mogen alleen naar elkaar kijken en samenwerken om het object te begrijpen. Ze mogen niet naar de vragen kijken die de leraar later gaat stellen.
• De Vragen (De nieuwe hoekjes): De vragen die je stelt ("Wat zie ik als ik naar links kijk?") mogen wel naar de antwoorden van de leerlingen kijken, maar de leerlingen mogen niet door de vragen beïnvloed worden.

Dit zorgt ervoor dat het object (de leerling) altijd hetzelfde blijft, ongeacht hoe je er naar vraagt. Het voorkomt dat het object "verdraait" of dat er rare dingen verschijnen die er niet horen.

3. Wat kan RnG eigenlijk?

RnG is als een magische 3D-printer die in een seconde werkt:

1. Je geeft hem een paar willekeurige foto's (zelfs als je niet weet hoe de camera precies stond).
2. Hij bouwt het volledige object: Hij vult de gaten in. Als je de achterkant niet ziet op de foto, "droomt" hij die achterkant in, gebaseerd op wat hij wel ziet.
3. Hij is supersnel: Terwijl andere slimme programma's (die werken met "diffusie", een soort van wiskundig roetvlekken-proces) minuten nodig hebben om één nieuw plaatje te maken, doet RnG dit in minder dan een seconde. Het is zo snel dat je er zelfs mee kunt spelen in een virtuele realiteit.

Waarom is dit belangrijk?

Vroeger waren 3D-modellen vaak onvolledig (als een poppenhuis zonder achterwand) of erg traag om te maken. RnG combineert het beste van twee werelden:

• Het is nauwkeurig (het bouwt de vorm correct op).
• Het is creatief (het vult de onzichtbare delen in op een manier die logisch is).
• Het is snel (je kunt er direct mee werken).

Kortom: RnG is als een kunstenaar die met één blik op een halve foto een compleet, rond, 3D-standbeeld kan maken en je vervolgens mag rondlopen om het van alle kanten te bekijken, allemaal binnen een seconde. Het maakt de digitale wereld veel completer en interactiever.

Technische samenvatting

Probleemstelling

Huidige generaliseerbare 3D-reconstructiemodellen (zoals VGGT en DUSt3R) zijn uitstekend in het herwinnen van 3D-structuren uit een paar ongeposeerde (unposed) afbeeldingen. Echter, deze modellen zijn beperkt tot het reconstrueren van waargenomen gebieden. De "onzichtbare" delen van een object blijven ongemodelleerd, wat resulteert in onvolledige geometrieën. Dit vormt een fundamentele uitdaging: hoe kunnen we een volledige 3D-structuur infereren op basis van gedeeltelijke 2D-observaties?

Anderzijds zijn methoden voor het synthetiseren van nieuwe weergaven (Novel View Synthesis - NVS) vaak afhankelijk van bekende camera-posities, missen ze consistente 3D-structuur, of zijn ze te traag (zoals diffusion-based modellen) voor real-time toepassingen. Er is dus behoefte aan een model dat zowel reconstructie als generatie van onzichtbare delen kan combineren, met behoud van 3D-consistentie en real-time prestaties.

Methodologie: RnG (Reconstruction and Generation)

RnG is een nieuw feed-forward Transformer-model dat reconstructie en generatie verenigt in één architectuur. Het model leert een impliciete, complete 3D-representatie te voorspellen.

1. Architectuur en Tokenisatie:

• Het model bouwt voort op de architectuur van VGGT (een 3D-reconstructie foundation model).
• Input: Een paar bronafbeeldingen (source views) zonder bekende pose.
• Tokenisatie: Bronafbeeldingen worden getokeniseerd via een DINO vision transformer. Doelweergaven (target views) worden geëncodeerd als Plücker-ray maps (lijnen in de ruimte) en geprojecteerd via een lineaire laag.
• Attention Mechanism: Alle tokens (bron en doel) passeren door een reeks van verstrengelde globale en frame-level attention lagen.

2. Kerninnovatie: Reconstruction-Guided Causal Attention
Dit is het centrale mechanisme dat de twee taken (reconstructie en generatie) scheidt op het niveau van de attention:

• Causale Maskering: Een binair masker zorgt ervoor dat tokens van de bronafbeeldingen (reconstructie) niet kunnen kijken naar tokens van de doelweergave (generatie). Bron-tokens kunnen alleen naar andere bron-tokens kijken.
• Doel-tokens: Tokens van de doelweergave kunnen echter wel naar zowel bron- als andere doel-tokens kijken.
• Doel: Dit zorgt ervoor dat de reconstructie van de bron consistent blijft en niet wordt verstoord door de generatie van nieuwe weergaven, terwijl de generatie wel profiteert van de geometrische kennis uit de bron.

3. KV-Cache als Impliciete 3D-Representatie
Door het causale ontwerp kan het model een twee-staps inferentieproces gebruiken:

• Stap 1: Reconstructie & Caching: Het model verwerkt de bronafbeeldingen en slaat de Key/Value (K/V) tokens op in een cache. Deze cache fungeert als een impliciete 3D-representatie van het hele object, inclusief onzichtbare delen, onafhankelijk van de kijkrichting.
• Stap 2: Generatie & Query: Voor een nieuwe weergave hoeft het model de bron niet opnieuw te verwerken. De doelweergave (camera pose) queryt direct de opgeslagen KV-cache om hoogwaardige RGB en dieptekaarten (point maps) te genereren.
• Resultaat: Dit maakt het extreem snel, aangezien de zware reconstructie slechts één keer hoeft te gebeuren.

4. Training:
Het model wordt getraind met een multi-task loss die bestaat uit:

• Fout op de RGB-afbeelding (MSE + perceptuele loss).
• Fout op de point map (geometrie) met aleatorische onzekerheid.
• Fout op de geschatte camera-posities van de bronafbeeldingen.

Belangrijkste Bijdragen

1. Unificatie van Reconstructie en Generatie: RnG is het eerste feed-forward model dat zowel zichtbare geometrie reconstrueert als geloofwaardige, coherente onzichtbare geometrie en uiterlijk genereert in één enkele doorvoer.
2. Causale Attention Mechanisme: Een nieuwe aanpak die reconstructie en generatie decoupeert op attention-niveau, waardoor kennis van 3D-reconstructie effectief wordt overgedragen naar beeldgeneratie.
3. KV-Cache als 3D-Geheugen: Het herinterpreteren van de Transformer's KV-cache als een complete, impliciete 3D-structuur die efficiënt kan worden opgevraagd voor willekeurige camera-posities.
4. Real-time Prestaties: Dankzij de twee-staps inferentie (cache eerst, query later) is RnG aanzienlijk sneller dan diffusion-based tegenhangers (bijv. Matrix3D).

Resultaten

RnG werd geëvalueerd op de GSO-dataset (Google Scanned Objects) en vergeleken met state-of-the-art methoden zoals VGGT, LVSM, LGM en Matrix3D.

• Reconstructie: RnG overtreft bestaande methoden (inclusief VGGT) significant in camera-pose schatting en dieptepredictie voor ingangsfoto's.
• Generatie (NVS): Zelfs zonder bekende camera-posities, bereikt RnG vergelijkbare of betere visuele kwaliteit (PSNR, SSIM, LPIPS) als gespecialiseerde modellen die wel posities nodig hebben (zoals LVSM).
• Geometrie: RnG genereert complete 3D-structuren zonder de "layering artifacts" (laagjes-effecten) die vaak voorkomen bij het stapelen van Gaussians of onvolledige reconstructies. De Chamfer Distance (maat voor 3D-geometrie-kwaliteit) is het laagst van alle geteste methoden.
• Snelheid:
  • RnG met KV-Cache: ~85 ms per nieuwe weergave op een A800 GPU.
  • Matrix3D (diffusion): ~27 seconden per nieuwe weergave.
  • RnG is dus >300x sneller dan diffusion-based methoden en >100x sneller dan eerdere generaties.

Betekenis en Toekomst

RnG markeert een doorbraak in 3D-vision foundation models door te tonen dat reconstructie-priors (kennis van hoe objecten eruitzien) effectiever kunnen zijn dan generatieve priors voor het creëren van consistente 3D-structuren.

• Toepassingen: De snelheid en volledigheid maken het geschikt voor real-time interactieve toepassingen zoals Augmented Reality (AR), robotica en fysica-simulaties.
• Virtual 3D Scanner: Het model fungeert als een virtuele 3D-scanner die een compleet object kan reconstrueren uit slechts een paar foto's in minder dan een seconde.
• Beperkingen: Het model heeft nog moeite met zeer complexe texturen (in vergelijking met diffusion-modellen) en de definitie van de wereld-origine kan verwarrend zijn bij handmatige opnames.

Kortom, RnG biedt een efficiënte, eenheidsarchitectuur die de kloof overbrugt tussen het reconstrueren van wat we zien en het genereren van wat we niet zien, met state-of-the-art kwaliteit en real-time snelheid.