Technische Samenvatting: DéjàView – Loopende Transformers voor Multi-View 3D-reconstructie

Probleemstelling

Traditionele multi-view 3D-reconstructie is afhankelijk van iteratieve Structure-from-Motion (SfM)-pipelines die feature-matching, pose-schatting en bundle adjustment omvatten. Recente vooruitgang heeft de verschuiving naar feed-forward transformers bewerkstelligd die 3D-geometrie in één doorgang regresseren. Echter, deze state-of-the-art modellen zijn opgeschaald tot meer dan een miljard parameters, in lijn met de trend van toenemende modelcapaciteit in computer vision.

De auteurs stellen dat de prestatiewinsten door diepte in deze grote transformers mogelijk voortkomen uit impliciete iteratieve verfijning in plaats van unieke representatieve capaciteit. Bewijs suggereert dat aaneengesloten transformerlagen vaak gedragen als herhaalde toepassingen van vergelijkbare operaties, en dat decoderlagen voorspellingen progressief verfijnen. Huidige architecturen betalen voor deze "iteratie" inefficiënt door unieke parameters voor elke laag te gebruiken. Het artikel adresseert de behoefte aan een architectuur die dit iteratieve proces expliciet maakt, waardoor hoogwaardige reconstructie mogelijk is met aanzienlijk minder parameters en de mogelijkheid om tijdens inferentie rekenkracht in te ruilen voor nauwkeurigheid.

Methodologie: DéjàView

Kernarchitectuur

DéjàView vervangt de diepe, feed-forward transformerstapel door een enkele geloopte transformerblok dat recursief $K$ keer wordt toegepast.

1. Initialisatie: Per-view features worden geïnitieerd met een vooraf getrainde DINOv2-encoder. Leerbare register-tokens en camera-tokens worden voorafgeplakt aan de tokensequentie.
2. Recursieve Lus: Een enkel gedeeld transformerblok wordt $K$ keer toegepast op de evoluerende toestand $z_k$. Het blok bestaat uit twee attentiesubblokken:
   • Frame-attentie: Verwerkt elke view onafhankelijk met 2D-rotatoire positie-embeddings.
   • Globale attentie: Werkt over de gezamenlijke sequentie van alle tokens over alle views, wat cross-view redenering mogelijk maakt.
3. Tijdsconditionering: In tegenstelling tot eerdere gewicht-gebonden transformers die conditioneren op discrete stapindices, conditioneert DéjàView het blok op een continu tijdsinterval $(t_k, t_{k+1})$. De update wordt geformuleerd als:
   $$z_{k+1} = f_\theta(z_k, t_k, t_{k+1})$$
   Dit stelt een enkele set gewichten in staat om een reeks stapcounts $K$ te dekken zonder hertraining.
4. Gedateerde Updates: Het blok maakt gebruik van kanaal-gewijze schaalvectoren ($s_{attn}, s_{mlp}, s_{out}$) gecontroleerd door een nul-geinitialiseerde MLP die conditioneert op het tijdsinterval. Dit ontwerp moduleert de updates van de attentie, de MLP en de residual stream.

Trainingsstrategie

• Variable-$K$ Training: Tijdens training wordt het aantal verfijningstappen $K$ per batch gesampled uit een Beta-verdeling geschaald naar $[K_{min}, K_{max}]$ (bijv. $[8, 16]$). Dit creëert een enkel checkpoint dat fungeert als een "rekenknop".
• Verliesfunctie: Het model wordt direct gesuperviseerd op voorspelde geometrie met vijf verliestermen: diepte, stralen, wereldpunten en cameraparameters. Voorspellingen worden genormaliseerd via inverse schalingsfactoren voordat $\ell_2$- en $\ell_1$-verliezen worden berekend.
• Tweestaps Dieptetraining:
  • Fase 1: End-to-end training met een lineaire pixel-shuffle dieptekop en een eenvoudige $\ell_2$-verliesfunctie.
  • Fase 2: De dieptekop wordt vervangen door een convolutiekop (om patch-grensartefacten te elimineren), en het netwerk wordt fijnge tuned met een op vertrouwen gewogen verliesfunctie terwijl andere parameters worden bevroren.

Inferentie

Tijdens inferentie kiest de gebruiker een stapcount $K_{inf}$. Het model voert het enkele gedeelde blok $K_{inf}$ keer uit. Als $K_{inf}$ binnen het getrainde bereik $[K_{min}, K_{max}]$ ligt, behoudt het model hoge nauwkeurigheid; de prestaties verslechteren als $K_{inf}$ aanzienlijk verder wordt geduwd dan het getrainde budget.

Belangrijkste Observaties over Dynamiek

De auteurs karakteriseren de recurrentie als richtingsgebonden verfijning. De toestand convergeert niet naar een vast punt in de feature-ruimte (de norm $\|z_k\|$ groeit monotoon). In plaats daarvan stabiliseert de richting van de toestandsvector, waarbij de cosinus-similariteit met de eindtoestand naar 1 nadert en de relatieve update-norm aanzienlijk afneemt. Dit stelt de decoder (die pre-norm gebruikt) in staat de normgroei op te vangen terwijl de gedecodeerde representatie convergeert in richting.

Belangrijkste Bijdragen

1. DéjàView Model: Een loopende transformerarchitectuur die een enkel gedeeld blok recursief toepast op met DINOv2 geïnitieerde features, geconditioneerd op continue tijdsintervallen.
2. Variable-$K$ Trainingsrecept: Een methode om een enkel checkpoint te trainen dat een reeks inferentiestapcounts ondersteunt, waarbij rekenkracht wordt blootgelegd als een instelbare knop zonder hertraining.
3. State-of-the-Art Efficiëntie: Het model bereikt concurrerende of superieure reconstructiekwaliteit over vijf benchmarks (binnen, buiten, object-gericht, rijden) met een fractie van de parameters en vergelijkbare of lagere rekenkracht dan veel grotere feed-forward baselines.
4. Validatie van Inductieve Bias: Experimenten tonen aan dat de gewicht-gedeelde formulatie een identiek variant met onafhankelijke per-stap parameters overtreft, wat suggereert dat expliciete iteratie met gewichtsdeling een sterkere inductieve bias is voor multi-view 3D-reconstructie dan parameterverschaling.

Experimentele Resultaten

Het artikel evalueert DéjàView op vijf benchmarks: DTU, ETH3D, 7-Scenes, ScanNet++ en nuScenes.

• Nauwkeurigheid: DéjàView komt overeen met of overtreft aanzienlijk grotere modellen (bijv. VGGT-1B, Pi3, DA3-G) in puntkaartnauwkeurigheid (Relatieve $\ell_2$ en Inlier Ratio) en cameraposenauwkeurigheid (AUC@3° en AUC@30°). Bijvoorbeeld, op ScanNet++ overtreft het VGGT-Ω-1B met bijna 50 punten in AUC@3°.
• Efficiëntie:
  • Parameters: DéjàView gebruikt 117M parameters, vergeleken met baselines variërend van 356M tot meer dan 1,2 miljard.
  • Rekenkracht: Het vereist 75,9 TFLOPs voor 24 views, vergelijkbaar met of lager dan baselines die 2–10x meer rekenkracht vereisen.
  • Geheugen: Het piekgebruik van inferentiegeheugen ligt onder de 5 GiB op een A100, aanzienlijk lager dan veel baselines.
• Ablatiestudies:
  • Alleen gewichtsdeling verbetert de prestaties ten opzichte van ontkoppelde blokken, ondanks 16x minder parameters.
  • Op tijd geconditioneerde residual gates en state-gates bieden monotoon verbeteringen.
  • Variable-$K$ training komt overeen met fixed-$K$ prestaties binnen ongeveer 2-3% bij hetzelfde inferentiebudget, wat de flexibiliteit van het enkel-checkpoint valideert.

Betekenis en Claims

Het artikel stelt dat parameterverschaling niet de enige weg vooruit is voor 3D-reconstructie. Door het iteratieve verfijningsproces expliciet te maken via een gedeelde, op tijd geconditioneerde lus, demonstreert DéjàView dat:

1. Iteratie expliciet kan zijn: De voordelen van diepe netwerken kunnen worden bereikt door een enkel blok opnieuw te gebruiken, waardoor de redundantie van unieke lagenparameters wordt vermeden.
2. Rekenkracht een knop is: Een enkel model kan zich aanpassen aan verschillende inferentiebudgets (afweging tussen latentie/nauwkeurigheid) zonder hertraining.
3. Gedeelde gewichten superieur zijn: De gewicht-gedeelde formulatie fungeert als een sterkere inductieve bias dan onafhankelijke parameters, wat suggereert dat de "diepte" in huidige SOTA-modellen grotendeels een proxy is voor iteratieve verfijning in plaats van unieke representatieve capaciteit.

De auteurs merken beperkingen op: het model extrapoleert niet goed buiten zijn getrainde stapbereik ($K_{max}$), en het behandelt dynamische scènes niet expliciet. Echter, het werk stelt vast dat hoogwaardige multi-view reconstructie kan worden bereikt met een fractie van de rekenkosten en modelgrootte van huidige feed-forward reuzen.