Feed-Forward Gaussian Splatting from Sparse Aerial Views

Technische Samenvatting: Feed-Forward Gaussian Splatting vanuit Sparse Aardse Beelden (AnyCity)

Probleemstelling
Het reconstrueren van grootschalige stedelijke scènes vanuit schaarse aardse beelden is een kritieke uitdaging voor digitale tweelingen en stadsplanning. Schaarse aardse opnames lijden echter onder een ernstig evidentie-ongeweven door vooroordeel in top-down en ondiep-oblique cameraposities. Terwijl daken en open gebieden herhaaldelijk worden waargenomen, ontvangen verticale gevels, verre gebouwen en verduisterde structuren weinig multi-view ondersteuning. Bestaande feed-forward 3D Gaussian Splatting (3DGS) methoden, die deterministische representaties direct regresseren vanuit schaarse inputs, falen vaak in deze setting, wat resulteert in ghosting, gesmolten gevels en uitgerekte texturen. Omgekeerd missen recente generatieve methoden die zwaar vertrouwen op prioren vaak een duidelijke scheiding tussen waargenomen geometrie en gegenereerde inhoud, wat leidt tot plausible maar geometrisch inconsistente structuren.

Methodologie: AnyCity
De auteurs stellen AnyCity voor, een op waarneming gebaseerd generatief reconstructieframework dat is ontworpen om dit ongelijkgewicht aan te pakken. Het kerninzicht is om schaarse aardse reconstructie te behandelen als een gecontroleerd generatief verfijningsprobleem, waarbij generatieve prioren alleen zwak beperkte inhoud assisteren terwijl waarnemingsondersteunde geometrie behouden blijft. De pipeline werkt in één enkele feed-forward pass zonder per-scène optimalisatie.

1. Waarnemingsondersteund Steiger:
   Het model voorspelt eerst een geometrie-latente ($Z_{geo}$) vanuit schaarse, niet-geposeerde aardse beelden met behulp van een feed-forward multi-view backbone. Deze latente verankert betrouwbare structuren die direct worden ondersteund door input-waarnemingen. Tijdens de eerste trainingsfase wordt dit pad geoptimaliseerd met fotometrische en lichtgewicht geometrische verliezen (diepte-uitlijning en normaal-vlakken) om zwevende Gaussians en het smelten van gevels te onderdrukken.

2. Aardse Voltooiingstokens:
   Om zwak beperkte inhoud (bijv. gevels, verre gebouwen) te behandelen, introduceert het model aardse voltooiingstokens. Deze tokens lezen context uit het waarnemingsondersteunde steiger en voorspellen een gegateerde residuale update ($\Delta Z$) naar de geometrie-latente. Dit zorgt ervoor dat het steiger verantwoordelijk blijft voor betrouwbare geometrie, terwijl de voltooiingsvertakking ambiguë gebieden afhandelt.

3. Gated Video-Prior Injectie:
   Om fijnmazige stedelijke verschijningskaders te bieden, maakt AnyCity gebruik van een bevroren video-diffusiebackbone (Wan 2.2) die via LoRA is aangepast aan het aardse domein. De video-prior-kenmerken worden geprojecteerd in de ruimte van de voltooiingstokens. Cruciaal modereert een token-gewijze gate hoe sterk elke voltooiingstoken aandacht besteedt aan de video-prior. Dit stelt de generatieve prior in staat om zwak beperkte inhoud te verfijnen zonder de hoofd-geometriestroom direct te wijzigen of betrouwbare waarnemingen te altereren.

4. Trainingsstrategie:
   Het model hanteert een tweefasige progressieve trainingsbenadering:

   • Fase I: Stabiliseert het waarnemingsondersteunde steiger met behulp van geometrische verliezen.
   • Fase II: Activeert de voltooiingsvertakking, video-prior en gegateerde conditionering. Deze fase maakt gebruik van dense-naar-sparse distillatie, waarbij een "leraar"-model dat is getraind op dichte beelden de "student" (schaarse input) begeleidt over structuren die door schaarse waarnemingen worden gemist. Een waarnemingsbehoudend verlies zorgt ervoor dat de residuale verfijning de geometrie die al wordt ondersteund door de schaarse inputs niet verandert.

Belangrijkste Bijdragen

• AnyCity Framework: Een feed-forward generatief reconstructieframework dat specifiek gericht is op schaarse, niet-geposeerde aardse stedelijke beelden, en in staat is om om te gaan met beperkte overlapping, zwakke parallax en ongelijkmatige scène-evidentie.
• Aardse-Aangepaste Video-Prior: De introductie van een video-diffusie-prior die wordt gerouteerd via steiger-geconditioneerde aardse voltooiingstokens. Dit ontwerp stelt generatieve cues in staat om zwak beperkte inhoud te verfijnen voordat de Gaussian-decoding plaatsvindt, in plaats van de scène direct te vormen, waardoor geometrische consistentie wordt behouden.
• Progressieve Training & Waarnemingsbehoud: Een trainingsstrategie die eerst het waarnemingsondersteunde steiger stabiliseert en vervolgens video-prior-verfijning superviseert met behulp van dense-naar-sparse distillatie en waarnemingsbehoudende doelen. Dit voorkomt dat het model structuren hallucineert waar betrouwbare evidentie bestaat.
• Empirische Validatie: Uitgebreide evaluatie op synthetische, aardse-domein, UAV-getextureerde en real-world scènes toont consistente verbeteringen ten opzichte van bestaande feed-forward baselines, met name in zwak beperkte gebieden.

Resultaten
Experimenten tonen aan dat AnyCity superieure kwaliteit van nieuwe-weergave-synthese bereikt in vergelijking met generaliseerbare feed-forward baselines (bijv. NoPoSplat, FLARE, AnySplat) over verschillende input-aantallen (2, 4 en 16 beelden).

• Kwantitatief: Op de GoogleEarth- en CityNerf-datasets presteert AnyCity beter dan baselines op PSNR, SSIM en LPIPS. Bijvoorbeeld, met 4 beelden op GoogleEarth bereikt het een PSNR van 18,466 vergeleken met 17,256 voor AnySplat.
• Kwalitatief: De methode produceert fotorealistischere renderings met betere gevelcontinuïteit en minder zwevende artefacten.
• Efficiëntie: In tegenstelling tot per-scène optimalisatiemethoden (bijv. CityGaussianV2) die minuten tot uren vereisen, reconstrueert AnyCity de uiteindelijke 3DGS in seconden (bijv. ~3,4s voor 32 beelden) zonder dat precieze cameraposities of SfM-initialisatie nodig zijn.
• Diagnostiek: Gebiedsgewijze analyse bevestigt dat de methode zwak beperkte gebieden (gevels, verre gebouwen) significant verbetert terwijl hoge fideliteit wordt behouden in waarnemingsondersteunde gebieden.

Betekenis en Claims
Het artikel claimt dat AnyCity succesvol de kloof overbrugt tussen de efficiëntie van feed-forward reconstructie en het generatieve vermogen van diffusiemodellen, specifiek toegesneden op de unieke uitdagingen van aardse beelden. Door betrouwbare waarnemingsondersteunde geometrie te ontkoppelen van generatieve verfijning, vermijdt de methode de valkuilen "plausibel maar inconsistent" van pure generatieve benaderingen. De auteurs positioneren AnyCity als een stap naar schaalbare, pose-vrije 3D-stedelijke reconstructie die effectief kan opereren onder de evidentie-ongeweven omstandigheden die typerend zijn voor aardse dataverzameling. Het werk benadrukt dat generatieve prioren het meest effectief zijn wanneer ze worden gebruikt als latente conditioners voor residuale updates in plaats van als directe scène-generatoren.