💻 computer science

SeasonScapes: Learning Large-scale Re-lightable 3D Landscapes with Seasonal Variation from Sparse Webcams

Het artikel introduceert SeasonScapes, een raamwerk en dataset dat grootschalige, opnieuw verlichtbare 3D-berglandschappen met seizoensgebonden variaties construeert door meer dan 85.000 verspreide webcamafbeeldingen op een mesh te projecteren en conditionele diffusiemodellen te gebruiken om occlusies in te vullen.

Oorspronkelijke auteurs: Timo Kleger, Qi Ma, Deheng Zhang, Luc Van Gool, Danda Pani Paudel

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Timo Kleger, Qi Ma, Deheng Zhang, Luc Van Gool, Danda Pani Paudel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een perfecte, 3D-videospelwereld van de Zwitserse bergen wilt bouwen. Het probleem is dat je geen drone hebt die overal vliegt en je ook geen team van fotografen hebt. Alles wat je hebt, zijn 32 oude webcams die verspreid over het landschap staan en op verschillende tijdstippen van de dag en op verschillende momenten van het jaar foto's maken.

Het paper "SeasonScapes" gaat over het nemen van die schaarse, verspreide webcamfoto's en het omzetten daarvan in een enorm, levend, ademend 3D-model dat verandert met de seizoenen.

Hier is hoe ze het deden, opgesplitst in eenvoudige stappen:

1. Het "eerste concept" (Het skelet)

Eerst begon het team met een basis, lage-resolutie kaart van de bergen (zoals een digitaal hoogtekaart) en een satellietfoto. Ze zetten dit om in een 3D-netwerk (mesh) – een draadframe-skelet van het terrein.

Het probleem: Dit skelet was grijs en leeg. Het leek niet op echte bergen.
De oplossing: Ze probeerden het skelet te "beschilderen" met de webcamfoto's. Maar omdat de webcams ver uit elkaar staan, bleven enorme stukken van de berg leeg (alsof je probeert een gigantisch muurschildering te beschilderen met slechts een paar kleine penseeltjes).

2. De "magische penseel" (AI Inpainting)

Dit is de kerntruc. Om de lege plekken in te vullen waar geen camera kon kijken, gebruikten ze een speciaal AI-tool genaamd ControlNet.

De analogie: Stel je voor dat je naar een foto van een berg kijkt, maar een wolk bedekt de top. Je weet hoe een bergtop er meestal uitziet. De AI fungeert als een zeer slimme kunstenaar die kijkt naar de zichtbare delen van de berg, de vorm van het terrein (diepte) en een tekstbeschrijving, en vervolgens "hallucineert" of raadt hoe de verborgen top eruit zou moeten zien.
Het proces: Ze gokten niet zomaar willekeurig. Ze creëerden een "pad" voor de AI om te volgen, waarbij ze de virtuele camera rond de berg bewogen. Terwijl de camera bewoog, vulde de AI de ontbrekende texturen in, zodat het gras, de rotsen en de sneeuw er consistent uitzagen met de echte foto's.

3. De "tijdmachine" (Seizoenen en tijdstip van de dag)

De meeste 3D-modellen zijn statisch; ze zien er hetzelfde uit om 12:00 uur in juli en om 00:00 uur in december. Dit project wilde verandering vastleggen.

Ze verzamelden meer dan 85.000 afbeeldingen die over een heel jaar zijn genomen.
Door hun systeem te trainen op deze verschillende tijdstippen, creëerden ze een model dat weet hoe de berg eruitziet wanneer het bedekt is met zomerse groen, wintersneeuw of gouden herfstlicht.
Ze trainden zelfs een speciaal "Gaussisch" model (een chique manier om een collectie 3D-punten te zeggen) dat kan worden "herverlicht". Dit betekent dat je de computer kunt vertellen: "Laat me deze berg zien bij zonsondergang", en het zal de schaduwen en kleuren dienovereenkomstig aanpassen, zelfs als de oorspronkelijke webcamfoto om 12:00 uur is genomen.

4. De resultaten

Ze testten dit op drie verschillende gebieden van de Zwitserse Alpen.

Kleine gebieden: De AI deed een uitstekend werk om de gaten op te vullen.
Grote gebieden: Het was moeilijker, en soms maakte de AI kleine fouten (zoals het schilderen van een vallei die er een beetje "dromerig" of lichtjes verkeerd uitzag), maar het was nog steeds veel beter dan alleen standaard satellietkaarten te gebruiken, die vaak details op steile kliffen missen omdat ze recht van bovenaf kijken.

Samenvatting

Het paper presenteert een nieuwe toolkit genaamd SeasonScapes. Het neemt een paar verspreide webcamfoto's van een enorm bergmassief en gebruikt AI om:

De lege plekken op te vullen waar de camera's niet konden kijken.
De texturen te schilderen zodat het 3D-model er echt uitziet.
Tijd te simuleren, zodat je kunt zien hoe het landschap verandert van dageraad tot schemering en van zomer tot winter.

Het is in wezen het omzetten van een verzameling statische, losstaande webcam-snapshotjes in een continue, interactieve 3D-film van de Zwitserse Alpen.

Technische Samenvatting: SeasonScapes

Probleemstelling

Grootschalige 3D-landschapsreconstructie vanuit schaarse, onbeperkte weergaven blijft een aanzienlijke uitdaging in computer vision. Bestaande methoden kampen met fouten in camerakalibratie, beperkte afdekking van het tafereel en hoge complexiteit van het tafereel, waaronder dynamische belichting en seizoensgebonden uiterlijkvariaties. Hoewel er grootschalige datasets bestaan voor statische stedelijke omgevingen, is er een opvallende lacune in hoogwaardige, tijdsrijke datasets voor natuurlijke, onbegrensde berglandschappen die zowel seizoenswijzigingen als dagelijkse belichtingscycli vastleggen. Bovendien vertrouwen traditionele op mesh gebaseerde systemen (zoals Google Earth) op statische geometrie en gemengde satelliettexturen, waardoor ze geen view-afhankelijk uiterlijk of diverse belichtingsomstandigheden met fotometrische consistentie kunnen modelleren.

Methodologie

De auteurs stellen SeasonScapes voor, een raamwerk en dataset ontworpen om grootschalige, herbelichtbare 3D-landschappen te reconstrueren vanuit schaarse webcambeelden. De pijplijn integreert multimodale data (webcams, satellietbeelden en hoogtemodellen) via de volgende fasen:

1. Data voorverwerking en initialisatie

Basisgeometrie: Het proces begint met een laag-resolutie Digitaal Hoogtemodel (IDEM) en een satellietkleurafbeelding ( $I_S$ ) van het doelgebied (bijv. Berner Oberland). Een 3D-puntwolk wordt gegenereerd door pixelhoogten uit het IDEM te mappen en deze te kleuren met $I_S$ . Een 3D-mesh ( $M$ ) wordt geconstrueerd met behulp van Poisson-oppervlakreconstructie.
UV-unwrapping: Het mesh-oppervlak wordt ontvouwd met de xatlas-bibliotheek om een UV-textuurkaart te creëren, waarbij textuuroppslag wordt gescheiden van geometrie.
Webcam-uitlijning: Panoramische webcamfeeds (360° cilindrisch) worden opgesplitst in 4–6 perspectief-subafbeeldingen. Deze worden voor consistentie kleur-gegradeerd en uitgelijnd met het 3D-mesh.
Camera-optimalisatie: Initiële cameraposities worden afgeleid van GPS-coördinaten, maar verfijnd via een leer-gebaseerde aanpak. De auteurs stellen handmatig 2D–3D-correspondenties vast en optimaliseren intrinsieke (brandpuntsafstand) en extrinsieke (rotatie) parameters door de L1-pixelverlies tussen geprojecteerde 3D-punten en doel-2D-afbeeldingspunten te minimaliseren.

2. 3D-mesh texturering en inpainting

Om occlusies en schaarse afdekking aan te pakken, hanteert het raamwerk een textureringsproces in twee fasen:

Initiële schildering: Voorverwerkte webcambeelden worden geprojecteerd op de UV-kaart van het mesh. Er wordt een progressieve superpositiestrategie gebruikt, waarbij nieuwe texturen worden gemengd met bestaande op basis van een UV-masker, zodat eerder geschilderde gebieden behouden blijven.
Iteratieve inpainting: Voor gebieden die niet worden afgedekt door webcamweergaven, gebruikt het systeem een diepte-bewust diffusiemodel (ControlNet) om ontbrekende gebieden in te vullen.
- Traject: Het systeem definieert een nieuw weergavetraject met specifieke posities.
- Conditionering: Voor elke stap wordt een RGBD-afbeelding gerenderd. Een ongekleurd masker wordt gegenereerd met HSV-kleurruimtefiltering om ontbrekende gebieden te identificeren.
- Diffusie: Een ControlNet-pijplijn conditioneert de inpainting op het dieptekaart, een IP-Adapter (voor uiterlijkgeleiding vanuit nabijgelegen webcams) en een tekstprompt.
- Projectie: Het gegenereerde ingevulde beeld wordt terug geprojecteerd op de lokale UV-textuurkaart en gesuperponeerd met de vorige textuur.

3. Herbelichtbare 3D-representatie

De laatste fase omvat het trainen van een Wild Gaussian-model (een uitbreiding van 3D Gaussian Splatting) met behulp van de voltooide, tijdsdiverse dataset.

Dynamische Embeddings: Het model integreert tijd-embeddings om seizoensgebonden en dagelijkse variaties vast te leggen.
Uiterlijk-MLP: Een Multi-Layer Perceptron (MLP) transformeert de basiskleureigenschappen van elke Gaussian op basis van de kijkstraalrichting en tijd, waardoor reconstructie van dynamische tafereleigenschappen en herbelichtingsmogelijkheden mogelijk wordt.

Belangrijkste Bijdragen

SeasonScapes Dataset: Een hoogwaardige, grootschalige multimodale dataset die 3.000 km² alpien terrein bestrijkt. Deze bevat meer dan 85.000 webcambeelden van 32 locaties over 13 tijdstippen, waarmee volledige seizoencycli en dagelijkse veranderingen worden vastgelegd. Het biedt nauwkeurige tijdstempelannotaties en gekalibreerde 2D–3D-correspondenties tussen beelden op grondniveau en geografisch referentie satellietdata.
SeasonScapes Raamwerk: Een innovatieve pijplijn voor het creëren van herbelichtbare 3D-landschappen. Het behandelt uniek grootschalige, onbegrensde scènes door lineaire of kubische spline inpainting-trajecten tussen GPS-coördinaten in te voeren en occlusie-bewuste schildering uit te voeren via UV-indexering en dieptereferentie, in plaats van uitsluitend te vertrouwen op op normaal gebaseerde filtering.
Dynamische Herbelichtbare Modellering: De integratie van dynamische embeddings in herbelichtbare Gaussian-training, waardoor effectieve modellering van tijdsveranderingen (seizoenen en tijdstip van de dag) in grootschalige buitenomgevingen mogelijk wordt.

Resultaten en Evaluatie

De auteurs evalueerden de pijplijn over drie diverse testscènes: Grindelwald (kleine schaal), Jungfrau (middelgrote schaal) en Berner Oberland (grote schaal).

Kwantitatieve Metrieken: Prestaties werden gemeten met LPIPS, PSNR en SSIM. De Grindelwald-scène behaalde een LPIPS van 0,159, terwijl de grotere Jungfrau- en Berner-scènes hogere LPIPS-waarden vertoonden (respectievelijk 0,191 en 0,216). De auteurs schrijven de prestatiedegradatie in grotere scènes toe aan het toegenomen aandeel onzichtbare gebieden dat synthese vereist.
Ablatiestudies: Het verwijderen van de initiële schilderingsfase resulteerde in een aanzienlijke prestatiedaling (tot 33,1% in LPIPS voor Grindelwald), wat de noodzaak van de tweefasige aanpak benadrukt. Het verwijderen van dieptebesturing leidde tot "berghallucinaties" in verre gebieden, terwijl de IP-Adapter bleek voornamelijk kleurtinten te moduleren.
Kwalitatieve Vergelijking: In vergelijking met Google Earth toonde de SeasonScapes-aanpak superieure kleuring op steile klifwanden door beter nagenoeg orthogonale weergaven vast te leggen, waardoor vervorming en detailverlies voorkwamen die gebruikelijk zijn bij top-down satellietperspectieven. De methode toonde ook grotere aanpassingsvermogen aan seizoensvariaties.

Betekenis en Beperkingen

Het artikel positioneert SeasonScapes als een stap voorwaarts in het creëren van digitale tweelingen van natuurlijke omgevingen die niet alleen geometrisch nauwkeurig zijn, maar ook fotometrisch consistent in de tijd. Door schaarse webcamdata te combineren met diffusie-priors, maakt de methode modellering van langetermijnmilieutransities en kortetermijnbelichtingsveranderingen mogelijk, en gaat verder dan statische, uitsluitend op satelliet gebaseerde reconstructies.

De auteurs erkennen huidige beperkingen:

Het handmatige 2D–3D-correspondentieproces is tijdrovend.
ControlNet heeft moeite met het inpainten van zeer kleine ontbrekende gebieden.
De herbelichtbare Gaussian-outputs vertonen af en toe wazige artefacten, waarschijnlijk als gevolg van kalibratiefouten en de expressiviteitsbeperkingen van het Wild Gaussian-raamwerk.

Het werk biedt een fundament voor toepassingen in milieubewaking, weersmodellering en virtueel toerisme, en biedt een dynamischere en realistischere representatie van natuurlijke landschappen dan bestaande statische datasets.