WeatherCity: Urban Scene Reconstruction with Controllable Multi-Weather Transformation

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een digitale tweeling van een drukke stad hebt gebouwd, compleet met auto's, voetgangers en gebouwen. Dit is geweldig voor het testen van zelfrijdende auto's. Maar er is een groot probleem: deze digitale steden zijn vaak "vastgevroren" in het weer van de dag dat ze zijn gefilmd. Als je ze hebt gemaakt op een zonnige dag, kun je er geen regen of sneeuw in simuleren zonder dat het er raar uitziet of dat de gebouwen vervormen.

WeatherCity is een nieuwe, slimme manier om die digitale steden te "hervormen" zodat ze elk weer kunnen hebben, zonder dat de stad zelf verandert.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het probleem: De "Plastic" Stad

Bestaande methoden zijn als een plastic model van een stad. Als je er een plastic regenjas overheen doet, ziet het er niet echt uit. Als je probeert de plastic auto's nat te maken, beginnen ze soms te smelten of te vervormen. Andere methoden (die alleen op 2D-foto's werken) zijn als een schilderij: als je de lucht in het schilderij blauw maakt, wordt de auto eronder misschien ook blauw of verdwijnt hij. Ze kunnen geen echte, diepe 3D-wereld creëren.

2. De oplossing: WeatherCity als een "Magische Kostuumkast"

WeatherCity lost dit op door twee slimme trucs te combineren:

A. De "Onzichtbare Kostuumkast" (De Weer-Gaussians)
Stel je voor dat elke auto, elk huis en elke boom in de digitale stad een onzichtbare kostuumkast heeft.

De basis: De echte structuur van de stad (de vorm van de auto, de muren) zit in een basispak dat nooit verandert. Dit is het "gedeelte dat we delen".
De kostuums: Bovenop dit basispak kunnen we verschillende "weerkostuums" aantrekken. Er is een regenpak, een sneeuwpak en een mistpak.
Het geniale: Als we het regenpak aantrekken, verandert de auto niet van vorm. Hij wordt alleen nat, glanzend en donkerder. De sneeuw bedekt hem, maar de auto eronder blijft precies hetzelfde. Dit zorgt ervoor dat de stad er echt uitziet, of het nu regent of sneeuwt.

B. De "Regisseur met een Toverstaf" (Tekst-gestuurde bewerking)
Om te beslissen hoe het weer eruit moet zien, gebruiken we een slimme AI die werkt als een regisseur. Jij zegt gewoon: "Maak het zwaar sneeuwend, maar laat de rode bus in het midden staan."
De AI kijkt naar de originele foto's en past het "weerkostuum" aan. Maar omdat de AI soms foutjes maakt (bijvoorbeeld een gebouw scheef trekt), gebruikt WeatherCity een controlemechanisme. Het vergelijkt de nieuwe foto met de oude en zegt: "Hé, die auto is niet scheef! Zet hem recht." Zo blijft de stad consistent.

C. De "Fysieke Deeltjes" (Voor echte beweging)
Simpelweg een foto maken van regen is saai; regen moet vallen. WeatherCity bouwt een fysieke simulator:

Regen: Het creëert duizenden kleine, langwerpige deeltjes die vallen en meebewegen met de wind, net als echte druppels.
Sneeuw: Het maakt kleine kristalletjes die zachtjes dwarrelen en stuiven.
Mist: Het gebruikt een wiskundige formule (de Beer-Lambert wet) om te zorgen dat de mist dichter wordt naarmate je verder kijkt, waardoor verre objecten vaag worden.

Waarom is dit belangrijk?

Voor zelfrijdende auto's is dit een gamechanger.

Veiligheid: Je kunt een auto trainen in een digitale stad die altijd in een storm zit, zonder dat je hoeft te wachten op een echte storm.
Realisme: De auto's en gebouwen vervormen niet. Een auto die in de sneeuw rijdt, ziet er nog steeds uit als een auto, alleen dan bedekt met sneeuw.
Controle: Je kunt precies instellen hoeveel sneeuw er valt of hoe dik de mist is.

Samenvatting

WeatherCity is als het hebben van een digitale stad die je kunt "hervormen" met een toverstaf. Je kunt de stad van een zonnige dag veranderen in een zware storm, terwijl de gebouwen en auto's stevig op hun plek blijven staan. Het is alsof je een film draait waarbij je het weer kunt veranderen zonder dat de acteurs (de auto's en gebouwen) hun rol vergeten of hun kleding veranderen in iets onherkenbaars.

Dit maakt het mogelijk om zelfrijdende auto's te trainen voor elke denkbare situatie, van lichte motregen tot zware sneeuwstormen, allemaal binnen een veilige, virtuele wereld.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Hoge-fideliteit 4D-simulatie is cruciaal voor de ontwikkeling van autonoom rijden, omdat het diverse trainingsdata biedt voor zeldzame situaties (zoals extreme weersomstandigheden) en een reproduceerbare omgeving voor gesloten-lus evaluaties creëert. Bestaande methoden kampen echter met twee fundamentele beperkingen:

Observatie-afhankelijkheid: Bestaande 4D-reconstructiemethoden (zoals NeRF en 3D Gaussian Splatting) kunnen alleen de weersomstandigheden nabootsen die tijdens het vastleggen van de data aanwezig waren. Ze kunnen geen nieuwe scenario's zoals regen, sneeuw of mist simuleren.
Inconsistentie bij 2D-bewerking: Bestaande beeldbewerkingsmethoden (op basis van GANs of Diffusiemodellen) werken op 2D-niveau. Deze introduceren vaak artefacten, vervormen de scène-inhoud (bijv. verkeersborden of gebouwen) en missen de noodzakelijke temporele consistentie voor video. Daarnaast ontbreekt fijne controle over weersintensiteit (bijv. lichte versus zware regen) en dieptebewuste atmosferische effecten.

Er is dus een behoefte aan een systeem dat 4D-scènes kan reconstrueren én flexibel, controllable en consistent kan bewerken voor verschillende weersomstandigheden.

Methodologie: WeatherCity

WeatherCity is een unificerend framework dat vier kerncomponenten combineert om dynamische stedelijke scènes te reconstrueren en te bewerken:

1. Tekstgeleide Beeldbewerking (Image Editing)

Het proces begint met het gebruik van een krachtig, tekstgeleide basismodel (Qwen-Image) om de invoerbeelden te bewerken. Door zorgvuldig ontworpen prompts te gebruiken, worden de beelden getransformeerd naar de gewenste weersomstandigheden (bijv. "regendag", "sneeuwstorm") terwijl de originele scène-inhoud (objecten, geometrie) strikt behouden blijft. Deze bewerkte sequenties dienen als supervisie voor de 3D-reconstructie.

2. Weather Gaussian Representatie (Shared Features & Multi-Weather Decoders)

Om de scène te representeren, gebruikt het systeem een dynamische Gaussian-grafiek (gebaseerd op OmniRe) met een nieuwe Weather Gaussian Representation.

Gedeelde Kenmerken: Elke 3D-Gaussian wordt geparametriseerd door een gedeelde appearance feature ( $f_i$ ) die de intrinsieke textuur en materiaaleigenschappen van de scène vastlegt, onafhankelijk van het weer.
Specifieke Decoders: Voor elke weersomstandigheid $w$ wordt een specifieke MLP-decoder ( $\phi_w$ ) gebruikt om de kleur ( $c_i^w$ ) te genereren op basis van de gedeelde feature.
Voordeel: Dit ontwerp ontkoppelt de geometrie en structuur van de scène van de tijdelijke weersverschijnselen. Hierdoor blijft de structuur consistent over verschillende weersomstandigheden, terwijl de fotometrische effecten (natte wegen, sneeuwlaagjes) flexibel kunnen worden gewijzigd.

3. Consistentie-Optimalisatie

Om te voorkomen dat de 2D-bewerkingen leiden tot onnatuurlijke vervormingen of temporele flitsing (flickering), worden drie verliesfuncties (loss functions) toegepast:

RGB Loss: Vergelijkt het gerenderde beeld met de grondwaarheid (raw) en de bewerkte (multi-weather) beelden.
Content Consistency Loss ( $L_{cc}$ ): Gebruikt een vooraf getraind VGG-netwerk om semantische en structurele consistentie te garanderen. Het zorgt ervoor dat de gerenderde beelden onder verschillende weersomstandigheden dezelfde inhoudelijke kenmerken delen als het originele beeld.
Depth Loss: Gebruikt LiDAR-projecties om de geometrische nauwkeurigheid te waarborgen.

4. Fysisch Gedreven Dynamische Weersimulatie

Voor realistische dynamische effecten wordt een fysica-gedreven systeem geïmplementeerd:

Regen en Sneeuw: Gemodelleerd als bewegende deeltjes (Gaussian ellipsoïden). Regen wordt weergegeven als langgerekte Gaussians voor bewegingsonscherpte, en sneeuw als kristalachtige structuren. Hun beweging wordt berekend via snelheidsvectoren die zwaartekracht, wind en turbulentie (voor sneeuw) simuleren.
Mist: Gemodelleerd als een diepte-afhankelijk medium gebaseerd op de Beer-Lambert-wet, waardoor zichtbaarheid natuurlijk afneemt met de afstand.
Unified Rendering: Alle deeltjes worden direct geïntegreerd in de Gaussian scene graph en samen gerasterd, wat zorgt voor correcte occlusie en compositie.

Belangrijkste Bijdragen

Unificerend Framework: Het eerste systeem dat 4D-reconstructie, weerbewerking en dynamische simulatie integreert, waardoor 2D-bewerking wordt opgeheven naar 4D-simulatie.
Weather Gaussian Representatie: Een nieuwe representatie die scène-geometrie ontkoppelt van weersafhankelijke verschijning, wat zorgt voor structurele consistentie en efficiënt schakelen tussen weersomstandigheden.
Fysisch Gedreven Simulatie: Een systeem dat dynamische weersdeeltjes (regen, sneeuw) en atmosferische mist simuleert met fysieke consistentie en fijne controle over intensiteit.
Object-niveau Bewerking: Het systeem ondersteunt niet alleen weersveranderingen, maar ook manipulatie van objecten binnen de scène (bijv. voertuigen verwijderen of verplaatsen).

Resultaten

De methode is geëvalueerd op de Waymo Open Dataset en de nuScenes dataset.

Kwalitatieve Resultaten: WeatherCity produceert fotorealistische resultaten met hoge temporele consistentie. In tegenstelling tot baselines (zoals ControlNet, TurboEdit, FRESCO) die vaak leiden tot vervormde voertuigen, hallucinerende structuren en inconsistenties tussen frames, behoudt WeatherCity de geometrie en semantiek van de scène perfect.
Kwantitatieve Resultaten: Het systeem presteert state-of-the-art op alle metrieken:
- CLIP-S (Content Preservation): Hoogste scores, wat aangeeft dat de originele scène-inhoud beter behouden blijft.
- CLIP-DS (Text Alignment): Sterke correlatie met de tekstuele prompts.
- Sem-CS (Semantic Consistency): Beter behoud van semantische segmentatie (bijv. wegmarkeringen, voertuigvormen).
Snelheid: WeatherCity bereikt een renderingssnelheid van 25,67 FPS, wat voldoende is voor real-time simulatie, terwijl veel 2D-baselines minder dan 0,15 FPS halen.

Betekenis en Impact

WeatherCity biedt een krachtige tool voor de autonome rij-industrie door realistische, gecontroleerde en reproduceerbare simulaties van extreme weersomstandigheden mogelijk te maken. Dit is essentieel voor het trainen van end-to-end rijmodellen en het testen van systemen in veilige virtuele omgevingen. De methode overbrugt de kloof tussen statische 3D-reconstructie en dynamische, controllable content creatie, en legt een fundament voor toekomstig onderzoek in virtuele wereldcreatie.