IntrinsicWeather: Controllable Weather Editing in Intrinsic Space

IntrinsicWeather is een diffusion-gebaseerd framework dat bewerkbare weersimulatie mogelijk maakt door een inverse en een forward renderer te combineren in de intrinsieke ruimte, wat leidt tot superieure controle en robuustheid voor toepassingen zoals autonoom rijden.

De kern

Stel je voor dat je een foto van een drukke stadstraat maakt op een zonnige dag. Je wilt diezelfde foto nu hebben, maar dan onder een zware regenbui, of misschien bedekt met sneeuw.

Tot nu toe was dit een lastige klus voor computers. Als je een bestaande foto "overschrijft" met een nieuwe weersomstandigheid, raakt de computer vaak in de war. Het kan zijn dat de auto's van kleur veranderen, dat de gebouwen vervormen, of dat de regen eruitziet alsof hij op de lucht is geplakt in plaats van op de grond. Het is alsof je probeert een schilderij te veranderen door er nieuwe verf overheen te spuiten, maar dan verlies je de oorspronkelijke details van het doek.

IntrinsicWeather is een nieuwe, slimme manier om dit op te lossen. De auteurs van dit onderzoek hebben een systeem bedacht dat werkt als een digitale "ontmantelings- en herbouwmachine".

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De "Ontmanteling" (De Inverse Renderer)

Stel je voor dat je een ingewikkeld uurwerk uit elkaar haalt. Je legt de wieltjes, de veertjes en het glas netjes apart.

• Wat doet de computer? Hij kijkt naar je foto en splitst deze op in verschillende lagen:
  • Het materiaal: Wat is het? Is het een nat wegdek, een metalen auto of een stenen muur? Dit verandert niet door het weer.
  • De vorm: Hoe ziet het landschap eruit? Waar zijn de randen en hoeken?
  • Het licht en weer: Dit is de "vuile" laag. Hier zitten de regen, de sneeuw, de mist en de schaduwen in.
• Het geheim: De computer maakt een "schone" versie van de foto aan, waarbij hij het weer volledig weghaalt, maar de auto's, bomen en gebouwen precies zo laat als ze waren.

2. De "Hervorming" (De Forward Renderer)

Nu heb je die schone, onbeschadigde lagen. Nu vraag je de computer: "Maak hier een regenachtige dag van."

• Wat doet de computer? Hij pakt de schone lagen (de auto's en gebouwen) en "schildert" het weer erop. Omdat hij precies weet waar de auto staat en hoe het wegdek eruitziet, weet hij precies waar de regen moet glinsteren en waar de sneeuw moet liggen.
• Het resultaat: De regen ziet er echt uit. Hij valt op de grond, niet op de lucht. De auto's worden nat, maar veranderen niet in een andere kleur of vorm.

Waarom is dit zo speciaal? (De "IMAA" Magie)

Een groot probleem bij oude methoden was dat de computer soms vergat om goed naar kleine details te kijken, zoals een klein bordje in de verte of de rand van een dak.
De auteurs hebben een slimme truc bedacht, genaamd IMAA (Intrinsic Map-Aware Attention).

• De Analogie: Stel je voor dat je een schilderij bekijkt met een vergrootglas. Normaal kijkt de computer overal even goed naar. Met IMAA krijgt de computer een speciale bril die hem vertelt: "Kijk hier heel goed naar, want hier zit een metalen hek dat moet glimmen" of "Kijk hier goed naar, want hier moet de vorm van een boom worden bewaakt."
• Hierdoor ziet de computer precies welke delen van de foto belangrijk zijn voor welk detail, waardoor het eindresultaat veel scherper en realistischer wordt.

Waarom is dit belangrijk?

Dit klinkt misschien als een leuk trucje voor foto's, maar het is levensreddend voor autonome auto's.

• Een zelfrijdende auto moet kunnen zien wat er gebeurt, of het nu regent, sneeuwt of mist.
• Als een auto alleen maar foto's heeft van zonnige dagen, raakt hij in de war in de sneeuw.
• Met IntrinsicWeather kunnen onderzoekers duizenden foto's van zonnige dagen omtoveren in regen-, sneeuw- en mist-scenario's. Hiermee kunnen ze de "hersenen" van de auto trainen, zodat deze veilig kan rijden in elk weer.

Samenvatting in één zin

In plaats van een foto simpelweg te "verfijnen" met een filter, pakt IntrinsicWeather de foto uit elkaar tot zijn bouwstenen, verwijdert het oude weer, en bouwt het weer opnieuw op met de instructies die jij geeft, zodat het eruitziet alsof het er altijd zo is geweest.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "IntrinsicWeather: Controllable Weather Editing in Intrinsic Space" in het Nederlands.

Probleemstelling

Bestaande methoden voor het bewerken van weer in afbeeldingen (zoals het toevoegen van regen, sneeuw of mist) opereren voornamelijk in de pixelruimte. Deze benaderingen hebben twee fundamentele beperkingen:

1. Gebrek aan controle: Ze verwarren vaak de weerseffecten met de onderliggende materialen en geometrie van het tafereel, wat leidt tot onnatuurlijke resultaten, vervormde structuren of inconsistenties in belichting.
2. Beperkte fysieke interpretatie: Omdat ze direct pixels manipuleren, kunnen ze geen fysiek correcte overgangen maken (bijv. hoe een weg geleidelijk nat wordt) of de onderliggende objecten behouden terwijl het weer verandert.

Dit is een kritiek probleem voor toepassingen zoals autonoom rijden, waar robuuste perceptiemodellen nodig zijn die goed presteren onder diverse weersomstandigheden. Bestaande datasets ontbreken vaak grote, gelaagde datasets met intrinsieke kaarten (zoals albedo, normaal, ruwheid) voor verschillende weersomstandigheden in buitenomgevingen.

Methodologie: IntrinsicWeather

Het paper introduceert IntrinsicWeather, een diffusion-gebaseerd framework dat werkt in de intrinsieke ruimte in plaats van de pixelruimte. Het framework ontbindt een afbeelding in fundamentele componenten en hercombineert deze met nieuwe weerscondities. Het bestaat uit twee hoofdcomponenten:

1. Inverse Renderer (Ontbinding)

Deze module splitst een invoerafbeelding op in intrinsieke kaarten:

• Weer-invariante kaarten: Albedo (kleur/materiaal), Ruwheid, Metalliciteit en Normaal (geometrie). Deze blijven constant ongeacht het weer.
• Weer-variante kaart: Irradiatie (belichting en weereffecten zoals regen of mist).

Om de kwaliteit van deze ontbinding in complexe buitenomgevingen te verbeteren, introduceert de auteurs de Intrinsic Map-Aware Attention (IMAA):

• Gebruikmakend van DINOv2 worden patch-tokens geëxtraheerd.
• Een leerbaar mechanisme (gating) selecteert specifiek de relevante beeldregio's voor elke intrinsieke kaart (bijv. focussen op metalen objecten voor de metalliciteit-kaart of scherpe randen voor de normaal-kaart).
• Dit creëert een "attention bias" die het diffusion-model helpt om zich te concentreren op de juiste details, wat essentieel is voor kleine objecten op afstand en complexe geometrie.

2. Forward Renderer (Her-rendering)

Deze module genereert een nieuwe afbeelding door de gegenereerde intrinsieke kaarten te combineren met een tekstprompt die het gewenste weer beschrijft.

• CLIP-ruimte interpolatie: Om fijne controle over de weersintensiteit te krijgen (bijv. van licht naar zware regen), wordt een richting vector $e$ berekend in de CLIP-ruimte tussen twee weer-prompten. De invoer-embedding wordt verschoven langs deze vector met een parameter $\alpha$.
• Feature Distillation: Het model behoudt de rijke priors van de originele Stable Diffusion door tussenliggende features te aligneren, wat zorgt voor realistische texturen en belichting.

Datasets

Om dit te trainen, introduceert het paper twee nieuwe datasets, aangezien bestaande datasets onvoldoende waren voor grote buitenomgevingen:

1. WeatherSynthetic: Een synthetische dataset met 38.000 afbeeldingen gegenereerd met Unreal Engine 5, dekkend diverse weersomstandigheden (zon, regen, sneeuw, mist, storm) en tijden van de dag.
2. WeatherReal: Een real-world dataset met 18.000 afbeeldingen van autonome rij-scenario's (uit Waymo en KITTI), waarbij de intrinsieke kaarten zijn gegenereerd via het inverse renderer-model en handmatig gecontroleerd.

Resultaten

IntrinsicWeather presteert aanzienlijk beter dan state-of-the-art methoden in zowel pixelruimte-editing als weather restoration:

• Kwaliteit van Editing: Het behaalt de hoogste scores op CLIP-S (tekst-afbeelding consistentie) en DINO-S (structurele consistentie). Het slaagt erin om weerdegradaties (zoals sneeuw op de grond of mist) volledig te verwijderen of toe te voegen zonder de geometrie of kleuren van objecten te vervormen.
• Inverse Rendering: Het verbetert de PSNR met meer dan 10 dB ten opzichte van bestaande methoden zoals RGB↔X en IID.
• Fijnkorrelige Controle: In tegenstelling tot methoden die simpelweg filters toepassen, toont IntrinsicWeather natuurlijke overgangen (bijv. een weg die geleidelijk nat wordt naarmate de regen intensiteit toeneemt).
• Impact op Autonoom Rijden: De methode verbetert de prestaties van downstream taken aanzienlijk. Op de ACDC-benchmark (een dataset voor autonoom rijden onder slechte weersomstandigheden) resulteerde het toepassen van IntrinsicWeather in:
  • Een stijging van 87,1% in objectdetectie (AP75).
  • Een stijging van 24,5% in semantische segmentatie (mIOU).

Bijdragen en Significantie

De belangrijkste bijdragen van het paper zijn:

1. Nieuwe Paradigma: Het verschuiven van weer-editing van pixelruimte naar intrinsieke ruimte, wat fysiek consistente en controleerbare bewerkingen mogelijk maakt.
2. Innovatieve Architectuur: De introductie van IMAA voor betere ruimtelijke correspondentie in grote scènes en CLIP-interpolatie voor fijne weerscontrole.
3. Datasets: De publicatie van WeatherSynthetic en WeatherReal, die de kloof overbruggen tussen synthetische en realistische data voor weer-gerelateerde taken in het autonome rijden.
4. Praktische Toepassing: Het bewijzen dat het corrigeren van visuele input op intrinsiek niveau de robuustheid van perceptiemodellen voor autonoom rijden drastisch verbetert.

Conclusie: IntrinsicWeather biedt een krachtige, fysiek onderbouwde oplossing voor het genereren en bewerken van weercondities, wat niet alleen leidt tot realistische beeldbewerking maar ook direct bijdraagt aan de veiligheid en betrouwbaarheid van autonome voertuigen in uitdagende weersomstandigheden.