💻 computer science

PVRF: All-in-one Adverse Weather Removal via Prior-modulated and Velocity-constrained Rectified Flow

Het artikel stelt PVRF voor, een uniform kader voor verwijdering van ongunstige weersomstandigheden dat zero-shot-weersperceptie uit bevroren visueel-taalmodellen integreert met een snelheidsgeconstrueerde gecorrigeerde stroming om hoogtrouw, generaliseerbaar herstel van realistische afbeeldingen onder heterogene degradaties te bereiken.

Oorspronkelijke auteurs: Wei Dong, Han Zhou, Terry Ji, Guanhua Zhao, Shahab Asoodeh, Yulun Zhang, Guangtao Zhai, Jun Chen, Xiaohong Liu

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wei Dong, Han Zhou, Terry Ji, Guanhua Zhao, Shahab Asoodeh, Yulun Zhang, Guangtao Zhai, Jun Chen, Xiaohong Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je door een vuil, mistig, regenachtig raam probeert te kijken om een prachtig landschap te zien. Je doel is het glas schoon te maken zodat je het uitzicht duidelijk kunt zien zonder enig detail van het origineel te verliezen. Dit noemen computerwetenschappers "Verwijdering van ongunstige weersomstandigheden".

Echter, het weer in de echte wereld is rommelig. Soms is het alleen regen, soms sneeuw, en vaak is het een verwarrende mix van regen, mist en duisternis tegelijk. Eerdere computerprogramma's probeerden deze beelden te herstellen, maar ze maakten vaak twee fouten:

Het "Vage Foto"-probleem: Ze maakten het beeld zo schoon dat het glad en plastic leek, waardoor alle fijne details verloren gingen (zoals de textuur van boomschors).
Het "Foute Gok"-probleem: Ze probeerden te raden wat het weer was (bijvoorbeeld: "Het regent!") en pasten één enkele oplossing toe. Als ze verkeerd gokten, of als het eigenlijk tegelijkertijd regende én mistig was, faalde de oplossing.

Het artikel introduceert een nieuw systeem genaamd PVRF dat deze problemen oplost met een slimme drie-stappenstrategie. Hieronder wordt uitgelegd hoe het werkt, met eenvoudige analogieën:

1. De "Slimme Detective" (De AWR-QA-module)

In plaats van de computer te dwingen om slechts één label te kiezen zoals "Regen" of "Sneeuw", gebruikt PVRF een vooraf getrainde "Slimme Detective" (een bevroren Vision-Language Model).

Hoe het werkt: Stel je een detective voor die een rommelige foto kan bekijken en specifieke vragen kan beantwoorden zoals: "Regent het?" (Ja/Nee), "Is het mistig?" (Ja/Nee) en "Hoe donker is het?" (Goed/Slecht).
De Innovatie: In plaats van een simpel "Ja" of "Nee" te geven, geeft deze detective een vertrouwensscore. Hij zou kunnen zeggen: "Ik ben 40% zeker dat het regen is, 40% zeker dat het mist is, en 20% zeker dat het sneeuwt."
Waarom dit helpt: Dit "zachte" begrip stelt het systeem in staat om gemengd weer perfect te hanteren. Het hoeft niet slechts één keuze te maken; het weet dat het beeld een mix is, dus bereidt het een gemengde oplossing voor.

2. De "Maatwerk-Snijder" (Het Conditionering-ontwerp)

Zodra de detective de vertrouwensscores heeft gegeven, moet het systeem ze gebruiken om het beeld te reinigen. Denk aan het netwerk voor beeldherstel als een snijder die probeert een gescheurd pak te herstellen.

Attribuut-gemoduleerde Normalisatie (AMN): Dit is als de snijder die de ernst van de schade controleert. Als de "duisternis"-score hoog is, weet de snijder dat hij extra voorzichtig moet zijn met de schaduwen. Als de "onscherpte"-score hoog is, weet hij dat hij zich moet focussen op scherpte. Het past de "strakheid" van het reinigingsproces aan op basis van hoe ernstig de schade is.
Weer-gewogen Adapters (WWA): Dit is als de snijder die een gereedschapskist heeft met verschillende gereedschappen voor verschillende problemen (een borstel voor stof, een oplosmiddel voor olie, een naald voor scheuren). In plaats van slechts één gereedschap te kiezen, gebruikt de snijder alle gereedschappen tegelijk, maar weegt ze op basis van de vertrouwensscores van de detective. Als de detective zegt "40% regen, 40% mist", gebruikt de snijder 40% van het regen-gereedschap en 40% van het mist-gereedschap tegelijkertijd. Dit voorkomt het "Foute Gok"-probleem.

3. De "Stevige Hand" (De Terminal-Consistente Stroom)

De laatste stap is het daadwerkelijke reinigingsproces. Het artikel gebruikt een wiskundig concept genaamd "Rectified Flow", wat lijkt op een begeleide weg van een rommelig beeld naar een schoon een.

Het Probleem: Meestal, wanneer je een weg begeleidt van "Rommel" naar "Schoon", kan het einde van de weg (het schone beeld) wankel of onstabiel worden, wat leidt tot vreemde artefacten.
De Oplossing: PVRF voegt een "Stevige Hand"-mechanisme toe. Het verankert het proces aan een betrouwbaar startpunt (de beste gok van de "Slimme Detective") en zorgt ervoor dat naarmate het beeld schoner wordt, de beweging perfect voorspelbaar en stabiel wordt.
Adaptieve Perturbatie: Stel je voor dat je een doos met marbles schudt om ze te laten settlingen. Als de doos slechts licht rommelig is, geef je een kleine schud. Als het een totale ramp is, geef je een grote schud. PVRF beslist automatisch hoe hard het beeld moet worden "geschud" op basis van de scores van de detective. Dit zorgt ervoor dat het systeem lichte problemen niet overcorrigeert of ernstige problemen niet ondercorrigeert.

Het Resultaat

Door een Slimme Detective te combineren (om gemengd weer te begrijpen), een Maatwerk-Snijder (om de juiste mix van oplossingen toe te passen) en een Stevige Hand (om ervoor te zorgen dat het eindresultaat stabiel en realistisch is), produceert PVRF beelden die:

Scherper zijn: Ze behouden de fijne details (zoals gras of baksteen texturen) die andere methoden wazig maken.
Realistischer zijn: Ze lijken op natuurlijke foto's, niet op plastic schilderijen.
Veelzijdig zijn: Ze werken uitstekend, zelfs wanneer het weer een verwarrende mix is van regen, sneeuw, mist en duisternis, of wanneer het systeem een type weer tegenkomt dat het nog nooit eerder heeft gezien.

Kortom, PVRF raadt niet alleen wat er mis is met een foto; het begrijpt de nuance van de rommel en past een precieze, gebalanceerde en stabiele oplossing toe.

Technische Samenvatting: PVRF

Probleemstelling

Het verwijderen van ongunstige weersomstandigheden (AWR) in realistische scenario's staat voor twee hoofduitdagingen. Ten eerste lijden realistische beelden vaak aan heterogene en gemengde degradaties (bijvoorbeeld gelijktijdige regen, sneeuw en mist) die moeilijk te infereren zijn en waarop moeilijk te conditioneren valt. Bestaande benaderingen die vertrouwen op "harde" one-hot-conditionering (het voorspellen van één discrete weerslabel) zijn breekbaar; ze worstelen met ambiguïteit of gecombineerde degradaties en zijn gevoelig voor verschuivingen in uiterlijk tussen verschillende datasets. Ten tweede bestaat er een fundamentele afweging tussen perceptie en vervorming. Op vervorming gerichte methoden (die de MSE minimaliseren) produceren vaak te gladde resultaten, terwijl op diffusie gebaseerde methoden, hoewel visueel overtuigend, mogelijk trouwheid missen. Het bereiken van een restauratie die zowel trouw is aan de grondwaarheid als fotorealistisch, blijft een aanzienlijke hindernis voor alles-in-één AWR-modellen.

Methodologie

De auteurs stellen PVRF (Prior-gemoduleerde en snelheid-beperkte Gecorrigeerde Stroom) voor, een unificerend kader dat zero-shot zachte weerspercepties integreert met een verfijningsproces op basis van snelheid-beperkte gecorrigeerde stroom. De methode werkt in twee hoofdfasen:

1. Zero-Shot Zachte Perceptie-Prior via AWR-QA

In plaats van een classifier te trainen om discrete weerslabels te voorspellen, maakt PVRF gebruik van een bevroren Vision-Language Model (VLM) om zachte perceptie-priors te extraheren.

AWR-QA Module: Het systeem ondervraagt het VLM met definities-verrijkte vragen.
- Typeperceptie: Voor elk weertype (bijvoorbeeld "Is dit beeld regenachtig?") levert het VLM ruwe logits voor "ja" en "nee". Deze worden omgezet in zachte kansen ( $P_{type}$ ) met behulp van een sigmoid-achtige functie, waarbij onzekerheid behouden blijft (waardoor meerdere types niet-verwaarloosbare gewichten kunnen hebben).
- Attribuutperceptie: Het VLM wordt ondervraagd op laag-niveau attributen (zichtbaarheid, contrast, scherpte) om de ernst van de degradatie te beoordelen.
Conditioneringsmechanismen: Deze zachte priors moduleren de restauratie-achtersteun (een AWR-specifiek netwerk) via twee componenten:
- Attribuut-gemoduleerde Normalisatie (AMN): Gebruikt attribuutscores om affiene transformaties per feature uit te voeren op laag-genormaliseerde features, waardoor continue ernst-modulatie wordt geboden.
- Weergewogen Adapter (WWA): Implementeert meerdere parallelle adaptertakken (één per weertype). De zachte typekansen dienen als menggewichten om de output van deze takken te aggregeren, waardoor het netwerk gemengde degradaties kan verwerken zonder harde schakeling.

2. Terminal-consistente Residuele Gecorrigeerde Stroom

Om de initiële anker-schatting ( $\mu$ ) die door de perceptie-gespecificeerde achtersteun wordt geproduceerd, te verfijnen, maakt PVRF gebruik van een gecorrigeerde stroommodel dat een transportkaart leert van een verstoord bronverdeling naar de schone beeldverdeling.

Posterior-geankerde Residuele Ruimte: De stroom wordt gedefinieerd in een residuele ruimte ( $r_t = Z_t - \mu$ ) waarbij de bron $Z_0 = \mu + \delta\epsilon$ is. Deze formulering zorgt ervoor dat de verwachte residu in de terminaltoestand per constructie nul is, wat het leerdoel vereenvoudigt.
Perceptie-adaptieve Bronverstoring: In tegenstelling tot standaardmethoden die een vaste globale verstoringsschaal gebruiken, past PVRF de verstoringgrootte ( $\delta$ ) dynamisch aan op basis van de zachte percepties. Een moeilijkheidsscore wordt afgeleid uit typeonzekerheid en attribuuternst, waardoor milde gevallen minder worden verstoord (trouwheid behoudend) en ernstige/ambigue gevallen meer worden verstoord (leren stabiliserend).
Terminal-consistente Snelheidsparameterisatie: Het snelheidsveld wordt geparameteriseerd als $v_\phi(r_t, t) = t r_t + t(1-t)\Phi_\phi(\dots)$ . De term $t(1-t)$ verdwijnt bij $t=1$ , wat garandeert dat de snelheid in de terminaltoestand exact $r_1$ is, ongeacht de voorspelling van het netwerk. Dit dwingt terminalconsistentie expliciet af, wat het leren stabiliseert nabij $t \to 1$ .

Belangrijkste Bijdragen

Definitie-gestuurde Zero-Shot Percepties: De introductie van de AWR-QA-module, die bevroren VLM's gebruikt om zachte, onzekerheidsbewuste type- en attribuutpriors te genereren zonder taakspecifieke fijnafstemming.
Perceptie-gestuurde Modulatie: Het ontwerp van AMN- en WWA-modules die zachte priors effectief integreren in de restauratie-achtersteun, waardoor degradatie-bewuste posterior-schatting mogelijk wordt.
Terminal-consistente Residuele Stroom: Een nieuwe formulering voor gecorrigeerde stroom met perceptie-adaptieve bronverstoring en een terminal-consistente snelheidsparameterisatie om fotorealisme en trouwheid in evenwicht te brengen.

Experimentele Resultaten

De auteurs hebben PVRF geëvalueerd in drie instellingen:

Instelling I (3-Taken AWR): Ontmisting, regenverwijdering en sneeuwverwijdering. PVRF presteerde beter dan state-of-the-art (SOTA) CNN-, Transformer- en Diffusie-gebaseerde baselines (zoals AdaIR, UniRestore, PromptIR) in zowel trouwheid (PSNR, SSIM) als perceptuele kwaliteit (LPIPS, FID, MUSIQ). Opmerkelijk is dat het een gemiddelde PSNR-verbetering van 1,14 dB behaalde ten opzichte van de beste SOTA.
Instelling II (4-Taken AWR): Inclusief versterking bij weinig licht, waarbij consistente superioriteit werd aangetoond.
Instelling III (5-Taken Algemene Restauratie): Inclusief ontwarring. PVRF behield topprestaties over alle metrieken.
Generalisatie: Het model toonde sterke generalisatie op ongezette datasets (zoals HIDE, RealRain-1k) en, cruciaal, op gecombineerde degradaties (bijvoorbeeld Mist + Regen, Weinig licht + Sneeuw). In deze uitdagende scenario's met gemengde degradaties presteerde PVRF aanzienlijk beter dan baselines op perceptuele metrieken (MUSIQ, MANIQA), waarbij andere methoden vaak faalden om meerdere gelijktijdige degradaties te verwerken.

Betekenis

Het artikel stelt dat PVRF de kritieke beperkingen van bestaande alles-in-één AWR-modellen aanpakt door weg te bewegen van breekbare, harde-conditioneringsparadigma's naar een flexibele, perceptie-gedreven aanpak. Door het semantische begrip van bevroren VLM's te benutten voor zachte priors en het generatieve verfijningsproces te stabiliseren met terminal-consistente beperkingen, bereikt PVRF een superieur evenwicht tussen minimalisatie van vervorming en perceptueel realisme. De auteurs benadrukken dat het vermogen van de methode om gemengde en ongezette degradaties te verwerken zonder hertraining, het bijzonder geschikt maakt voor realistische toepassingen waar weersomstandigheden complex en onvoorspelbaar zijn.