💻 computer science

PVRF: All-in-one Adverse Weather Removal via Prior-modulated and Velocity-constrained Rectified Flow

Das Papier schlägt PVRF vor, ein einheitliches Framework zur Entfernung von Wettereinflüssen, das zero-shot-Wetterwahrnehmung aus eingefrorenen Vision-Sprach-Modellen mit einem geschwindigkeitsbeschränkten rectified flow integriert, um eine hochfidele, generalisierbare Wiederherstellung realer Bilder unter heterogenen Degradierungen zu erreichen.

Ursprüngliche Autoren: Wei Dong, Han Zhou, Terry Ji, Guanhua Zhao, Shahab Asoodeh, Yulun Zhang, Guangtao Zhai, Jun Chen, Xiaohong Liu

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wei Dong, Han Zhou, Terry Ji, Guanhua Zhao, Shahab Asoodeh, Yulun Zhang, Guangtao Zhai, Jun Chen, Xiaohong Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, durch ein schmutziges, nebliges, regnerisches Fenster zu schauen, um eine schöne Landschaft zu sehen. Ihr Ziel ist es, das Glas zu reinigen, damit Sie die Aussicht klar sehen können, ohne dabei auch nur ein Detail des Originals zu verlieren. Das bezeichnen Informatiker als „Entfernung von widrigen Wetterbedingungen".

Allerdings ist das Wetter in der realen Welt chaotisch. Manchmal ist es nur Regen, manchmal Schnee, und oft eine verwirrende Mischung aus Regen, Nebel und Dunkelheit gleichzeitig. Frühere Computerprogramme versuchten, diese Bilder zu korrigieren, machten dabei jedoch häufig zwei Fehler:

Das Problem des „verwaschenen Fotos": Sie reinigten das Bild so stark, dass es glatt und plastisch wirkte und alle feinen Details verlor (wie die Textur von Baumrinde).
Das Problem des „falschen Rats": Sie versuchten zu erraten, welches Wetter herrschte (z. B. „Es regnet!") und wendeten eine einzige Korrektur an. Wenn sie falsch lagen oder wenn es tatsächlich gleichzeitig regnete und neblig war, schlug die Korrektur fehl.

Die Arbeit stellt ein neues System namens PVRF vor, das diese Probleme durch eine clevere Dreistufen-Strategie löst. So funktioniert es, erklärt mit einfachen Analogien:

1. Der „intelligente Detektiv" (Das AWR-QA-Modul)

Anstatt den Computer zu zwingen, nur ein einziges Label wie „Regen" oder „Schnee" auszuwählen, nutzt PVRF einen vortrainierten „intelligenten Detektiv" (ein eingefrorenes Vision-Language-Modell).

Funktionsweise: Stellen Sie sich einen Detektiv vor, der ein chaotisches Foto ansehen und spezifische Fragen beantworten kann, wie: „Regnet es?" (Ja/Nein), „Ist es neblig?" (Ja/Nein) und „Wie dunkel ist es?" (Gut/Schlecht).
Die Innovation: Anstatt eine einfache „Ja"- oder „Nein"-Antwort zu geben, liefert dieser Detektiv einen Vertrauenswert. Er könnte sagen: „Ich bin zu 40 % sicher, dass es regnet, zu 40 % sicher, dass es neblig ist, und zu 20 % sicher, dass es schneit."
Warum das hilft: Dieses „weiche" Verständnis ermöglicht es dem System, gemischtes Wetter perfekt zu handhaben. Es muss sich nicht für nur eine Option entscheiden; es weiß, dass das Bild eine Mischung ist, und bereitet eine gemischte Lösung vor.

2. Der „maßgeschneiderte Schneider" (Das Conditioning-Design)

Sobald der Detektiv die Vertrauenswerte liefert, muss das System diese nutzen, um das Bild zu reinigen. Betrachten Sie das Bildrestaurierungsnetzwerk als einen Schneider, der einen zerrissenen Anzug repariert.

Attribut-modulierte Normalisierung (AMN): Dies ist so, als würde der Schneider den Schweregrad des Schadens prüfen. Wenn der Wert für „Dunkelheit" hoch ist, weiß der Schneider, dass er bei den Schatten besonders vorsichtig sein muss. Wenn der Wert für „Unschärfe" hoch ist, weiß er, dass er sich auf die Schärfe konzentrieren muss. Er passt die „Spannung" des Reinigungsprozesses daran an, wie schlimm der Schaden ist.
Wetter-gewichtete Adapter (WWA): Dies ist so, als hätte der Schneider eine Werkzeugkiste mit verschiedenen Werkzeugen für verschiedene Probleme (eine Bürste für Staub, ein Lösungsmittel für Öl, eine Nadel für Risse). Anstatt nur ein Werkzeug auszuwählen, verwendet der Schneider alle Werkzeuge gleichzeitig, gewichtet sie jedoch basierend auf den Vertrauenswerten des Detektivs. Wenn der Detektiv sagt „40 % Regen, 40 % Nebel", verwendet der Schneider 40 % des Regen-Werkzeugs und 40 % des Nebel-Werkzeugs gleichzeitig. Dies verhindert das Problem des „falschen Rats".

3. Die „stabile Hand" (Der Terminal-Consistent Flow)

Der letzte Schritt ist der eigentliche Reinigungsprozess. Die Arbeit verwendet ein mathematisches Konzept namens „Rectified Flow", das wie ein geführter Pfad von einem verschmutzten Bild zu einem sauberen ist.

Das Problem: Normalerweise kann das Ende eines Pfades von „Verschmutzt" zu „Sauber" (das saubere Bild) wackelig oder instabil werden, was zu seltsamen Artefakten führt.
Die Lösung: PVRF fügt einen Mechanismus der „stabilen Hand" hinzu. Es verankert den Prozess an einem zuverlässigen Ausgangspunkt (der besten Schätzung des „intelligenten Detektivs") und stellt sicher, dass, je sauberer das Bild wird, die Bewegung perfekt vorhersehbar und stabil ist.
Adaptive Perturbation: Stellen Sie sich vor, Sie schütteln eine Kiste mit Murmeln, um sie zu beruhigen. Wenn die Kiste nur leicht verschmutzt ist, geben Sie ihr einen winzigen Schüttelstoß. Wenn es ein totaler Desaster ist, geben Sie ihr einen kräftigen Schüttelstoß. PVRF entscheidet automatisch, wie stark es das Bild „schütteln" muss, basierend auf den Werten des Detektivs. Dies stellt sicher, dass das System leichte Probleme nicht überkorrigiert oder schwere Probleme unterkorrigiert.

Das Ergebnis

Durch die Kombination eines intelligenten Detektivs (zum Verständnis gemischten Wetters), eines maßgeschneiderten Schneiders (zum Anwenden der richtigen Mischung an Korrekturen) und einer stabilen Hand (um sicherzustellen, dass das Endergebnis stabil und realistisch ist), erzeugt PVRF Bilder, die:

Schärfer sind: Sie behalten die feinen Details (wie Gras- oder Ziegelstrukturen), die andere Methoden verwischen.
Realistischer sind: Sie sehen aus wie natürliche Fotos, nicht wie plastische Gemälde.
Vielseitig sind: Sie funktionieren hervorragend, selbst wenn das Wetter eine verwirrende Mischung aus Regen, Schnee, Nebel und Dunkelheit ist, oder wenn das System auf eine Wetterart trifft, die es noch nie gesehen hat.

Kurz gesagt: PVRF errät nicht nur, was mit einem Foto falsch ist; es versteht die Nuancen des Chaos und wendet eine präzise, ausgewogene und stabile Korrektur an.

Technische Zusammenfassung: PVRF

Problemstellung

Die Entfernung von widrigen Wetterbedingungen (Adverse Weather Removal, AWR) in realen Szenarien steht vor zwei Hauptherausforderungen. Erstens leiden reale Bilder häufig unter heterogenen und gemischten Degradationen (z. B. gleichzeitiger Regen, Schnee und Dunst), die schwer zu inferieren und als Bedingung zu nutzen sind. Bestehende Ansätze, die auf „harter" One-Hot-Bedingung (Vorhersage eines einzelnen diskreten Wetterlabels) basieren, sind störanfällig; sie haben Schwierigkeiten mit mehrdeutigen oder kombinierten Degradationen und sind empfindlich gegenüber Verschiebungen im Erscheinungsbild zwischen verschiedenen Datensätzen. Zweitens besteht ein fundamentaler Kompromiss zwischen Wahrnehmung und Verzerrung. Verzerrungsgetriebene Methoden (Minimierung des MSE) erzeugen oft übermäßig glatte Ergebnisse, während diffusionsbasierte Methoden, obwohl visuell überzeugend, möglicherweise an Genauigkeit mangeln. Eine Wiederherstellung zu erzielen, die sowohl der Ground Truth treu als auch fotorealistisch ist, bleibt eine erhebliche Hürde für All-in-One-AWR-Modelle.

Methodik

Die Autoren schlagen PVRF (Prior-modulierte und geschwindigkeitsbeschränkte rectified flow) vor, ein einheitliches Framework, das Zero-Shot-weiche Wetterwahrnehmungen mit einem geschwindigkeitsbeschränkten Verfeinerungsprozess auf Basis von rectified flow integriert. Die Methode arbeitet in zwei Hauptstufen:

1. Zero-Shot-weiche Wahrnehmungspriori via AWR-QA

Anstatt einen Klassifikator zu trainieren, der diskrete Wetterlabels vorhersagt, nutzt PVRF ein eingefrorenes Vision-Language-Modell (VLM), um weiche Wahrnehmungspriori zu extrahieren.

AWR-QA-Modul: Das System befragt das VLM mittels definierungserweiterter Fragen.
- Typ-Wahrnehmung: Für jeden Wassertyp (z. B. „Ist dieses Bild regnerisch?") liefert das VLM Roh-Logits für „ja" und „nein". Diese werden mittels einer sigmoid-ähnlichen Funktion in weiche Wahrscheinlichkeiten ( $P_{type}$ ) umgewandelt, wobei Unsicherheit erhalten bleibt (wodurch mehrere Typen nicht zu vernachlässigende Gewichte erhalten können).
- Attribut-Wahrnehmung: Das VLM wird nach niedrigen Attributen (Sichtweite, Kontrast, Schärfe) befragt, um den Schweregrad der Degradation zu beurteilen.
Bedingungsmechanismen: Diese weichen Priori modulieren den Wiederherstellungs-Backbone (ein AWR-spezifisches Netzwerk) über zwei Komponenten:
- Attribut-modulierte Normalisierung (AMN): Nutzt Attributwerte, um featureweise affine Transformationen auf layernormalisierten Merkmalen durchzuführen und bietet eine kontinuierliche Schweregrad-Modulation.
- Wetter-gewichteter Adapter (WWA): Implementiert mehrere parallele Adapterzweige (einen pro Wassertyp). Die weichen Typwahrscheinlichkeiten dienen als Mischgewichte zur Aggregation der Ausgaben dieser Zweige, wodurch das Netzwerk gemischte Degradationen ohne hartes Umschalten handhaben kann.

2. Terminalkonsistente Residual-Rectified-Flow

Um die initiale Anker-Schätzung ( $\mu$ ), die vom wahrnehmungsbedingten Backbone produziert wird, zu verfeinern, setzt PVRF ein rectified-flow-Modell ein, das eine Transportabbildung von einer gestörten Quellverteilung zur Verteilung des sauberen Bildes lernt.

Posterior-veranketer Residualraum: Der Fluss wird in einem Residualraum definiert ( $r_t = Z_t - \mu$ ), wobei die Quelle $Z_0 = \mu + \delta\epsilon$ ist. Diese Formulierung stellt sicher, dass der erwartete Residualwert im terminalen Zustand konstruktionsbedingt null ist, was das Lernziel vereinfacht.
Wahrnehmungsadaptive Quellperturbation: Im Gegensatz zu Standardmethoden, die eine feste globale Perturbationsstärke verwenden, passt PVRF die Perturbationsstärke ( $\delta$ ) dynamisch basierend auf den weichen Wahrnehmungen an. Ein Schwierigkeitswert wird aus der Typunsicherheit und der Attributschwere abgeleitet, sodass leichte Fälle weniger perturbieren werden (Erhaltung der Genauigkeit) und schwere/mehrdeutige Fälle stärker perturbieren werden (Stabilisierung des Lernens).
Terminalkonsistente Geschwindigkeitsparametrisierung: Das Geschwindigkeitsfeld wird parametrisiert als $v_\phi(r_t, t) = t r_t + t(1-t)\Phi_\phi(\dots)$ . Der Term $t(1-t)$ verschwindet bei $t=1$ , wodurch garantiert wird, dass die Geschwindigkeit im terminalen Zustand exakt $r_1$ ist, unabhängig von der Vorhersage des Netzwerks. Dies erzwingt explizit die Terminalkonsistenz und stabilisiert das Lernen nahe $t \to 1$ .

Hauptbeiträge

Definierungsgesteuerte Zero-Shot-Wahrnehmungen: Die Einführung des AWR-QA-Moduls, das eingefrorene VLMs nutzt, um weiche, unsicherheitsbewusste Typ- und Attributpriori zu generieren, ohne eine aufgabenspezifische Feinabstimmung zu erfordern.
Wahrnehmungsgesteuerte Modulation: Das Design der AMN- und WWA-Module, die weiche Priori effektiv in den Wiederherstellungs-Backbone integrieren und eine wahrnehmungsbewusste Posterior-Schätzung ermöglichen.
Terminalkonsistenter Residual-Flow: Eine neuartige rectified-flow-Formulierung mit wahrnehmungsadaptiver Quellperturbation und terminalkonsistenter Geschwindigkeitsparametrisierung, um Fotorealismus und Genauigkeit auszubalancieren.

Experimentelle Ergebnisse

Die Autoren bewerteten PVRF in drei Settings:

Setting I (3-Aufgaben-AWR): Entnebelung, Entregnung und Entschnung. PVRF übertraf State-of-the-Art (SOTA)-Basislinien auf Basis von CNN, Transformer und Diffusion (z. B. AdaIR, UniRestore, PromptIR) sowohl in der Genauigkeit (PSNR, SSIM) als auch in der wahrnehmungsbasierten Qualität (LPIPS, FID, MUSIQ). Bemerkenswert ist eine durchschnittliche PSNR-Verbesserung von 1,14 dB gegenüber dem besten SOTA.
Setting II (4-Aufgaben-AWR): Enthalten war die Verbesserung bei schwachem Licht, wobei eine konsistente Überlegenheit gezeigt wurde.
Setting III (5-Aufgaben-Allgemeine Wiederherstellung): Enthalten war die Entunschärfe. PVRF behielt die Spitzenleistung über alle Metriken hinweg bei.
Generalisierung: Das Modell zeigte eine starke Generalisierung auf ungesehene Datensätze (z. B. HIDE, RealRain-1k) und entscheidend auf kombinierte Degradationen (z. B. Dunst + Regen, Schwaches Licht + Schnee). In diesen herausfordernden Szenarien mit gemischten Degradationen übertraf PVRF die Basislinien in wahrnehmungsbasierten Metriken (MUSIQ, MANIQA) signifikant, wobei andere Methoden oft versagten, mehrere gleichzeitige Degradationen zu handhaben.

Bedeutung

Die Arbeit behauptet, dass PVRF die kritischen Einschränkungen bestehender All-in-One-AWR-Modelle adressiert, indem es sich von störanfälligen, hart-bedingten Paradigmen hin zu einem flexiblen, wahrnehmungsgetriebenen Ansatz bewegt. Durch die Nutzung des semantischen Verständnisses eingefrorener VLMs für weiche Priori und die Stabilisierung des generativen Verfeinerungsprozesses durch terminalkonsistente Constraints erreicht PVRF eine überlegene Balance zwischen Verzerrungsminimierung und wahrnehmungsbasiertem Realismus. Die Autoren betonen, dass die Fähigkeit der Methode, gemischte und ungesehene Degradationen ohne Nachtraining zu handhaben, sie besonders für reale Anwendungen geeignet macht, in denen Wetterbedingungen komplex und unvorhersehbar sind.