💻 computer science

Single Image Reflection Removal with Patch Reflectance Prior

Dieser Artikel schlägt einen neuartigen Ansatz zur Entfernung von Reflexionen aus einzelnen Bildern vor, der eine allgemeine Priorität für Reflexionsintensitäten nutzt, die über ein Netzwerk zur Extraktion von Reflexionsprioritäten (RPEN) erlernt und in ein prioritätsbasiertes Netzwerk zur Entfernung von Reflexionen (PRRN) integriert wird, das ein Transformer-U-Net verwendet, um auf realen Benchmarks einen State-of-the-Art-Ergebnis zu erzielen.

Ursprüngliche Autoren: Dongshen Han, Heechan Yoon, Hyukmin Kwon, Hyun-Cheol Kim, Hyon-Gon Choo, Seungkyu Lee, Chaoning Zhang

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dongshen Han, Heechan Yoon, Hyukmin Kwon, Hyun-Cheol Kim, Hyon-Gon Choo, Seungkyu Lee, Chaoning Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, durch ein Fenster ein Foto einer schönen Landschaft zu machen. Leider ist das Fenster schmutzig, und die Reflexion Ihres eigenen Raums (und vielleicht einer Lampe oder einer Person) legt sich über den Blick nach draußen. Das Ergebnis ist ein unordentliches, verwirrendes Bild, bei dem man nicht erkennen kann, was real ist und was nur eine Reflexion. Dies ist das Problem, das die Arbeit angeht: Entfernung von Reflexionen aus einem einzelnen Bild (SIRR).

Hier ist eine einfache Aufschlüsselung, wie die Autoren dies gelöst haben, unter Verwendung alltäglicher Analogien.

Das Problem: Das „schmutzige Fenster"

Normalerweise versuchen Computer, dies zu beheben, indem sie spezifische Regeln erraten. Zum Beispiel könnten sie annehmen: „Reflexionen sind immer unscharf" oder „Reflexionen sehen immer wie Geister aus."

Der Fehler: In der realen Welt sind Reflexionen nicht immer unscharf oder geisterhaft. Manchmal sind sie scharf und klar. Wenn der Computer sich auf eine spezifische Regel verlässt (wie „es muss unscharf sein"), scheitert er, wenn er eine scharfe Reflexion sieht. Es ist, als würde man versuchen, einen verlorenen Schlüssel zu finden, indem man nur unter der Lampe sucht; wenn der Schlüssel unter dem Sofa liegt, werden Sie ihn nicht finden.

Die Lösung: Eine neue Art, „Unordnung" zu messen

Anstatt zu erraten, wie die Reflexion aussieht (unscharf, geisterhaft usw.), beschlossen die Autoren zu messen, wie stark die Reflexion in verschiedenen Teilen des Bildes ist. Sie nennen dies die „Priorität der Reflexionsintensität".

Stellen Sie sich das Bild nicht als ein großes Foto vor, sondern als eine Pizza, die in 49 kleine Scheiben (Patches) geschnitten ist.

Der alte Weg: Versuchen, den Geschmack der ganzen Pizza auf einmal zu erraten.
Der neue Weg: Jede einzelne kleine Scheibe einzeln zu probieren. Manche Scheiben könnten zu 90 % Reflexion sein (hauptsächlich die Reflexion Ihres Raums), während andere zu 90 % Transmission sind (hauptsächlich der Blick nach draußen).

Die Zwei-Schritt-Maschine

Die Autoren bauten ein System mit zwei Hauptteilen, die wie ein Detektivteam zusammenarbeiten:

1. Der Detektiv: Reflexionsprioritäts-Extraktionsnetzwerk (RPEN)

Dies ist das „Auge" der Operation.

Was es tut: Es betrachtet das schmutzige Fensterfoto und analysiert jede der 49 Pizzascheiben. Es fragt: „Wie viel von dieser Scheibe ist Reflexion?"
Wie es lernt: Es wurde an einer riesigen Bibliothek von Fotos trainiert, um zu verstehen, wie ein „normales" Bild aussieht. Wenn es eine Scheibe sieht, die im Vergleich zu einem normalen Bild seltsam oder „unordentlich" aussieht, markiert es sie als starke Reflexion.
Die Ausgabe: Es erstellt eine Karte (eine „Heatmap"), die genau zeigt, wo die Reflexion stark und wo sie schwach ist.

2. Der Reiniger: Prioritätsbasiertes Reflexionsentfernungsnetzwerk (PRRN)

Dies ist die „Hand", die die Reinigung durchführt.

Was es tut: Es nimmt das schmutzige Foto und die Karte vom Detektiv.
Wie es funktioniert: Anstatt blind das gesamte Bild zu schrubben, nutzt es die Karte, um intelligent vorzugehen. Wenn die Karte sagt: „Diese Scheibe ist zu 90 % Reflexion", entfernt der Reiniger die Reflexion aggressiv. Wenn die Karte sagt: „Diese Scheibe besteht hauptsächlich aus dem Blick nach draußen", lässt der Reiniger sie in Ruhe.
Die Architektur: Sie verwendeten ein „Transformer U-Net", was ein ausgefallener Name für eine intelligente, effiziente Reinigungsstruktur ist, die sehr gut darin ist, verschiedene Teile eines Bildes zu verbinden (so wie ein Transformer Wörter in einem Satz verbindet).

Warum dies besser funktioniert

Die Arbeit testete dies an realen Fotos (nicht nur an gefälschten, computergenerierten).

Der „Scharfe Reflexion"-Test: Viele alte Methoden scheitern, wenn die Reflexion scharf und klar ist (wie in einem Spiegel). Da die Autoren nicht davon ausgingen, dass die Reflexion unscharf ist, bewältigte ihr System scharfe Reflexionen perfekt.
Der „Patch"-Vorteil: Indem das System das Bild in kleine Stücke zerlegte, erkannte es, dass Reflexionen nicht einheitlich sind. Eine Reflexion könnte in der oberen linken Ecke stark sein, aber in der unteren rechten Ecke schwach. Die Behandlung des gesamten Bildes als ein großer Block verpasst diese Details.

Die Ergebnisse

Als sie ihr System gegen die besten bestehenden Methoden testeten:

Es erzeugte klarere, schärfere Bilder.
Es funktionierte besser bei schwierigen Szenarien, bei denen Reflexionen stark oder scharf waren.
Es erreichte den „State-of-the-Art" (den bestmöglichen Score) bei Standardtests.

Zusammenfassung

Stellen Sie sich vor, Sie versuchen, einem Freund in einem lauten Raum zuzuhören.

Alte Methoden versuchten, allen Lärm herauszufiltern, unter der Annahme, dass der Lärm wie ein bestimmtes Summen klang. Wenn der Lärm ein Schrei war, versagte der Filter.
Diese neue Methode setzt ein Mikrofon an verschiedene Teile des Raums. Sie ermittelt genau, woher das Schreien kommt (die „Reflexionsintensität"), und dämpft nur diese spezifischen Stellen, sodass die Stimme Ihres Freundes überall sonst klar bleibt.

Die Arbeit behauptet, dieser Ansatz sei flexibler und genauer, da er sich darauf konzentriert, wie stark die Reflexion in bestimmten Bereichen ist, anstatt zu erraten, welche Art von Reflexion es ist.

Technischer Zusammenfassung: Entfernung von Reflexionen aus Einzelbildern mit Priors für die Patch-Reflektanz

Problemstellung
Die Entfernung von Reflexionen aus Einzelbildern (Single Image Reflection Removal, SIRR) zielt darauf ab, ein sauberes Transmissionbild ( $T$ ) aus einem einzigen Eingabebild ( $I$ ) wiederherzustellen, bei dem die Szene mit einer Reflexion ( $R$ ) überlagert ist. Dies wird als $I = g(T) + f(R)$ formuliert, wobei $g(\cdot)$ und $f(\cdot)$ diverse Degradationen wie Unschärfe, Lichtabsorption, Brechung und Tiefenschärfeffekte repräsentieren. Die Aufgabe ist aufgrund unbekannter Variablen und des Fehlens von Ground-Truth-Daten in realen Szenarien schlecht gestellt.

Bestehende Methoden verlassen sich häufig auf spezifische Prior-Annahmen (z. B. Sparsamkeit des Bildgradienten, Ghosting-Hinweise oder relative Glätte), um die Schichten zu trennen. Diese Annahmen versagen jedoch häufig in komplexen realen Umgebungen, in denen sich die Reflexionseigenschaften erheblich unterscheiden (z. B. scharfe versus unscharfe Reflexionen, variierende Objektabstände und natürliche Beleuchtung). Darüber hinaus hat die Knappheit realer Daten zu einer übermäßigen Abhängigkeit von synthetischen Datensätzen geführt, was dazu führt, dass Modelle bei der Anwendung auf diverse, unstrukturierte reale Szenen an Robustheit verlieren.

Methodik
Die Autoren schlagen ein Framework vor, das starre, spezifische Prior-Annahmen zugunsten eines allgemeinen Priors für die Reflexionsintensität vermeidet. Dieser Prior definiert die Stärke des Reflexionsphänomens in einem lokalen Bereich, anstatt eine spezifische Art von Degradation (wie Unschärfe oder Ghosting) vorauszusetzen. Das Framework besteht aus zwei Hauptkomponenten:

Definition des Priors für die Reflexionsintensität:
Anstelle des Standardverhältnisses von Reflexion zu Transmission (was bei starken Reflexionen unendliche Werte liefern kann), definieren die Autoren die Reflexionsintensität als einen normalisierten Score zwischen 0 und 1:
$\text{Reflexionsintensität} = \frac{\text{Mittelwert}(R)}{\text{Mittelwert}(R) + \text{Mittelwert}(T)}$
Diese Metrik wird pro regionalem Patch berechnet, um der nicht-uniformen Natur von Reflexionen in überlagerten Bildern Rechnung zu tragen.
Netzwerk zur Extraktion von Reflexionspriors (RPEN):
RPEN ist darauf ausgelegt, den Prior für die Reflexionsintensität für jeden Patch eines Eingabebildes zu schätzen.
- Architektur: Es verwendet einen auf ImageNet vortrainierten ResNext101-Rückgrat, um reguläre, nicht-reflektierte Bilder zu verstehen.
- Training: Das Netzwerk wird auf einem Datensatz feinabgestimmt, der synthetische Bilder (erstellt durch Überlagerung von Reflexionen aus CEILNet auf PASCAL-VOC-Bilder) und reale Bilder aus dem CDR-Datensatz umfasst.
- Verfeinerung: Ein kaskadierter Ansatz unter Verwendung von Atrous Spatial Pyramid Pooling (ASPP) wird auf hochrangige Merkmale angewendet, um globale Beziehungen zwischen den Patches zu erfassen und die Intensitätsschätzung für jeden der 49 ( $7 \times 7$ ) Patches zu verfeinern.
Prior-basiertes Netzwerk zur Entfernung von Reflexionen (PRRN):
PRRN nutzt den geschätzten Prior für die Reflexionsintensität, um Reflexionen adaptiv zu entfernen.
- Architektur: Es verwendet eine einfache Transformer-U-Net-Struktur, die für ihre Erfolge bei Bildwiederherstellungsaufgaben bekannt ist.
- Prior-Einbettung: Der Prior für die Reflexionsintensität jedes Patches wird mithilfe eines sinusförmigen Einbettungsmechanismus (ähnlich der Positionscodierung in Transformern) in Merkmale kodiert.
- Adaptive Verarbeitung: Die kodierten Prior-Merkmale werden über Feature-Wise-Affine (FWA)-Schichten innerhalb von ResBlocks in das Netzwerk injiziert. Dies leitet das Netzwerk an, sich auf Reflexionsbereiche zu konzentrieren und Rauschen während der Hoch- und Herunterskalierung pro Bereich adaptiv zu entfernen.

Hauptbeiträge

Allgemeiner Prior für die Reflexionsintensität: Die Arbeit führt eine Prior-Definition ein, die frei von spezifischen Annahmen über Reflexionstypen (z. B. Unschärfe oder Ghosting) ist und sich stattdessen auf die lokale Stärke des Reflexionsphänomens konzentriert.
RPEN- und PRRN-Framework: Die Autoren schlagen eine zweistufige Pipeline vor, bei der RPEN regionale Priors für die Reflexionsintensität extrahiert und PRRN diese Priors innerhalb einer Transformer-U-Net-Architektur zur Durchführung der Entfernung nutzt.
Patch-basierte Analyse: Die Studie zeigt, dass die Segmentierung von Bildern in Patches das Erlernen nicht-uniformer Reflexionspriors ermöglicht, was für den Umgang mit diversen realen Szenarien entscheidend ist.
Datensatzerstellung: Ein Datensatz für Priors der Reflexionsintensität wurde erstellt, um das RPEN-Modul zu trainieren.

Experimentelle Ergebnisse
Die Methode wurde auf dem CDR-Datensatz (Categorized, Diverse, and Real-world) sowie auf den Benchmarks Real20, SIR2 und Nature evaluiert.

Leistung: Das vorgeschlagene PRRN+RPEN erzielte auf den meisten Benchmarks die State-of-the-Art (SOTA)-Genauigkeit. Auf dem CDR-Testset wurde eine PSNR von 24,31 (gegenüber 22,04 für den bisherigen Bestwert YTMT-UCS) und eine SSIM von 0,815 erreicht.
Robustheit: Die Methode zeigte eine außergewöhnliche Leistung in der Kategorie SRST (Sharp Reflection, Sharp Transmission), in der viele prior-basierte Methoden aufgrund des Fehlens spezifischer Hinweise wie Ghosting versagen. Sie schnitt auch in Szenarien mit BRST (Blurry Reflection) und starken Reflexionen gut ab.
Ablationsstudien:
- Patch-Auflösung: Experimente zeigten, dass das Training von RPEN mit kleineren Patches (höhere Auflösung) zwar schwieriger ist, die Verwendung von feinkörnigeren Prior-Wahrheiten als Eingabe für PRRN jedoch die Entfernungsgenauigkeit erheblich verbessert.
- Auswirkung von RPEN: Die Hinzufügung des RPEN-Moduls zu PRRN führte zu einer PSNR-Erhöhung um 0,87 dB. Eine visuelle Analyse mit LayerCAM bestätigte, dass RPEN das Netzwerk anleitet, den Fokus auf tatsächliche Reflexionsbereiche zu legen, wohingegen PRRN ohne RPEN dazu neigt, sich auf nicht-reflektierende Bereiche zu konzentrieren.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass ihre primäre Bedeutung darin liegt, die Einschränkungen bestehender SIRR-Methoden anzugehen, die sich auf spezifische, oft brüchige Prior-Annahmen verlassen. Durch die Definition eines allgemeinen Priors für die Reflexionsintensität und dessen Erlernen via RPEN erreicht der vorgeschlagene Ansatz Robustheit in diversen realen Szenarien, in denen die Reflexionseigenschaften unvorhersehbar sind. Die Autoren stellen fest, dass, obwohl ihr Ansatz SOTA-Genauigkeit erreicht, die Vorhersagegenauigkeit des Priors für die Reflexionsintensität in bestimmten Fällen in der Zukunft möglicherweise durch RPEN-Designs mit mehreren Auflösungen verbessert werden könnte. Die Arbeit betont, dass die bereichsadaptive Entfernung von Reflexionen, geleitet von erlernten Intensitätspriors anstelle von festen Annahmen, ein entscheidender Schritt nach vorne für die Wiederherstellung realer Bilder ist.