Technische Zusammenfassung: Wahrnehmungsbasierte Bildentstörung durch generative Kompression

1. Problemstellung

Bildentstörung zielt darauf ab, Rauschen zu entfernen und dabei strukturelle Details sowie die wahrnehmungsbasierte Realitätsnähe zu bewahren. Herkömmliche Methoden, die für pixelweise Verzerrungsmetriken (z. B. mittlerer quadratischer Fehler oder PSNR) optimiert sind, erzeugen jedoch häufig übermäßig geglättete Rekonstruktionen, insbesondere bei starkem Rauschen oder Verteilungsverschiebungen. Dies liegt daran, dass die alleinige Minimierung der Verzerrung für die wahrgenommene Qualität unzureichend ist; der Rate-Distortion-Perception (RDP)-Kompromiss formalisiert, dass die Minimierung der Verzerrung ohne Berücksichtigung wahrnehmungsbasierter Einschränkungen zu einem Verlust feiner Texturen und natürlicher Bildstatistiken führt.

Bestehende wahrnehmungsbasierte Restaurierungsmethoden, wie z. B. Conditional Wasserstein GANs (WGANs), können unter instabilem Training leiden und die Vielfalt natürlicher Bilder unzureichend erfassen. Im Gegensatz dazu bieten Diffusionsmodelle stabiles Training und eine starke Abdeckung von Modi, erfordern jedoch die Integration mit Kompressionsprinzipien, um die strukturierte Natur von Rauschen im Vergleich zu natürlichen Signalen effektiv zu handhaben.

2. Methodik

Die Arbeit schlägt ein generatives Kompressionsframework vor, bei dem die Entstörung durch die Rekonstruktion von Bildern aus entropiekodierten latenten Darstellungen erreicht wird. Die Grundannahme ist, dass natürliche Signale eine geringe Komplexität aufweisen, während Rauschen unstrukturiert ist. Durch den Betrieb eines Kompressors auf einem Verzerrungsniveau, das der Rauschstärke entspricht, wird hochkomplexes Rauschen unterdrückt, während strukturierte Inhalte erhalten bleiben.

Die Autoren stellen zwei komplementäre Ausprägungen dieses Frameworks vor:

2.1. Bedingter WGAN-basierter Kompressions-Entstörer (CGanDeCompress)

Dieser Ansatz integriert erlernte verlustbehaftete Kompression mit bedingtem adversarialem Training.

• Architektur: Ein Encoder ($E$) bildet ein verrauschtes Eingabebild $y$ auf eine quantisierte latente Darstellung $z$ ab. Ein Decoder ($G$) rekonstruiert das entstörte Bild $\hat{x}$ aus $z$.
• Ratenkontrolle: Die latente Darstellung $z$ wird unter Verwendung eines erlernten Wahrscheinlichkeitsmodells $P$ entropiekodiert, was eine Rate $r(z) = -\log P(z)$ ergibt.
• Trainingsziel: Das System minimiert eine kombinierte Verlustfunktion:
  $$L_{EGP} = \mathbb{E}_y[\lambda r(z) + d(x, \hat{x}) - \beta \log D(\hat{x}, z)]$$
  wobei $d(x, \hat{x})$ MSE und den Learned Perceptual Image Patch Similarity (LPIPS)-Verlust kombiniert. Ein bedingter WGAN-Diskriminator $D$ unterscheidet rekonstruierte Bilder von sauberen Bildern, bedingt durch $z$, und fördert so die wahrnehmungsbasierte Realitätsnähe.
• Steuerung: Die Parameter $\lambda$ und $\beta$ steuern explizit den Rate-Distortion-Perception (RDP)-Kompromiss.

2.2. Bedingte Diffusionsbasierte Rekonstruktion (DiffDeCompress)

Dieser Ansatz nutzt Diffusionsmodelle als generative Priors, die durch komprimierte latente Darstellungen geleitet werden.

• Architektur: Ein stochastischer Encoder bildet $y$ auf eine kompakte latente Darstellung $z$ ab. Ein Decoder modelliert die bedingte Verteilung $p(x_0|z)$ über einen inversen Diffusionsprozess.
• Prozess: Der inverse Prozess wird durch $z$ bedingt und lenkt die Entstörungs-Trajektorie hin zu semantisch konsistenten Rekonstruktionen, während intermediate latente Variablen die Synthese feiner Details ermöglichen.
• Trainingsziel: Das Modell optimiert eine variationelle obere Schranke für die negative Log-Likelihood des Diffusionsprozesses, erweitert um einen expliziten LPIPS-Verlust:
  $$L = \rho L_p + (1-\rho)L_c$$
  wobei $L_p$ der LPIPS-Verlust ist und $L_c$ die Ratenbeschränkung sowie den Diffusions-Rekonstruktionsverlust umfasst.

3. Theoretische Beiträge

Die Arbeit stellt nicht-asymptotische Garantien für kompressionsbasierte Maximum-Likelihood (ML)-Entstörung unter additivem weißem Gaußschen Rauschen (AWGN) auf.

• Schranken für Rekonstruktionsfehler: Die Autoren leiten obere Schranken für den Rekonstruktionsfehler $\|x - \hat{x}\|$ in Abhängigkeit von der Kompressionsrate $R$, der Verzerrung $D(P)$ und dem Wahrnehmungsniveau $P$ ab. Die Schranke zeigt, dass mit hoher Wahrscheinlichkeit der Fehler nahe an der theoretischen Verzerrungs-Wahrnehmungsgrenze $D(P)$ liegt.
• Wahrscheinlichkeit für Dekodierfehler: Die Arbeit liefert eine Schranke für die Wahrscheinlichkeit, dass der ML-Entstörer einen falschen Codewort auswählt, und zeigt, dass diese Wahrscheinlichkeit exponentiell mit der Kompressionsrate $R$ abnimmt.
• Verbindung zur RDP-Theorie: Der theoretische Rahmen verbindet die Leistung der Entstörung explizit mit der RDP-Theorie und zeigt, dass die vorgeschlagenen Methoden innerhalb der theoretischen Grenzen von Verzerrungs-Wahrnehmungs-Kompromissen operieren.

4. Experimentelle Ergebnisse

Die Methoden wurden auf synthetischem Gaußschen Rauschen (KODAK- und DIV2K-Datensätze) sowie auf echtem Rauschen (Fluoreszenzmikroskopie-Datensatz und Smartphone-Bildentstörungs-Datensatz – SIDD) evaluiert.

• Synthetisches Rauschen:

  • Wahrnehmungsbasierte Qualität: Beide vorgeschlagenen Methoden übertrafen konsistent klassische (BM3D) und lernbasierte (N2C, N2N, Deep Decoder) Baselines bei wahrnehmungsbasierten Metriken (FID, LPIPS, PI).
  • Verzerrungskompromiss: Während überwachte Methoden wie N2C höhere PSNR/SSIM-Werte erreichten, wiesen sie signifikant höhere FID- und LPIPS-Werte auf, was auf übermäßig geglättete Ausgaben hindeutet. Die vorgeschlagenen Methoden behielten eine wettbewerbsfähige Verzerrungsleistung bei und erzielten gleichzeitig eine überlegene wahrnehmungsbasierte Realitätsnähe.
  • Spezifika: Bei $\sigma=15$ erreichte CGanDeCompress den niedrigsten FID und LPIPS. Bei höheren Rauschpegeln ($\sigma=50$) erzielte DiffDeCompress die beste wahrnehmungsbasierte Qualität (niedrigster PI) auf KODAK, während CGanDeCompress bei der Verteilungsähnlichkeit (FID) auf DIV2K hervorragte.

• Echtes Rauschen:

  • Auf den Datensätzen FMD und SIDD zeigte CGanDeCompress Robustheit gegenüber Domänenverschiebungen und komplexem echtem Rauschen.
  • FMD: LPIPS verbesserte sich von 0,439 (verrauscht) auf 0,035, wobei sich der PSNR von 28,45 dB auf 36,71 dB erhöhte.
  • SIDD: LPIPS reduzierte sich von 0,646 auf 0,093, und der PSNR stieg von 26,35 dB auf 32,70 dB, mit signifikanten Gewinnen bei der strukturellen Ähnlichkeit (SSIM).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass das vorgeschlagene generative Kompressionsframework die Lücke zwischen verzerrungsgesteuerter und wahrnehmungsgesteuerter Entstörung erfolgreich schließt. Durch die Interpretation der Entstörung als Projektion auf eine Klasse von Signalen mit geringer Komplexität, die durch einen verlustbehafteten Codec induziert wird, erreicht die Methode:

1. Explizite Steuerung: Die Fähigkeit, den RDP-Kompromiss durch erlernte Kompressionsmodelle explizit zu verwalten.
2. Wahrnehmungsbasierte Fidelity: Die Generierung realistischer Texturen und feiner Details, die bei nach MSE optimierten Methoden häufig verloren gehen.
3. Theoretische Fundierung: Die Aufstellung nicht-asymptotischer Schranken, die die Kompressionsrate mit dem Entstörungsfehler verknüpfen und den Ansatz durch informationstheoretische Prinzipien validieren.
4. Robustheit: Konsistente Leistung über synthetische Benchmarks und herausfordernde reale Szenarien hinweg, die Domänenverschiebungen und komplexe Rauschverteilungen beinhalten.

Die Autoren kommen zu dem Schluss, dass generative Kompression ein robustes Paradigma für wahrnehmungsbasierte Bildentstörung bietet und eine verbesserte wahrnehmungsbasierte Fidelity erreicht, ohne wettbewerbsfähige Verzerrungsleistung zu opfern.