Technischer Überblick: Normalisierungsequivarianz für beliebige Backbones

Problemstellung

Bei Bild-zu-Bild-Vorhersageaufgaben, insbesondere beim blinden Bildentrauschen, leiden neuronale Netze häufig unter Verteilungsverschiebungen, wenn das Rauschniveau zum Testzeitpunkt vom Trainingsrauschniveau abweicht. Obwohl Skalierungsequivarianz (SE) ($f(ay) = af(y)$) und die strikt stärkere Normalisierungsequivarianz (NE) ($f(ay + b\mathbf{1}) = af(y) + b\mathbf{1}$) bekanntermaßen die Robustheit gegenüber solchen Verschiebungen verbessern, stellt die Durchsetzung dieser Eigenschaften in modernen Deep-Learning-Architekturen erhebliche Herausforderungen dar.

Bestehende Methoden erzwingen NE, indem sie interne Netzwerkschichten auf spezifische NE-kompatible Familien beschränken (z. B. affin-beschränkte Faltungen, Sortier-Nonlinearitäten und affine Residuen). Dieser Ansatz ist zwar theoretisch fundiert, weist jedoch zwei wesentliche Nachteile auf:

1. Architektonische Inkompatibilität: Er schließt Standardkomponenten aus, die in modernen Backbones allgegenwärtig sind, wie z. B. Aufmerksamkeitsmechanismen (Softmax) und LayerNorm, die nicht mit affinen Transformationen kommutieren.
2. Laufzeit-Overhead: Die Erzwingung von Equivarianz durch interne Schichtbeschränkungen führt zu erheblichen Rechenkosten, wobei einige architektonische Baseline-Modelle im Vergleich zu Standardmodellen eine Verlangsamung von bis zu 1,6-fach aufweisen.

Methodik: Der Normalisierungsequivariante Wrapper (WNE)

Die Autoren schlagen eine Methode vor, die NE auf der Ein-Ausgangs-Ebene und nicht auf der Ebene der internen Schichten erzwingt. Dieser Ansatz stützt sich auf eine vollständige Charakterisierung der NE-Funktionsklasse.

Theoretische Charakterisierung

Die Arbeit etabliert Charakterisierung 1 und beweist, dass eine Funktion $f: \mathbb{R}^d \to \mathbb{R}^d$ genau dann normalisierungsequivariant ist, wenn sie eine Normalisieren-Prozessieren-Denormalisieren-Faktorisierung zulässt. Konkret gilt für jede Eingabe $y$ mit Standardabweichung $\text{std}(y) > 0$:
$$f(y) = \text{std}(y) \cdot g(T_{NE}(y)) + \mu(y)\mathbf{1}$$
Wobei:

• $\mu(y)$ und $\text{std}(y)$ der Instanzmittelwert bzw. die Standardabweichung sind.
• $T_{NE}(y) = \frac{y - \mu(y)\mathbf{1}}{\text{std}(y)}$ die Normalisierungsmapping ist, die $y$ auf die normalisierte Mannigfaltigkeit $\mathcal{M}$ (Mittelwert null, Standardabweichung eins) projiziert.
• $g: \mathcal{M} \to \mathbb{R}^d$ eine beliebige Funktion ist, die auf der normalisierten Eingabe operiert.

Diese Charakterisierung impliziert, dass die Erzwingung von NE keine Einschränkung der internen Architektur erfordert; es handelt sich um eine äquivalente Reparametrisierung der Funktionsklasse.

Der WNE-Wrapper

Basierend auf dieser Theorie führen die Autoren WNE ein, einen parameterfreien Wrapper, der auf jeden bestehenden Backbone $g_\theta$ (einschließlich CNNs und Transformer) angewendet werden kann, ohne dessen interne Gewichte oder Schichten zu modifizieren. Der Vorwärtsdurchlauf ist definiert als:
$$f^{WNE}_\theta(y) = \text{std}(y) \cdot g_\theta(T_{NE}(y)) + \mu(y)\mathbf{1}$$

• Eingabe: verrauschtes Bild $y$.
• Normalisierung: Berechnung der Instanzstatistiken $\mu(y), \text{std}(y)$ und Normalisierung zu $\tilde{y} = T_{NE}(y)$.
• Verarbeitung: Durchlaufen von $\tilde{y}$ durch den beliebigen Backbone $g_\theta$.
• Denormalisierung: Rekonstruktion der Ausgabe durch Skalierung und Verschiebung: $\hat{x} = \text{std}(y)g_\theta(\tilde{y}) + \mu(y)\mathbf{1}$.

Diese Konstruktion garantiert exakte NE unabhängig von den internen Komponenten des Backbones (z. B. Aufmerksamkeit, LayerNorm, BatchNorm). Für numerische Stabilität wird ein kleines $\epsilon$ zur Standardabweichung addiert, wenn diese nahe bei null liegt.

Hauptbeiträge

1. Methode: Ein parameterfreier, direkt einsetzbarer Wrapper (WNE), der eine exakte Ein-Ausgangs-Normalisierungsequivarianz auf jedem Backbone, einschließlich Transformer, erzwingt, ohne interne Schichten zu modifizieren.
2. Theorie: Eine vollständige Charakterisierung, die zeigt, dass die Normalisieren-Prozessieren-Denormalisieren-Faktorisierung sowohl notwendig als auch hinreichend für NE ist und das Problem von einer internen architektonischen Einschränkung in eine Ein-Ausgangs-Reparametrisierung transformiert.
3. Experimente & Analyse:
   • Demonstration verbesserter Robustheit gegenüber Rauschniveau-Mismatch beim blinden Entrauschen für sowohl CNN- (DnCNN) als auch Transformer-Backbones (SwinIR, Restormer).
   • Analyse, die einen vernachlässigbaren GPU-Overhead im Vergleich zu architektonischen Baseline-Modellen zeigt.
   • Eine Analyse normalisierter Koordinaten, die den Robustheitsmechanismus erklärt: Unter NE verschiebt ein Rauschniveau-Mismatch primär die Verteilung der „Schwierigkeit" (Distanz in normalisierten Koordinaten), anstatt das Regressionsproblem selbst zu verändern, was es dem Modell ermöglicht, in einem Interpolationsregime über Rauschniveaus hinweg zu operieren.

Experimentelle Ergebnisse

Die Autoren bewerteten WNE mittels einer Diagnose für einzelne Rausch-Mismatches, indem sie Modelle bei einem festen Rauschniveau trainierten ($\sigma_{train} \in \{10, 25, 50\}$) und über einen weiten Bereich von $\sigma_{test}$ testeten.

• Robustheit: WNE schneidet unter Rauschniveau-Mismatch deutlich besser ab als ungewickelte Baseline-Modelle. Bei SwinIR verschlechtert sich die Baseline stark, wenn $\sigma_{test} \neq \sigma_{train}$, während WNE eine stabile Leistung beibehält. WNE entspricht eng den Robustheitstrends architektonischer NE-Baseline-Modelle (NE-arch), die umfangreiche interne Modifikationen erfordern.
• Leistung bei abgestimmtem Rauschen: Bei abgestimmten Rauschniveaus ($\sigma_{test} = \sigma_{train}$) bleibt WNE mit der ungewickelten Baseline konkurrenzfähig und zeigt keine signifikante Verschlechterung des Spitzen-PSNR.
• Laufzeiteffizienz: Auf der GPU fügt WNE einen vernachlässigbaren Overhead hinzu (Verhältnis $\approx 1,00\times$) im Vergleich zur Baseline. Im Gegensatz dazu verursachen architektonische NE-Baseline-Modelle (NE-arch) aufgrund der Kosten für die Erzwingung von Equivarianz in internen Schichten eine Verlangsamung von bis zu 1,6-fach.
• Generalisierung: Die Vorteile erstrecken sich auf:
  • Unterschiedliche Backbones (Restormer).
  • Farbbilder (3-Kanal).
  • Reales Sensorrauschen (SIDD-Datensatz).
  • Nicht-gaußsche Korruptionen (Uniform, Laplace, Rayleigh, JPEG).
  • Iterative Wiederverwendung bei inversen Problemen (Noise2Noise-trainierte Entrauscher, die in eingeschränkter Inpainting verwendet werden), wobei WNE eine stabile Rekonstruktion aus hochrauschenden Initialisierungen ermöglicht, bei denen ungewickelte Modelle versagen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Erzwingung von Normalisierungsequivarianz nicht lediglich eine Approximation oder eine Einschränkung des Funktionsraums ist, sondern eine äquivalente Reparametrisierung, die ohne architektonische Einschränkungen erreicht werden kann.

Die primäre Bedeutung liegt in der Entkopplung der Robustheitsvorteile von NE von den architektonischen Einschränkungen früherer Methoden. Durch die Verlagerung der Equivarianz-Erzwingung auf die Ein-Ausgangs-Grenze mittels eines Wrappers ermöglichen die Autoren die Verwendung standardmäßiger, hochleistungsfähiger Komponenten (wie Aufmerksamkeit und LayerNorm) unter Beibehaltung der theoretischen Garantien von NE. Dieser Ansatz bietet eine praktische Lösung zur Verbesserung der Robustheit beim blinden Entrauschen und verwandten inversen Problemen, ohne die mit internen Schichtbeschränkungen verbundenen Rechenstrafen in Kauf nehmen zu müssen. Die Autoren weisen darauf hin, dass diese Perspektive auch eine klare geometrische Erklärung für Robustheit liefert: Sie stabilisiert das Regressionsproblem in normalisierten Koordinaten und stellt sicher, dass die Überlappung von Training und Test bezüglich der „Schwierigkeit" auch bei erheblichen Rauschniveau-Verschiebungen erhalten bleibt.