VSANet: View-aware Sparse Attention Network for Light Field Image Denoising

Technische Zusammenfassung von „VSANet: View-aware Sparse Attention Network for Light Field Image Denoising“

Problemstellung
Die Lichtfeld-Bildgebung (LF) erfasst vierdimensionale (4D) Daten, die aus räumlichen und winkligen Informationen bestehen, was Anwendungen wie Tiefenschätzung und Refokussierung ermöglicht. Lichtfeld-Erfassungssysteme sind jedoch anfällig für photonenlimitierte Rauschanteile, insbesondere unter Schwachlichtbedingungen oder bei hohen Geschwindigkeiten, was die Bildqualität verschlechtert und die nachgelagerte Verarbeitung behindert. Im Gegensatz zur Einzelbild-Entrauschung muss die LF-Entrauschung die Tatsache nutzen, dass das Rauschen zwar im Allgemeinen unabhängig zwischen den verschiedenen Ansichten (Sub-Apertur-Bilder) ist, der zugrunde liegende Szeneninhalt jedoch starke räumlich-winklige Korrelationen aufweist. Bestehende Methoden stehen vor Einschränkungen: Traditionelle Ansätze, die auf handgefertigten Prioren basieren (z. B. LFBM5D), mangelt es an Anpassungsfähigkeit an komplexe LF-Strukturen, während neuere Deep-Learning-Methoden oft von vordefinierten geometrischen Zerlegungen abhängen oder die Daten in isolierte 2D-Subräume unterteilen. Diese Einschränkungen verhindern eine effektive Modellierung langfristiger Abhängigkeiten über den vollständigen 4D-LF-Raum hinweg.

Methodik
Die Autoren schlagen VSANet (View-aware Sparse Attention Network) vor, ein Deep-Learning-Framework, das für eine effiziente nicht-lokale Aggregation über das gesamte 4D-LF-Repräsentationsmodell konzipiert ist. Die Netzwerkarchitektur besteht aus den folgenden Schlüsselkomponenten:

1. Netzwerkarchitektur: VSANet verarbeitet das verrauschte 4D-LF-Bild durch eine Kaskade von $G$ gestapelten Sequential Extraction Attention Refinement (SEAR) Modulen, die durch eine globale Residuenverbindung verbunden sind. Der Input und Output werden im räumlichen Subraum (SS) verarbeitet, während die Zwischenverarbeitung vier komplementäre Subräume nutzt: räumlich (SS), winklig (AS), horizontal-epipolär (EHS) und vertikal-epipolär (EVS).
2. Sequential Feature Extraction (SFE): Innerhalb jedes SEAR-Moduls nutzt die SFE-Stufe $F$ residuelle Feature-Extraktions-Blöcke (FE). Jeder FE-Block verwendet eine Dual-Branch-Struktur: einen räumlich-winkligen Zweig, der im SS- und AS-Bereich arbeitet, um Korrelationen zu erfassen, und einen epipolaren Zweig, der im EHS- und EVS-Bereich arbeitet, um geometrische Konsistenz zu erfassen.
3. View-Aware Sparse Attention (VSA) Block: Dies ist die zentrale Innovation. Im Gegensatz zu früheren Methoden, die die Aufmerksamkeit auf spezifische Subräume beschränken, repräsentiert der VSA-Block das gesamte 4D-LF-Feature-Map als eine einheitliche Token-Sequenz der Länge $N = S \cdot T \cdot H \cdot W$. Dies ermöglicht eine globale räumlich-winklige Interaktion innerhalb eines einzigen Attention-Raums. Um die prohibitive $O(N^2)$-Komplexität der Full-Attention zu adressieren, verwenden die Autoren Locality-Sensitive Hashing (LSH). Ähnliche Token werden über mehrere unabhängige Hash-Runden in Sparse-Attention-Buckets gruppiert. Dies ermöglicht eine implizite nicht-lokale Aggregation über Ansichten hinweg mit linearer Komplexität $O(N \cdot s)$, wobei $s$ die Chunk-Größe ist.
4. Feature Refinement (FR) Block: Im Anschluss an den VSA-Block nutzt der FR-Block Convolutional Block Attention Modules (CBAMs) über alle vier Subräume (SS, AS, EHS, EVS) hinweg. Dieser Schritt wendet sequentielle Kanal- und räumliche Aufmerksamkeit an, um diskriminative Features hervorzuheben, bevor diese für die nächste Stufe fusioniert werden.

Wesentliche Beiträge

• Einheitlicher 4D-Attention-Raum: VSANet wird als das erste LF-Framework präsentiert, das Attention über die gesamte 4D-LF-Repräsentation als eine einheitliche Token-Sequenz durchführt, anstatt räumliche oder winklige Dimensionen zu isolieren.
• Effiziente Cross-View-Aggregation: Durch die Kombination von View-aware Sparse Attention mit LSH erreicht das Netzwerk globale Feature-Interaktionen mit linearer Rechenkomplexität und nutzt effektiv Korrelationen über entfernte räumliche und winklige Positionen hinweg.
• Multi-Subspace Feature Refinement: Die Integration des FR-Blocks stellt sicher, dass informative Features über räumliche, winklige und epipolare Subräume hinweg verstärkt werden, wodurch die Einschränkungen von Methoden adressiert werden, die spezifische geometrische Strukturen ignorieren.

Experimentelle Ergebnisse
Die Autoren evaluierten VSANet auf zwei Benchmark-Datensätzen (STFLytro und EPFL) unter drei Rauschniveaus ($\sigma = 10, 20, 50$).

• Quantitative Leistung: VSANet erzielte die besten mittleren PSNR- und SSIM-Werte über alle Rauschniveaus und Datensätze hinweg im Vergleich zu State-of-the-Art (SOTA)-Methoden, einschließlich LFBM5D, DRLF, MSP, PFE und HLFRN. Beispielsweise erreichte VSANet auf dem STFLytro-Datensatz bei $\sigma=50$ einen PSNR von 37,34 dB und übertraf damit die zweitbeste Methode (HLFRN mit 3 ever 36,97 dB).
• Effizienz: Trotz seiner Leistung behält VSANet eine vorteilhafte Recheneffizienz bei. Es benötigt weniger Parameter (1.142K) und eine geringere Laufzeit (10,7 compete 79s) im Vergleich zu mehreren konkurrierenden Deep-Learning-Methoden, wie etwa HLFRN (1.676K Parameter, 15,26s Laufzeit).
• Ablationsstudien: Experimente bestätigten die Notwendigkeit jeder Komponente. Das Entfernen des VSA-Blocks, die Beschränkung der Attention auf einzelne Ansichten, die Reduzierung der Hash-Runden oder das Entfernen des FR-Blocks führten allesamt zu einer Verschlechterung der Leistung. Zudem wurde festgestellt, dass $G=5$ SEAR-Module und $F=5$ SFE-Blöcke das optimale Gleichgewicht zwischen Leistung und Rechenaufwand bieten.

Bedeutung und Behauptungen
Das Paper behauptet, dass VSANet die Herausforderung der LF-Entrauschung effektiv bewältigt, indem es die Einschränkungen vordefinierter geometrischer Zerlegungen und isolierter Subraum-Verarbeitung überwindet. Durch die Behandlung der 4D-LF-Daten als einheitlichen Raum und die Nutzung von Sparse Attention gelingt es der Methode, die Asymmetrie zwischen unabhängigem Rauschen und korreliertem Szeneninhalt erfolgreich auszunutzen. Die Autoren geben an, dass VSANet bestehende SOTA-Methoden übertrifft und gleichzeitig eine effiziente Rechenleistung beibehält, wodurch ein neuer Baseline für die LF-Bildrestaurierung etabliert wird. Sie legen nahe, dass der vorgeschlagene VSA-Framework in zukünftiger Arbeit auf andere LF-Restaurierungsaufgaben ausgeweitet werden könnte.