TT-net: Quantum Inspired Tensor Network Denoising in Conditional GANs

Technische Samenvatting: TT-net: Quantum-geïnspireerde Tensor Netwerk Denoising in Conditional GANs

Probleemstelling
Beeldruisverwijdering (image denoising), de taak van het herstellen van schone beelden uit gedegradeerde versies, blijft een kritieke uitdaging in velden variërend van medische beeldvorming tot consumentenfotografie. Hoewel Generative Adversarial Networks (GANs) een standaard zijn geworden voor deze taak vanwege hun vermogen om fijne details te behouden, variëren specifieke architecturale keuzes met betrekking tot de verwerking van feature maps. Een opmerkelijke benadering, geïllustreerd door SVD-Net, maakt gebruik van Singular Value Decomposition (SVD) als een per-kanaal filtermechanisme binnen de generator. Echter, SVD toegepast als een enkele-snede decompositie behandelt elk kanaal van een feature map (een 3D-tensor van kanalen, hoogte en breedte) onafhankelijk. Door een feature map te ontvouwen naar een enkele matrix per kanaal, voorkomt deze methode inherent dat het model toegang krijgt tot of relaties tussen verschillende kanalen kan exploiteren, wat het denoising-vermogen potentieel kan beperken.

Methodologie
De auteurs introduceren TT-Net, een conditional GAN-architectuur die de per-kanaal SVD-blok van SVD-Net vervangt door een twee-snede Tensor Train (TT) decompositie, een methode geïnspireerd door Matrix Product States (MPS) uit de kwantumfysica.

• Architectuur: TT-Net plaatst de denoising-blok op dezelfde drie locaties in de generator als SVD-Net (na elke encoder downsampling-fase).
• Decompositie Mechanisme:
  1. Eerste Snede: De input feature map $X \in \mathbb{R}^{C \times H \times W}$ wordt gehervormd tot $M_1 \in \mathbb{R}^{C \times (HW)}$. SVD wordt toegepast op deze matrix, waarbij rijen kanalen vertegenwoordigen. Dit maakt de decompositie in staat om dominante patronen van overeenkomst over kanalen heen te identificeren, een capaciteit die afwezig is bij SVD-Net.
  2. Tweede Snede: De behouden componenten worden gehervormd om de kanaal-as te fuseren met de hoogte-as, waardoor $M_2 \in \mathbb{R}^{(\chi_1 H) \times W}$ ontstaat. Een tweede SVD wordt toegepast om ruimtelijke regulariteiten (bijv. randen, texturen) te vangen die gedeeld worden over de behouden kanaalrichtingen en hoogteposities.
  3. Reconstructie: De gefilterde feature map wordt gereconstrueerd door de drie resulterende kernen (cores) te contracteren.
• Adaptieve Drempelwaarde: Om een eerlijke vergelijking te garanderen, gebruikt TT-Net een adaptief per-snede drempelwaarde-schema. Omdat de twee snedes multiplicatief werken op de behouden energie, zijn de drempelwaarden ingesteld op $\theta_1 = \theta_2 = \sqrt{0.9} \approx 0.9487$ om overeen te komen met het doel van SVD-Net om 90% van de energie te behouden ($\theta = 0.9$).
• Experimentele Controle: De studie isoleert het decompositie-mechanisme als de enige variabele. TT-Net en SVD-Net delen identieke generator/discriminator-structuren, loss-functies (combinatie van MSE, MS-SSIM en adversarial loss), optimizers en hyperparameters. Ze worden tegen elkaar geëvalueerd, evenals tegen een niet-decompositie Pix2pix baseline, op de CIFAR-10 dataset met drie ruistypes: Gaussische ruis, bewegingsonscherpte (motion blur) en salt-and-pepper ruis.

Belangrijkste Bijdragen

1. Cross-Kanaal Toegang: De introductie van een tensor-train denoising-blok dat de decompositie in staat stelt om direct toegang te krijgen tot en structurele informatie over kanalen heen te benutten, in tegenstelling tot de geïsoleerde per-kanaal verwerking van SVD-Net.
2. Eerlijk Vergelijkingskader: De ontwikkeling van een adaptief drempelwaarde-schema dat de "behouden energie" doelstelling tussen de enkele-snede SVD en de twee-snede TT-decompositie gelijkstelt, wat een rigoureuze, directe ablatie-studie mogelijk maakt.
3. Empirische Validatie: Een gecontroleerde experimentele vergelijking die aantoont dat de multi-snede tensor-decompositie de single-cut SVD-benadering consequent overtreft onder alle geteste ruiscondities.

Resultaten

• Kwantitatieve Prestaties: TT-Net presteerde consistent beter dan SVD-Net over alle drie de ruistypes (Gaussisch, bewegingsonscherpte, salt-and-pepper) in zowel Peak Signal-to-Noise Ratio (PSNR) als Structural Similarity Index (SSIM).
  • Gaussische Ruis: TT-Net behaalde de beste resultaten van alle vier de geteste modellen (inclusief Pix2pix en EigenGAN), waarbij het SVD-Net overtrof met 2.68 dB PSNR en 0.0513 SSIM.
  • Bewegingsonscherpte: TT-Net vertoonde een significante verbetering (8.32 dB PSNR) ten opzichte van SVD-Net. De auteurs merken echter op dat deze kloof deels wordt beïnvloed door een discriminator-collapse in de SVD-Net trainingsrun, wat niet optrad bij TT-Net.
  • Salt-and-Pepper: TT-Net presteerde beter dan SVD-Net met 0.99 dB PSNR en 0.0165 SSIM.
• Trainingsdynamiek: Analyse toonde aan dat de adversarial loss term ($G_{adv}$) van TT-Net in alle ruistypes consistent vroeg in de training naar een stabiele toestand verzadigt, terwijl de adversarial loss van SVD-Net blijft fluctueren. Ondanks deze verzadiging, blijft de reconstructiekwaliteit van TT-Net (gedreven door $L_2$ en MS-SSIM losses) gedurende de training verbeteren. Dit suggereert dat zodra de discriminator een staat bereikt waarin hij geen onderscheid meer kan maken tussen echte en gegenereerde beelden (output ~0.5), verdere verbeteringen worden gedreven door de reconstructie-loss en het denoising-mechanisme zelf, in plaats van door adversarial feedback.

Betekenis en Claims
De paper claimt dat de primaire betekenis van TT-Net ligt in het demonstreren dat kwantum-geïnspireerde instrumenten (specifiek Tensor Trains/MPS) kunnen dienen als praktische, real-world feature filters voor deep learning toepassingen.

De auteurs ondersteunen de hypothese dat het toestaan van een denoising-mechanisme om kanalen tegen elkaar te vergelijken, in plaats van ze in isolatie te behandelen, leidt tot meetbare verbeteringen in de reconstructiekwaliteit. Het werk identificeert een specifieke open vraag over de bijdrage van het adversarial component in TT-Net — specifelijk, of de prestaties van het model überhaupt afhangen van de adversarial loss zodra de reconstructie-loss is geoptimaliseerd — maar stelt expliciet dat dit werk het fenomeen identificeert zonder het op te lossen. De auteurs concluderen dat hoewel de resultaten voor bewegingsonscherpte deels vertekend zijn door trainingsinstabiliteit in de baseline, de consistente winst op Gaussische en salt-and-pepper ruis direct bewijs levert voor de effectiviteit van het cross-kanaal decompositie-mechanisme.