UCAN: Unified Convolutional Attention Network for Expansive Receptive Fields in Lightweight Super-Resolution

Probleemstelling

Single-image super-resolution (SR) heeft tot doel lage-resolutie (LR) beelden te reconstrueren naar hoge-resolutie (HR) beelden. Hoewel hybride CNN-Transformer-architecturen sterke resultaten leveren, lopen ze tegen een fundamenteel probleem aan: het vergroten van het effectieve receptieve veld (om zowel lokale textuur als lange-afstandsafhankelijkheden te modelleren) leidt vaak tot een enorme toename van de rekenkosten.

• Beperkingen van bestaande methoden:
  • CNN's: Beperkt tot lokale receptieve velden.
  • Transformers: Bieden wel globale context, maar de kwadratische complexiteit van self-attention maakt ze onpraktisch voor grote vensters of beperkte hardware.
  • Linear Attention: Biedt lagere complexiteit, maar lijdt vaak aan "rank collapse" (verlies van diversiteit in de kenmerkrepresentatie), wat de reconstructiekwaliteit beperkt.
  • Efficiëntie vs. Prestatie: Bestaande lichtgewicht modellen maken vaak concessies aan representatierijkdom om rekenefficiëntie te behalen.

Methodologie: UCAN

De auteurs stellen UCAN (Unified Convolutional Attention Network) voor, een lichtgewicht netwerk dat convolutie en attention op een unieke manier combineert om het receptieve veld uit te breiden zonder de rekenlast te verhogen. De architectuur bestaat uit de volgende kerncomponenten:

1. Broad Effective Receptive Field Group (BERFG):

   • Dit is de kernmodule die bestaat uit een Sharing Block (SB) en een Receiving Block (RB).
   • Semi-delen strategie: De SB berekent de attention-maps (voor query-key interacties) eenmalig. De RB hergebruikt deze berekende componenten direct, in plaats van ze opnieuw te berekenen. Dit vermindert de rekenlast aanzienlijk terwijl de representatieve kracht behouden blijft.

2. High Performance Attention (HPA):

   • Gebruikt Flash Attention voor venster-attention met een groot formaat (32x32). Dit maakt exacte attention-berekeningen mogelijk met veel minder geheugen en lagere latentie dan conventionele self-attention, waardoor grote vensters haalbaar worden.

3. Hybrid Attention Mechanism (Hedgehog Attention):

   • Om het probleem van "rank collapse" in lineaire attention op te lossen, introduceert UCAN de Hedgehog Attention.
   • Dit gebruikt een Hedgehog Feature Map (HFM) die symmetrische exponentiële feature-paren concateneert. In plaats van simpele activeringsfuncties (zoals ReLU) die negatieve bijdragen verliezen, behoudt HFM informatie uit zowel positieve als negatieve richtingen.
   • Dit verhoogt de rang (rank) van de outputmatrix, wat zorgt voor een rijkere en meer diverse kenmerkrepresentatie zonder extra zware modules.
   • De Hybrid Attention combineert venster-attention (lokaal) met een Dual Fusion Layer (globale ruimtelijke en kanaal-attention).

4. Large Kernel Distillation (LKD):

   • Een module die kennis distilleert van grote-kern convoluties naar het netwerk.
   • Het splitst kanalen in een fijnkorrelige subset (waar de zware berekeningen plaatsvinden) en een grofkorrelige subset (die via een bypass gaat).
   • De fijnkorrelige tak gebruikt drie takken: kanaal-attention, lokale details (bottleneck) en een hiërarchische grote-kern tak (met dilated convoluties) om complexe texturen en lange-afstandscontext te modelleren met minimale parameters.

Belangrijkste Bijdragen

1. Hedgehog Attention: Een nieuwe attention-mechanisme dat de rang van lineaire attention verbetert door het gebruik van een symmetrische, trainbare feature map, waardoor de modelcapaciteit om diverse features te vangen toeneemt.
2. UCAN Architectuur: Een unified framework dat Flash Attention (voor grote vensters), Hedgehog Attention (voor robuuste globale informatie) en multi-kern convolutie (voor lokale details) combineert.
3. Semi-delen en Distillatie: Een innovatieve architectuur die parameters deelt tussen lagen (zonder volledige herhaling) en kennis distilleert van grote-kern modules, wat leidt tot een uitstekende balans tussen parameters, FLOPs en prestaties.

Resultaten

UCAN werd getest op standaard benchmarks (Set5, Set14, BSDS100, Urban100, Manga109) voor upscaling factoren van 2x, 3x en 4x.

• Prestaties op Manga109 (4x): De UCAN-L variant bereikte een PSNR van 31,63 dB met slechts 48,4G MACs. Dit is een verbetering van 0,39 dB ten opzichte van MambaIRV2, maar met 36% lagere rekenkosten.
• Prestaties op BSDS100: UCAN behaalde 27,79 dB, presterend beter dan methoden met aanzienlijk grotere modellen.
• Efficiëntie:
  • UCAN (basis) gebruikt 11% minder parameters en 24% minder FLOPs dan OmniSR, terwijl het op Urban100 (2x) 0,12 dB beter scoort.
  • De Latentie-analyse toont aan dat Flash Attention tot 13,4x sneller is dan standaard self-attention bij hogere resoluties (128x128).
  • De Dual Fusion Layer (DFL) behoudt een lineaire complexiteit in de ruimtelijke resolutie, wat schaalbaarheid garandeert.
• Visuele Kwaliteit: Visualisaties van het Effectieve Receptieve Veld (ERF) en Local Attribution Maps (LAM) tonen aan dat UCAN een bredere context en betere informatie-aggregatie bereikt dan concurrenten zoals SRFormer en ATD.

Betekenis en Conclusie

UCAN biedt een doorbraak in de balans tussen nauwkeurigheid, efficiëntie en schaalbaarheid voor beeldherstel. Door de beperkingen van pure CNN's (lokaal) en pure Transformers (rekenzwaar) te overbruggen, stelt UCAN een nieuwe standaard voor lichtgewicht super-resolution.

De belangrijkste implicatie is dat het mogelijk is om high-fidelity image reconstruction uit te voeren op apparaten met beperkte middelen (zoals mobiele telefoons of embedded systemen) zonder in te leveren op de kwaliteit van de reconstructie. De combinatie van Flash Attention, de innovatieve Hedgehog Attention en de distillatie-strategie maakt UCAN een zeer praktische oplossing voor de volgende generatie SR-toepassingen.