A Compact Hybrid Convolution--Frequency State Space Network for Learned Image Compression

Deze paper introduceert HCFSSNet, een compact hybride netwerk dat convolutie en een frequentiegebaseerde state space-modellering combineert om de beperkingen van bestaande methoden voor geleerde beeldcompressie te overwinnen en zo concurrerende prestaties te leveren.

De kern

Stel je voor dat je een enorme foto van een drukke markt wilt versturen via WhatsApp. Als je de originele, onbewerkte foto stuurt, duurt het eeuwen en vult het je geheugen op. Daarom gebruiken we compressie: we "knijpen" de foto samen tot een klein bestandje, zodat het snel verstuurd kan worden, en hopen dat de ontvanger hem nog steeds mooi kan zien.

Vroeger deden computers dit met vaste regels (zoals JPEG). Maar nu gebruiken we slimme kunstmatige intelligentie (AI) om dit veel beter te doen. Dit noemen we "Learned Image Compression" (geleerde beeldcompressie).

Deze paper introduceert een nieuwe, slimme AI genaamd HCFSSNet. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: Te traag of te onnauwkeurig

Bestaande slimme compressie-methoden hebben twee grote problemen:

• De "Super-Intelligente" (Transformers): Deze kunnen ver weg kijken in de foto en zien hoe een boom links samenhangt met een boom rechts. Maar ze zijn zo traag dat ze de hele foto moeten "lezen" als een lange rij letters. Dat kost enorm veel tijd en rekenkracht.
• De "Snelle Loper" (State Space Models): Deze zijn supersnel en kunnen ook ver kijken. Maar ze lezen de foto vaak als een lange, rechte lijn (van links naar rechts). Hierdoor verliezen ze het gevoel voor de directe omgeving. Het is alsof je een foto van een gezicht leest letter voor letter van links naar rechts; je ziet de neus en de mond, maar je mist dat ze samen een gezicht vormen.

2. De Oplossing: HCFSSNet (De Slimme Mix)

De auteurs van deze paper hebben een nieuwe methode bedacht die het beste van twee werelden combineert. Ze noemen het een Hybride Netwerk.

Stel je voor dat je een foto bekijkt met twee verschillende soorten brillen tegelijk:

Brillen A: De "Lokale Detail-Bril" (Convolutie)

Deze bril kijkt naar kleine stukjes van de foto. Hij ziet de randen van een blad, de textuur van een muur of de haartjes in een baard. Dit is goed voor de kleine details.

• Analogie: Een schilder die heel nauwkeurig de penseelstreken op het doek bekijkt.

Brillen B: De "Verre Context-Bril" (State Space)

Deze bril kijkt naar het grote geheel. Hij ziet dat de lucht boven de bergen blauw is en dat de schaduw van de boom op de grond valt. Dit is goed voor de samenhang.

• Analogie: Een directeur die van een hoog puntje naar de hele stad kijkt om het verkeer te begrijpen.

Het nieuwe idee: HCFSSNet doet dit tegelijkertijd. Het gebruikt de "Lokale Bril" voor de details en de "Verre Bril" voor de samenhang, zonder dat het traag wordt.

3. De Twee Slimme Trucs

Om dit perfect te laten werken, hebben ze twee specifieke trucjes bedacht:

Truc 1: De "Richtingloze Scanner" (VONSS)

Normaal gesproken lezen computers een foto als een lange rij: eerst de bovenste regel, dan de tweede, enzovoort. Maar in een foto is de pixel rechts van jou net zo belangrijk als de pixel boven jou.

• Het probleem: Als je alleen horizontaal leest, is de pixel boven jou "ver weg" in de rij.
• De oplossing: HCFSSNet scant de foto in alle richtingen: horizontaal, verticaal, en zelfs diagonaal (schuin).
• Analogie: Stel je voor dat je een groep mensen in een kamer moet beschrijven. Een oude computer zou zeggen: "Eerst de mensen in de eerste rij, dan de tweede." HCFSSNet kijkt echter ook naar de mensen die schuin achter je staan. Zo ziet het de echte "buren" in de foto, niet alleen de mensen die in de rij voor je staan.

Truc 2: De "Frequentie-Regelaar" (AFMM)

Elke foto bestaat uit verschillende soorten informatie:

• Lage frequenties: De grote kleuren en vormen (bijv. de blauwe lucht).
• Hoge frequenties: De scherpe randen en fijne details (bijv. de takken van een boom).
• De oplossing: HCFSSNet gebruikt een wiskundige techniek (DCT) om de foto even "op te splitsen" in deze frequenties. Vervolgens leert de AI welke delen hij mag weggooien en welke hij moet bewaren.
• Analogie: Stel je voor dat je een orkest hoort. De lage frequenties zijn de basgitaar (de basis), en de hoge frequenties zijn de fluit (de details). HCFSSNet luistert naar het orkest en zegt: "De basgitaar is belangrijk, die houden we. Maar die ene fluittoon die nauwelijks te horen is, die kunnen we weglaten om ruimte te besparen."

4. Waarom is dit belangrijk?

Deze nieuwe methode (HCFSSNet) is een perfecte balans:

1. Het is niet te groot: Het gebruikt minder rekenkracht dan de zwaarste, nieuwste modellen.
2. Het is niet te traag: Het is sneller dan de modellen die alles "letter voor letter" lezen.
3. Het resultaat is prachtig: De gecomprimeerde foto's zien er bijna net zo goed uit als het origineel, maar zijn veel kleiner.

Samenvattend:
De auteurs hebben een slimme "hybride" machine gebouwd die een foto bekijkt met zowel een loep (voor details) als een verrekijker (voor het geheel), terwijl ze ook in alle richtingen kijken en precies weten welke kleuren ze kunnen "knijpen" zonder dat de foto lelijk wordt. Het is een stap in de richting van foto's die sneller verstuurd kunnen worden, zonder dat je kwaliteit verliest.

Technische samenvatting

Probleemstelling

Learned Image Compression (LIC) heeft de afgelopen jaren grote vooruitgang geboekt door het gebruik van Transformer- en State Space Model (SSM)-gebaseerde backbones om lange-afstandsafhankelijkheden te modelleren. Echter, deze bestaande architecturen hebben aanzienlijke beperkingen:

1. Complexiteit van Transformatoren: Transformer-modellen vertonen vaak een kwadratische complexiteit ten opzichte van de sequentielengte, wat ze minder schaalbaar maakt voor hoge-resolutie afbeeldingen.
2. Beperkingen van SSM's: Bestaande Vision State Space Models (zoals Mamba-varianten) flattenen 2D-kenmerken vaak naar 1D-sequenties. Dit kan de continuïteit van buurpunten verstoren, vooral in diagonale richtingen, omdat de sequentiële afstand niet noodzakelijk overeenkomt met de ruimtelijke nabijheid.
3. Gebrek aan frequentiebewustzijn: De meeste bestaande LIC-modellen modelleren bijbehorende informatie (side information) in de hyperprior-pijplijn voornamelijk in de ruimtelijke en kanaaldomeinen, terwijl fijnmazige frequentiebewuste modellering onderbelicht blijft.

Het doel van dit onderzoek is een compacte, geünificeerde architectuur te ontwikkelen die lokale details, lange-afstandscontext en frequentiebewuste modulatie combineert zonder de complexiteit van zware Transformatoren of de ruimtelijke beperkingen van standaard SSM's.

Methodologie: HCFSSNet

De auteurs stellen HCFSSNet (Hybrid Convolution and Frequency State Space Network) voor. Dit is een compacte hybride architectuur die bestaat uit een analyse- en synthesetransformatie, een hyperprior-pijplijn en een kanaal-georiënteerd entropiemodel. De kerninnovaties zijn:

1. Hybrid Convolution–Frequency State Space (HCFSS) Block

In de hoofdtransformatie wordt een HCFSS-block gebruikt dat kenmerken splitst in twee takken:

• CNN-tak: Voor de verfijning van lokale ruimtelijke details.
• Vision Frequency State Space (VFSS) tak: Voor complementaire aggregatie van lange-afstandscontext.

2. Vision Omni-directional Neighborhood State Space (VONSS)

Om het probleem van het "flattenen" van 2D-afbeeldingen naar 1D op te lossen, introduceert de VFSS-tak de VONSS-module. In tegenstelling tot traditionele SSM's die alleen horizontaal en verticaal scannen, scant VONSS kenmerken in acht richtingen:

• Horizontaal (vooruit/achteruit)
• Verticaal (vooruit/achteruit)
• Diagonaal (vooruit/achteruit)
• Anti-diagonaal (vooruit/achteruit)
  Dit zorgt voor een betere behoud van 2D-buurrelaties, inclusief diagonale afhankelijkheden, en vermindert de discrepantie tussen sequentiële en ruimtelijke afstand.

3. Adaptive Frequency Modulation Module (AFMM)

Deze module voegt frequentiebewuste verfijning toe aan de VFSS-tak.

• Het gebruikt een vaste Discrete Cosine Transform (DCT) om lokale vensters om te zetten in het frequentiedomein.
• In plaats van een nieuwe basis te leren, leert AFMM adaptieve gewichten voor de DCT-coëfficiënten.
• Dit stelt het model in staat om frequentiecomponenten selectief te versterken of te dempen, wat ideaal is voor compressie.

4. Frequency Swin Transformer Attention Module (FSTAM)

In de hyperprior-pijplijn (voor het modelleren van de entropie van de latenten) wordt een FSTAM-module geïntroduceerd.

• Deze combineert een Swin Transformer-block met AFMM.
• Het verbetert de modellering van zij-informatie (side information) door frequentiebewuste modulatie toe te passen op de hyperprior-kenmerken, wat leidt tot een nauwkeurigere bitschatting.

Belangrijkste Bijdragen

1. HCFSSNet Architectuur: Een compacte hybride architectuur die lokale convolutie, state-space modellering en frequentiebewuste modulatie unificeert.
2. VONSS Module: Een nieuw scanpatroon dat omni-directioneel scant (inclusief diagonalen) om de beperkingen van bestaande 2D-SSM's te overwinnen en ruimtelijke continuïteit te behouden.
3. Frequentiebewuste Entropiemodellering: De introductie van AFMM en FSTAM, die frequentiebewuste aanpassing toepassen op zowel de hoofdtransformatie als de hyperprior-pijplijn, een gebied dat eerder weinig aandacht kreeg.
4. Efficiëntie vs. Prestatie: Het bewijzen dat een compact model (80,97M parameters) concurrerende prestaties kan leveren ten opzichte van zwaardere state-of-the-art modellen.

Resultaten

De auteurs hebben HCFSSNet getest op drie standaard benchmarks: Kodak, Tecnick en CLIC Professional Validation.

• Rate-Distortion Prestaties: HCFSSNet behaalde aanzienlijke BD-rate verbeteringen ten opzichte van de VTM-standaard (VTM-23.13):
  • -18,06% op Kodak.
  • -24,56% op Tecnick.
  • -22,44% op CLIC.
• Vergelijking met State-of-the-Art: Hoewel HCFSSNet niet de absolute beste BD-rate haalt van de zwaarste modellen (zoals MambaIC of MLIC++), presteert het zeer competitief met aanzienlijk minder parameters (80,97M vs. >116M voor concurrenten).
• Ablatiestudies:
  • VONSS vs. CSM: Het gebruik van omni-directionele scanning (VONSS) in plaats van standaard cross-scan (CSM) leverde consistent betere PSNR-waarden op.
  • AFMM: Het toevoegen van frequentiemodulatie verbeterde de prestaties met ongeveer 1-4% bitrate-reductie bij gelijke kwaliteit.
  • FSTAM: Het gebruik van frequentiebewuste refinering in de hyperprior-pijplijn leverde kleine maar stabiele verbeteringen op.
• Visuele Kwaliteit: Visuele vergelijkingen tonen aan dat HCFSSNet scherper lokale structuren, texturen en fijne lijnen behoudt in vergelijking met andere methoden, met minder zichtbare vervormingen.

Betekenis en Conclusie

Dit werk is significant omdat het een evenwicht vindt tussen modelgrootte, architecturale complexiteit en compressieprestaties.

• Het lost het probleem op van het verlies van ruimtelijke continuïteit in bestaande SSM's door een innovatieve omni-directionele scanstrategie.
• Het integreert frequentiebewustzijn niet alleen in de hoofdtransformatie, maar ook in de entropiemodellering (hyperprior), wat een nieuw perspectief biedt voor LIC.
• In plaats van te streven naar de absolute minimum BD-rate met enorme modellen, positioneert HCFSSNet zich als een compacte en efficiënte oplossing die geschikt is voor praktische toepassingen waar modelgrootte en prestaties in balans moeten zijn.

De auteurs erkennen dat de huidige implementatie niet de snelste is (door de extra kosten van de omni-directionele scans en DCT-bewerkingen), maar benadrukken dat het een sterke designkeuze is voor een gebalanceerde LIC-framework. Toekomstig werk richt zich op het optimaliseren voor lagere latentie en het uitbreiden naar videocompressie.