A Compact Hybrid Convolution--Frequency State Space Network for Learned Image Compression

Il paper propone HCFSSNet, una rete ibrida compatta per la compressione di immagini appresa che combina convoluzioni per i dettagli locali e un blocco stato-spazio in frequenza per le dipendenze a lungo raggio, superando i limiti di complessità dei Transformer e la perdita di continuità spaziale dei modelli stato-spazio tradizionali.

L'essenziale

Immagina di dover spedire un album fotografico digitale a un amico che vive dall'altra parte del mondo. Il problema? Il file è enorme e la connessione internet è lenta. Se lo mandi così com'è, ci vorrà un'eternità. Se lo comprimi troppo, però, le foto arriveranno sgranate e piene di "macchie" (artefatti).

Per decenni, abbiamo usato metodi standard (come JPEG) che funzionano un po' come un trucco da mago: tagliano via i dettagli che l'occhio umano "dovrebbe" non notare. Ma questi metodi sono rigidi, come un vestito fatto su misura per una persona sola: non si adattano bene a tutte le foto.

Negli ultimi anni, gli scienziati hanno creato "intelligenze artificiali" (chiamate LIC, o Compressione di Immagini Appresa) che imparano a comprimere le foto da sole. Tuttavia, queste IA hanno avuto due grossi problemi:

1. Erano troppo lente e pesanti: Come un camioncino che cerca di fare le acrobazie di una Ferrari.
2. Perdevano i dettagli: Quando guardavano la foto, spesso la "srotolavano" come un tappeto per analizzarla riga per riga, perdendo la connessione tra i punti vicini (come se guardassero un quadro da molto lontano e non vedessero i pennelli vicini tra loro).

Gli autori di questo paper, HCFSSNet, hanno costruito una nuova macchina per comprimere le foto che risolve questi problemi. Ecco come funziona, spiegato con delle metafore semplici:

1. Il "Duo Dinamico": Il Muratore e il Visionario

La maggior parte delle IA precedenti sceglieva una sola strategia: o erano bravissime a vedere i dettagli vicini (come un muratore che posa i mattoni uno per uno) oppure bravissime a vedere il quadro d'insieme (come un visionario che guarda l'intero edificio).

HCFSSNet è un ibrido. Immagina di avere due esperti che lavorano insieme su ogni parte della foto:

• Il Muratore (Convoluzioni): Si occupa dei dettagli locali. Guarda i bordi, le texture, i capelli, assicurandosi che tutto sia nitido e preciso.
• Il Visionario (Stato Spaziale): Si prende cura del contesto globale. Capisce che se c'è un cielo blu in alto, probabilmente ci sarà un prato verde in basso, collegando parti lontane della foto senza bisogno di un computer enorme.

Invece di costringere l'IA a scegliere uno dei due, HCFSSNet li fa lavorare in parallelo, ottenendo il meglio di entrambi i mondi.

2. Lo "Srotolamento" Intelligente (VONSS)

Le vecchie IA prendevano l'immagine 2D (un rettangolo) e la trasformavano in una lunga striscia 1D (come srotolare un tappeto) per analizzarla. Il problema? Due punti che sono vicini sulla foto (come due occhi) potevano finire all'estremità opposta della striscia, perdendo la loro relazione.

Gli autori hanno inventato un nuovo modo di "leggere" l'immagine, chiamato VONSS.

• Metafora: Immagina di dover leggere un libro. Le vecchie IA leggevano solo da sinistra a destra. Se c'era una parola importante in diagonale, la saltavano o la leggevano troppo tardi.
• La soluzione HCFSSNet: Il nuovo metodo legge il libro in otto direzioni diverse contemporaneamente (orizzontale, verticale, diagonale, e anche al contrario). È come se avessi otto lettori che esaminano la stessa pagina da angolazioni diverse per assicurarsi di non perdere nessun dettaglio, nemmeno quelli nascosti negli angoli. Questo mantiene intatta la "vicinanza" dei pixel.

3. La "Radio Sintonizzata" (AFMM)

Le immagini sono fatte di frequenze: i bordi netti sono "frequenze alte" (come un suono acuto), mentre i cieli uniformi sono "frequenze basse" (come un suono grave).
Le vecchie IA trattavano tutto allo stesso modo.

HCFSSNet introduce un modulo chiamato AFMM che agisce come un equalizzatore audio intelligente.

• Metafora: Prima di inviare la foto, l'IA la trasforma in una "partitura musicale" (usando una matematica chiamata DCT). Invece di cambiare la musica, l'IA impara a alzare o abbassare il volume di specifiche note (frequenze).
• Se una parte della foto è molto importante (un dettaglio critico), alza il volume di quella frequenza. Se è meno importante, abbassa il volume per risparmiare spazio. È come dire al postino: "Metti questa foto in una busta speciale, ma taglia via solo le parti che non servono davvero".

4. Il "Foglio di Istruzioni" Migliorato (FSTAM)

Oltre alla foto, l'IA deve inviare anche delle istruzioni (chiamate hyperprior) per aiutare il ricevitore a ricostruire l'immagine.
HCFSSNet applica la stessa logica della "Radio Sintonizzata" anche a queste istruzioni. Invece di inviare istruzioni generiche, invia istruzioni che sanno esattamente quali frequenze sono importanti per quella specifica foto. È come inviare un manuale di istruzioni che cambia dinamicamente in base al modello di macchina che stai riparando.

Il Risultato Finale

Cosa ottiene tutto questo?

• Dimensioni ridotte: Il modello è più piccolo e leggero di molti suoi concorrenti (come un'auto sportiva compatta invece di un camioncino).
• Qualità superiore: Le foto compresse sono più nitide, con meno "macchie" e bordi più definiti.
• Efficienza: Riesce a risparmiare molta più banda internet rispetto ai metodi tradizionali (VTM), mantenendo una qualità eccellente.

In sintesi:
HCFSSNet è come un corriere intelligente che non si limita a imbustare la tua foto. Ha due assistenti (uno per i dettagli, uno per il contesto), legge la foto da tutte le angolazioni possibili, e usa un equalizzatore per decidere esattamente quali parti della foto sono preziose e quali possono essere accorciate senza rovinare il quadro. Il risultato è un'immagine che viaggia veloce, occupa poco spazio, e arriva a destinazione perfetta.

Sommario tecnico

1. Il Problema

La compressione di immagini appresa (Learned Image Compression - LIC) ha beneficiato recentemente dell'uso di modelli basati su Transformer e State Space Models (SSM) per modellare le dipendenze a lungo raggio. Tuttavia, le architetture esistenti presentano limiti significativi:

• Complessità dei Transformer: I modelli basati su Transformer offrono una modellazione contestuale globale efficace, ma soffrono di una complessità quadratica rispetto alla lunghezza della sequenza, rendendoli poco scalabili per immagini ad alta risoluzione.
• Limitazioni degli SSM visivi: Sebbene gli SSM (come Mamba) offrano una complessità lineare, l'estensione da segnali 1D a mappe di caratteristiche 2D è problematica. Le strategie di scansione convenzionali (orizzontale e verticale) spesso appiattiscono le caratteristiche 2D in sequenze 1D, interrompendo la continuità dei vicini spaziali e trascurando le relazioni di vicinato diagonali, fondamentali per la rappresentazione delle immagini.
• Modellazione della frequenza trascurata: La maggior parte dei modelli di entropia e dei trasformatori non lineari opera principalmente nei domini spaziale e dei canali, trascurando una modellazione fine-granulare delle componenti frequenziali, specialmente nel percorso dell'iper-prior (side information).

2. Metodologia: HCFSSNet

Gli autori propongono HCFSSNet, una rete ibrida compatta che combina la modellazione locale tramite convoluzioni con la modellazione contestuale a lungo raggio basata su SSM, integrata con un'analisi in frequenza. L'architettura si basa su tre componenti principali:

A. Blocco Ibrido Convoluzione-Frequenza State Space (HCFSS)

Questo blocco costituisce il nucleo della trasformazione principale (analisi e sintesi). Divide i canali delle caratteristiche in due rami paralleli:

1. Ramo CNN: Utilizza convoluzioni residue per la modellazione e il raffinamento dei dettagli locali.
2. Ramo Vision Frequency State Space (VFSS): Responsabile dell'aggregazione contestuale complementare a lungo raggio.

B. Modulo Vision Omni-directional Neighborhood State Space (VONSS)

Per risolvere il problema della perdita di continuità spaziale negli SSM 2D, il VFSS integra il modulo VONSS.

• Scansione Omni-direzionale: A differenza delle scansioni tradizionali (solo orizzontale/verticale), VONSS scansiona le caratteristiche lungo otto direzioni: orizzontale, verticale, diagonale e anti-diagonale (inclusi i percorsi inversi).
• Vantaggio: Questa strategia allinea la distanza sequenziale con la vicinanza euclidea nello spazio 2D, preservando meglio le relazioni di vicinato locali, incluse quelle diagonali, che sono spesso deboli nelle scansioni convenzionali.

C. Modulo di Modulazione Frequenziale Adattiva (AFMM)

Integrato nel ramo VFSS, l'AFMM introduce la consapevolezza della frequenza nella rappresentazione:

• Meccanismo: Trasforma finestre locali delle caratteristiche spaziali nel dominio della frequenza utilizzando una Trasformata Discreta del Coseno (DCT) fissa (ortogonale e priva di parametri).
• Ripesatura Adattiva: Invece di apprendere una nuova base frequenziale, l'AFMM apprende pesi adattivi per i coefficienti DCT tramite convoluzioni e attivazioni non lineari. Questo permette una selezione e un raffinamento specifici per la compressione delle componenti frequenziali.
• Ricostruzione: I coefficienti ridimensionati vengono trasformati nuovamente nello spazio tramite IDCT.

D. Modulo di Attenzione Swin Transformer in Frequenza (FSTAM)

Nel percorso dell'iper-prior (usato per la modellazione dell'entropia), gli autori introducono il FSTAM.

• Combina un blocco Swin Transformer con il modulo AFMM.
• Questo permette una modellazione delle informazioni laterali (side information) sensibile alla frequenza, migliorando la stima della distribuzione di probabilità dei latenti quantizzati senza aumentare eccessivamente la complessità computazionale rispetto a un puro Transformer.

3. Contributi Chiave

1. Architettura Ibrida Compatta: HCFSSNet unifica la modellazione locale (CNN), quella a lungo raggio (SSM) e la modulazione frequenziale in un'unica struttura coerente, evitando la complessità quadratica dei Transformer pur mantenendo prestazioni competitive.
2. VONSS per SSM 2D: Proposta di una strategia di scansione omni-direzionale che risolve efficacemente il disallineamento tra ordine di scansione sequenziale e relazioni spaziali 2D, migliorando la modellazione delle dipendenze diagonali.
3. Integrazione Frequenziale: Introduzione di AFMM sia nel percorso principale che in quello dell'iper-prior (tramite FSTAM), portando un raffinamento sensibile alla frequenza in tutte le fasi critiche della compressione.
4. Efficienza dei Parametri: Il modello raggiunge prestazioni di distorsione-tasso (rate-distortion) competitive con un numero di parametri inferiore rispetto a modelli ad alta capacità recenti (es. MambaIC, MLIC++).

4. Risultati Sperimentali

Il modello è stato valutato sui dataset di riferimento Kodak, Tecnick e CLIC Professional Validation.

• Prestazioni Rate-Distortion: HCFSSNet supera l'ancora VTM (Video Coding Standard) con risparmi di BD-rate significativi:
  • Kodak: -18.06%
  • Tecnick: -24.56%
  • CLIC: -22.44%
• Confronto con Sot (State-of-the-Art):
  • Confrontato con modelli basati su CNN, Transformer e SSM (come MambaIC, MLIC++, FTIC), HCFSSNet offre prestazioni competitive.
  • Sebbene non superi i modelli più pesanti (es. MambaIC con 123M parametri) su tutti i dataset, HCFSSNet (con 80.97M parametri) offre un ottimo compromesso, utilizzando meno parametri mantenendo un BD-rate molto vicino.
• Qualità Visiva: Le ricostruzioni mostrano una migliore preservazione delle strutture locali, dei bordi sottili e delle texture ripetute rispetto ai metodi concorrenti.
• Efficienza: Il tempo di decodifica è superiore a quello di alcuni modelli leggeri (a causa delle scansioni multi-direzionali e della modulazione frequenziale), ma il modello è posizionato in una regione "compatta ma competitiva" dello spazio di progettazione, bilanciando dimensioni del modello e prestazioni.

5. Significato e Impatto

Il lavoro di HCFSSNet è significativo perché:

• Supera i limiti degli SSM 2D: Dimostra che estendere la scansione degli SSM a direzioni diagonali è cruciale per la compressione di immagini, colmando il divario tra l'efficienza computazionale degli SSM e la necessità di preservare la struttura spaziale 2D.
• Unificazione dei domini: Integra efficacemente l'analisi in frequenza (tradizionalmente forte nella compressione classica come JPEG) all'interno di un framework di deep learning moderno, non solo come componente ausiliaria ma come parte integrante della modellazione delle caratteristiche e dell'entropia.
• Design Equilibrato: Offre un'alternativa praticabile ai modelli "pesanti" che spingono i limiti delle prestazioni a scapito della complessità, proponendo un'architettura ibrida che bilancia dimensioni, complessità e qualità di compressione.

In sintesi, HCFSSNet rappresenta un passo avanti verso modelli di compressione di immagini più efficienti e compatti, sfruttando sinergicamente le forze delle convoluzioni, degli State Space Models e dell'analisi in frequenza.