Improving Image Compression Ratio Using the mUMamba Image Restoration Network

Ogni giorno, circa tre miliardi di immagini viaggiano attraverso il mondo digitale, spostandosi dai telefoni ai server e viceversa. Questa inondazione di dati visivi richiede enormi quantità di spazio di archiviazione e connessioni internet potenti per muoversi senza ritardi. Per mantenere in funzione questo sistema, gli ingegneri si sono affidati a lungo alla compressione, un processo che rimpicciolisce i file eliminando informazioni che l'occhio umano è improbabile che noti. I metodi tradizionali funzionano applicando un insieme uniforme di regole a un intero fotogramma, trattando un cielo uniforme e una foresta complessa con lo stesso approccio matematico. Sebbene efficaci, queste tecniche standard spesso faticano a bilanciare la necessità di dimensioni ridotte dei file con il desiderio di immagini nitide e chiare. Possono perdere le sottili differenze tra uno sfondo semplice e un primo piano dettagliato, portando a file eccessivamente pesanti o a risultati sfocati.

Un nuovo approccio cerca di risolvere questo problema trattando le diverse parti di un'immagine in modo differente, molto simile a un bibliotecario che sa quali libri sono raramente letti e quali vengono presi in prestito quotidianamente. I ricercatori hanno sviluppato un sistema che identifica quali parti di una foto sono essenziali e quali possono essere temporaneamente messe da parte per risparmiare spazio. L'obiettivo è eliminare le parti non necessarie durante la trasmissione e poi ricostruirle quando l'immagine arriva a destinazione. Ciò richiede un decoder che non sia solo un ricevitore passivo, ma un restauratore attivo capace di indovinare i dettagli mancanti con alta precisiono, sebbene non perfettamente, poiché rimane un certo errore di ricostruzione.

In uno studio recente, ricercatori della Semnan University in Iran hanno introdotto un sistema chiamato mUMamba per affrontare questa sfida. Il loro metodo combina un'analisi intelligente del contenuto dell'immagine con un nuovo e potente tipo di intelligenza artificiale progettata per il restauro. Il processo inizia scomponendo un'immagine in piccoli blocchi quadrati. Il sistema esamina poi questi blocchi a tre diversi livelli di dettaglio, osservandoli come grandi quadrati di 16x16, medi quadrati di 8x8 e piccoli quadrati di 4x4. A ogni livello, il sistema decide se un blocco è abbastanza semplice da essere rimosso. Se un blocco contiene un'area uniforme e immutata, viene contrassegnato per l'eliminazione. Se contiene un bordo netto o un modello complesso, viene mantenuto. Questo approccio gerarchico consente al sistema di essere molto più aggressivo con le aree semplici, preservando però attentamente i dettagli intricati che definiscono l'immagine.

Una volta identificati i blocchi rimovibili, il sistema non si limita a scartarli. Invece, invia una piccola quantità di "indizi" insieme ai dati rimanenti dell'immagine. Per i blocchi che sono stati rimossi perché uniformi, il sistema invia una semplice freccia che indica la direzione del cambiamento di colore. Per i blocoli rimossi perché contenevano un bordo, invia una mappa che mostra dove si trovava quel bordo. Fondamentalmente, le parti dell'immagine che sono state mantenute non sono lasciate senza compressione; esse vengono codificate utilizzando la compressione JPEG standard prima della trasmissione. L'immagine originale è ora molto più piccola, ma è incompleta. I pezzi mancanti devono essere ricostruiti dal dispositivo ricevente utilizzando solo i pixel rimanenti compressi in JPEG e questi piccoli indizi.

Per eseguire questa ricostruzione, i ricercatori hanno impiegato una rete neurale, un tipo di programma per computer ispirato al cervello umano, costruito su una struttura nota come U-Net. Questa rete ha la forma di una U, con un percorso che comprime le informazioni dell'immagine e un altro percorso che le espande nuovamente alla dimensione originale. Ciò che rende unico mUMamba è il motore che utilizza per elaborare gli strati profondi di questa rete. Inveve degli strumenti standard utilizzati nella maggior parte dei software di immagine, i ricercatori hanno integrato un componente basato su una nuova architettura chiamata Mamba. Questo componente è eccezionalmente bravo a comprendere le connessioni a lungo raggio all'interno dei dati, permettendogli di guardare molto lontano nell'immagine per trovare il contesto necessario a colmare le lacune. Agisce come un artista altamente qualificato che può guardare i bordi di un pezzo mancante di un puzzle e sapere istantaneamente come dovrebbe essere il centro basandosi sull'immagine circostante.

I risultati di questo approccio sono stati testati su una vasta collezione di immagini di test standard. Il sistema ha raggiunto un rapporto di compressione del 46,5 percento, indicando una significativa riduzione del volume di dati, mantenendo al contempo un alto livello di qualità visiva. Quando misurato tramite metriche standard che confrontano l'immagine restaurata con l'originale, il sistema ha ottenuto un punteggio che indica una corrispondenza molto stretta, con un PSNR di 25,15 dB. Ancora più importante, il sistema è stato significativamente più veloce e ha richiesto molta meno potenza di calcolo rispetto ad altri metodi avanzati. Ha utilizzato solo 8,5 milioni di parametri, ovvero le impostazioni interne che il computer apprende durante l'addestramento, rispetto ai più di 40 milioni dei sistemi concorrenti. Questa efficienza significa che il sistema può funzionare su dispositivi più piccoli, come telefoni cellulari o sensori in località remote, senza la necessità di un supercomputer potente.

I ricercatori hanno anche confrontato il loro metodo con gli attuali standard migliori utilizzati nel settore, come BPG e VVC. Hanno scoperto che mUMamba può raggiungere la stessa qualità visiva con un tasso di dati inferiore, risparmiando efficacementamente il 18,2 percento della larghezza di banda richiesta da tali standard. In confronti diretti con altri strumenti di compressione basati sull'IA moderna, il nuovo sistema ha migliorato la somiglianza strutturale delle immagini di quasi il 23 percento e la chiarezza del 7 percento. Questi guadagni sono stati ottenuti riducendo anche il tempo di elaborazione di un'immagine di quasi un terzo.

Lo studio evidenzia che la chiave di questo successo non è stata solo l'uso di una potente rete neurale, ma il modo specifico in cui è stata combinata con il metodo classico di rimozione dei blocchi. Separando il compito in due parti distinte — prima, la decisione logica di cosa rimuovere e comprimere usando il JPEG standard, e secondo, il compito creativo di ricostruire le parti mancanti — i ricercatori hanno creato un sistema che è sia efficiente che efficace. La strategia gerarchica di controllare i blocchi a diverse dimensioni ha permesso al sistema di trovare maggiori opportunità di compressione senza sacrificare la qualità dell'immagine finale.

Sebbene il sistema mostri grande potenziale, i ricercatori notano che attualmente funziona meglio con immagini di dimensioni fisse e si affida alla compressione standard per le parti dell'immagine che vengono mantenute. Il lavoro futuro mira a rendere il sistema più flessibile per immagini di qualsiasi dimensione e a sostituire i componenti standard rimanenti con componenti interamente guidati dall'IA. Per ora, il framework mUMamba rappresenta un passo avanti significativo nel rendere la trasmissione delle immagini più veloce ed efficiente, dimostrando che comprendendo profondamente il contenuto di un'immagine, possiamo inviare di più con meno.