A Compact Hybrid Convolution--Frequency State Space Network for Learned Image Compression

Die Arbeit stellt HCFSSNet vor, einen kompakten hybriden Ansatz für das gelernte Bildkomprimieren, der Faltungsnetzwerke für lokale Details mit einem neuartigen Frequenz-Zustandsraum-Modell kombiniert, um langreichweitige Abhängigkeiten effizient zu modellieren und dabei die zweidimensionale Nachbarschaftsstruktur zu erhalten.

Das Wesentliche

🖼️ Das Problem: Wie man Bilder klein macht, ohne sie zu „zerstören"

Stellen Sie sich vor, Sie wollen ein riesiges, detailliertes Ölgemälde (ein hochauflösendes Foto) in einen kleinen Rucksack packen, um es per Post zu versenden.

• Der alte Weg (JPEG, etc.): Man nimmt einen Schere und schneidet einfach Teile weg oder malt alles etwas verschwommen. Das funktioniert, aber man verliert viele Details, besonders bei feinen Linien oder Mustern.
• Der neue Weg (KI-gestützte Kompression): Man nutzt eine intelligente KI, die das Bild analysiert, versteht, was wichtig ist, und es dann clever neu zusammenbaut.

Das Problem bei den bisherigen „intelligenten" KIs ist jedoch:

1. Die „Super-KIs" (Transformer): Sie sind extrem schlau und sehen das ganze Bild auf einmal, um Zusammenhänge zu verstehen. Aber sie sind so schwerfällig, dass sie wie ein Elefant im Porzellanladen sind – sie brauchen unglaublich viel Rechenleistung und Zeit.
2. Die „Schnellen KIs" (State Space Models / SSM): Sie sind schnell und effizient, aber sie lesen das Bild oft wie eine lange Textzeile von links nach rechts. Dabei gehen wichtige Nachbarschaftsbeziehungen verloren (z. B. wie ein diagonal verlaufender Strich aussieht), weil sie das Bild „flach" machen.

🚀 Die Lösung: HCFSSNet – Der „Allround-Meister"

Die Forscher von der Xi'an Jiaotong Universität haben eine neue Architektur namens HCFSSNet entwickelt. Man kann sich das wie einen perfekten Handwerker vorstellen, der zwei verschiedene Werkzeuge kombiniert, um das Bild zu komprimieren:

1. Das lokale Werkzeug: Der „Mikroskop-Verstärker" (CNN)

Stellen Sie sich einen Handwerker vor, der mit einer Lupe arbeitet. Er schaut sich kleine Bereiche des Bildes genau an: „Hier ist eine Kante, hier ist eine Textur."

• Was es tut: Es kümmert sich um die lokalen Details. Es sorgt dafür, dass die feinen Linien und die Struktur des Bildes scharf bleiben.
• Im Papier: Das sind die konvolutionalen Schichten (CNN), die für die lokale Detailmodellierung zuständig sind.

2. Das globale Werkzeug: Der „Fernglasheld" (State Space Model)

Dieser Handwerker hat auch ein Fernglas. Er schaut über den ganzen Horizont des Bildes hinweg, um zu verstehen, wie ein Baum im Vordergrund mit dem Berg im Hintergrund zusammenhängt.

• Was es tut: Es erfasst den großen Zusammenhang. Es weiß, dass sich Wolken über den ganzen Himmel erstrecken, nicht nur in einer Ecke.
• Das Problem: Frühere Ferngläser haben das Bild nur horizontal oder vertikal abgetastet. Wenn ein Baum diagonal steht, haben sie ihn nicht richtig verstanden.
• Die Innovation (VONSS): Die Forscher haben das Fernglas verbessert. Statt nur horizontal und vertikal zu schauen, schaut es jetzt in alle Richtungen – auch diagonal! Es scannt das Bild wie ein Spinnennetz, das in alle Richtungen fädelt. So werden auch diagonale Strukturen perfekt erfasst.

3. Der geheime Trick: Der „Frequenz-Filter" (AFMM)

Stellen Sie sich das Bild nicht nur als Farben vor, sondern als ein Musikstück.

• Niedrige Töne (Frequenzen): Das sind die großen, weichen Flächen (der Himmel, eine Wand).
• Hohe Töne (Frequenzen): Das sind die scharfen Details, das Rauschen, die feinen Haare.

Die neue KI (HCFSSNet) hat einen cleveren Audio-Mixer eingebaut. Sie analysiert das Bild in seine Frequenzen (wie bei einem Equalizer) und entscheidet: „Die hohen Töne (Details) müssen wir besonders sorgfältig speichern, die tiefen Töne können wir etwas stärker komprimieren."

• Der Clou: Dieser Mixer wird nicht nur im Hauptbild verwendet, sondern auch bei den „Begleitinformationen" (dem Hyperprior), die der Empfänger braucht, um das Bild wieder zu entschlüsseln. Das ist wie ein extra detailliertes Handbuch, das dem Empfänger genau sagt, welche Frequenzen wichtig sind.

🏆 Warum ist das besser als alles andere?

Die Forscher nennen ihre Methode „Kompakt".

• Die „Super-KI" (MambaIC, etc.): Ist wie ein riesiger Lastwagen. Sie kann extrem viel laden (sehr gute Bildqualität), braucht aber eine riesige Straße (viel Rechenleistung und Speicher).
• Die „HCFSSNet": Ist wie ein sportlicher Kleinbus. Er ist nicht ganz so riesig wie der Lastwagen, aber er ist viel effizienter. Er passt in jede Garage (weniger Parameter/Speicher) und liefert trotzdem eine fast genauso gute Fahrt (Bildqualität).

Die Ergebnisse:
Auf Testbildern (wie dem Kodak-Datensatz) schneidet HCFSSNet extrem gut ab. Es spart im Vergleich zu alten Standards (VTM) etwa 20–25 % Bandbreite, ohne dass das Bild schlechter aussieht. Und das alles mit weniger „Gehirnmasse" (Parametern) als die größten Konkurrenten.

🎯 Fazit in einem Satz

HCFSSNet ist wie ein schlauer, vielseitiger Handwerker, der mit einer Lupe für die Details, einem 360-Grad-Fernglas für den Überblick und einem intelligenten Frequenz-Mixer arbeitet, um Bilder so klein wie möglich zu machen, ohne dass dabei die Schönheit verloren geht – und das alles ohne einen riesigen Rechner zu benötigen.

Die Forscher sagen selbst: „Wir wollen nicht unbedingt den absoluten Weltrekord in der Kompression brechen, sondern eine ausgewogene, kompakte Lösung bieten, die in der Praxis schnell und effizient ist."

Technische Zusammenfassung

1. Problemstellung

Das Gebiet des Learned Image Compression (LIC) hat in den letzten Jahren erhebliche Fortschritte durch den Einsatz von Transformer- und State Space Models (SSM) erzielt, um langreichweitige Abhängigkeiten in Bildern zu modellieren. Dennoch bestehen zwei wesentliche Herausforderungen bei der Anpassung dieser Architekturen an die Bildkompression:

• Komplexität vs. Leistung: Transformer-basierte Modelle bieten zwar starke Modellierungsfähigkeiten, leiden jedoch unter einer quadratischen Komplexität bezüglich der Sequenzlänge, was sie für hochauflösende Bilder skalierbar macht.
• Verlust der räumlichen Kontinuität: Herkömmliche SSMs (wie Mamba) wurden ursprünglich für 1D-Sequenzen entwickelt. Bei der Anwendung auf 2D-Bildmerkmale werden diese oft in 1D-Sequenzen „geflacht" (flattened). Dies führt dazu, dass die Nachbarschaftsbeziehungen im 2D-Raum gestört werden. Insbesondere diagonale Nachbarschaften gehen bei rein horizontalen oder vertikalen Scan-Patterns verloren, was für die effiziente Kompression suboptimal ist.
• Fehlende Frequenzbewusstheit: Bestehende Entropiemodelle (Hyperpriors) arbeiten meist rein im räumlichen oder Kanalbereich. Die feingranulare Modellierung von Frequenzkomponenten in den Nebeninformationen (Side Information) bleibt weitgehend unerforscht, obwohl Frequenzanalysen (z. B. DCT) traditionell erfolgreich in der Bildkompression sind.

2. Methodik: HCFSSNet

Die Autoren schlagen HCFSSNet (Hybrid Convolution and Frequency State Space Network) vor, eine kompakte hybride Architektur, die lokale Detailmodellierung mit langreichweitiger Kontextaggregation und frequenzbewusster Modulation vereint.

A. Hybrid Convolution–Frequency State Space (HCFSS) Block

Der Kern der Architektur ist der HCFSS-Block, der in der Haupttransformationsstufe (Analysis/Synthesis) verwendet wird. Er teilt die Merkmalskanäle in zwei parallele Zweige auf:

1. CNN-Zweig: Verwendet konvolutionale Schichten zur Verfeinerung lokaler räumlicher Details (starke lokale Induktionsverzerrung).
2. VFSS-Zweig (Vision Frequency State Space): Verantwortlich für die komplementäre Aggregation langreichweitigen Kontexts.

B. Vision Frequency State Space (VFSS) Block

Der VFSS-Zweig besteht aus zwei Hauptkomponenten, die speziell für 2D-Bildmerkmale entwickelt wurden:

• VONSS (Vision Omni-directional Neighborhood State Space): Um das Problem der gestörten Nachbarschaftsbeziehungen bei 1D-Scans zu lösen, führt VONSS ein omnidirektionales Scan-Verfahren ein. Statt nur horizontal und vertikal zu scannen, werden Merkmale entlang vier Richtungen verarbeitet: horizontal, vertikal, diagonal und anti-diagonal (sowie deren Umkehrungen). Dies sorgt für eine vollständigere Abdeckung der 2D-Nachbarschaftsbeziehungen und erhält die räumliche Kohärenz besser als herkömmliche SSM-Varianten.
• AFMM (Adaptive Frequency Modulation Module): Dieses Modul führt eine frequenzbewusste Verfeinerung durch. Es nutzt eine feste Diskrete Kosinustransformation (DCT) (da diese orthogonal und parameterfrei ist), um lokale Fenster in den Frequenzbereich zu transformieren. Anschließend werden adaptive Gewichte auf die DCT-Koeffizienten angewendet (mittels Depthwise-Convolution), um frequenzspezifische Komponenten für die Kompression zu gewichten. Das Ergebnis wird via inverser DCT (IDCT) zurück in den Raum transformiert.

C. Frequenzbewusstes Entropiemodell (FSTAM)

Im Hyperprior-Pfad (zur Modellierung der Nebeninformationen für die Entropiekodierung) wird ein Frequency Swin Transformer Attention Module (FSTAM) eingeführt.

• Dies kombiniert einen Swin-Transformer-Block mit dem AFMM.
• Ziel ist es, die Seiteninformationen (Side Information) frequenzbewusst zu verfeinern, was die Genauigkeit der Bitraten-Schätzung verbessert, ohne die Komplexität des Hauptpfads übermäßig zu erhöhen.

3. Hauptbeiträge

1. HCFSSNet-Architektur: Entwicklung eines kompakten hybriden Netzwerks, das CNNs (lokal) und SSMs (global) in einem einheitlichen Rahmen kombiniert, um die Quadratische Komplexität von Transformern zu vermeiden und die räumlichen Schwächen reiner SSMs zu überwinden.
2. VFSS-Design: Einführung des VONSS-Moduls, das durch omnidirektionale Scans (inkl. Diagonalen) die 2D-Nachbarschaftsbeziehungen in State Space Models besser erhält, sowie des AFMM-Moduls für adaptive Frequenzmodulation basierend auf DCT.
3. FSTAM im Hyperprior: Erste Integration einer frequenzbewussten Verfeinerung speziell im Hyperprior-Pfad zur Verbesserung der Entropiemodellierung.
4. Effizienz-Leistungs-Abwägung: Demonstration, dass ein kompakteres Design (weniger Parameter als State-of-the-Art-Modelle) wettbewerbsfähige Rate-Distortion-Ergebnisse erzielen kann, ohne auf extreme Modellgrößen zurückzugreifen.

4. Ergebnisse

Die Methode wurde auf den Benchmark-Datensätzen Kodak, Tecnick und CLIC Professional Validation evaluiert.

• Rate-Distortion-Leistung: HCFSSNet erzielt gegenüber dem traditionellen VTM-Codec (VTM-23.13) signifikante BD-Rate-Einsparungen:
  • Kodak: -18,06 %
  • Tecnick: -24,56 %
  • CLIC: -22,44 %
• Vergleich mit SOTA: Das Modell konkurriert mit großen CNN-, Transformer- und SSM-basierten Modellen (wie MLIC++ und MambaIC).
  • Parameter: HCFSSNet verwendet 80,97 Mio. Parameter, was deutlich weniger ist als bei MLIC++ (116,72 Mio.) oder MambaIC (123,81 Mio.).
  • Leistung: Obwohl es in einigen Metriken leicht hinter den größten Modellen zurückbleibt (die oft extrem optimierte BD-Rates anstreben), bietet es eine hervorragende Balance zwischen Modellgröße und Kompressionsleistung.
• Qualitative Ergebnisse: Visuelle Vergleiche zeigen, dass HCFSSNet feine Strukturen, Kanten und Texturen besser erhält als viele Vergleichsmethoden, insbesondere bei schwierigen Bereichen.
• Ablationsstudien:
  • Der Ersatz des Cross-Scan-Moduls (CSM) durch VONSS führt zu konsistenten PSNR-Gewinnen.
  • Die Hinzunahme von AFMM verbessert die Rate-Distortion-Leistung weiter (ca. 1–4 % Bitratenreduktion bei gleicher Qualität).
  • FSTAM im Hyperprior liefert stabile, wenn auch kleine Verbesserungen gegenüber reinen Swin-Attention-Modulen.

5. Bedeutung und Fazit

Die Arbeit von HCFSSNet ist signifikant, da sie einen neuen Designpfad für die Bildkompression aufzeigt, der nicht auf die Maximierung der BD-Rate durch immer größere Modelle setzt, sondern auf eine kompakte, hybride Architektur.

• Lösung des 2D-SSM-Problems: Durch die omnidirektionale Scan-Strategie wird das Problem der Diskrepanz zwischen sequenzieller Distanz und räumlicher Nachbarschaft effektiv gelöst.
• Frequenzintegration: Die nahtlose Integration von Frequenzmodulation (DCT-basiert) sowohl im Hauptpfad als auch im Hyperprior-Pfad nutzt die Stärken traditioneller Kompressionsmethoden in modernen Deep-Learning-Architekturen.
• Praktische Relevanz: HCFSSNet bietet eine attraktive Alternative für Anwendungen, bei denen ein Kompromiss zwischen Modellgröße, Rechenkosten und Kompressionsleistung wichtig ist. Es ist nicht das schnellste Modell (aufgrund der Scans und Frequenztransformationen), aber es bietet eine sehr effiziente Leistung pro Parameter.

Zukünftige Arbeiten sollen sich auf leichtere Varianten für niedrigere Latenzzeiten sowie die Erweiterung auf Videokompression konzentrieren.