Adaptive Learned Image Compression with Graph Neural Networks

Probleemstelling

Efficiënte beeldcompressie vereist het modelleren van zowel lokale als globale redundantie in afbeeldingen. De huidige state-of-the-art (SOTA) methoden voor Learned Image Compression (LIC) zijn voornamelijk gebaseerd op Convolutionele Neurale Netwerken (CNN's) of Transformers. Deze methoden hebben echter een fundamentele beperking:

• Rigiditeit: CNN-kernen en venster-gebaseerde attentie-mechanismen (window attention) werken met vaste receptieve velden en statische connectiviteitspatronen.
• Onvoldoende aanpassing: Ze koppelen pixels uitsluitend op basis van hun Euclidische nabijheid. Dit betekent dat niet-redundante pixels (bijv. in complexe textuurgebieden) onnodig worden gekoppeld aan irrelevante buren, terwijl globale correlaties over lange afstanden vaak worden gemist.
• Niet-uniforme redundantie: Natuurlijke afbeeldingen vertonen een sterk variërende redundantie: gladde gebieden hebben hoge redundantie (weinig informatie), terwijl textuurrijke of rand-rijke gebieden lage redundantie hebben (veel informatie). Statische netwerken kunnen zich niet efficiënt aanpassen aan deze ruimtelijke variatie.

Methodologie: GLIC

De auteurs stellen GLIC (Graph-based Learned Image Compression) voor, een content-adaptief raamwerk dat Graph Neural Networks (GNN's) gebruikt om dynamische, datagestuurde connectiviteit te realiseren. De kern van de methode is de Graph-based Feature Aggregation (GFA)-blok, die in de latere stadia van een standaard VAE-gebaseerde LIC-architectuur wordt geïntegreerd.

De GFA-blok werkt volgens vier stappen:

1. Dual-Scale Sampling (Flexibele Receptieve Velden):
   Om een groot receptief veld te bereiken zonder de kwadratische complexiteit van een volledig verbonden graf, wordt voor elke pixel (knoop) een dual-scale kandidaatset samengesteld:

   • Dichte lokale sampling: Een vaste venstergrootte rondom de pixel (vergelijkbaar met CNN's) voor het vastleggen van fijne details.
   • Sparze globale sampling: Een mesh-grid sampling (geïnspireerd op dilated convoluties) die pixels op vaste afstanden over het hele beeld selecteert. Dit zorgt voor langeafstandsafhankelijkheden.

2. Complexiteitsbewuste Toewijzing van Naburige Quota's:
   In plaats van een vast aantal buren te gebruiken, wordt het aantal buren per pixel dynamisch bepaald op basis van lokale complexiteit.

   • Er wordt een RMS-Gradient (RMS-G) score berekend per pixel (met behulp van Sobel-filters) om de lokale variatie te meten.
   • Pixels met hoge complexiteit (randen, texturen) krijgen een hoger "budget" aan buren toegewezen, omdat ze meer informatie nodig hebben om redundantie te elimineren.
   • Gladde gebieden krijgen minder buren, wat over-verbinding voorkomt.

3. Grafconstructie:
   Op basis van de kandidaatset en het toegewezen budget, selecteert elke knoop zijn buren door een drempelwaarde op de cosinus-相似iteit (cosine similarity) toe te passen. Een bisection-search algoritme wordt gebruikt om per knoop de optimale drempel te vinden zodat het aantal geselecteerde buren overeenkomt met het doelbudget.

4. Grafaggregatie:
   De kenmerken worden bijgewerkt via een edge-conditioned aggregatiemechanisme, waarbij de bijdrage van elke buur wordt gewogen op basis van hun kenmerk-相似iteit.

Belangrijkste Bijdragen

1. Dual-Scale Grafen: Een architectuur die lokale en globale sampling combineert, waardoor elk pixel relevant knopen kan selecteren uit zowel nabijheid als verre regio's, met een bijna-lineaire complexiteit.
2. Complexiteitsbewuste Scoremechanisme: Een dynamisch systeem dat de connectiviteit (aantal buren) per pixel aanpast op basis van de inhoudelijke complexiteit (RMS-Gradient), wat zorgt voor een efficiëntere verdeling van rekenkracht.
3. GLIC Model: Een volledig werkend LIC-model dat de rigiditeit van CNN's en Transformers doorbreekt en state-of-the-art prestaties levert.

Resultaten

Het GLIC-model is getest op drie veelgebruikte datasets: Kodak, Tecnick en CLIC. De prestaties zijn vergeleken met de traditionele codec VTM-9.1 (de referentie voor H.266/VVC) en andere SOTA LIC-methoden.

• Rate-Distortion Prestaties: GLIC behaalt aanzienlijke verbeteringen in BD-rate (bitrate-reductie bij gelijke kwaliteit) ten opzichte van VTM-9.1:
  • -19,29% op Kodak.
  • -21,69% op Tecnick.
  • -18,71% op CLIC.
  • Het overtreft ook recente LIC-methoden zoals FTIC, TCM-L en MambaIC aanzienlijk.
• Efficiëntie: Ondanks de complexiteit van grafen, behoudt GLIC een hoge efficiëntie. Het heeft een lagere parametercount, FLOPs en decoderingslatentie dan vergelijkbare SOTA-modellen (bijv. 57% minder parameters dan MambaIC).
• Effectieve Receptieve Velden (ERF): Visualisaties tonen aan dat GLIC een veel groter en content-afhankelijk receptief veld heeft dan eerdere methoden. Het model past zijn connectiviteit dynamisch aan: het focust op achtergrondgebieden bij achtergrondpixels en op veren bij parrot-pixels, zelfs als deze ruimtelijk dicht bij elkaar liggen.

Betekenis en Impact

Dit paper markeert een belangrijke stap in de evolutie van beeldcompressie door de overgang van statische, op afstand gebaseerde connectiviteit (CNN/Transformers) naar content-adaptieve, datagestuurde connectiviteit via GNN's.

• Oplossing voor Rigiditeit: Het lost het probleem op van het koppelen van irrelevante pixels en het missen van globale patronen.
• Efficiëntie-Kwaliteit Trade-off: Het bewijst dat complexe grafische methoden niet per se leiden tot onpraktische rekenkosten; door slimme sampling en adaptieve quota's wordt een lineaire complexiteit behouden.
• Toekomstperspectief: De methode biedt een nieuw paradigma voor het modelleren van ruimtelijke redundantie, wat potentieel ook toepasbaar is op andere visuele taken zoals super-resolutie of denoising, waar de relatie tussen pixels niet strikt Euclidisch is.

Kortom, GLIC demonstreert dat het gebruik van grafische netwerken met adaptieve connectiviteit leidt tot superieure compressieprestaties zonder in te boeten op snelheid of geheugengebruik.