HiDE: Hierarchical Dictionary-Based Entropy Modeling for Learned Image Compression

Het artikel introduceert HiDE, een hiërarchisch model voor geleerde afbeeldingscompressie dat externe priors via een gestructureerde tweelaagse woordenboekretrieval en een contextbewuste schatter efficiënter benut dan bestaande methoden, wat leidt tot aanzienlijke bitrate-reducties.

De kern

HiDE: De Slimme Archiefbewaarder voor Je Foto's

Stel je voor dat je een enorme fotoalbum hebt met duizenden prachtige foto's. Je wilt deze album opslaan op je computer, maar de bestanden zijn te groot. Je moet ze comprimeren (verkleinen) zonder dat de foto's er vies uitzien. Dit is precies wat HiDE doet, maar dan op een heel slimme manier.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Verkeerde" Hulp

Bij het verkleinen van foto's gebruiken computers een soort "gokkerij". Ze proberen te voorspellen hoe een klein stukje van de foto eruit zal zien, zodat ze alleen het verschil hoeven op te slaan. Hoe beter ze kunnen voorspellen, hoe minder ruimte het kost.

Tot nu toe keken deze programma's alleen naar de foto zelf (de "interne context"). Ze zagen: "Oh, hier is een blauwe lucht, dus de volgende pixels zijn waarschijnlijk ook blauw."

Maar er is een probleem: recente methoden probeerden een groot woordenboek met voorbeelden uit duizenden andere foto's te gebruiken om te helpen voorspellen. Het probleem was dat dit woordenboek te simpel was. Het was als een grote stapel met alleen maar één soort kaartje: "Blauwe lucht".

• Het resultaat: De computer gebruikte steeds weer hetzelfde kaartje voor alles. Voor een strakke muur, voor een wazige boom, voor een wolkenkrabber... allemaal hetzelfde kaartje. Dit heet in de vaktaal "representational collapse" (een ineenstorting van de variatie). Het woordenboek werd nutteloos omdat het niet specifiek genoeg was.

2. De Oplossing van HiDE: Twee Gespecialiseerde Bibliotheken

HiDE lost dit op door het grote woordenboek op te splitsen in twee gespecialiseerde bibliotheken:

1. De "Grote Plattegrond" (Globaal Woordenboek): Deze bibliotheek bevat alleen grote structuren. Denk aan de vorm van een huis, de lijn van een horizon of de algemene vorm van een gezicht. Het zegt: "Oké, dit is een gebouw."
2. De "Detailmap" (Lokaal Woordenboek): Deze bibliotheek bevat alleen de fijne details. Denk aan de bakstenen in de muur, de rimpels in de huid of de bladeren op een boom.

Hoe het werkt (De Kettingreactie):
Stel je voor dat je een foto van een kathedraal wilt comprimeren.

• Stap 1: HiDE kijkt eerst naar de "Grote Plattegrond" en zegt: "Ah, dit is een gotisch gebouw."
• Stap 2: Pas na dat hij dat weet, kijkt hij naar de "Detailmap". Omdat hij nu weet dat het een kathedraal is, zoekt hij niet naar "strandzand" of "auto's", maar specifiek naar "steen en glas".
• Het effect: Het systeem gebruikt nu precies het juiste hulpmiddel voor de juiste situatie. Geen enkele kaart wordt meer vergeten, en de voorspelling wordt veel nauwkeuriger.

3. De Slimme Vertaler (Context-aware Parameter Estimation)

Zelfs met twee perfecte bibliotheken heb je nog een probleem: je hebt iemand nodig die de informatie uit die bibliotheken kan vertalen naar de taal van de compressor.

Vroeger gebruikten computers een simpele, starre vertaler (een "eendimensionale bril"). Hij keek naar alles met dezelfde scherpte, of het nu om een grote vorm of een klein detail ging.

HiDE introduceert een nieuwe vertaler die een multifocale bril draagt:

• Hij heeft lenzen voor korte afstand (voor kleine details).
• Hij heeft lenzen voor middellange afstand (voor groepen pixels).
• Hij heeft lenzen voor lange afstand (voor de grote structuur).

Deze vertaler kijkt tegelijkertijd door al deze lenzen. Hij kan zien hoe een grote vorm (uit bibliotheek 1) en een klein detail (uit bibliotheek 2) samenwerken, en vertaalt dit perfect naar de instructies voor het comprimeren.

4. Het Resultaat: Meer Foto's in Minder Ruimte

Doordat HiDE zo slim is in het kiezen van de juiste hulpbronnen en het vertalen van die informatie, kan het de foto's veel kleiner maken zonder kwaliteitsverlies.

• Vergelijking: Als je een standaard compressor (zoals VVC) gebruikt, heb je voor een bepaalde kwaliteit 100 MB nodig.
• Met HiDE: Je hebt voor dezelfde kwaliteit maar 76 MB nodig (een besparing van ongeveer 24% op de moeilijkste foto's).

Samenvattend

HiDE is als een meester-architect die een foto comprimeert:

1. Hij heeft geen één groot, rommelig archief, maar twee gespecialiseerde bibliotheken (één voor de bouwtekening, één voor de stenen).
2. Hij werkt stap voor stap: eerst de grote lijnen, dan de details.
3. Hij heeft een slimme vertaler die alle informatie tegelijk begrijpt, ongeacht hoe groot of klein het detail is.

Het resultaat? Je kunt je foto's veel efficiënter opslaan, sneller versturen en ze zien er nog steeds scherp uit.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het paper "HiDE: Hierarchical Dictionary-Based Entropy Modeling for Learned Image Compression" in het Nederlands.

Probleemstelling

Learned Image Compression (LIC) heeft aanzienlijke vooruitgang geboekt in compressie-efficiëntie, waarbij het entropiemodel een cruciale rol speelt bij het minimaliseren van de bitrate door het modelleren van de waarschijnlijkheidsverdeling van latente representaties. Bestaande methoden vertrouwen echter voornamelijk op interne context (informatie binnen de invoerafbeelding zelf) en laten de rijke externe priors (statistische patronen uit grote trainingsdatasets) grotendeels onbenut.

Recente werken, zoals het Dictionary-based Cross-Attention Entropy model (DCAE), hebben geprobeerd externe priors te integreren via een leerbare dictionary. Echter, deze aanpak kent twee fundamentele beperkingen:

1. Representatie-inzinking (Representation Collapse): Door alle visuele patronen in één enkel niveau (single-level) dictionary te organiseren, wordt de dictionary onevenwichtig gebruikt. Een klein aantal "winnaar"-entries domineert de retrieval, terwijl de meeste entries zelden worden gebruikt. Dit leidt tot een gebrek aan representatieve diversiteit.
2. Onderschatting van context: Bestaande schattingen van entropie-parameters gebruiken vaak ondiepe convolutienetwerken met vaste receptieve velden. Deze zijn niet in staat om de heterogene contexten (globale statistieken, lokale causale afhankelijkheden en externe dictionary-priors) effectief te interpreteren en te combineren voor een nauwkeurige conditionele waarschijnlijkheidsschatting.

Methodologie: HiDE Framework

De auteurs stellen HiDE (Hierarchical Dictionary-based Entropy modeling) voor, een framework dat bestaat uit twee kerncomponenten:

1. Hiërarchische Dictionary-based Context Model (HD)

Om het probleem van representatie-inzinking op te lossen, deconstrueert HiDE externe priors in twee complementaire dictionaries die in een cascade-retrieval worden opgehaald:

• Globale Structurele Dictionary ($\delta_G$): Vangt globale patronen en lange-afstandsafhankelijkheden op.
• Lokale Detail Dictionary ($\delta_D$): Richt zich op fijnkorrelige texturen en lokale afhankelijkheden.

Het Retrieval-proces:

• Fase 1 (Globaal): De invoercontext queryt eerst de globale dictionary om een ruwe structurele prior ($C_{Gi}$) te verkrijgen via cross-attention.
• Fase 2 (Detail): De verkregen globale prior wordt gebruikt als voorwaarde (conditioning) voor het queryen van de detail dictionary. Hierdoor wordt de selectie van texturen semantisch consistent met de globale structuur, wat leidt tot een gebalanceerder gebruik van de dictionary-entries.
• Fusie: De verkregen globale en detail contexten worden gefuseerd met de interne context via een residuale connectie, zodat de externe kennis de interne context verrijkt zonder deze te vervangen.

2. Context-bewuste Parameter Schatting (CaPE)

Om de diverse priors (hyperpriors, autoregressieve context en dictionary-priors) effectief te vertalen naar entropie-parameters, introduceert HiDE een Context-aware Parameter Estimation (CaPE) module.

• Parallelle Multi-Receptieve Velden: In plaats van een enkel convolutielayer, gebruikt CaPE parallelle takken met verschillende kernelgroottes (3x3, 5x5, 7x7). Hierdoor kunnen zowel lokale als globale afhankelijkheden in de heterogene context worden gevangen.
• Taak-specifieke Heads: De gefuseerde context wordt gebruikt door lichte, specifieke "heads" om de parameters van de Gaussische verdeling (gemiddelde $\mu$ en standaardafwijking $\sigma$) en de kwantisatie-residu ($r$) te voorspellen.

Belangrijkste Bijdragen

1. Hiërarchische Dictionary Architectuur: Een nieuw framework dat externe priors decomposeert in globale en lokale dictionaries, wat leidt tot gestructureerd en efficiënt gebruik van externe informatie en representatie-inzinking voorkomt.
2. Context-bewuste Schatting (CaPE): Een innovatieve schattingsmodule met parallelle multi-receptieve velden die heterogene contexten adaptief exploiteert voor nauwkeurigere conditionele waarschijnlijkheidsschattingen.
3. State-of-the-Art Prestaties: HiDE overtreft bestaande methoden aanzienlijk op diverse benchmarks, met name op hogere resoluties, terwijl de decoderingslatentie vergelijkbaar blijft.

Resultaten

De prestaties van HiDE zijn geëvalueerd op drie benchmarks: Kodak, CLIC en Tecnick. De resultaten worden gemeten in BD-rate (Bjontegaard Delta Rate) ten opzichte van de VTM-12.1 (VVC) standaard.

• Compressie-efficiëntie:

  • Kodak: 18,5% BD-rate besparing.
  • CLIC: 21,99% BD-rate besparing.
  • Tecnick: 24,01% BD-rate besparing.
  • HiDE presteert consequent beter dan de huidige state-of-the-art methoden, waaronder DCAE, MLIC++ en TCM.

• Ablatie Studies:

  • Het toevoegen van de hiërarchische dictionary (+HD) aan een DCAE-baseline leverde een verbetering van 1,35% op.
  • Het vervangen van de standaard schatter door CaPE (+CaPE) leverde een verbetering van 2,82% op.
  • De combinatie van beide (HiDE) resulteerde in een totale verbetering van 3,81% ten opzichte van DCAE.

• Visualisatie: Analyse van de voorspelde verdelingen toont aan dat HiDE kleinere voorspellingsfouten en lagere standaardafwijkingen ($\sigma$) produceert, wat wijst op een hogere zekerheid in de schatting en betere decorrelatie van de latente ruimte.

Significantie

Dit paper markeert een belangrijke stap in de evolutie van Learned Image Compression door twee fundamentele beperkingen van eerdere modellen aan te pakken:

1. Het bewijst dat het hiërarchisch organiseren van externe kennis (globaal vs. lokaal) essentieel is om de volledige capaciteit van grote datasets te benutten zonder in representatie-inzinking te vervallen.
2. Het benadrukt dat het ontwerp van de parameter-schatter net zo belangrijk is als de kwaliteit van de priors zelf; het gebruik van multi-receptieve velden is noodzakelijk om complexe, heterogene contexten te decoderen.

HiDE biedt een robuust en schaalbaar framework dat de grenzen van compressie-efficiëntie verlegt, met name voor complexe afbeeldingen met zowel globale structuren als fijne texturen, zonder een onaanvaardbare toename in rekenkracht of decoderingslatentie.