PaaF: Raising the perceived quality of INR-Based Image Compression

Technische Samenvatting: PaaF – Het verhogen van de waargenomen kwaliteit van op INR gebaseerde beeldcompressie

Probleemstelling
Implicit Neural Representations (INRs) bieden een paradigma voor beeldcompressie waarbij afbeeldingen worden gerepresenteerd als functies die coördinaten mappen naar kleuren, benaderd door neurale netwerken. Hoewel deze aanpak resolutie-onafhankelijkheid en paralleliseerbare decodering mogelijk maakt, lijden bestaande INR-gebaseerde codecs onder twee primaire beperkingen: prohibitief lange encodingtijden (vaak urenlang) en een hardnekkige prestatiekloof in klassieke kwaliteitsmetrieken (zoals PSNR) vergeleken met traditionele codecs (bijv. JPEG) en geleerde latent-gebaseerde methoden. Eerdere pogingen om INR-compressie te verbeteren, zoals meta-learning of hybride benaderingen, hebben ofwel beperkingen geïntroduceerd die gekoppeld zijn aan specifieke trainingsdata, ofwel de complexiteit van het decodatieproces verhoogd.

Methodologie: PaaF (Picture as a Function)
De auteurs stellen PaaF voor, een zuiver INR-gebaseerde beeldcodec die is ontworpen om de rate-distortion prestaties te verbeteren met behoud van de eenvoud en paralleliseerbaarheid van INR-decodering. De methodologie integreert verschillende innovatieve technische componenten:

1. Coördinaat-gebaseerde Representatie & Voorverwerking:

   • Afbeeldingen worden gemapt van pixelcoördinaten $(p_x, p_y)$ naar genormaliseerde coördinaten $(c_x, c_y) \in [-1, 1]$.
   • Een kleurenruimte-transformatie zet RGB om naar YCbCr, gevolgd door per kanaal gemiddeldeaftrekking en normalisatie naar $[-1, 1]$. Dit verbetert de reconstructiekwaliteit empirisch.

2. Exponentiële Architecturale Configuratie:

   • Om de bits-per-pixel ratio te optimaliseren, gebruikt het netwerk een exponentiële heuristiek voor het aantal features in de lagen. Het aantal features neemt exponentieel af met de diepte van de laag, wat diepte-proportionele bottlenecks creëert.
   • Weight restarts en perturbatiebereiken nemen ook exponentieel af tijdens de training.

3. Zelf-modulerende SIREN Activaties:

   • Het netwerk maakt gebruik van een enkele, lichte module waarbij alle lagen (behalve de 'tail') zelf-modulerende sinusvormige activaties (SIRENs) gebruiken.
   • In tegenstelling tot traditionele SIRENs die hulp-modulatienetwerken vereisen, samplet PaaF deterministisch fase-offsets ($\phi_i$) en periode-modulaties ($\omega_i$) op basis van de output feature index. Deze parameters zijn regenereerbaar via gedeelde pseudo-random number generator instellingen, waardoor het niet nodig is om ze in de bitstream te verzenden.

4. Fijnmazige Adaptieve Kwantisatie:

   • Het artikel introduceert een niet-uniform kwantisatieschema dat wordt gemotiveerd door de observatie dat de gewichten na de training een Laplacische distributie volgen.
   • In plaats van fixed-bit strategieën gebruikt PaaF een schaalfactor $s$ en een symboolaantal $M = 2^e$ (waarbij $e$ niet noodzakelijkerwijs een geheel getal is) om waarden naar discrete gehele getallen te mappen.
   • Een efficiënte dichotome zoekopdracht wordt ingezet om de optimale $e$ te vinden die de rate-distortion trade-off minimaliseert, waarbij een balans wordt gezocht tussen reductie van de rate en kwaliteitsverlies.

5. Entropy Coding en Trainingspipeline:

   • Gekwantiseerde parameters worden gecomprimeerd met behulp van Brotli en een range coder, waarbij de beste distributie (Laplacian of Gaussian) voor de specifieke dataset wordt geselecteerd.
   • De trainingspipeline omvat iteratieve fitting met weight perturbation en dataset-subdivisie (pixel unshuffling) om de rekenkracht per stap te verminderen. Kwantisatie wordt geïntegreerd in het selectieproces aan het einde van elke epoch, gevolgd door volledige quantization-aware fine-tuning.

6. Verliesfuncties (Loss Functions):

   • De auteurs passen verliesfuncties aan voor specifieke presets:
     • PSNR: Gebruikt een wiskundig stabiele benadering van $\log(\cosh(x))$.
     • MS-SSIM: Combineert L1 loss met SSIM.
     • Visueel: Een combinatie van LogCosh en SSIM, ontworpen om de perceptuele kwaliteit te optimaliseren.

Belangrijkste Bijdragen

• PaaF Codec: Een nieuwe, open-source beeldcodec gebaseerd op zuivere INRs die afwijkt van hybride of latent-gebaseerde oplossingen.
• Architecturale Innovaties: Introductie van zelf-modulerende SIREN-lagen die de noodzaak voor hulp-modulatienetwerken wegnemen, en een nieuwe exponentiële configuratie voor netwerkdiepte.
• Adaptieve Kwantisatie: Een flexibel kwantisatieschema dat fixed-bit strategieën vervangt, waardoor niet-macht-van-2 symboolaantallen mogelijk zijn om beter aan te sluiten bij de gewichtsdistributie.
• Uitgebreide Evaluatie: Een rigoureuze benchmarking van PaaF tegenover bestaande zuiver INR-gebaseerde methoden (COIN, ICE, Strümpler et al., NIF) en een traditionele baseline (JPEG) op de Kodak en CLIC2020 datasets.

Experimentele Resultaten

• Kwantitatieve Prestaties: Op de Kodak-dataset presteert PaaF beter dan alle vergeleken INR-gebaseerde methoden over alle metrieken (PSNR, MS-SSIM, LPIPS) en bitrates. Op de hoog-resolutie CLIC2020-dataset toont PaaF bijzonder sterke voordelen in perceptuele metrieken (LPIPS), waarbij BD-Rate winsten tot -87% worden behaald ten opzien van concurrenten in bepaalde configuraties.
• Ablatie-studies: Experimenten bevestigen dat het adaptieve kwantisatieschema aanzienlijk beter presteert dan fixed-bit kwantisatie (6, 7, 8 en 12 bits), vooral bij hogere kwaliteitsencodings. De voorgestelde combinatie van verliesfuncties (LogCosh/SSIM) demonstreert ook superieure prestaties ten opzichte van standaard L2 of L2+SSIM combinaties, met name in LPIPS.
• Kwalitatieve Analyse: Visuele vergelijkingen laten zien dat PaaF (specifiek de "Visual" preset) de wazigheid en artefacten (zoals kleuraliasing en golvende patronen) vermindert die zichtbaar zijn bij JPEG en andere INR-methoden, en hoogfrequente details zoals wandranden en boombladeren getrouw reconstrueert bij lage bitrates.

Significantie en Claims
Het artikel claimt dat PaaF erin slaagt de kloof tussen functionele representaties en gevestigde compressieparadigma's te verkleinen. Door de architecturale vormgeving te verbeteren en adaptieve kwantisatie te introduceren, laten de auteurs zien dat zuiver INR-gebaseerde methoden consistente verbeteringen kunnen bereiken in zowel kwantitatieve metrieken als perceptuele kwaliteit zonder te vertroukken op hybride latent-representaties.

De auteurs benadrukken dat hoewel INR-gebaseerde methoden nog steeds per-afbeelding training vereisen (een beperking met betrekking tot de encodingtijd), het decodatieproces efficiënt, paralleliseerbaar en in staat is om hoogwaardige, artefact-vrije reconstructies te produceren. Het werk suggereert dat functionele datarepresentaties een groot potentieel hebben om multimedia-compressie te revolutioneren, mits computationele optimalisaties en subjectieve kwaliteitsstudies blijven vorderen. De auteurs positioneren PaaF niet als een directe concurrent van alle bestaande codecs, maar als een significante vooruitgang binnen het specifieke domein van zuiver INR-gebaseerde compressie.