Dataset Color Quantization: A Training-Oriented Framework for Dataset-Level Compression

Titel: Dataset Color Quantization (DCQ): Een trainingsgericht kader voor compressie op dataset-niveau

1. Het Probleem

Grote beelddatasets zijn fundamenteel voor het succes van diepe neurale netwerken (DNN's), maar hun opslagvereisten vormen een grote uitdaging voor implementatie op apparaten met beperkte middelen (zoals edge servers, drones en industriële platforms).

• Bestaande oplossingen: Methoden zoals dataset pruning (het verwijderen van samples) en dataset distillation (het samenvatten van datasets) verminderen het aantal trainingsamples, maar negeren vaak de significante redundantie binnen elk individueel beeld, met name in de kleursfeer.
• Beperkingen van huidige kleurbewerking: Bestaande kleurbewerkingstechnieken (Color Quantization - CQ) zijn meestal ontworpen voor menselijke waarneming of inferentie.
  • Op afbeeldingseigenschappen gebaseerde CQ (bijv. K-Means) behoudt geen semantische grenzen goed en verspilt bits aan achtergronden.
  • Op modelperceptie gebaseerde CQ (bijv. ColorCNN) behoudt wel herkenbaarheid, maar introduceert vaak abrupte textuur- en randdiscontinuïteiten die de training van nieuwe modellen verstoren.
• De kernuitdaging: Hoe kan men de opslag van een dataset drastisch verminderen door kleurredundantie te elimineren, zonder de informatie te verliezen die essentieel is voor het trainen van een model?

2. Methodologie: Dataset Color Quantization (DCQ)

De auteurs stellen DCQ voor, een unificerend kader dat datasets comprimeert door kleurredundantie te verminderen terwijl het semantische en structurele integriteit behoudt voor training. Het proces verloopt in drie hoofdstappen (zie Figuur 3 in het paper):

A. Chromaticity-Aware Clustering (CAC)
In plaats van elke afbeelding onafhankelijk te quantiseren (wat leidt tot inconsistente paletten), groepeert DCQ afbeeldingen met vergelijkbare kleurdistributies in clusters.

• Feature Extractie: Er worden features gebruikt uit een shallow layer (vroege laag) van een vooraf getraind model (bijv. ResNet-18). De auteurs tonen aan dat diepere lagen te abstract zijn voor kleurdistributie, terwijl vroege lagen lokale patronen en kleuren beter vastleggen.
• Clustervorming: Met K-Means worden de afbeeldingen ingedeeld in clusters (bijv. 20 clusters voor CIFAR-10). Binnen elke cluster wordt een gedeeld kleurenpalet (shared palette) gegenereerd. Dit zorgt voor consistentie in de kleursfeer binnen een cluster, wat het leren van stabiele semantische grenzen voor het model vergemakkelijkt.

B. Attention-Guided Palette Allocation
Niet alle delen van een afbeelding zijn even belangrijk voor de modelprestatie.

• Impact Level: Het kader onderscheidt tussen "High-Impact Palettes" (cruciaal voor herkenning) en "Low-Impact Palettes".
• Grad-CAM++: Er wordt gebruikgemaakt van Grad-CAM++ om aandachtskaarten (attention maps) te genereren. Pixels met hoge aandachtswaarden (vaak het object of de voorgrond) krijgen prioriteit bij het toewijzen van kleuren in het palet.
• Implementatie: De geselecteerde pixels binnen een cluster worden geaggregeerd, omgezet naar LAB-kleurruimte (voor betere perceptuele gelijkheid) en opnieuw geklusterd om een palet te creëren dat de belangrijkste semantische gebieden beter representeert dan de achtergrond.

C. Texture-Preserved Palette Optimization
Traditionele K-Means-clustering negeert structurele details zoals randen, wat leidt tot vervaging.

• Differentieerbare Optimalisatie: DCQ gebruikt een differentieerbaar optimalisatieproces om het gegenereerde palet te verfijnen.
• Verliesfunctie: Er wordt een verliesfunctie geminimaliseerd die de verschillen in randdistributie ($E_L$) tussen de originele en de gequantiseerde afbeelding meet. Dit wordt berekend met behulp van Sobel-operatoren op de L, A en B kanalen.
• Straight-Through Estimator (STE): Hiermee wordt backpropagatie mogelijk gemaakt door het quantisatieproces, zodat het palet kan worden aangepast om textuur en randen te behouden.

3. Belangrijkste Bijdragen

1. Eerste werk op dit gebied: Dit is het eerste werk dat een oplossing voorstelt voor het representeren van volledige datasets met een beperkt aantal kleurenpaletten, specifiek gericht op het verminderen van opslag en het mogelijk maken van training op apparaten met kleurbegrenzing.
2. Nieuw algoritme: Introductie van een dataset-niveau kleurbewerking algoritme dat drie componenten combineert:
   • Gedeelde kleurenpaletten per cluster (voor consistentie).
   • Aandacht-gestuurde bit-toewijzing (voor semantische prioriteit).
   • Randbehoudende optimalisatie (voor structurele integriteit).
3. Uitgebreide validatie: Het kader is getest op diverse datasets (CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNet-1K) en overtreft bestaande methoden aanzienlijk, zelfs bij extreme compressie.

4. Resultaten

De experimenten tonen aan dat DCQ aanzienlijk beter presteert dan bestaande methoden voor kleurbewerking (zoals ColorCNN, CQFormer, MedianCut) en dataset pruning (zoals EL2N, TDDS, CCS).

• Prestaties bij extreme compressie:
  • Op CIFAR-10 met slechts 2 bits (4 kleuren) bereikt DCQ 89,15% nauwkeurigheid (met ResNet-18). Dit is een verbetering van +30% ten opzichte van ColorCNN (59,15%) en +15% ten opzichte van de beste pruning-methode.
  • Op CIFAR-100 met 2 bits bereikt het 57,69% (vs. 22,32% voor ColorCNN).
  • Op Tiny-ImageNet met 2 bits bereikt het 50,51%.
• Vergelijking met Dataset Pruning: Zelfs bij een compressie van 96% (waarbij slechts 4% van de data overblijft in termen van samples of bits), presteert DCQ beter dan geavanceerde pruning-algoritmen.
• Generalisatie: De methode werkt goed op verschillende netwerkarctitecturen (ResNet-34, ResNet-50, Shufflenet, MobileNet-v2, ViT) en op andere taken zoals objectdetectie en segmentatie.
• Trainingsefficiëntie: In tegenstelling tot pruning, waarbij het aantal updates per epoch vaak moet worden verhoogd om convergentie te behouden, behoudt DCQ de trainingsdynamiek beter door de volledige datasetstructuur te behouden, alleen met minder bits per pixel.

5. Betekenis en Conclusie

Deze paper introduceert een paradigmaverschuiving in datasetcompressie. In plaats van alleen samples te verwijderen (pruning), richt DCQ zich op het verminderen van de inhoudelijke redundantie binnen de samples zelf.

• Significantie: Het biedt een schaalbare en robuuste oplossing voor het opslaan en trainen van modellen op apparaten met beperkte bandbreedte en opslagcapaciteit.
• Toekomstperspectief: De auteurs suggereren dat toekomstig onderzoek zich kan richten op adaptieve, per-afbeelding quantisatiestrategieën en het ontwikkelen van neurale architecturen die specifiek zijn geoptimaliseerd voor kleurgequantiseerde data, in plaats van volledige RGB-afbeeldingen.

Kortom, DCQ bewijst dat het slim comprimeren van de kleursfeer, in plaats van het verwijderen van data, een krachtige manier is om deep learning efficiënter te maken zonder in te leveren op prestaties.