Improving Image Coding for Machines through Optimizing Encoder via Auxiliary Loss

Probleemstelling

Image Coding for Machines (ICM) richt zich op het comprimeren van afbeeldingen voor machine-analyse (zoals objectdetectie en semantische segmentatie) in plaats van voor menselijke waarneming. Het doel is om de datagrootte te minimaliseren terwijl de prestaties van het herkenningsmodel (bijv. een Deep Neural Network) optimaal blijven.

De auteurs identificeren twee bestaande benaderingen in learned ICM en hun beperkingen:

1. Optimalisatie op basis van taakverlies (Task Loss): Hierbij wordt de compressiemodel direct getraind met het verlies van het herkenningsmodel. Het nadeel is dat dit moeilijk te optimaliseren wordt wanneer het herkenningsmodel zeer diep is. Door de aard van backpropagation is het voor de encoder (die zich in de lagere lagen bevindt) lastig om voldoende "herkenningskennis" te verwerven.
2. Bittoewijzing op basis van Gebieden van Interesse (ROI): Hierbij krijgen belangrijke gebieden (voorgrond) meer bits dan de achtergrond. Het nadeel is dat dit vaak extra overhead vereist op de encoder-kant (edge devices) om de ROI-kaarten te genereren tijdens evaluatie. Bovendien is het definiëren van ROI's complex voor taken zoals semantische segmentatie of beeldbeschrijving, waar de achtergrond ook belangrijke informatie bevat.

Methodologie

De auteurs stellen een nieuwe trainingsmethode voor die hulpverlies (auxiliary loss) toepast op de encoder van het ICM-model.

• Architectuur: Tijdens het trainingstraject wordt een lichtgewicht herkenningmodel (de "auxiliary branch") toegevoegd direct voor de decoder van het compressiemodel. Dit model is een vereenvoudigde versie van het hoofdherkenningmodel.
• Verliesfunctie: De totale verliesfunctie ($L$) wordt als volgt gedefinieerd:
  $$L = R + \lambda \{ E(y, \hat{y}) + \alpha E(y, \hat{y}_{aux}) \}$$
  Waarbij:
  • $R$: De geschatte bitrate.
  • $E(y, \hat{y})$: Het hoofdverlies van de taak (gebaseerd op het output van het diepe herkenningmodel).
  • $E(y, \hat{y}_{aux})$: Het hulpverlies, berekend op basis van de output van het lichtgewicht model ($\hat{y}_{aux}$).
  • $\alpha$: Een wegingsfactor om het belang van het hulpverlies te balanceren.
• Backpropagatie: Omdat de hulpbranch direct voor de decoder is geplaatst, wordt het hulpverlies direct teruggepropageerd naar de encoder (inclusief het entropiemodel). Dit helpt de encoder om informatie te identificeren die cruciaal is voor de taak, zonder dat het diepe herkenningmodel zelf hoeft te worden aangepast.
• Evaluatie: Belangrijk is dat de hulpbranch alleen tijdens het trainen wordt gebruikt. Tijdens de inferentie (evaluatie) wordt deze verwijderd, waardoor er geen extra overhead ontstaat op de encoder-kant.

Belangrijkste Bijdragen

1. Innovatieve Training: Het is de eerste toepassing van hulpverlies specifiek voor het trainen van ICM-modellen om de optimalisatie van de encoder te verbeteren bij diepe herkenningstaken.
2. Oplossing voor Gradient Problemen: De methode lost het probleem op waarbij de encoder niet voldoende herkenningskennis kan verwerven bij diepe netwerken, door een kortere backpropagatie-pool te creëren via de hulpbranch.
3. Geen Evaluatie-Overhead: In tegenstelling tot ROI-gebaseerde methoden, vereist deze aanpak geen extra berekeningen of netwerken tijdens de daadwerkelijke compressie/evaluatie.
4. Universele Toepasbaarheid: De methode vereist geen handmatige definitie van ROI's en werkt daarom ook goed voor taken waar de achtergrond relevant is (zoals segmentatie).

Resultaten

De auteurs hebben hun methode getest op twee taken: Objectdetectie (met Faster-RCNN) en Semantische Segmentatie (met DeepLabv3+), gebruikmakend van de COCO2017 en Pascal-Context59 datasets.

• Prestatieverbetering (BD-rate): De methode leidde tot aanzienlijke verbeteringen in de Bitrate-Distortion (R-D) prestaties, gemeten in Bjøntegaard Delta rate (BD-rate):
  • Objectdetectie: Een verbetering van 27,7%.
  • Semantische Segmentatie: Een verbetering van 20,3%.
• Vergelijking met Bestaande Methoden: De voorgestelde methode presteerde beter dan de traditionele trainingsmethode zonder hulpverlies en ook beter dan de ROI-gebaseerde methode (bij objectdetectie).
• Bittoewijzing: Visuele analyse van de bittoewijzingskaarten toonde aan dat het model met hulpverlies meer bits toewijst aan belangrijke gebieden (zoals objecten en randen) en minder aan irrelevante achtergrondgebieden, wat aantoont dat de encoder effectiever is geworden in het selecteren van relevante informatie.
• Positie van de Hulpbranch: Experimenten toonden aan dat het plaatsen van de hulpbranch direct voor de decoder (en dus gericht op de encoder) de beste resultaten oplevert. Het plaatsen ervan dieper in het decoder- of herkenningmodel had een minder gunstig effect, mogelijk omdat het de decoder onnodig beïnvloedt.

Betekenis en Conclusie

Deze studie biedt een efficiënte en effectieve oplossing voor het trainen van Learned Image Compression for Machines. Door het gebruik van hulpverlies kunnen ICM-modellen beter leren welke informatie belangrijk is voor machine-taken, zelfs wanneer de doelherkenningmodellen zeer complex en diep zijn.

De belangrijkste implicatie is dat het mogelijk is om de compressie-efficiëntie voor machines aanzienlijk te verbeteren zonder de rekenkracht op de edge-apparaten (de encoder) te belasten tijdens de daadwerkelijke werking. Dit maakt de technologie zeer geschikt voor real-world toepassingen zoals videobewaking en cloud-gebaseerde AI-systemen, waar bandbreedte beperkt is maar analysekwaliteit cruciaal moet blijven.