Improving Image Coding for Machines through Optimizing Encoder via Auxiliary Loss

1. Problématique

Le codage d'images pour les machines (ICM - Image Coding for Machines) vise à compresser des images non pas pour une perception humaine, mais pour l'analyse par des modèles d'intelligence artificielle (comme la détection d'objets ou la segmentation sémantique). L'objectif est de minimiser la taille des données tout en préservant la performance du modèle de reconnaissance en aval.

Deux approches principales existent dans le codage d'images appris (Learned ICM) :

1. Optimisation par perte de tâche (Task Loss) : On entraîne le modèle de compression en utilisant directement la perte du modèle de reconnaissance. Cependant, lorsque le modèle de reconnaissance est profond, la rétropropagation du gradient devient difficile pour les couches peu profondes de l'encodeur, limitant l'optimisation.
2. Allocation de bits basée sur les régions d'intérêt (ROI) : On alloue plus de bits aux zones importantes (foreground). Cette méthode nécessite souvent un réseau supplémentaire pour générer des masques de ROI, ce qui ajoute une surcharge computationnelle (overhead) indésirable sur les dispositifs de bord (edge devices) lors de l'inférence. De plus, définir manuellement les ROI est complexe pour des tâches comme la segmentation sémantique.

Le défi central est donc d'améliorer la capacité de reconnaissance de l'encodeur et les performances taux-distorsion (Rate-Distortion) sans ajouter de complexité lors de l'inférence ni souffrir des difficultés d'optimisation liées à la profondeur des réseaux de reconnaissance.

2. Méthodologie Proposée

Les auteurs proposent une méthode d'entraînement novatrice utilisant une perte auxiliaire (auxiliary loss) appliquée spécifiquement à l'encodeur.

• Architecture :

  • Un modèle de compression appris (ICM) est entraîné conjointement avec un modèle de reconnaissance léger (auxiliaire).
  • Ce modèle auxiliaire est inséré juste avant le décodeur (à la sortie de l'encodeur).
  • Le modèle de reconnaissance principal (fixe et profond) est utilisé pour générer les étiquettes de référence (ou les prédictions sur l'image originale) durant l'entraînement.

• Fonction de Perte :
  La fonction de perte totale $L$ est définie comme suit :
  $$L = R + \lambda \{ E(y, \hat{y}) + \alpha E(y, \hat{y}_{aux}) \}$$
  Où :

  • $R$ est le taux de bits (bitrate).
  • $E(y, \hat{y})$ est la perte de tâche principale (sur l'image reconstruite).
  • $E(y, \hat{y}_{aux})$ est la perte auxiliaire calculée sur la sortie du modèle léger placé avant le décodeur.
  • $\alpha$ est un facteur de pondération pour équilibrer les pertes.

• Mécanisme Clé :
  En plaçant la branche auxiliaire juste avant le décodeur, le gradient de la perte auxiliaire est rétropropagé directement vers l'encodeur (incluant le modèle d'entropie). Cela aide l'encodeur à apprendre quelles informations sont critiques pour la tâche de reconnaissance, agissant comme un mécanisme d'attention implicite, similaire aux méthodes ROI, mais sans nécessiter de masque explicite ni de réseau supplémentaire lors de l'inférence. La branche auxiliaire est supprimée après l'entraînement.

3. Contributions Clés

1. Nouvelle méthode d'entraînement ICM : Introduction de la perte auxiliaire spécifiquement pour optimiser l'encodeur dans le contexte du codage pour les machines.
2. Résolution du problème de profondeur : La méthode contourne la difficulté d'optimisation des couches peu profondes de l'encodeur lorsque le modèle de reconnaissance est profond, en fournissant un signal d'erreur plus direct.
3. Élimination de la surcharge d'inférence : Contrairement aux méthodes basées sur les ROI qui nécessitent un réseau de détection de ROI en temps réel, la méthode proposée n'ajoute aucune complexité computationnelle lors de l'encodage réel (seulement durant l'entraînement).
4. Applicabilité générale : La méthode ne nécessite pas de définir manuellement des régions d'intérêt, ce qui la rend applicable à des tâches complexes comme la segmentation sémantique ou la description d'images (captioning).

4. Résultats Expérimentaux

Les expériences ont été menées sur deux tâches principales : la détection d'objets (avec Faster-RCNN) et la segmentation sémantique (avec DeepLabv3+), utilisant les jeux de données COCO2017 et Pascal-Context59.

• Performances Taux-Distorsion (R-D) :

  • La méthode proposée améliore significativement le taux de bits nécessaire pour atteindre une performance donnée.
  • Gain moyen en BD-rate (Bjøntegaard Delta rate) de 27,7 % pour la détection d'objets.
  • Gain moyen en BD-rate de 20,3 % pour la segmentation sémantique.
  • Ces résultats surpassent à la fois l'entraînement standard sans perte auxiliaire et les méthodes basées sur les ROI (dans le cas de la détection d'objets).

• Analyse de l'allocation de bits :

  • Les cartes d'allocation de bits montrent que le modèle entraîné avec la perte auxiliaire concentre les bits sur les régions critiques (objets, contours de classes) et réduit les bits dans les zones non pertinentes, imitant efficacement une allocation intelligente sans masque explicite.

• Position de la branche auxiliaire :

  • Une étude comparative a montré que placer la branche auxiliaire juste avant le décodeur (sur l'encodeur) est optimal.
  • Si la branche est placée plus profondément (dans le décodeur ou le modèle de tâche), la perte auxiliaire affecte négativement le décodeur ou ne parvient pas à optimiser l'encodeur suffisamment.

5. Signification et Conclusion

Ce travail démontre que l'intégration d'une perte auxiliaire durant l'entraînement est une stratégie efficace pour améliorer les performances du codage d'images pour les machines.

• Impact technique : La méthode résout le compromis classique entre la complexité de l'optimisation (liée à la profondeur des réseaux) et l'efficacité de la compression. Elle permet à l'encodeur d'apprendre à extraire les caractéristiques pertinentes pour la machine sans surcharger le système de transmission.
• Pertinence industrielle : Étant donné que les dispositifs de bord (caméras de surveillance, capteurs autonomes) ont des ressources limitées, l'absence de surcharge d'inférence est un avantage majeur pour le déploiement réel.
• Perspectives : Les auteurs suggèrent que l'utilisation de facteurs de pondération adaptatifs pour la perte auxiliaire pourrait encore améliorer les performances, ouvrant la voie à des recherches futures sur l'optimisation dynamique de ces mécanismes.

En résumé, cette approche offre une solution élégante et performante pour le standard émergent VCM (Video Coding for Machines) de l'MPEG, en améliorant l'efficacité de la compression tout en maintenant, voire en améliorant, la précision des modèles d'IA en aval.