Adaptive Transform Coding for Semantic Compression

1. Énoncé du problème

L'article aborde le défi de la compression des embeddings de caractéristiques sémantiques (représentations apprises à partir de modèles de vision) plutôt que des données brutes de pixels.

• Contexte : Avec l'essor de l'IA en périphérie (edge AI) et des modèles de fondation (par exemple, CLIP), les données visuelles sont de plus en plus traitées localement pour extraire le sens sémantique (embeddings) avant transmission. Ces embeddings doivent être compressés pour des tâches en aval telles que la classification, la recherche ou la fusion.
• Limites des méthodes existantes :
  • Indépendance de la tâche vs Spécificité de la tâche : De nombreuses méthodes de compression existantes sont liées à des tâches spécifiques ou nécessitent un réentraînement lorsque les conditions d'exploitation changent.
  • Complexité des codecs neuronaux : Les méthodes de compression neuronale les plus avancées (codecs appris) sont souvent complexes, fonctionnent comme des boîtes noires et manquent d'interprétabilité.
  • Inefficacité des méthodes standard : Les méthodes linéaires traditionnelles comme l'Analyse en Composantes Principales (PCA) échouent à capturer efficacement l'hétérogénéité et la nature non gaussienne des distributions de caractéristiques sémantiques.
• Objectif : Développer un schéma de compression indépendant de la tâche, interprétable et efficace pour les embeddings sémantiques, qui surpasse ou rivalise avec les codecs neuronaux appris sans nécessiter un entraînement complexe de réseaux de neurones.

2. Méthodologie

Les auteurs proposent un schéma de Codage de Transformée Adaptative (ATC) fondé sur la théorie du taux-distorsion conditionnelle d'un Modèle de Mélange Gaussien (GMM).

A. Fondement théorique

• Modélisation GMM : L'article modélise l'espace des caractéristiques sémantiques $X$ comme un mélange de $K$ composantes gaussiennes : $X \sim \sum \pi_c \mathcal{N}(\mu_c, \Sigma_c)$.
• Taux-distorsion conditionnelle : Au lieu de traiter la source comme une seule distribution gaussienne, les auteurs dérivent un schéma de codage où la transformée et la quantification sont sélectionnées en fonction de la composante du mélange (mode) inférée $C$.
• Limite assistée par un génie : Ils dérivent une borne supérieure de la fonction taux-distorsion en supposant que l'indice de composante $C$ est connu (ou transmis sans perte). Cela conduit à une solution de "reverse water-filling" où la distorsion est allouée entre les composantes et les dimensions en fonction d'un paramètre de qualité global $\theta$.

B. Le schéma de codage

La méthode opère en deux étapes :

1. Étape de conception hors ligne :

   • Extraction de caractéristiques : Un encodeur sémantique figé (par exemple, CLIP, ResNet) extrait des embeddings à partir d'un ensemble de données représentatif.
   • Ajustement GMM : Un GMM à $K$ composantes est ajusté à ces embeddings.
   • Sélection de la transformée et du quantificateur : Pour chaque composante $c$ :
     • Calculer la matrice de covariance $\Sigma_c$ et effectuer une décomposition en valeurs propres pour obtenir la matrice de Transformée de Karhunen–Loève (KLT) $U_c$.
     • Appliquer un blanchiment aux données.
     • Déterminer la distorsion cible pour chaque dimension en utilisant la règle de reverse water-filling.
     • Sélectionner le quantificateur scalaire Lloyd–Max optimal (à partir d'un ensemble prédéfini) pour chaque coefficient blanchi afin de respecter l'objectif de distorsion.

2. Étape de codage en ligne :

   • Inférence : Pour une nouvelle image, extraire l'embedding $x$.
   • Sélection du mode : Estimer la composante du mélange la plus probable $\hat{c}$ en utilisant l'estimation du Maximum A Posteriori (MAP) (minimisant la distance à la moyenne de la composante ajustée par la covariance et la probabilité a priori).
   • Transformation et quantification :
     • Transformer l'embedding en utilisant la KLT spécifique à $\hat{c}$.
     • Quantifier les coefficients en utilisant les quantificateurs Lloyd–Max pré-sélectionnés pour ce mode.
   • Codage entropique : Encoder les indices de quantificateur et l'indice de mode $\hat{c}$ en utilisant un codage arithmétique basé sur leurs probabilités respectives.
   • Reconstruction : Le décodeur récupère le mode, déquantifie et applique la transformée inverse pour reconstruire le vecteur de caractéristiques.

C. Optimisation de la complexité

Pour faire face au coût computationnel de $O(N^2K)$ de l'ajustement des GMM aux vecteurs de haute dimension, les auteurs proposent une variante consciente de la complexité :

• D'abord, appliquer une PCA globale pour réduire la dimensionnalité de $N$ à $M$.
• Ajuster le GMM dans l'espace réduit à $M$ dimensions.
• Cela réduit considérablement le stockage et le calcul tout en maintenant les performances.

3. Contributions clés

1. Dérivation théorique : Dérivation d'une borne supérieure assistée par un génie pour la fonction taux-distorsion d'un GMM, montrant que les transformées et quantificateurs dépendants du mode, régis par un seul paramètre de reverse-water-filling, sont optimaux.
2. Algorithme pratique : Traduction de la théorie en un codeur de transformée adaptative sans réseau de neurones pratique, utilisant des KLT dépendantes du mode et des quantificateurs scalaires Lloyd–Max.
3. Performances supérieures : Démonstration que cette méthode simple et interprétable surpasse ou est compétitive avec les codecs neuronaux sémantiques appris les plus avancés (comme PQVAE et MBT) sur diverses architectures de vision (ResNet, MobileNet, ViT) et modèles de fondation (CLIP).
4. Flexibilité : La méthode est indépendante de la tâche, ce qui signifie qu'elle n'a pas besoin d'être réentraînée pour différentes tâches en aval (classification, recherche, etc.).

4. Résultats expérimentaux

Les auteurs ont évalué la méthode sur des embeddings provenant des ensembles de données ImageNet, Oxford-IIIT Pet et Food-101 en utilisant des modèles tels que ViT-B/32, ViT-L/14, ResNet50 et MobileNetV3.

• Taux-distorsion (MSE) : Le schéma adaptatif (ATC) a constamment surpassé le codage de transformée non adaptatif (TC, $K=1$) et les bases de référence basées sur la PCA. Il s'est rapproché de la borne théorique taux-distorsion plus étroitement que les méthodes non adaptatives.
• Préservation sémantique (Similarité cosinus) :
  • L'ATC a montré des gains significatifs en similarité cosinus à mesure que le nombre de composantes du mélange ($K$) augmentait (jusqu'à un gain de 5 % pour $K=20$ contre $K=1$).
  • Il a atteint une similarité cosinus plus élevée que la base de référence neuronale PQVAE sur la plupart des points de fonctionnement.
• Performance des tâches en aval (Classification Zero-Shot) :
  • Sur ImageNet, l'ATC a maintenu une précision proche de la borne supérieure non compressée à haut débit et a surpassé PQVAE dans le régime de débit moyen.
  • Sur Oxford-IIIT Pet et Food-101, l'ATC a démontré une meilleure généralisation que PQVAE et le codec neuronal MBT.
• Comparaison avec les codecs neuronaux :
  • Bien que MBT (un codec neuronal avec codage entropique) ait montré des performances comparables ou légèrement supérieures sur certaines métriques, l'ATC a obtenu des résultats similaires lorsque le codage entropique était appliqué à l'ATC.
  • Crucialement, l'ATC atteint cela sans la lourde charge d'entraînement et la nature boîte noire des codecs neuronaux.

5. Signification et conclusion

• Changement de paradigme : L'article remet en question l'hypothèse selon laquelle la compression sémantique doit reposer sur des réseaux de neurones appris complexes. Il prouve que les principes classiques de la théorie de l'information (codage de transformée) sont hautement efficaces lorsqu'ils sont adaptés à la structure statistique (GMM) des embeddings sémantiques.
• Interprétabilité et efficacité : La méthode proposée est transparente (transformées et quantificateurs interprétables) et computationnellement efficace (surtout avec la variante PCA), ce qui la rend adaptée au déploiement sur des appareils en périphérie.
• Pertinence pour la normalisation : Ce travail s'aligne sur les normes émergentes telles que JPEG AI et le Codage de caractéristiques MPEG pour les machines (FCM), offrant une solution robuste et indépendante de la tâche pour la compression de données visuelles lisibles par machine.

En résumé, le Codage de Transformée Adaptative fournit une alternative simple, efficace et théoriquement fondée à la compression sémantique basée sur l'apprentissage profond, atteignant des performances de pointe tout en conservant les avantages de la théorie classique du codage.