Adaptive Transform Coding for Semantic Compression

1. Enunciato del Problema

Il documento affronta la sfida di comprimere embedding di caratteristiche semantiche (rappresentazioni apprese da modelli di visione) anziché dati grezzi a livello di pixel.

• Contesto: Con l'ascesa dell'AI al bordo della rete (edge AI) e dei modelli fondazionali (ad es. CLIP), i dati visivi sono sempre più elaborati localmente per estrarre il significato semantico (embedding) prima della trasmissione. Questi embedding devono essere compressi per compiti a valle come classificazione, recupero o fusione.
• Limiti dei Metodi Esistenti:
  • Indipendenti dal Compito vs. Specifici per il Compito: Molti metodi di compressione esistenti sono legati a compiti specifici o richiedono un riaddestramento quando cambiano le condizioni operative.
  • Complessità dei Codec Neurali: I metodi di compressione neurale all'avanguardia (codec appresi) sono spesso complessi, scatole nere e privi di interpretabilità.
  • Inefficienza dei Metodi Standard: I metodi lineari tradizionali come l'Analisi delle Componenti Principali (PCA) non riescono a catturare efficacemente la natura eterogenea e non gaussiana delle distribuzioni delle caratteristiche semantiche.
• Obiettivo: Sviluppare uno schema di compressione indipendente dal compito, interpretabile ed efficiente per gli embedding semantici che superi o sia competitivo rispetto ai codec neurali appresi, senza richiedere un addestramento complesso di reti neurali.

2. Metodologia

Gli autori propongono uno schema di Codifica Trasformativa Adattiva (ATC) fondato sulla teoria della velocità-distorsione condizionata di un Modello a Mixture Gaussiana (GMM).

A. Fondamento Teorico

• Modellazione GMM: Il documento modella lo spazio delle caratteristiche semantiche $X$ come una miscela di $K$ componenti gaussiane: $X \sim \sum \pi_c \mathcal{N}(\mu_c, \Sigma_c)$.
• Velocità-Distorsione Condizionata: Invece di trattare la sorgente come una singola distribuzione gaussiana, gli autori derivano uno schema di codifica in cui la trasformata e la quantizzazione sono selezionate in base alla componente della miscela (modo) inferita $C$.
• Limite Assistito dal Genio: Derivano un limite superiore alla funzione velocità-distorsione assumendo che l'indice della componente $C$ sia noto (o trasmesso senza perdite). Ciò porta a una soluzione di "reverse water-filling" in cui la distorsione è allocata tra le componenti e le dimensioni in base a un parametro di qualità globale $\theta$.

B. Lo Schema di Codifica

Il metodo opera in due fasi:

1. Fase di Progettazione Offline:

   • Estrazione delle Caratteristiche: Un encoder semantico congelato (ad es. CLIP, ResNet) estrae gli embedding da un dataset rappresentativo.
   • Adattamento del GMM: Un GMM con $K$ componenti viene adattato a questi embedding.
   • Selezione della Trasformata e del Quantizzatore: Per ogni componente $c$:
     • Calcolare la matrice di covarianza $\Sigma_c$ ed eseguire la decomposizione agli autovalori per ottenere la matrice della Trasformata di Karhunen–Loève (KLT) $U_c$.
     • Applicare l'imbiancamento (whitening) ai dati.
     • Determinare la distorsione target per ogni dimensione utilizzando la regola del reverse water-filling.
     • Selezionare il quantizzatore scalare Lloyd–Max ottimale (da un insieme predefinito) per ogni coefficiente imbiancato per soddisfare l'obiettivo di distorsione.

2. Fase di Codifica Online:

   • Inferenza: Per una nuova immagine, estrarre l'embedding $x$.
   • Selezione del Modo: Stimare la componente della miscela più probabile $\hat{c}$ utilizzando la stima della Massima A Posteriori (MAP) (minimizzando la distanza dalla media della componente aggiustata per covarianza e probabilità a priori).
   • Trasformazione e Quantizzazione:
     • Trasformare l'embedding utilizzando la KLT specifica per $\hat{c}$.
     • Quantizzare i coefficienti utilizzando i quantizzatori Lloyd–Max pre-selezionati per quel modo.
   • Codifica Entropica: Codificare gli indici del quantizzatore e l'indice del modo $\hat{c}$ utilizzando la codifica aritmetica basata sulle rispettive probabilità.
   • Ricostruzione: Il decoder recupera il modo, de-quantizza e applica la trasformata inversa per ricostruire il vettore delle caratteristiche.

C. Ottimizzazione della Complessità

Per affrontare il costo computazionale $O(N^2K)$ dell'adattamento dei GMM a vettori ad alta dimensionalità, gli autori propongono una variante consapevole della complessità:

• Prima, applicare una PCA globale per ridurre la dimensionalità da $N$ a $M$.
• Adattare il GMM nello spazio ridotto a $M$ dimensioni.
• Ciò riduce significativamente lo storage e il calcolo mantenendo le prestazioni.

3. Contributi Chiave

1. Derivazione Teorica: Derivato un limite superiore assistito dal genio per la funzione velocità-distorsione di un GMM, dimostrando che trasformate e quantizzatori dipendenti dal modo governati da un singolo parametro di reverse-water-filling sono ottimali.
2. Algoritmo Pratico: Tradotto la teoria in un codificatore trasformativo adattivo privo di reti neurali, pratico, utilizzando KLT dipendenti dal modo e quantizzatori scalari Lloyd–Max.
3. Prestazioni Superiori: Dimostrato che questo metodo semplice e interpretabile supera o è competitivo rispetto ai codec neurali semantici appresi all'avanguardia (come PQVAE e MBT) su varie backbones di visione (ResNet, MobileNet, ViT) e modelli fondazionali (CLIP).
4. Flessibilità: Il metodo è indipendente dal compito, il che significa che non necessita di riaddestramento per diversi compiti a valle (classificazione, recupero, ecc.).

4. Risultati Sperimentali

Gli autori hanno valutato il metodo su embedding provenienti dai dataset ImageNet, Oxford-IIIT Pet e Food-101 utilizzando modelli come ViT-B/32, ViT-L/14, ResNet50 e MobileNetV3.

• Velocità-Distorsione (MSE): Lo schema adattivo (ATC) ha costantemente superato la codifica trasformativa non adattiva (TC, $K=1$) e le baseline basate su PCA. Si è avvicinato al limite teorico velocità-distorsione più da vicino rispetto ai metodi non adattivi.
• Preservazione Semantica (Similarità Coseno):
  • ATC ha mostrato guadagni significativi nella similarità coseno all'aumentare del numero di componenti della miscela ($K$) (fino a un guadagno del 5% per $K=20$ rispetto a $K=1$).
  • Ha raggiunto una similarità coseno più alta rispetto alla baseline neurale PQVAE nella maggior parte dei punti operativi.
• Prestazioni nei Compiti a Valle (Classificazione Zero-Shot):
  • Su ImageNet, ATC ha mantenuto una precisione vicina al limite superiore non compresso ad alti bitrate e ha superato PQVAE nel regime di bitrate medio.
  • Su Oxford-IIIT Pet e Food-101, ATC ha dimostrato una migliore generalizzazione rispetto sia a PQVAE che al codec neurale MBT.
• Confronto con i Codec Neurali:
  • Sebbene MBT (un codec neurale con codifica entropica) mostrasse prestazioni comparabili o leggermente migliori in alcune metriche, ATC ha raggiunto risultati simili quando la codifica entropica è stata applicata ad ATC.
  • Crucialmente, ATC ottiene questo risultato senza il pesante sovraccarico di addestramento e la natura di scatola nera dei codec neurali.

5. Significato e Conclusione

• Cambiamento di Paradigma: Il documento sfida l'assunzione secondo cui la compressione semantica deve basarsi su complesse reti neurali apprese. Dimostra che i principi classici della teoria dell'informazione (codifica trasformativa) sono altamente efficaci quando adattati alla struttura statistica (GMM) degli embedding semantici.
• Interpretabilità ed Efficienza: Il metodo proposto è trasparente (trasformate e quantizzatori interpretabili) ed efficientemente computazionale (specialmente con la variante PCA), rendendolo adatto al deployment su dispositivi edge.
• Rilevanza per la Standardizzazione: Il lavoro si allinea con standard emergenti come JPEG AI e MPEG Feature Coding for Machines (FCM), offrendo una soluzione robusta e indipendente dal compito per comprimere dati visivi leggibili dalle macchine.

In sintesi, la Codifica Trasformativa Adattiva fornisce un'alternativa semplice, efficace e teoricamente fondata alla compressione semantica basata sul deep learning, raggiungendo prestazioni all'avanguardia mantenendo i benefici della teoria classica della codifica.