Improving Image Coding for Machines through Optimizing Encoder via Auxiliary Loss

1. Il Problema

La Codifica di Immagini per Macchine (ICM - Image Coding for Machines) mira a comprimere le immagini ottimizzate per l'analisi automatica tramite modelli di riconoscimento (es. rilevamento di oggetti, segmentazione semantica) piuttosto che per la visione umana. A differenza dei codec tradizionali (come HEVC o VVC) che massimizzano la qualità visiva, l'ICM deve minimizzare il bitrate preservando le informazioni critiche per il compito di machine learning.

Esistono due approcci principali nella letteratura sull'ICM appresa (Learned ICM):

1. Ottimizzazione basata sulla Loss del Task: Si addestra il modello di compressione utilizzando direttamente la loss del modello di riconoscimento. Tuttavia, quando il modello di riconoscimento è profondo, l'ottimizzazione tramite backpropagation diventa difficile per gli strati più superficiali (dove risiede il codificatore), limitando la capacità del codificatore di apprendere le caratteristiche necessarie.
2. Allocazione dei Bit basata su ROI (Region of Interest): Si assegnano più bit alle regioni di interesse (es. oggetti in primo piano). Questo metodo richiede spesso un modello aggiuntivo per generare mappe di ROI durante la fase di valutazione, introducendo un overhead computazionale indesiderato, specialmente sui dispositivi edge con risorse limitate. Inoltre, definire le ROI è complesso per task come la segmentazione semantica o la descrizione di immagini.

2. Metodologia Proposta

Gli autori propongono un nuovo metodo di addestramento che utilizza una Loss Ausiliaria (Auxiliary Loss) per migliorare le capacità di riconoscimento del codificatore senza aggiungere overhead durante l'inferenza.

• Architettura: Durante la fase di addestramento, viene inserito un ramo ausiliario (una rete di riconoscimento leggera basata sul modello principale) immediatamente prima del decodificatore del modello di compressione.
• Funzione di Loss: La funzione di perdita totale ($L$) è definita come:
  $$L = R + \lambda \{ E(y, \hat{y}) + \alpha E(y, \hat{y}_{aux}) \}$$
  Dove:
  • $R$ è il bitrate stimato.
  • $E(y, \hat{y})$ è la loss principale del task (basata sull'output del modello di riconoscimento completo).
  • $E(y, \hat{y}_{aux})$ è la loss calcolata sull'output del ramo ausiliario.
  • $\alpha$ è un fattore di peso che bilancia le due loss.
• Meccanismo di Funzionamento: Poiché il ramo ausiliario è posizionato prima del decodificatore, il gradiente della loss ausiliaria viene retropropagato direttamente al codificatore. Questo aiuta il codificatore a imparare quali informazioni sono cruciali per il task di riconoscimento, agendo in modo simile a un'allocazione intelligente dei bit (simile alle ROI) ma senza richiedere la definizione esplicita di maschere o modelli aggiuntivi durante la fase di test.
• Vantaggio Chiave: Il ramo ausiliario viene rimosso dopo l'addestramento. Di conseguenza, non vi è alcun costo computazionale aggiuntivo durante l'inferenza (fase di decodifica/analisi), a differenza dei metodi basati su ROI.

3. Contributi Chiave

• Innovazione nell'uso della Loss Ausiliaria: È il primo studio che applica specificamente la loss ausiliaria all'addestramento di modelli ICM per superare le difficoltà di ottimizzazione nei codificatori quando si utilizzano modelli di riconoscimento profondi.
• Eliminazione dell'Overhead: Il metodo migliora le prestazioni del codificatore senza richiedere risorse aggiuntive durante la fase di valutazione, rendendolo ideale per scenari Edge-Cloud.
• Versatilità: A differenza dei metodi basati su ROI, questo approccio non richiede la definizione manuale o automatica di regioni di interesse, rendendolo applicabile a task complessi come la segmentazione semantica (dove anche lo sfondo è informativo) e la captioning.
• Miglioramento delle Capacità di Riconoscimento del Codificatore: Dimostra che la loss ausiliaria guida il codificatore a concentrare l'allocazione dei bit sulle regioni semanticamente rilevanti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due task principali: Rilevamento di Oggetti (Object Detection) e Segmentazione Semantica.

• Dataset e Modelli:
  • Object Detection: Dataset COCO2017, modello di compressione Cheng2020attn, riconoscimento con Faster-RCNN (ResNeXt101).
  • Segmentazione Semantica: Dataset Pascal-Context59, riconoscimento con DeepLabv3+ (ResNet101).
• Metriche: È stata utilizzata la metrica Bjøntegaard Delta Rate (BD-rate) per valutare il miglioramento delle prestazioni Rate-Distortion (R-D).
• Risultati Quantitativi:
  • Per il Rilevamento di Oggetti, il metodo proposto ha ottenuto un miglioramento medio del 27,7% nel BD-rate rispetto al metodo convenzionale (senza loss ausiliaria).
  • Per la Segmentazione Semantica, il miglioramento medio è stato del 20,3%.
  • Il metodo proposto ha superato anche l'approccio basato su ROI (con maschere GT) nel task di rilevamento di oggetti.
• Analisi Qualitativa: Le mappe di allocazione dei bit mostrano che il modello addestrato con loss ausiliaria concentra più bit sulle regioni critiche (oggetti e bordi delle classi) e riduce i bit nelle aree meno rilevanti, confermando un miglioramento nella capacità di estrazione delle caratteristiche del codificatore.
• Posizionamento del Ramo Ausiliario: Esperimenti su diverse posizioni di inserimento del ramo ausiliario hanno confermato che posizionarlo immediatamente prima del decodificatore (coinvolgendo direttamente il codificatore) è la configurazione ottimale per massimizzare i benefici senza influenzare negativamente la loss principale.

5. Significato e Conclusioni

Questo lavoro rappresenta un passo significativo nell'evoluzione della codifica per macchine. Risolve il compromesso tra l'efficacia dell'ottimizzazione basata sul task (che fatica con modelli profondi) e l'efficienza operativa (evitando l'overhead dei metodi ROI).

La proposta dimostra che è possibile addestrare codificatori più intelligenti e specifici per il task, capaci di "capire" cosa è importante per l'algoritmo di analisi, semplicemente modificando la strategia di addestramento con una loss ausiliaria. Questo approccio è particolarmente rilevante per le applicazioni di Edge Computing, dove le risorse sono limitate e non è possibile eseguire modelli di riconoscimento aggiuntivi per generare mappe di interesse prima della compressione. I risultati suggeriscono che l'uso di loss ausiliarie può diventare uno standard per l'addestramento di modelli ICM, offrendo guadagni sostanziali in termini di efficienza di compressione mantenendo o migliorando l'accuratezza del task.