Learning Color Equivariant Representations

Titolo: Learning Color Equivariant Representations

Autori: Yulong Yang, Felix O'Mahony, Christine Allen-Blanchette (Princeton University, University of Oxford)

---

1. Il Problema

Le reti neurali convoluzionali (CNN) hanno ottenuto progressi enormi nel riconoscimento delle immagini, ma spesso mostrano una scarsa robustezza rispetto alle variazioni percettive, in particolare quelle legate al colore.

• Sensibilità al colore: Le CNN convenzionali sono sensibili a variazioni di tonalità (hue), saturazione e luminosità, anche a livello di singoli blocchi di immagine. Questo porta a un calo significativo delle prestazioni quando i dati di test provengono da distribuzioni diverse (es. diversi laboratori medici, sensori diversi o momenti temporali differenti).
• Limiti delle soluzioni attuali:
  • Invarianza al colore: Convertire le immagini in scala di grigi o forzare la similarità delle rappresentazioni elimina l'informazione cromatica, che è invece un segnale cruciale in molti domini (es. classificazione di tessuti medici o oggetti naturali).
  • Data Augmentation: L'addestramento con dati aumentati richiede tempi più lunghi e non garantisce una vera invarianza strutturale o interpretabilità.
  • Approcci precedenti (CEConv): Una rete recente, CEConv, ha tentato di introdurre l'equivarianza alla tonalità utilizzando una convoluzione di gruppo. Tuttavia, il loro strato di "lifting" (sollevamento) operava sui filtri nello spazio RGB. Questo approccio generava valori RGB non validi (fuori dal cubo RGB) quando si applicavano rotazioni di tonalità, richiedendo una proiezione che rompeva l'invertibilità e l'equivarianza esatta, degradando le prestazioni.

2. Metodologia

Gli autori propongono una nuova architettura di Reti Neurali a Convoluzione di Gruppo (GCNN) progettata specificamente per essere equivariante rispetto alle trasformazioni di colore (Hue, Saturation, Luminance - HSL).

A. Rappresentazione Geometrica del Colore

Il lavoro si basa sulla rappresentazione del colore nello spazio HSL (Hue, Saturation, Luminance), modellando ciascuna componente come una struttura geometrica di gruppo:

1. Hue (Tonalità): Identificata con il gruppo di rotazione 2D ($SO(2)$) o il gruppo ciclico discreto $C_N$. Una variazione di hue corrisponde a una rotazione.
2. Saturation e Luminance: Identificate con il gruppo di traslazione 1D ($\mathbb{R}$ o $\mathbb{Z}$ discreto). Una variazione di saturazione o luminosità corrisponde a una traslazione.

B. Innovazione Chiave: Lo Strato di Lifting

La differenza fondamentale rispetto al lavoro precedente (CEConv) risiede nel modo in cui viene implementato lo strato di lifting (il primo strato che mappa l'input nello spazio del gruppo):

• Approccio CEConv (Fallace): Applica la trasformazione di hue ai filtri della rete nello spazio RGB. Questo genera valori RGB invalidi per la maggior parte delle discretizzazioni, richiedendo proiezioni che introducono errori e rompono l'equivarianza.
• Approccio Proposto (Equivarianza Esatta): Applica la trasformazione direttamente all'immagine di input (nello spazio HSL) prima della convoluzione.
  • Formula: $f^1(g_x, j) = \phi_h(h_j, f^0)(x)$.
  • Questo metodo evita completamente la generazione di valori RGB non validi, garantendo che la trasformazione sia invertibile e che l'errore di equivarianza sia ridotto di oltre tre ordini di grandezza rispetto a CEConv.

C. Architettura della Rete

• Lifting: Mappa l'immagine di input nello spazio prodotto $Z^2 \times G$ (dove $G$ è il gruppo di colore).
• Convoluzione di Gruppo: Gli strati successivi eseguono convoluzioni di gruppo su questo spazio esteso, mantenendo l'equivarianza attraverso la rete.
• Pooling: Alla fine della rete, viene applicato un group pooling per ottenere una rappresentazione invariante alla classe target, pur avendo mantenuto la struttura equivariante durante l'elaborazione.

3. Contributi Principali

1. GCNN per il Colore: Introduzione di una GCNN che è equivariante per design rispetto a hue, saturazione e luminosità, estendendo il concetto di equivarianza geometrica alle trasformazioni percettive.
2. Correzione del Lifting: Sviluppo di uno strato di lifting che opera sull'input invece che sui filtri, risolvendo il problema dei valori RGB invalidi e migliorando l'errore di equivarianza di oltre 1000 volte rispetto a CEConv.
3. Generalizzazione OOD (Out-of-Distribution): Dimostrazione che le reti equivarianti generalizzano meglio rispetto alle CNN convenzionali quando i dati di test presentano variazioni di colore non viste durante l'addestramento.
4. Efficienza del Campione: Le reti equivarianti richiedono meno dati per raggiungere prestazioni elevate (migliore sample efficiency).
5. Nuove Applicazioni: Dimostrazione dell'utilità delle rappresentazioni equivarianti per compiti non convenzionali, come il color sorting (ordinamento delle immagini in base alla tonalità) basato sulle mappe di feature.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset sintetici e reali:

• Hue-Shift MNIST:
  • Le reti Hue-N mantengono prestazioni elevate su dati di test con hue fuori distribuzione (A/B), mentre le CNN convenzionali (Z2CNN) crollano (errore dal 1.5% al 57%).
  • Migliore efficienza del campione: il vantaggio delle reti equivarianti aumenta man mano che si riduce la quantità di dati di addestramento.
• 3D Shapes (Local Hue Shift):
  • Le reti Hue-4 ottengono errori di classificazione quasi nulli su shift locali di hue, superando nettamente sia le CNN convenzionali che CEConv (che soffre di errori di equivarianza significativi).
• Camelyon17 (Shift di Saturazione):
  • Su un dataset di immagini di tessuti medici da diversi ospedali (variazioni naturali di saturazione), i modelli Sat-N e Hue-Sat-N superano ResNet50 e CEConv, riducendo l'errore di classificazione dal 28.9% al 16.1%.
• Dataset Realistici (Caltech-101, Oxford Pets, Stanford Cars, ecc.):
  • Le reti color-equivarianti superano i modelli baselines (ResNet, CEConv) in compiti di classificazione fine-grained, dimostrando robustezza agli shift di colore naturali.
• Ordinamento per Colore (Color Sorting):
  • Sull'immagine di auto di CIFAR-10, le feature map della rete Hue-4 permettono di ordinare le immagini per tonalità in modo naturale, cosa che le feature map di ResNet non riescono a fare.

5. Significato e Conclusioni

Questo lavoro segna un passo avanti significativo nell'integrazione della geometria nelle reti neurali per la percezione del colore.

• Impatto Teorico: Dimostra che le trasformazioni percettive come il colore possono e devono essere modellate come strutture di gruppo geometriche per garantire robustezza e interpretabilità.
• Impatto Pratico: La correzione dello strato di lifting risolve un problema fondamentale dei metodi precedenti, rendendo le GCNN per il colore pratiche e altamente performanti.
• Limitazioni e Futuro: Le GCNN sono computazionalmente più costose delle CNN convenzionali (richiedono il calcolo dell'orbita dei filtri) e attualmente usano approssimazioni discrete dei gruppi continui. Il lavoro futuro si concentrerà su rappresentazioni continue del gruppo per mitigare questi costi.

In sintesi, gli autori hanno creato un framework che non solo protegge le reti neurali dalle variazioni di colore indesiderate, ma sfrutta attivamente la struttura geometrica del colore per migliorare l'efficienza dell'apprendimento e abilitare nuove funzionalità di analisi delle immagini.