Tunable Soft Equivariance with Guarantees

1. Il Problema

L'equivarianza è una proprietà fondamentale nei modelli di visione artificiale: garantisce che una trasformazione applicata all'input (es. rotazione, traslazione) produca una trasformazione prevedibile e coerente nell'output. Sebbene l'architettura di modelli strettamente equivarianti sia ben studiata, essa presenta limiti pratici:

• Disallineamento con i dati reali: I dati del mondo reale soddisfano l'equivarianza solo in modo approssimato. Imporre vincoli di equivarianza stretta può ridurre l'espressività del modello e limitarne le prestazioni.
• Mancanza di garanzie nelle soluzioni "soft": Gli approcci esistenti per l'equivarianza "soft" (approssimata), come l'augmentation dei dati o la regolarizzazione, non offrono garanzie teoriche sul livello di equivarianza raggiunto dopo l'addestramento.
• Difficoltà di adattamento: I metodi che introducono componenti non equivarianti in modelli equivarianti spesso richiedono design architetturali specializzati e non sono facilmente adattabili a modelli pre-addestrati (foundation models) esistenti.

2. Metodologia

Gli autori propongono un framework generale per costruire modelli a equivarianza soft proiettando i pesi del modello in un sottospazio progettato. L'approccio si basa su concetti di teoria dei gruppi e analisi dei segnali.

Concetti Chiave:

• Equivarianza Soft Definita: Viene introdotta una definizione relativa di equivarianza soft ($\eta$-soft equivariant). Invece di misurare l'errore assoluto, l'errore viene normalizzato rispetto alla variazione locale dell'output (tramite la norma della Jacobiana), rendendo la metrica indipendente dalla scala.
  $$\frac{\|F(\rho_X(g)x) - \rho_Y(g)F(x)\|}{\|J_F(x)\|_F \|x\|} \leq \eta$$
• Proiezione tramite "Blurring": L'idea centrale è ispirata ai filtri anti-aliasing (sfocatura) nelle CNN. I pesi del modello vengono proiettati in un sottospazio che filtra le componenti ad alta frequenza (quelle che rompono l'equivarianza).
  • Per i gruppi continui (Lie groups), si utilizza la rappresentazione dell'algebra di Lie. I pesi vengono proiettati utilizzando la SVD (Singular Value Decomposition) o la Decomposizione di Schur della rappresentazione dell'algebra di Lie. Si mantengono solo i vettori singolari associati a valori singolari inferiori a una soglia di taglio $b$.
  • Per i gruppi discreti, si utilizza un operatore di differenza finita come analogo discreto dell'algebra di Lie per derivare un'approssimazione di Taylor e costruire il proiettore.
• Controllo della "Softness": Il parametro di taglio $b$ agisce come un iperparametro controllabile.
  • $b \to 0$: Comportamento strettamente equivariante (massima invarianza, minore espressività).
  • $b \to \infty$: Comportamento non equivariante (massima espressività, nessuna garanzia di equivarianza).
• Efficienza Computazionale: Per evitare il costo computazionale elevato della SVD su matrici grandi ($O((d \cdot d')^3)$), gli autori propongono l'uso della Decomposizione di Schur per gruppi con rappresentazioni normali (es. rotazioni 2D/3D), riducendo la complessità a $O(\max(d, d')^3)$.

3. Contributi Principali

1. Framework Architetturale Agnostico: Un metodo per costruire strati a equivarianza soft tramite proiezione dei parametri, applicabile a qualsiasi modello pre-addestrato (ViT, ResNet, ecc.) senza aggiungere parametri apprendibili aggiuntivi.
2. Garanzie Teoriche: Derivazione di limiti superiori teorici sull'errore di equivarianza in funzione del parametro di taglio $b$ e delle proprietà del gruppo (raggio di iniezione, numero di generatori). Questo permette di bilanciare in modo controllato l'espressività e l'equivarianza.
3. Validazione Sperimentale Estesa: Dimostrazione dell'efficacia su tre compiti diversi (classificazione, segmentazione semantica, previsione di traiettorie umane) e su quattro backbones moderni (ViT, DINOv2, ResNet, SegFormer).

4. Risultati Sperimentali

Gli esperimenti confermano che il metodo migliora le prestazioni mantenendo o riducendo l'errore di equivarianza:

• Classificazione di Immagini (ImageNet, CIFAR):
  • Su ImageNet, il metodo supera i modelli base (Base) e la tecnica di canonicalizzazione (Canon.) in termini di accuratezza combinata ($cAcc$) e riduce l'errore di invarianza ($iErr$). Ad esempio, su ViT-B/16, si ottiene un aumento dell'accuratezza del 0.61% con una riduzione dell'errore di invarianza.
  • A differenza dei baselines che spesso sacrificano l'accuratezza per ottenere equivarianza, il metodo proposto migliora simultaneamente prestazioni e consistenza.
• Segmentazione Semantica (PASCAL VOC):
  • Migliora l'Intersezione sull'Unione media combinata ($cIoU$) e riduce l'errore di equivarianza ($eErr$) su ViT e SegFormer. Il baseline di canonicalizzazione ha mostrato un calo significativo delle prestazioni.
• Previsione di Traiettorie Umane:
  • Su dataset come ETH e UCY, il metodo supera sia i modelli standard che quelli strettamente equivarianti (EqAuto) in termini di errore di spostamento medio combinato ($cADE$) e errore finale ($cFDE$).
• Ablation Studies:
  • La proiezione basata su Schur è significativamente più veloce della SVD (meno di 1 secondo contro quasi 15 minuti per input 14x14).
  • L'uso di una soglia di taglio "morbida" (smooth cut-off) invece di una "dura" (hard threshold) porta a migliori prestazioni e minore errore.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'integrazione della simmetria nei moderni sistemi di visione artificiale:

• Ponte tra Teoria e Pratica: Fornisce un modo pratico per adattare modelli foundation pre-addestrati (spesso non equivarianti) per gestire trasformazioni geometriche senza doverli ri-addestrare da zero o modificare l'architettura in modo invasivo.
• Flessibilità Controllata: Offre agli ingegneri un "manopola" teorica ($b$) per sintonizzare il compromesso tra la capacità del modello di adattarsi a dati complessi (espressività) e la sua robustezza geometrica (equivarianza).
• Scalabilità: La capacità di funzionare su architetture complesse come i Transformer (ViT) e su compiti non puramente visivi (traiettorie) dimostra la generalità del metodo, rendendolo un candidato ideale per applicazioni reali dove i dati raramente rispettano simmetrie perfette.

In sintesi, il paper propone una soluzione elegante e teoricamente fondata per rendere i modelli moderni più robusti e affidabili in scenari reali, superando le limitazioni degli approcci di equivarianza rigida o puramente empirica.