Parameter-Efficient Architectural Modifications for Translation-Invariant CNNs

1. Enunciato del Problema

Si assume teoricamente che le Reti Neurali Convoluzionali (CNN) siano invarianti alla traslazione grazie alla condivisione dei pesi e al pooling. Tuttavia, le architetture standard (ad esempio VGG, ResNet) mostrano una fragilità critica: dipendono fortemente dagli strati Fully Connected (FC) alla fine della rete. Questi strati densi appiattiscono le dimensioni spaziali, creando una dipendenza rigida dalle coordinate assolute dei pixel.

• Conseguenza: Anche uno spostamento di un singolo pixel nell'immagine in ingresso può degradare drasticamente le prestazioni di classificazione o alterare l'output.
• Mitigazione Attuale: Lo standard industriale è l'Aumento dei Dati (addestramento su ritagli spostati), che insegna al modello a "memorizzare" l'invarianza invece di imporla strutturalmente. Questo è computazionalmente costoso e tratta il sintomo piuttosto che la causa radice.
• Problema Secondario: Nella Valutazione della Qualità dell'Immagine (IQA), metriche standard come LPIPS ereditano questa sensibilità, penalizzando spostamenti impercettibili come errori gravi, il che contraddice la percezione visiva umana.

2. Metodologia

Gli autori propongono una soluzione strutturale leggera chiamata strategia "Architettura Online". Invece di affidarsi all'aumento dei dati, modificano l'architettura della rete per disaccoppiare il riconoscimento delle caratteristiche dalla posizione spaziale.

• Meccanismo Principale: Inserimento strategico di strati di Pooling Medio Globale (GAP).
  • Il GAP aggrega le attivazioni delle caratteristiche spazialmente suintera una mappa di caratteristiche, producendo un singolo valore per canale. Questo rimuove efficacemente le coordinate spaziali dalla rappresentazione delle caratteristiche.
• Varianti Architettoniche (basate su VGG-16):
  1. Base: VGG-16 originale (strati FC intatti).
  2. Multi: Inserisce strati GAP dopo ogni operazione MaxPool. I vettori invarianti risultanti bypassano le convoluzioni successive e vengono concatenati prima del classificatore finale.
  3. Final: Sostituisce l'intero blocco degli strati densi finali con un singolo strato GAP seguito da uno strato Dense.
  4. Flat: Simile a Multi ma utilizza uno strato Flatten prima della concatenazione (preserva più informazioni strutturali ma mantiene un alto numero di parametri).
• Setup Sperimentale:
  • Dataset: MNIST (per visualizzare l'aliasing), un sottoinsieme di ImageNet-1K (benchmark di robustezza) e dataset IQA (TID08, TID13, KADID-10k, RAID).
  • Trasformazioni: Focus principale sulla Traslazione (utilizzando padding a mosaico per evitare artefatti da zero-padding). Esperimenti di controllo includevano rotazione e scalatura.
  • Integrazione IQA: I backbones modificati sono stati integrati nel framework LPIPS (Similarità Appresa delle Patch di Immagine Percettiva) per creare nuove metriche ($L_{Multi}$, $L_{Flat}$).

3. Contributi Chiave

1. Invarianza Strutturale: Dimostrato che sostituire gli strati FC con GAP crea un predittore invariante alla traslazione per costruzione, non per approssimazione.
2. Efficienza Estrema in Parametri: Raggiunta una riduzione del 98% nei parametri addestrabili (da ~5,2M a ~82K nella variante "Final") e una riduzione del 90% delle dimensioni totali del modello, mantenendo accuratezza competitiva.
3. Identificazione dei Limiti dell'Aliasing: Identificato che, sebbene il GAP risolva la sensibilità macroscopica, le operazioni di pooling discrete introducono un effetto di aliasing periodico residuo. Questo impedisce un'invarianza perfetta a livello di pixel, causando oscillazioni periodiche nell'accuratezza in base all'entità dello spostamento rispetto alla dimensione del kernel di pooling.
4. IQA Biologicamente Plausibile: Applicato con successo questi backbones invarianti a LPIPS, creando una metrica che si allinea significativamente meglio alle curve di risposta psicofisica umana rispetto alla baseline riaddestrata standard.

4. Risultati Chiave

A. Robustezza alla Classificazione (ImageNet)

• Accuratezza: I modelli modificati hanno mantenuto un'accuratezza Top-1 comparabile alla baseline (ad esempio, Final ha raggiunto il 66,4% contro il 64% della baseline).
• Robustezza: La perdita relativa media dovuta alla traslazione è scesa da 0,09 (Base) a 0,05 (Multi) e 0,06 (Final).
• Stabilità: La deviazione standard dell'accuratezza attraverso gli spostamenti è stata dimezzata (0,04 $\to$ 0,015–0,018), indicando prestazioni molto più coerenti indipendentemente dalla posizione dell'oggetto.
• Osservazione sull'Aliasing: Le mappe di calore hanno rivelato bande verticali periodiche di perdita maggiore nei modelli ad alta risoluzione, confermando che lo stride di pooling discreto causa sensibilità periodica.

B. Valutazione della Qualità dell'Immagine (IQA)

• Generalizzazione: Sul dataset KADID-10k (distorsioni non viste), la variante $L_{Flat}$ ha raggiunto una correlazione di Spearman di 0,89, superando significativamente la baseline LPIPS riaddestrata (0,75).
• Allineamento Psicofisico: Utilizzando il dataset RAID, il modello $L_{Flat}$ ha replicato le curve di risposta sovrasoglia umane con una correlazione di Spearman di 0,95 (vs 0,83 per la baseline). Ciò conferma che la metrica riflette correttamente la tolleranza umana agli spostamenti spaziali triviali.

C. Specificità

• I miglioramenti sono stati specifici alla traslazione. I modelli non hanno mostrato una robustezza migliorata alla rotazione o alla scalatura; in alcuni casi, hanno performato leggermente peggio della baseline per la rotazione, confermando che il GAP non risolve intrinsecamente tutte le trasformazioni affini.

5. Significato e Conclusione

Questo lavoro sfida la dipendenza dall'aumento dei dati brute-force per la robustezza. Dimostra che i vincoli architettonici (in particolare la rimozione della dipendenza spaziale tramite GAP) sono un percorso più efficiente e biologicamente plausibile verso la robustezza.

• Efficienza: Dimostra che i massicci strati Fully Connected sono spesso ridondanti per compiti che non richiedono una localizzazione precisa, e la loro rimozione riduce drasticamente il costo computazionale senza sacrificare le prestazioni.
• Accuratezza Percettiva: Per la Valutazione della Qualità dell'Immagine, imporre l'invarianza alla traslazione è critico. La metrica proposta ($L_{Flat}$) evita di penalizzare spostamenti impercettibili, allineando la valutazione matematica con la percezione visiva umana.
• Limitazioni: Lo studio evidenzia un limite teorico fondamentale: l'invarianza perfetta a livello di pixel è impossibile nelle CNN standard a causa del campionamento discreto (aliasing) intrinseco negli strati di pooling, suggerendo che il lavoro futuro potrebbe dover affrontare l'anti-aliasing nelle operazioni di downsampling.

Disponibilità: Il codice e i dataset sono pubblicamente disponibili su GitHub, facilitando ulteriori ricerche sulle architetture invarianti.