Sintesi Tecnica: Ripensare il Global Average Pooling

Problema

I moderni classificatori di immagini si affidano prevalentemente al Global Average Pooling (GAP) seguito da un testa di classificazione lineare. Sebbene questa architettura garantisca l'invarianza alla traslazione e riduca i parametri, essa collassa una griglia di caratteristiche spaziali in un singolo vettore a livello di immagine. Questa aggregazione oscura la distribuzione spaziale sottostante dell'evidenza della classe. Di conseguenza, le metriche di valutazione standard (ad es. accuratezza Top-1) trattano il modello come una scatola nera che emette una singola decisione, fallendo nel distinguere se una previsione corretta derivi dall'oggetto target, dal contesto circostante o da una miscela di entrambi. Inoltre, quando le previsioni a livello di immagine falliscono, non è chiaro se l'evidenza della classe target sia interamente assente dalla rappresentazione delle caratteristiche o se sia semplicemente diluita dal processo di mediazione.

Metodologia

Il documento propone di riformulare i classificatori basati su GAP attraverso la lente dell'Apprendimento Multi-Istanza (Multiple-Instance Learning - MIL). In questa formulazione, un'immagine è trattata come un "sacchetto" (bag) di istanze spaziali (i vettori di caratteristiche nella griglia finale), dove la supervisione viene fornata solo per l'intero sacchetto.

Meccanismo Core: Dense Readout
Gli autori dimostrano che per un testa di classificazione lineare $f(h) = \Theta^\top h + b$, il logit a livello di immagine $z$ è matematicamente equivalente alla media dei logit locali calcolati puntualmente sulla griglia di caratteristiche spaziali:
$$z = f(\bar{h}) = \frac{1}{N} \sum_{i=1}^{N} (\Theta^\top h_i + b)$$
Applicando il testa di classificazione addestrato a ciascun vettore di caratteristiche spaziali prima del passaggio di pooling globale, gli autori generano un dense readout (una mappa di punteggi di classe $K \times H \times W$). Questo processo espone l'evidenza spaziale della classe che altrimenti verrebbe mediata.

Protocollo Sperimentale
Lo studio valuta questo dense readout in tre scenari distinti:

1. ImageNet-1K: Utilizzando le annotazioni dei bounding box di ILSVRC per proiettare la verità di base (ground truth) sulla griglia spaziale. Gli autori analizzano la localizzazione del foreground, l'attivazione del background e il recupero delle etichette "ReaL" (etichette valide oltre la singola verità di base) all'interno della griglia.
2. ImageNet-A: Un benchmark avversariale naturale in cui l'accuratezza a livello di immagine crolla. Gli autori misurano se la classe target rimane rilevabile nella griglia spaziale nonostante il fallimento della previsione globale.
3. MS-COCO: Valutazione di backbone auto-supervisionati congelati (CLIP, DINO, MAE, BeIT), dove viene addestrato solo un testa lineare sulle incastature (embeddings) aggregate. Il testa viene poi applicato puntualmente alla griglia di caratteristiche per testare se l'evidenza spaziale emerga senza supervisione end-to-end.
4. Dataset Sintetico Multi-Oggetto: Un esperimento controllato in cui le immagini contengono da 3 a 5 oggetti, ma l'addestramento utilizza solo un'unica etichetta a livello di immagine. Questo isola se i modelli basati su GAP possano apprendere ad associare specifiche istanze spaziali all'etichetta nonostante la supervisione incompleta.

Risultati Chiave

1. Recupero dell'Evidenza Spaziale
In tutte le architetture (ConvNeXt, Swin, MaxViT, ResNet), il dense readout recupera costantemente la classe della verità di base all'interno delle regioni di foreground, anche quando la previsione a livello di immagine è errata.

• Rilevamento del Foreground: Il tasso di rilevamento del foreground su ImageNet supera il 90% in tutte le architetture, significativamente più alto dell'accuratezza Top-1.
• Recupero ReaL: L'insieme delle classi predette ovunque sulla griglia recupera le etichette "ReaL" valide a un tasso da 1,2 a 7,1 punti percentuali superiore rispetto all'accuratezza Top-1 a livello di immagine, indicando che l'evidenza valida è spesso presente ma soppressa dalla mediazione.

2. Dinamiche Specifiche dell'Architettura

• Transformer (ViT): Mostrano un'alta attivazione del background (predire la classe target nelle regioni di sfondo) su immagini non modificate (ad es. 90% per Swin/MaxViT). Tuttavia, quando l'oggetto in foreground è occluso, questa attivazione del background scende drasticamente (36–38%). Ciò suggerisce che i ViT distribuiscono l'evidenza dell'oggetto globalmente tramite l'auto-attenzione (self-attention), rendendo i token di sfondo dipendenti dalla presenza del foreground.
• CNN: Esibiscono un'attivazione del background basale inferiore e un calo meno netto in caso di occlusione. Tuttavia, per classi specifiche, l'occlusione del foreground paradossalmente aumenta le predizioni del background, suggerendo interazioni complesse in cui la presenza dell'oggetto sopprime le scorciatoie basate sul contesto.

3. Robustezza agli Shift Avversariali
Su ImageNet-A, dove l'accuratezza a livello di immagine scende fino al 3,8% (EfficientNet), i tassi di rilevamento spaziale rimangono sostanzialmente più alti (ad es. dal 30,6% al 56,9%). Ciò indica che l'evidenza localizzata della classe persiste nella griglia delle caratteristiche anche quando l'aggregazione globale non riesce a produrre una decisione corretta a livello di immagine.

4. Apprendimento da Supervisione Incompleta
Nell'esperimento sintetico multi-oggetto, i modelli addestrati da una inizializzazione casuale con un singolo label per immagine (contenente 3–5 oggetti) hanno raggiunto circa il 26% di accuratezza a livello di immagine (corrispondente al tasso di scelta casuale atteso per $n \in \{3,4,5\}$ oggetti). Tuttavia, l'accuratezza della localizzazione spaziale era significativamente più alta (94% per ResNet-18, 63% per ViT-S/32), dimostando che i classificatori basati su GAP possono apprendere ad assegnare punteggi di classe corretti a specifiche istanze spaziali anche sotto supervisione a etichetta singola.

Significato e Rivendicazioni

Il documento sostiene che i limiti degli attuali classificatori di immagini non sono necessariamente fallimenti dell'apprendimento delle rappresentazioni, ma piuttosto fallimenti della regola di aggregazione (mediazione/pooling).

• Strumento Diagnostico: Il dense readout funge da diagnostica post-hoc che rivela l'evidenza spaziale della classe senza richiedere ri-addestramento, annotazioni aggiuntive o cambiamenti architettonici. Permette ai ricercatori di distinguere tra predizioni basate sull'oggetto e scorciatoie basate sul contesto.
• Interpretazione MIL: Visualizzando i classificatori basati su GAP come modelli MIL con aggregazione media, il documento inquadra i comuni modi di fallimento (ad es. sensibilità al contesto di sfondo, fallimento sugli esempi avversariali) come limiti intrinseci della mediazione quando l'evidenza è scarsa o spazialmente in competizione.
• Implicazioni Architetturali: I risultati suggeriscono che regole di aggregazione alternative (ad es. max pooling, MIL basato su attenzione) potrebbero mitigare questi problemi. Il documento ipotizza che il "collo di bottiglia" imposto dal GAP oscuri le reali capacità delle caratteristiche apprese.

Gli autori concludono che i classificatori standard intrinsecamente conservano segnali spaziali che sono attualmente inaccessibili ai protocolli di valutazione standard, e che riesaminare il passaggio di aggregazione è cruciale per comprendere e migliorare la robustezza e l'interpretabilità dei modelli.