Technische Samenvatting: Het heroverwegen van Global Average Pooling

Probleemstelling

Moderne beeldclassificatiesystemen vertrouwen overwegend op Global Average Pooling (GAP) gevolgd door een lineaire classificatiekop. Hoewel deze architectuur translatie-invariantie waarborgt en het aantal parameters vermindert, reduceert het een ruimtelijke feature-grid tot een enkele beeldniveau-vector. Deze aggregatie vertroebelt de onderliggende ruimtelijke distributie van klasse-bewijs. Bijgevolg behandelen standaard evaluatiemetrieken (bijv. Top-1 nauwkeurigheid) het model als een black box die een enkele beslissing uitspuugt, waardoor het niet kan onderscheiden of een correcte voorspelling voortkomt uit het doelobject, de omliggende context, of een mengeling van beide. Bovendien is het wanneer voorspellingen op beeldniveau falen, onduidelijk of de bewijslast voor de doelklasse volledig afwezig is in de feature-representatie of slechts verdund is door het gemiddelde proces.

Methodologie

Het artikel stelt een herformulering voor van GAP-gebaseerde classificatiesystemen door de lens van Multiple-Instance Learning (MIL). In deze formulering wordt een afbeelding behandeld als een "bag" van ruimtelijke instanties (de feature-vectoren in het laatste grid), waarbij supervisie alleen wordt geboden voor de "bag" als geheel.

Kernmechanisme: Dense Readout
De auteurs demonstreren dat voor een lineaire classificatiekop $f(h) = \Theta^\top h + b$, de logit op beeldniveau $z$ wiskundig equivalent is aan het gemiddelde van lokale logits die puntgewijs op het ruimtelijke feature-grid worden berekend:
$$z = f(\bar{h}) = \frac{1}{N} \sum_{i=1}^{N} (\Theta^\top h_i + b)$$
Door de getrainde classificatiekop toe te passen op elke ruimtelijke feature-vector voordat de globale pooling stap plaatsvindt, genereren de auteurs een dense readout (een $K \times H \times W$ klasse-score kaart). Dit proces legt het ruimtelijke klasse-bewijs bloot dat anders door middel van averaging wordt weggefilterd.

Experimenteel Protocol
De studie evalueert deze dense readout in drie verschillende settings:

1. ImageNet-1K: Gebruikmakend van ILSVRC bounding box annotaties om de grondwaarheid (ground truth) te projecteren op het ruimtelijke grid. De auteurs analyseren de voorgrondlokalisatie, achtergrondactivatie en de herwinning van "ReaL" labels (geldige labels buiten de enkele grondwaarheid) binnen het grid.
2. ImageNet-A: Een natuurlijke adversariële benchmark waarbij de nauwkeurigheid op beeldniveau instort. De auteurs meten of de doelklasse detecteerbaar blijft in het ruimtelijke grid, ondanks het falen van de globale voorspelling.
3. MS-COCO: Evaluatie van bevroren self-supervised backbones (CLIP, DINO, MAE, BeIT), waarbij alleen een lineaire kop wordt getraind op gepoolde embeddings. De kop wordt vervolgens puntgewijs toegepast op het feature-grid om te testen of ruimtelijk bewijs verschijnt zonder end-to-end supervisie.
4. Synthetische Multi-Object Dataset: Een gecontroleerd experiment waarbij afbeeldingen 3–5 objecten bevatten, maar waarbij alleen een enkele image-level label wordt gebruikt voor training. Dit isoleert of GAP-gebaseerde modellen kunnen leren om specifieke ruimtelijke instanties te associëren met de label, ondanks incomplete supervisie.

Belangrijkste Resultaten

1. Herwinning van Ruimtelijk Bewijs
Over alle architecturen heen (ConvNeXt, Swin, MaxViT, ResNet), herstelt de dense readout consistent de grondwaarheid-klasse binnen de voorgrondregio's, zelfs wanneer de voorspelling op beeldniveau onjuist is.

• Voorgronddetectie: De detectiepercentages voor de voorgrond op ImageNet overtreffen de 90% over verschillende architecturen, wat aanzienlijk hoger is dan de Top-1 nauwkeurigheid.
• ReaL Recovery: De set van klassen die ergens op het grid wordt voorspeld, herstelt geldige "ReaL" labels met een snelheid die 1,2 tot 7,1 procentpunt hoger ligt dan de Top-1 nauwkeurigheid op beeldniveau, wat aangeeft dat geldig bewijs vaak aanwezig is maar wordt onderdrukt door averaging.

2. Architectuur-specifieke Dynamiek

• Transformers (ViTs): Vertonen een hoge achtergrondactivatie (het voorspellen van de doelklasse in achtergrondregio's) op ongewijzigde afbeeldingen (bijv. 90% voor Swin/MaxViT). Echter, wanneer het voorgrondobject wordt geoccludeerd, daalt deze achtergrondactivatie scherp (36–38%). Dit suggereert dat ViTs object-bewijs globaal distribueren via self-attention, waardoor achtergrond-tokens afhankelijk worden van de aanwezigheid van het voorgrondobject.
• CNN's: Vertonen een lagere baseline achtergrondactivatie en een minder scherpe daling bij occlusie. Echter, voor specifieke klassen kan het occluderen van de voorgrond paradoxaal genoeg de achtergrondvoorspellingen verhogen, wat duidt op complexe interacties waarbij de aanwezigheid van het object context-gebaseerde shortcuts onderdrukt.

3. Robuustheid tegen Adversariële Verschuivingen
Op ImageNet-A, waar de nauwkeurigheid op beeldniveau daalt tot zo laag als 3,8% (EfficientNet), blijven de ruimtelijke detectiepercentages substantieel hoger (bijv. 30,6% tot 56,9%). Dit geeft aan dat gelokaliseerd klasse-bewijs in het feature-grid persisteert, zelfs wanneer de globale aggregatie faalt om een correcte beslissing op beeldniveau te produceren.

4. Leren van Incomplete Supervisie
In het synthetische multi-object experiment bereikten modellen getraind vanaf willekeurige initialisatie met een enkele label per afbeelding (bevattende 3–5 objecten) een nauwkeurigheid van ~26% op beeldniveau (wat overeenkomt met de verwachte willekeurige gokrate voor $n \in \{3,4,5\}$ objecten). Echter, de ruimtelijke lokalisatie-nauwkeurigheid was significant hoger (94% voor ResNet-18, 63% voor ViT-S/32), wat aantoont dat GAP-gebaseerde classificatiesystemen kunnen leren om correcte klasse-scores toe te wijzen aan specifieke ruimtelijke instanties, zelfs onder single-label supervisie.

Betekenis en Claims

Het artikel betoogt dat de beperkingen van standaard beeldclassificatiesystemen niet noodzakelijkerwijs falen van representatie-leren zijn, maar eerder falen van de aggregatieregel (mean pooling).

• Diagnostisch Instrument: De dense readout dient als een post-hoc diagnostisch instrument dat ruimtelijk klasse-bewijs onthult zonder dat hertraining, extra annotaties of architecturale wijzigingen nodig zijn. Het stelt onderzoekers in staat om onderscheid te maken tussen object-gebaseerde voorspellingen en context-gebaseerde shortcuts.
• MIL Interpretatie: Door GAP-gebaseerde classificatiesystemen te beschouwen als mean-aggregation MIL-modellen, herkadert het artikel veelvoorkomende foutmodi (bijv. gevoeligheid voor achtergrondcontext, falen op adversariële voorbeelden) als inherente beperkingen van mean-aggregatie wanneer bewijs schaars of ruimtelijk concurrerend is.
• Architecturale Implicaties: De resultaten suggeren dat alternatieve aggregatieregels (bijv. max pooling, attention-gebaseerde MIL) deze problemen kunnen verzachten. Het artikel stelt dat de "bottleneck" opgelegd door GAP het werkelijke vermogen van de geleerde features vertroebelt.

De auteurs concluderen dat standaard classificatiesystemen inherent ruimtelijke signalen behouden die momenteel ontoegankelijk zijn voor standaard evaluatieprotocollen, en dat het heronderzoeken van de aggregatiestap cruciaal is voor het begrijpen en verbeteren van de robuustheid en interpreteerbaarheid van modellen.