Résumé technique : Repenser le Global Average Pooling

Énoncé du problème

Les classificateurs d'images modernes reposent principalement sur le Global Average Pooling (GAP) suivi d'une tête de classification linéaire. Bien que cette architecture garantisse l'invariance par translation et réduise le nombre de paramètres, elle réduit une grille de caractéristiques spatiales en un vecteur unique au niveau de l'image. Cette agrégation occulte la distribution spatiale sous-jacente des preuves de classe. Par conséquent, les métriques d'évaluation standard (par exemple, l'exactitude Top-1) traitent le modèle comme une boîte noire qui produit une décision unique, échouant à distinguer si une prédiction correcte provient de l'objet cible, du contexte environnant, ou d'un mélange des deux. De plus, lorsque les prédictions au niveau de l'image échouent, il est difficile de savoir si l'indice de la classe cible est totalement absent de la représentation des caractéristiques ou s'il est simplement dilué par le processus de moyennage.

Méthodologie

L'article propose de recadrer les classificateurs basés sur le GAP à travers le prisme de l'apprentissage par instances multiples (Multiple-Instance Learning - MIL). Dans cette formulation, une image est traitée comme un « sac » d'instances spatiales (les vecteurs de caractéristiques dans la grille finale), où la supervision est fournie uniquement pour le sac dans son ensemble.

Mécanisme central : Lecture dense (Dense Readout)
Les auteurs démontrent que pour une tête de classification linéaire $f(h) = \Theta^\top h + b$, le logit au niveau de l'image $z$ est mathématiquement équivalent à la moyenne des logits locaux calculés point par point sur la grille de caractéristiques spatiales :
$$z = f(\bar{h}) = \frac{1}{N} \sum_{i=1}^{N} (\Theta^\top h_i + b)$$
En appliquant la tête de classification entraînée à chaque vecteur de caractéristique spatiale avant l'étape de pooling global, les auteurs génèrent une lecture dense (une carte de scores de classe de dimension $K \times H \times W$). Ce processus expose l'évidence de classe spatiale qui est autrement lissée par la moyenne.

Protocole expérimental
L'étude évalue cette lecture dense selon trois contextes distincts :

1. ImageNet-1K : Utilisation des annotations de boîtes englobantes (bounding boxes) d'ILSVRC pour projeter la vérité terrain sur la grille spatiale. Les auteurs analysent la localisation du premier plan, l'activation de l'arrière-plan et la récupération des étiquettes « ReaL » (étiquettes valides au-delà de la seule vérité terrain) au sein de la grille.
2. ImageNet-A : Un benchmark adversaire naturel où l'exactitude au niveau de l'image s'effondre. Les auteurs mesurent si la classe cible reste détectable dans la grille spatiale malgré l'échec de la prédiction globale.
3. MS-COCO : Évaluation de backbones auto-supervisés gelés (CLIP, DINO, MAE, BEiT) où seule une tête linéaire est entraînée sur les plongements (embeddings) agrégés. La tête est ensuite appliquée point par point à la grille de caractéristiques pour tester si l'évidence spatiale émerge sans supervision de bout en bout.
4. Jeu de données synthétique multi-objets : Une expérience contrôlée où les images contiennent 3 à 5 objets, mais où l'entraînement n'utilise qu'une seule étiquette par image. Cela permet d'isoler si les modèles basés sur le GAP peuvent apprendre à associer des instances spatiales spécifiques à l'étiquette malgré une supervision incomplète.

Résultats clés

1. Récupération de l'évidence spatiale
À travers toutes les architectures (ConvNeXt, Swin, MaxViT, ResNet), la lecture dense récupère systématiquement la classe de vérité terrain dans les régions du premier plan, même lorsque la prédiction au niveau de l'image est incorrecte.

• Détection du premier plan : Sur ImageNet, les taux de détection du premier plan dépassent 90 % à travers les architectures, ce qui est nettement supérieur à l'exactitude Top-1.
• Récupération de « ReaL » : L'ensemble des classes prédites n'importe où sur la grille récupère les étiquettes « ReaL » valides à un taux de 1,2 à 7,1 points de pourcentage supérieur à l'exactitude Top-1 de l'image, indiquant que l'évidence valide est souvent présente mais supprimée par le moyennage.

2. Dynamiques spécifiques aux architectures

• Transformers (ViTs) : Présentent une forte activation de l'arrière-plan (prédiction de la classe cible dans les régions d'arrière-plan) sur des images non modifiées (ex. 90 % pour Swin/MaxViT). Cependant, lorsque l'objet du premier plan est occulté, cette activation de l'arrière-plan chute brutalement (36–38 %). Cela suggère que les ViT distribuent l'évidence de l'objet globalement via l'auto-attention, rendant les jetons (tokens) de l'arrière-plan dépendants de la présence de l'objet du premier plan.
• CNNs : Présentent une activation de base de l'arrière-plan plus faible et une chute moins abrupte lors de l'occlusion. Cependant, pour certaines classes spécifiques, l'occlusion du premier plan augmente paradoxalement les prédictions de l'arrière-plan, suggérant des interactions complexes où la présence de l'objet supprime les raccourcis basés sur le contexte.

3. Robustesse aux changements adversaires
Sur ImageNet-A, où l'exactitude au niveau de l'image chute jusqu'à 3,8 % (EfficientNet), les taux de détection spatiale restent substantiellement plus élevés (ex. de 30,6 % à 56,9 %). Cela indique que l'évidence de classe localisée persiste dans la grille de caractéristiques même lorsque l'agrégation globale échoue à produire une décision correcte au niveau de l'image.

4. Apprentissage à partir d'une supervision incomplète
Dans l'expérience synthétique multi-objets, les modèles entraînés à partir d'une initialisation aléatoire avec une seule étiquette par image (contenant 3 à 5 objets) ont atteint environ 26 % d'exactitude au niveau de l'image (correspondant au taux de choix aléatoire attendu pour $n \in \{3,4,5\}$ objets). Cependant, l'exactitude de la localisation spatiale était nettement plus élevée (94 % pour ResNet-18, 63 % pour ViT-S/32), démontant que les classificateurs basés sur le GAP peuvent apprendre à assigner des scores de classe corrects à des instances spatiales spécifiques même sous une supervision à étiquette unique.

Signification et affirmations

L'article soutient que les limites des classificateurs d'images standards ne sont pas nécessairement des échecs de l'apprentissage de représentations, mais plutôt des échecs de la règle d'agrégation (le pooling moyen).

• Outil de diagnostic : La lecture dense sert de diagnostic post-hoc qui révèle l'évidence de classe spatiale sans nécessiter de réentraînement, d'annotations supplémentaires ou de changements architecturaux. Elle permet aux chercheurs de distinguer les prédictions basées sur l'objet des raccourcis basés sur le contexte.
• Interprétation MIL : En considérant les classificateurs basés sur le GAP comme des modèles MIL à agrégation moyenne, l'article recadre les modes de défaillance courants (ex. sensibilité au contexte de l'arrière-plan, échec sur les exemples adverses) comme des limitations inhérentes à l'agrégation moyenne lorsque l'évidence est rare ou spatialement concurrencée.
• Implications architecturales : Les résultats suggèrent que des règles d'agrégation alternatives (ex. max pooling, MIL basé sur l'attention) pourraient atténuer ces problèmes. L'article pose que le « goulot d'étranglement » imposé par le GAP occulte les véritables capacités des caractéristiques apprises.

Les auteurs concluent que les classificateurs standards conservent intrinsèquement des signaux spatiaux qui sont actuellement inaccessibles aux protocoles d'évaluation standards, et que réexaminer l'étape d'agrégation est crucial pour comprendre et améliorer la robustesse et l'interprétabilité des modèles.