Resumen Técnico: Replanteando el Global Average Pooling

Planteamiento del Problema

Los clasificadores de imágenes modernos dependen predominantemente de un Global Average Pooling (GAP) seguido de una cabeza de clasificación lineal. Si bien esta arquitectura garantiza la invarianza a la traslación y reduce los parámetros, colapsa una cuadrícula de características espaciales en un único vector a nivel de imagen. Esta agregación oscurece la distribución espacial subyacente de la evidencia de clase. En consecuencia, las métricas de evaluación estándar (por ejemplo, la precisión Top-1) tratan al modelo como una caja negra que emite una única decisión, fallando en distinguir si una predicción correcta surge del objeto objetivo, del contexto circundante o de una mezcla de ambos. Además, cuando las predicciones a nivel de imagen fallan, no está claro si la evidencia de la clase objetivo está completamente ausente de la representación de características o si simplemente está diluida por el proceso de promediado.

Metodología

El artículo propone un replanteamiento de los clasificadores basados en GAP a través de la lente del Aprendizaje de Múltiples Instancias (MIL, por sus siglas en inglés). En esta formulación, una imagen se trata como una "bolsa" de instancias espaciales (los vectores de características en la cuadrícula final), donde la supervisión se proporciona solo para la bolsa en su totalidad.

Mecanismo Central: Lectura Densa (Dense Readout)
Los autores demuestran que, para una cabeza de clasificación lineal $f(h) = \Theta^\top h + b$, el logit a nivel de imagen $z$ es matemáticamente equivalente al promedio de los logits locales computados punto a punto en la cuadrícula de características espaciales:
$$z = f(\bar{h}) = \frac{1}{N} \sum_{i=1}^{N} (\Theta^\top h_i + b)$$
Al aplicar la cabeza de clasificación entrenada a cada vector de característica espacial antes del paso de pooling global, los autores generan una lectura densa (un mapa de puntuación de clase de $K \times H \times W$). Este proceso expone la evidencia de clase espacial que de otro modo se promediaría.

Protocolo Experimental
El estudio evalúa esta lectura densa en tres configuraciones distintas:

1. ImageNet-1K: Utilizando anotaciones de cajas delimitadoras (bounding boxes) de ILSVRC para proyectar la verdad de campo sobre la cuadrícula espacial. Los autores analizan la localización del primer plano (foreground), la activación del fondo (background) y la recuperación de etiquetas "ReaL" (etiquetas válidas más allá de la única verdad de campo) dentro de la cuadrícula.
2. ImageNet-A: Un benchmark adversarial natural donde la precisión a nivel de imagen colapsa. Los autores miden si la clase objetivo sigue siendo detectable en la cuadrícula espacial a pesar del fallo de la predicción global.
3. MS-COCO: Evaluando backbones auto-supervisados congelados (CLIP, DINO, MAE, BEiT) donde solo se entrena una cabeza lineal sobre embeddings agrupados (pooled). La cabeza se aplica entonces punto a punto a la cuadrícula de características para probar si la evidencia espacial emerge sin supervisión de extremo a extremo (end-to-end).
4. Dataset Sintético de Múltiples Objetos: Un experimento controlado donde las imágenes contienen de 3 a 5 objetos, pero el entrenamiento utiliza solo una etiqueta por imagen. Esto aísla si los modelos basados en GAP pueden aprender a asociar instancias espaciales específicas con la etiqueta a pesar de la supervisión incompleta.

Resultados Clave

1. Recuperación de la Evidencia Espacial
A través de todas las arquitecturas (ConvNeXt, Swin, MaxViT, ResNet), la lectura densa recupera consistentemente la clase de verdad de campo dentro de las regiones del primer plano, incluso cuando la predicción a nivel de imagen es incorrecta.

• Detección de Primer Plano: Las tasas de detección de primer plano en ImageNet superan el 90% en todas las arquitecturas, significativamente más altas que la precisión Top-1.
• Recuperación de ReaL: El conjunto de clases predichas en cualquier lugar de la cuadrícula recupera etiquetas "ReaL" válidas a una tasa de entre 1.2 y 7.1 puntos porcentuales superior a la precisión Top-1 a nivel de imagen, lo que indica que la evidencia válida suele estar presente pero es suprimida por el promedio.

2. Dinámicas Específicas de la Arquitectura

• Transformers (ViTs): Muestran una alta activación de fondo (prediciendo la clase objetivo en regiones de fondo) en imágenes no modificadas (por ejemplo, 90% para Swin/MaxViT). Sin embargo, cuando el objeto del primer plano está ocluido, esta activación de fondo cae drásticamente (36–38%). Esto sugiere que los ViT distribuyen la evidencia del objeto globalmente mediante auto-atención, haciendo que los tokens de fondo dependan de la presencia del objeto del primer plano.
• CNNs: Exhiben una menor activación de fondo basal y una caída menos pronunciada ante la oclusión. Sin embargo, para clases específicas, ocluir el primer plano paradójicamente aumenta las predicciones de fondo, lo que sugiere interacciones complejas donde la presencia del objeto suprime los atajos basados en el contexto.

3. Robustez ante Desplazamientos Adversariales
En ImageNet-A, donde la precisión a nivel de imagen cae hasta un 3.8% (EfficientNet), las tasas de detección espacial siguen siendo sustancialmente más altas (por ejemplo, del 30.6% al 56.9%). Esto indica que la evidencia de clase localizada persiste en la cuadrícula de características incluso cuando la agregación global falla al producir una decisión correcta a nivel de imagen.

4. Aprendizaje a partir de Supervisión Incompleta
En el experimento sintético de múltiples objetos, los modelos entrenados desde una inicialización aleatoria con una sola etiqueta por imagen (que contiene de 3 a 5 objetos) lograron aproximadamente un 26% de precisión a nivel de imagen (coincidiendo con la tasa de elección aleatoria esperada para $n \in \{3,4,5\}$ objetos). Sin embargo, la precisión de localización espacial fue significativamente mayor (94% para ResNet-18, 63% para ViT-S/32), demostando que los clasificadores basados en GAP pueden aprender a asignar puntuaciones de clase correctas a instancias espaciales específicas incluso bajo supervisión de etiqueta única.

Significado y Reivindicaciones

El artículo argumenta que las limitaciones de los clasificadores de imágenes estándar no son necesariamente fallos del aprendizaje de representaciones, sino fallos de la regla de agregación (mean pooling).

• Herramienta de Diagnóstico: La lectura densa sirve como un diagnóstico post-hoc que revela la evidencia de clase espacial sin requerir reentrenamiento, anotaciones adicionales o cambios arquitectónicos. Permite a los investigadores distinguir entre predicciones basadas en objetos y atajos basados en el contexto.
• Interpretación MIL: Al ver los clasificadores basados en GAP como modelos de MIL de agregación de media, el artículo replantea los modos de fallo comunes (por ejemplo, sensibilidad al contexto del fondo, fallo en ejemplos adversariales) como limitaciones inherentes de la agregación de la media cuando la evidencia es dispersa o espacialmente competitiva.
• Implicaciones Arquitectónicas: Los resultados sugieren que reglas de agregación alternativas (por ejemplo, max pooling, MIL basado en atención) podrían mitigar estos problemas. El artículo postula que el "cuello de botella" impuesto por el GAP oscurece las capacidades reales de las características aprendidas.

Los autores concluyen que los clasificadores estándar retienen inherentemente señales espaciales que actualmente son inaccesibles para los protocolos de evaluación estándar, y que reexaminar el paso de agregación es crucial para comprender y mejorar la robustez e interpretabilidad de los modelos.