Resumo Técnico: Repensando o Global Average Pooling

Declaração do Problema

Os classificadores de imagem modernos dependem predominantemente de Global Average Pooling (GAP) seguido por uma cabeça de classificação linear. Embora essa arquitetura garanta invariância à translação e reduza parâmetros, ela colapsa uma grade de características espaciais em um único vetor de nível de imagem. Essa agregação obscurece a distribuição espacial subjacente da evidência da classe. Consequentemente, métricas de avaliação padrão (ex: acurácia Top-1) tratam o modelo como uma caixa preta que produz uma única decisão, falhando em distinguir se uma previsão correta surge do objeto alvo, do contexto circundante ou de uma mistura de ambos. Além disso, quando as previsões de nível de imagem falham, não fica claro se a evidência da classe alvo está inteiramente ausente da representação de características ou se está apenas diluída pelo processo de média.

Metodologia

O artigo propõe um reenquadramento dos classificadores baseados em GAP através da lente do Aprendizado de Múltiplas Instâncias (Multiple-Instance Learning - MIL). Nesta formulação, uma imagem é tratada como uma "sacola" (bag) de instâncias espaciais (os vetores de características na grade final), onde a supervisão é fornecida apenas para a sacola como um todo.

Mecanismo Central: Dense Readout
Os autores demonstram que, para uma cabeça de classificação linear $f(h) = \Theta^\top h + b$, o logit de nível de imagem $z$ é matematicamente equivalente à média de logits locais computados pontualmente na grade de características espaciais:
$$z = f(\bar{h}) = \frac{1}{N} \sum_{i=1}^{N} (\Theta^\top h_i + b)$$
Ao aplicar a cabeça de classificação treinada a cada vetor de característica espacial antes do passo de pooling global, os autores geram um dense readout (um mapa de escores de classe $K \times H \times W$). Este processo expõe a evidência espacial da classe que é de outra forma suavizada pela média.

Protocolo Experimental
O estudo avalia este dense readout em três configurações distintas:

1. ImageNet-1K: Usando anotações de caixas delimitadoras (bounding boxes) do ILSVRC para projetar a verdade fundamental (ground truth) na grade espacial. Os autores analisam a localização de foreground, ativação de background e a recuperação de rótulos "ReaL" (rótulos válidos além do único ground truth) dentro da grade.
2. ImageNet-A: Um benchmark adversarial natural onde a acurácia de nível de imagem colapsa. Os autores medem se a classe alvo permanece detectável na grade espacial, apesar da falha da previsão global.
3. MS-COCO: Avaliando backbones auto-supervisionados congelados (CLIP, DINO, MAE, BEiT), onde apenas uma cabeça linear é treinada sobre embeddings agrupados (pooled). A cabeça é então aplicada pontualmente à grade de características para testar se a evidência espacial emerge sem supervisão end-to-end.
4. Dataset Sintético de Múltiplos Objetos: Um experimento controlado onde imagens contêm de 3 a 5 objetos, mas o treinamento utiliza apenas um rótulo de nível de imagem. Isso isola se modelos baseados em GAP podem aprender a associar instâncias espaciais específicas ao rótulo, apesar da supervisão incompleta.

Principais Resultados

1. Recuperação de Evidência Espacial
Em todas as arquiteturas (ConvNeXt, Swin, MaxViT, ResNet), o dense readout recupera consistentemente a classe ground-truth dentro das regiões de foreground, mesmo quando a previsão de nível de imagem é incorreta.

• Detecção de Foreground: Em ImageNet, as taxas de detecção de foreground excedem 90% entre as arquiteturas, significativamente superiores à acurácia Top-1.
• Recuperação de ReaL: O conjunto de classes previstas em qualquer lugar da grade recupera rótulos "ReaL" válidos a uma taxa de 1,2 a 7,1 pontos percentuais maior que a acurácia Top-1 de nível de imagem, indicando que a evidência válida está frequentemente presente, mas suprimida pela média.

2. Dinâmicas Específicas de Arquitetura

• Transformers (ViTs): Mostram alta ativação de background (prevendo a classe alvo em regiões de background) em imagens não modificadas (ex: 90% para Swin/MaxViT). No entanto, quando o objeto de foreground é ocluído, esta ativação de background cai drasticamente (36–38%). Isso sugere que os ViTs distribuem a evidência do objeto globalmente via self-attention, tornando os tokens de background dependentes da presença do foreground.
• CNNs: Exibem menor ativação basal de background e uma queda menos acentuada após a oclusão. Contudo, para classes específicas, ocluir o foreground aumenta paradoxalmente as previsões de background, sugerindo interações complexas onde a presença do objeto suprime atalhos baseados no contexto.

3. Robustez a Desvios Adversariais
No ImageNet-A, onde a acurácia de nível de imagem cai para tão baixo quanto 3,8% (EfficientNet), as taxas de detecção espacial permanecem substancialmente mais altas (ex: 30,6% a 56,9%). Isso indica que a evidência de classe localizada persiste na grade de características mesmo quando a agregação global falha em produzir uma decisão de nível de imagem correta.

4. Aprendizado de Supervisão Incompleta
No experimento sintético de múltiplos objetos, modelos treinados a partir de inicialização aleatória com um único rótulo por imagem (contendo 3–5 objetos) alcançaram ~26% de acurácia de nível de imagem (correspondendo à taxa de chute aleatório esperada para $n \in \{3,4,5\}$ objetos). No entanto, a acurácia de localização espacial foi significativamente maior (94% para ResNet-18, 63% para ViT-S/32), demonstrando que classificadores baseados em GAP podem aprender a atribuir escores de classe corretos a instâncias espaciais específicas mesmo sob supervisão de rótulo único.

Significância e Alegações

O artigo argumenta que as limitações dos classificadores de imagem padrão não são necessariamente falhas de aprendizado de representação, mas sim falhas da regra de agregação (mean pooling).

• Ferramenta de Diagnóstico: O dense readout serve como um diagnóstico post-hoc que revela a evidência de classe espacial sem exigir retreinamento, anotações adicionais ou mudanças arquiteturais. Ele permite que pesquisadores distingam entre previsões baseadas em objetos e atalhos baseados em contexto.
• Interpretação MIL: Ao visualizar os classificadores baseados em GAP como modelos de MIL de agregação de média, o artigo reenquadra modos comuns de falha (ex: sensibilidade ao contexto de background, falha em exemplos adversariais) como limitações inerentes da agregação de média quando a evidência é esparsa ou espacialmente competitiva.
• Implicações Arquiteturais: Os resultados sugerem que regras de agregação alternativas (ex: max pooling, MIL baseado em atenção) poderiam mitigar esses problemas. O artigo postula que o "gargalo" imposto pelo GAP obscurece as verdadeiras capacidades das características aprendidas.

Os autores concluem que os classificadores padrão inerentemente retêm sinais espaciais que são atualmente inacessíveis aos protocolos de avaliação padrão, e que reexaminar o passo de agregação é crucial para compreender e melhorar a robustez e a interpretabilidade dos modelos.