기술 요약: 전역 평균 풀링(Global Average Pooling)의 재고

문제 정의

현대적인 이미지 분류기들은 주로 전역 평균 풀링(GAP)과 선형 분류 헤드를 사용하는 방식에 의존한다. 이러한 구조는 변환 불변성(translation invariance)을 보장하고 파라미터 수를 줄여주지만, 공간적 특징 그리드를 단일 이미지 수준 벡터로 붕괴시킨다. 이러한 집계 방식은 기저에 깔린 공간적 클래스 증거의 분포를 가린다. 결과적으로, 표준 평가 지표(예: Top-1 정확도)는 모델을 하나의 결정을 출력하는 블랙박스로 취급하며, 예측이 맞았을 때 그것이 타겟 객체로부터 기인한 것인지, 주변 맥락(context)으로부터 기인한 것인지, 혹은 두 요소의 혼합으로부터 기인한 것인지를 구분하지 못한다. 나아가, 이미지 수준의 예측이 실패했을 때, 타겟 클래스의 증거가 특징 표현(feature representation)에서 완전히 사라진 것인지, 아니면 단순히 평균화 과정에 의해 희석된 것인지도 불분clear하다.

방법론

본 논문은 GAP 기반 분류기를 **다중 인스턴스 학습(Multiple-Instance Learning, MIL)**의 관점에서 재구성할 것을 제안한다. 이 공식화에서 이미지는 "백(bag)" 내의 공간적 인스턴스들(최종 그리드의 특징 벡터들)로 취급되며, 감독(supervision)은 백 전체에 대해서만 제공된다.

핵심 메커니즘: 밀집 판독(Dense Readout)
저자들은 선형 분류 헤드 $f(h) = \Theta^\top h + b$에 대하여, 이미지 수준의 로짓(logit) $z$가 공간 특징 그리드 상에서 점별(pointwise)로 계산된 로컬 로짓들의 평균과 수학적으로 동일함을 입증한다:
$$z = f(\bar{h}) = \frac{1}{N} \sum_{i=1}^{N} (\Theta^\top h_i + b)$$
전역 풀링 단계 이전에 각 공간 특징 벡터에 학습된 분류 헤드를 적용함으로써, 저자들은 밀집 판독(Class-score map 형태의 $K \times H \times W$ 맵)을 생성한다. 이 과정은 전역 평균화를 통해 가려졌던 공간적 클래스 증거를 드러낸다.

실험 프로토콜
본 연구는 밀집 판독을 다음 세 가지 설정에서 평가한다:

1. ImageNet-1K: ILSVRC 바운딩 박스 주석을 사용하여 정답(ground truth)을 공간 그리드에 투영한다. 저자들은 전경 국지화(foreground localization), 배경 활성화(background activation), 그리고 그리드 내에서의 "ReaL" 레이블(단일 정답을 넘어선 유효한 레이블들)의 회복을 분석한다.
2. ImageNet-A: 이미지 수준 정확도가 붕괴되는 자연적 적대적 벤치마크이다. 저자들은 전역 예측이 실패하더라도 타겟 클래스가 공간 그리드 내에 여전히 탐지 가능한지 측정한다.
3. MS-COCO: 풀링된 임베딩에 선형 헤드만을 학습시킨 동결된 자기지도 학습 백본(CLIP, DINO, MAE, BEiT)을 평가한다. 이 헤드를 특징 그리드에 점별로 적용하여, 엔드투엔드(end-to-end) 감독 없이도 공간적 증거가 나타나는지 테스트한다.
4. 합성 다중 객체 데이터셋: 이미지가 3~5개의 객체를 포함하지만, 훈련 시에는 단일 이미지 수준 레이블만 사용하는 통제된 실험이다. 이를 통해 GAP 기반 모델이 불완전한 감독 하에서도 특정 공간 인스턴스를 레이블과 연관시키는 법을 배울 수 있는지 격리하여 조사한다.

주요 결과

1. 공간적 증거의 회복
모든 아키텍처(ConvNeXt, Swin, MaxViT, ResNet)에 걸쳐, 밀집 판독은 이미지 수준의 예측이 틀렸을 때조차 일관되게 정답 클래스를 전경 영역 내에서 회복한다.

• 전경 탐지: ImageNet에서 전경 탐지율은 아키텍처 전반에 걸쳐 90%를 상회하며, 이는 Top-1 정확도보다 현저히 높다.
• ReaL 회복: 그리드 어디에서든 예측된 클래스 집합은 단일 정답을 넘어 유효한 "ReaL" 레이블을 Top-1 정확도보다 1.2~7.1 퍼센트 포인트 더 높은 비율로 회복한다. 이는 유효한 증거가 존재함에도 불구하고 평균화에 의해 억제되는 경우가 많음을 나타낸다.

2. 아키텍처별 역학 관계

• 트랜스포머 (ViTs): 수정되지 않은 이미지에서 높은 배경 활성화(배경 영역에서 타겟 클래스를 예측하는 현상)를 보인다 (예: Swin/MaxViT의 경우 약 90%). 그러나 전경 객체가 가려질 경우, 이 배경 활성화는 급격히 떨어진다 (~36–38%). 이는 ViT가 셀프 어텐션을 통해 객체의 증거를 전역적으로 분산시켜, 배경 토큰이 전경 객체의 존재 여부에 의존하게 만듦을 시사한다.
• CNN: 상대적으로 낮은 베이스라인 배경 활성화를 보이며, 가려짐(occlusion) 발생 시에도 변화 폭이 덜 급격하다. 그러나 특정 클래스의 경우, 전경을 가리는 것이 역설적으로 배경 예측을 증가시키기도 하는데, 이는 객체의 존재가 맥락 기반의 지름길(shortcut)을 억제하는 복잡한 상호작용이 존재함을 시사한다.

3. 적대적 변화에 대한 강건성
이미지 수준 정확도가 3.8%까지 떨어지는 ImageNet-A 환경에서도, 공간적 탐지율은 실질적으로 더 높게 유지된다 (예: 30.6% ~ 56.9%). 이는 전역 집계가 올바른 이미지 수준 결정을 내는 데 실패하더라도, 국소적인 클래스 증거는 특징 그리드 내에 지속적으로 존재함을 나타낸다.

4. 불완전한 감독으로부터의 학습
합성 다중 객체 실험에서, 이미지당 단일 레이블(3~5개 객체 포함)을 사용하여 무작위 초기화 상태에서 훈련된 모델은 약 26%의 이미지 수준 정확도(객체 수 $n \in \{3,4,5\}$에 대한 기대 무작위 추측률과 일치)를 달却했다. 그러나 공간 국지화 정확도는 훨씬 높게 나타났다 (ResNet-18의 경우 94%, ViT-S/32의 경우 63%). 이는 GAP 기반 분류기가 단일 레이블 감독 하에서도 특정 공간 인스턴스에 올바른 클래스 점수를 할당하는 법을 배울 수 있음을 입증한다.

의의 및 주장

본 논문은 일반적인 이미지 분류기의 한계가 반드시 표현 학습(representation learning)의 실패 때문이 아니라, 집계 규칙(aggregation rule)(평균 풀링)의 실패 때문이라고 주장한다.

• 진단 도구: 밀집 판독은 추가적인 재학습, 추가 주석, 또는 아키텍처 변경 없이도 사후적으로 공간적 클래스 증거를 드러내는 진단 도구 역할을 한다. 이를 통해 연구자들은 객체 기반 예측과 맥락 기반 지름길(context-based shortcuts)을 구분할 수 있다.
• MIL 해석: GAP 기반 분류기를 평균 집계 방식의 MIL 모델로 바라봄으로써, 본 논문은 흔한 실패 모드(예: 배경 맥락에 대한 민감도, 적대적 예시에 대한 취약성)를 증거가 희소하거나 공간적으로 경쟁할 때 발생하는 평균 집계의 내재적 한계로 재정의한다.
• 아키텍처적 함의: 이 결과들은 다른 집계 규칙(예: Max Pooling, Attention 기반 MIL)이 이러한 문제들을 완화할 수 있음을 시사한다. 저자들은 GAP에 의해 부과된 "병목 현상"이 학습된 특징의 진정한 능력을 가리고 있다고 주장한다.

저자들은 표준 분류기들이 현재의 평가 프로토콜으로는 접근할 수 없는 공간적 신호를 본질적으로 보유하고 있으며, 집계 단계를 재검토하는 것이 모델의 강건성과 해석 가능성을 이해하는 데 매우 중요하다고 결론짓는다.