기술 요약: CAMAL

문제 제기

실제 응용 환경에 배포된 비전 모델은 의사결정의 신뢰성을 보장하기 위해 해석 가능성을 요구합니다. 클래스 활성화 맵 (CAM) 은 모델의 주의를 시각화하여 모델이 차별적이라고 인식하는 영역을 강조하는 데 널리 사용됩니다. 그러나 기존 접근법은 두 가지 치명적인 한계를 겪고 있습니다:

1. 주의 정렬 부재: 모델은 종종 실제 차별적 영역이 아닌 가짜 영역에 주의를 기울이는데, 이를 '숏컷 학습 (shortcut learning)'이라고 합니다.
2. 주의 충실성 부재: 주의가 특정 영역과 정렬되더라도, 그 주의가 모델의 의사결정에 인과적으로 영향을 미친다는 보장은 없습니다.

'주의 감독 (attention supervision)'을 통해 이를 해결하려는 최근 시도들은 사전 훈련된 제로샷 모델 (예: CLIP) 에서 파생된 **의사 차별적 영역 (pseudo-discriminative regions)**을 참조 신호로 활용했습니다. 저자들은 이러한 사전 지식이 신뢰할 수 없다고 주장합니다. 왜냐하면 이러한 지시는 정밀한 공간적 국소화보다는 광범위한 일반화를 위해 최적화되어 있어, 종종 단편적이거나 가짜 참조 영역을 초래하기 때문입니다. 또한, 기존 방법들은 샘플별 기울기 기반 주의 추출에 의존하여 막대한 계산 오버헤드를 초래하므로 대규모 데이터셋으로 효율적으로 확장되지 못하는 경우가 많습니다.

방법론: CAMAL

저자들은 모델의 주의를 안내하기 위해 **분할 마스크 (segmentation masks)**를 신뢰할 수 있는 참조 영역으로 활용하는 **클래스 활성화 맵 주의 학습 (CAMAL)**을 제안합니다.

1. 신뢰할 수 있는 참조 영역

CLIP 기반 사전 지식을 사용하는 이전 연구들과 달리, CAMAL 은 분할 마스크 (종종 인간이 검증하거나 SAM 과 같은 도구가 생성한 것) 를 사용하여 실제 차별적 영역을 정의합니다. 이러한 마스크는 구조화되고 완전하며 정확한 공간 정보를 제공합니다.

2. 마스크 유도 보조 정규화

CAMAL 은 모델의 주의 히트맵 $H_c$와 분할 마스크 $M_c$에서 파생된 두 가지 지표를 함께 최적화하는 보조 정규화 목적 함수를 수립합니다:

• $\alpha$ (마스크 내 주의): 실제 차별적 영역 내의 평균 주의.
• $\beta$ (마스크 외 주의): 이러한 영역 외부의 평균 주의.

목적 함수는 $(\beta - \alpha)$의 차이를 최소화하여, 모델이 마스크 내에서 주의를 증가시키고 ($\alpha \uparrow$) 가짜 영역에서의 주의를 억제하도록 ($\beta \downarrow$) 효과적으로 유도합니다. 이는 표준 교차 엔트로피 손실에 정규화 항으로 추가됩니다:
$$L = L_{CE} + \lambda \sum_{b} (\beta_b - \alpha_b)$$
여기서 $\lambda$는 정규화의 강도를 조절합니다.

3. 효율적인 배치 단위 주의 추출

주요 기술적 기여는 기울기 기반 주의 추출 (예: Grad-CAM) 의 확장성 병목 현상을 해결하는 것입니다. 표준 방법은 미니배치의 각 샘플에 대해 별도의 역전파를 필요로 합니다 ($O(B)$ 복잡도). CAMAL 은 미니배치의 모든 샘플에 대한 로지트를 단일 스칼라로 합산한 후 단일 역전파를 수행하는 효율적인 공식을 도입합니다.

• 이론적 보장: 미분의 선형성과 배치 내 샘플들의 독립성으로 인해, 이 단일 역전파는 개별적으로 계산한 것과 동일한 기울기를 산출합니다 ($O(1)$ 복잡도).
• 영향: 이는 학습 오버헤드를 크게 줄여 대규모 학습 환경에서 주의 감독을 실현 가능하게 합니다.

4. 아키텍처 및 작업 무관성

CAMAL 은 네트워크 아키텍처 (CNN, ViT 와 같은 Transformer, 하이브리드 모델 적용 가능) 와 학습 패러다임에 무관하도록 설계되었습니다. 실제 레이블이 부재한 심층 강화 학습 (DRL) 에서 CAMAL 은 주의 계산을 위한 목표로 비판자 (critic) 의 가치 추정치 $V(s)$를 사용하여 약한 감독 설정에서 감독을 가능하게 합니다.

주요 기여

1. 원칙적인 주의 감독: 검증되지 않은 의사 영역이 아닌 신뢰할 수 있는 분할 마스크에 기반한 주의 학습을 도입한 CAMAL 의 제시.
2. 새로운 정규화 목적 함수: 실제 영역 내에서의 주의를 장려하고 다른 곳에서는 이를 억제하는 동시에 형식화하여 '억제 전용' 정규화의 한계를 해결.
3. 확장 가능한 추출 방법: 계산 복잡도를 $O(B)$에서 $O(1)$로 줄여 확장 가능한 감독을 가능하게 하는 효율적인 배치 단위 주의 추출 기법.
4. 종합적 평가: 심층 학습 (DL) 과 심층 강화 학습 (DRL) 패러다임 전반에 걸친 통계적으로 엄격한 평가.

실험 결과

저자들은 CAMAL 을 두 가지 베이스라인 (주의 감독이 없는 Vanilla와 CLIP 기반 의사 영역을 사용한 주의 감독인 Prior) 과 비교 평가했습니다.

주의 정렬

• 지표: 모델 주의와 실제 마스크 간의 교차율 (Intersection-over-Union, IoU).
• DL 결과: CAMAL 은 모든 6 개 모델 (ResNet, ConvNeXt, EfficientNet, ViT, Swin, MaxViT) 과 3 개 데이터셋 (BUSI, Oxford-IIIT-Pet, Oxford-Flower) 에서 통계적으로 유의미한 IoU 개선을 달성했습니다. CAMAL 의 IoU 점수는 Vanilla 와 Prior 보다 훨씬 높았습니다 (예: 다양한 데이터셋에서 Prior 의 약 212% 대비 CAMAL 의 약 3342%).
• DRL 결과: ViZDoom 환경에서 CAMAL 은 Vanilla 에 비해 훨씬 높은 평균 IoU 를 보였으며, 층화 부트스트랩 신뢰 구간 (SBCI) 과 개선 확률 (POI) 을 통해 통계적 유의성이 확인되었습니다.

주의 충실성

• 지표: 주의 중요도에 따라 픽셀을 제거/삽입하고 모델 신뢰도 변화를 관찰하여 측정한 인과적 영향.
• 결과: CAMAL 은 Prior 보다 더 충실한 주의를 보여주었습니다. 픽셀 제거 시 CAMAL 의 모델 신뢰도가 더 빠르게 하락하여 주의가 중요한 특징을 올바르게 식별했음을 나타냈습니다. 픽셀 삽입 시에는 신뢰도가 더 빠르게 회복되었습니다. CAMAL 은 삽입 시나리오에서 Prior 보다 **35.3% 높은 곡선 아래 면적 (AUC)**을 달성했습니다.

일반화 성능

• DL: CAMAL 은 대부분의 모델 - 데이터셋 조합에서 분류 정확도 측면에서 Vanilla 를 일관되게 능가했으며, 대부분의 경우 통계적으로 유의미한 향상을 보였습니다.
• DRL: CAMAL 은 Vanilla 에 비해 평균 보상 (mean return) 이 향상되는 경향을 보였으나, 모든 환경에서 항상 통계적으로 유의미한 것은 아니었습니다. 이는 주의 감독이 일반화에 도움이 되지만 복잡한 DRL 역학을 위해서는 정교화가 필요할 수 있음을 시사합니다.
• Prior 와의 비교: CAMAL 은 일반화 측면에서 Prior 와同等하거나 더 나은 성능을 보였으며, 이는 주의 감독의 주요 이점이 작업 성능을 극적으로 향상시키는 것이 아니라 주의의 질을 개선하는 데 있음을 시사합니다.

중요성 및 주장

본 논문은 CAMAL 이 분할 마스크의 공간적 정보를 효과적으로 활용하여 모델 주의를 안내할 수 있음을 입증했다고 주장합니다. 저자들은 다음과 같이 강조합니다:

• 신뢰성이 핵심: 주의 감독은 신뢰할 수 있는 참조 영역 (분할 마스크) 에 기반해야 신뢰할 수 있습니다. 제로샷 모델의 의사 영역에 의존하면 신뢰할 수 없는 수정을 초래합니다.
• 양보다 질: 주의 감독의 주요 이점은 학습된 주의의 질 (정렬 및 충실성) 을 개선하는 것이며, 작업 성능 향상은 modest하고 문맥에 의존적입니다.
• 확장성: 제안된 배치 단위 추출 방법은 추론 비용을 증가시키지 않으면서 현대적인 대규모 학습을 위한 주의 감독을 실용적으로 만듭니다.

저자들은 CAMAL 이 향후 주의 감독 방법들을 위한 신뢰할 수 있는 기준을 수립했다고 결론지으며, 이러한 방법들의 잠재력을 최대한 실현하려면 정확한 실제 공간 정보에 기반해야 함을 강조합니다.