🤖 machine learning

AGOP as Explanation: From Feature Learning to Per-Sample Attribution in Image Classifiers

본 논문은 평균 기울기 외적 (AGOP) 을 활용하여 기울기 노이즈를 억제하고 일관되게 중요한 픽셀을 증폭시키는 새로운 사후 귀속 방법인 AGOP-Weighted 를 소개하며, 이는 최소의 추론 비용으로 합성 및 사진과 같은 사실적인 벤치마크에서 통합 기울기 (Integrated Gradients) 와 GradCAM 과 같은 기존 기법들보다 우수한 성능을 입증합니다.

원저자: Raj Kiran Gupta Katakam

게시일 2026-05-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Raj Kiran Gupta Katakam

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

신경망 (일종의 인공지능) 이 이미지를 보고 그 내용을 추측한다고 상상해 보세요. 당신은 궁금할 것입니다: "AI 는 그 추측을 할 때 정확히 무엇을 보고 있는 걸까?"

오랫동안 과학자들은 이미지의 중요한 픽셀을 강조하는 도구를 사용해 왔습니다. 마치 AI 가 어디에 '집중'하고 있는지를 보여주는 히트맵과 같죠. 하지만 제공된 논문은 이러한 기존 도구들이 특정 순간에 한 번만 사람을 관찰하여 그 사람을 이해하려는 것과 같다고 주장합니다. 이는 AI 가 사물을 어떻게 배웠는지에 대한 더 큰 그림을 놓치게 만듭니다.

다음은 일상적인 비유를 사용하여 논문의 새로운 아이디어를 간단히 정리한 것입니다.

1. 기존 방식: "스냅샷" 접근법

대부분의 현재 방법들 (Integrated Gradients 나 GradCAM 등) 은 AI 가 특정 문제를 해결하는 동안 AI 의 뇌를 한 장의 사진으로 찍는 것과 같습니다.

문제점: AI 가 혼란스러우거나 수학 계산이 복잡해져서 (예: 픽셀들이 서로 곱해질 때) 이러한 스냅샷은 노이즈가 많거나 흐릿해집니다. 잘못된 부분을 강조하거나 신호를 완전히 놓칠 수도 있습니다.
비유: 요리사가 무엇을 잘하는지 알아내려고 그가 양파 하나를 썰고 있는 모습만 지켜본다고 상상해 보세요. 당신은 그 특정 양파를 썰 때 그가 고군분투하는 모습은 볼 수 있지만, 사실 그는 당근을 썰 때는 대가라는 사실을 놓치게 됩니다.

2. 새로운 아이디어: "학습 일지" (AGOP)

저자들은 AGOP(Average Gradient Outer Product, 평균 기울기 외적) 라는 개념을 소개합니다. 단순히 한 장의 스냅샷을 보는 대신, AI 의 전체 "학습 일지"를 살펴보는 것입니다.

무엇인가요? 이는 AI 가 학습하는 동안 실수를 하거나 수정을 가한 모든 순간의 기록입니다. 수천 개의 예시를 통해 AI 가 일관되게 의존했던 픽셀들을 추적합니다.
비유: 요리사가 양파 하나를 썰고 있는 모습만 보는 대신, 한 달 내내 양파, 당근, 감자를 썰고 있는 비디오를 지켜본다고 상상해 보세요. 당신은 패턴을 발견합니다: "아, 둥근 모양을 볼 때마다 그들은 특정한 칼질을 사용하네." 이 패턴이 바로 AGOP입니다.

3. 세 가지 새로운 도구

논문은 이 "학습 일지"를 AI 를 설명하는 세 가지 구체적인 도구로 변환합니다.

A. AGOP-Local (표준 스냅샷)

이는 단일 이미지를 보는 기존 방식이지만, 저자들은 이것이 사실은 더 큰 AGOP 퍼즐의 작은 조각에 불과하다는 것을 깨달았습니다. 요리사 비디오의 한 프레임만 보는 것과 같습니다. 작동은 하지만 특별하지는 않습니다.

B. AGOP-Weighted (스마트 하이라이터)

이것이 논문의 주역인 발명품입니다. 현재 이미지의 "스냅샷"과 "학습 일지"를 결합합니다.

작동 원리: 현재 이미지를 보지만, 일지를 활용하여 "이전에는 AI 가 이 노이즈가 많은 픽셀을 항상 무시했지만, 저 픽셀에는 항상 주의를 기울였어"라고 말합니다. 중요한 픽셀은 강조하고 노이즈는 침묵시킵니다.
비유: 형사가 용의자의 범행을 해결한다고 상상해 보세요. 기존 방법은 용의자의 현재 알리바이만 봅니다. AGOP-Weighted는 그 알리바이를 보면서도 용의자의 전체 범죄 기록과 대조합니다. 만약 용의자가 보통 화요일에 대해 거짓말을 한다면, 형사는 화요일 알리바이에 대해 특히 더 회의적으로 접근해야 한다는 것을 알게 됩니다.
결과: 간단한 작업에서 이 방법은 이전 최고 방법보다 올바른 픽셀을 찾는 데 44% 더 뛰어났습니다.

C. AGOP-Global (무비용 치트키)

이 도구는 특정 이미지를 전혀 보지 않습니다. 대신 "학습 일지"만 보고 AI 가 보통 무엇을 중요하게 생각하는지에 대한 일반적인 지도를 만듭니다.

작동 원리: AI 가 항상 "테트리스 블록"을 찾으려면 이미지 중앙을 본다면, 이 도구는 중앙에 영구적인 스포트라이트를 그립니다.
결과: 사용 비용이 0입니다 (저장된 파일만 확인하면 됩니다). 픽셀들이 서로 곱해져 수학적으로 매우 노이즈가 많은 까다로운 작업에서 이 도구는 기존 방법보다 7 배 더 뛰어났습니다. 마치 "정답은 항상 중앙에 있다"는 치트키를 가진 것과 같아서, 게임이 예측 가능할 때 완벽하게 작동합니다.

4. 그들이 발견한 것 (주의할 점)

저자들은 이 도구들을 두 가지 다른 유형의 퍼즐로 테스트했습니다.

"선형" 퍼즐 (간단함): AI 는 단순히 픽셀의 밝기를 더합니다.
- 승자: AGOP-Weighted. 현재 시야와 역사를 완벽하게 결합했습니다.
"곱셈" 퍼즐 (까다로움): AI 는 픽셀 값을 곱해야 합니다. 이는 표준 도구들을 혼란스럽게 만드는 많은 수학적 노이즈를 생성합니다.
- 승자: AGOP-Global. 노이즈가 무작위적이었기 때문에 학습 일지의 "평균"이 이를 모두 부드럽게 만들어 진정한 신호를 드러냈습니다.
"움직이는 표적" 퍼즐: 대상이 이미지 내에서 이동합니다.
- 승자: Integrated Gradients (기존 방법). 대상이 이동하기 때문에 "전역" 지도 (AGOP-Global) 는 한 번에 모든 곳을 강조하려다 실패합니다. 특정 이미지를 보는 기존 방법이 여기서 승리합니다.

5. "GradCAM"에 대한 경고

논문은 또한 GradCAM이라는 인기 도구가 작고 낮은 해상도의 이미지에서는 완전히 실패한다는 것을 발견했습니다.

비유: 8x8 픽셀의 아주 작은 이미지를 읽으려는데, 사용하는 도구가 작업할 수 있는 3x3 그리드만 가지고 있다고 상상해 보세요. 마치 세 개의 거대한 붓질만으로 상세한 초상화를 그리려는 것과 같습니다. 세부 정보는 사라지고 도구는 잘못된 곳을 가리킵니다.

요약

이 논문은 AI 를 진정으로 이해하려면 지금 당장 무엇을 하고 있는지만 보면 안 된다고 주장합니다. 어떻게 배웠는지를 봐야 합니다.

AGOP-Weighted는 AI 의 습관을 알고 있어 현재 생각을 해석하는 데 도움을 주는 스마트한 조수와 같습니다.
AGOP-Global은 AI 의 작업이 일관될 때 놀라울 정도로 잘 작동하는 무료이고 즉각적인 치트키입니다.
큰 교훈: AI 의 자체 학습 역사 (AGOP) 를 활용함으로써, 특히 수학이 복잡해질 때 이전보다 훨씬 더 정확하고 저렴하게 AI 의 결정을 설명할 수 있습니다.

기술 요약: 설명으로서의 AGOP

문제 제기

설명 가능한 인공지능 (XAI) 분야는 이미지 분류에서 어떤 입력 픽셀이 신경망의 예측을 주도하는지 설명하는 데 있어 핵심적인 도전에 직면해 있습니다. 기존의 귀속 방법들 (예: 통합 기울기, GradCAM, SmoothGrad) 은 대부분 훈련된 모델을 블랙박스로 간주하여 네트워크의 학습 역학과 무관하게 기하학적 구조를 독립적으로 적용합니다. 또한, 이러한 방법들은 종종 곱셈적 상호작용, 공간 해상도 제약, 또는 2 차 추론이 필요한 작업과 같은 특정 작업 특성에 직면하여 어려움을 겪습니다. 확립된 베이스라인과 특징 학습의 이론적 메커니즘에 기반한 방법들 간의 엄격한 비교는 부재합니다.

방법론

이 연구는 **Neural Feature Ansatz (NFA)**에 기반한 새로운 귀속 방법인 AGOP-Weighted를 소개합니다. NFA 는 신경망의 가중치 그람 행렬이 훈련 분포 위에서 계산된 평균 기울기 외적 (AGOP) 행렬과 정렬된다고 주장합니다. 저자들은 이 이론적 통찰을 활용하여 AGOP 행렬의 대각선 요소, $diag(M)$이 귀속을 위한 자연스러운 훈련 분포 사전 (prior) 으로 작용한다고 제안합니다.

방법론은 세 가지 핵심 구성 요소를 포함합니다:

AGOP 변형:
- AGOP-Local: 샘플별 기울기를 나타내는 VanillaGrad 와 동일합니다.
- AGOP-Weighted: 정규화된 훈련 분포 사전, $v = \sqrt{diag(M)} / \max(diag(M))$ 을 샘플별 기울기에 곱하는 하이브리드 방법입니다. 이는 기울기 노이즈를 억제하고 훈련 세트 전반에 걸쳐 일관되게 중요한 픽셀을 증폭시킵니다.
- AGOP-Global: 전체 데이터셋에 대한 영구 비용의 중요도 맵 (saliency map) 으로 $diag(M)$을 직접 사용하며, 인스턴스별 변이를 무시합니다.
AGOPTrainingHook: 가중치 업데이트를 변경하지 않고 별도의 역전파 (autograd.grad 사용) 를 통해 표준 훈련 중 $diag(M)$을 누적하는 구현 메커니즘입니다. 이를 통해 글로벌 사전의 효율적인 계산이 가능해집니다.
평가 프레임워크: 저자들은 픽셀 수준의 정답 (ground truth) 이 있는 두 가지 벤치마크에 대해 통합 기울기 (IG), SmoothGrad, GradCAM, VanillaGrad 와의 엄격한 비교 평가를 수행했습니다:
- XAI-TRIS: 8×8 이미지와 네 가지 분류 시나리오 (선형, 곱셈, 이동 + 회전, XOR) 를 가진 합성 벤치마크입니다.
- CLEVR-XAI: 3D 장면에 대해 미세 조정된 ResNet-18 을 사용하는 사실적인 벤치마크입니다.

주요 기여

새로운 귀속 공식화: 훈련 분포 사전으로 기울기를 조절함으로써 샘플별 귀속과 글로벌 귀속을 연결하는 AGOP-Weighted 의 도입.
효율적인 구현: AGOPTrainingHook 개발로 AGOP-Global 이 영구 추론 비용 (디스크 조회) 으로 작동하고 AGOP-Weighted 가 단일 기울기 통과 비용으로 작동할 수 있게 함.
체계적인 평가: 다양한 작업 유형 (선형, 곱셈, 공간적 변이) 및 해상도에 걸쳐 AGOP 기반 방법들을 표준 베이스라인과 비교한 최초의 엄격한 평가.
실증적 통찰:
- AGOP-Weighted가 선형 작업에서 통합 기울기보다 훨씬 높은 평균 교차율 (mIoU) 을 달성함을 입증.
- AGOP-Global이 곱셈 작업에서 통합 기울기 (IG) 를 크게 능가하며 (IG 는 무작위 기준선 이하로 떨어짐), 영구 추론 비용으로 이를 달성함을 입증.
- 공간 해상도 붕괴로 인해 작은 해상도 이미지에서 GradCAM 의 실패를 확인.
- 분류 정확도가 정체된 후에도 훈련 내내 $diag(M)$의 품질이 단조롭게 향상됨을 관찰.

결과

실험은 작업 특성에 따라 뚜렷한 성능 프로파일을 보여줍니다:

선형 작업 (XAI-TRIS): AGOP-Weighted 는 통합 기울기보다 mIoU 가 44% 더 높은 성능 (0.314 대 0.218) 을 달성하며, 추론 비용은 절반 (1.0ms 대 2.4ms) 으로 줄어듭니다.
곱셈 작업 (XAI-TRIS): AGOP-Global 이 우세하여 통합 기울기보다 mIoU 가 7 배 높은 성능 (0.337 대 0.048) 을 달성합니다. 이 시나리오에서 IG 는 무작위 기준선 이하로 떨어지는 반면, AGOP-Global 은 제곱 기울기의 평균화를 통해 샘플별 노이즈를 상쇄하여 안정적인 신호를 복원합니다.
공간적 변이 작업 (이동 + 회전): 통합 기울기가 모든 방법을 능가합니다 (mIoU 0.540). 이는 특정 인스턴스별 형태를 추적하기 때문이며, 반면 AGOP-Global 은 글로벌 통계의 확산으로 인해 실패합니다 (mIoU 0.080).
CLEVR-XAI (ResNet-18): AGOP-Weighted (IG 대비 mIoU +18%) 와 AGOP-Global (IG 대비 mIoU +37%) 모두 통합 기울기보다 우수한 성능을 보입니다. AGOP-Global 은 추론 비용이 6,600 배 낮아 (샘플당 0.02ms 대 131.98ms) 경쟁력 있는 결과를 달성합니다.
GradCAM 의 한계: 공간 특징 맵의 붕괴 (예: 3×3 또는 2×2 맵) 로 인해 GradCAM 과 GradCAM++ 은 작은 해상도 이미지 (8×8 및 64×64 입력) 에서 완전히 실패하며, Pointing Game 점수가 0.000 이 됩니다.

중요성과 주장

이 논문은 AGOP 을 단순히 이론적 구조가 아닌 실용적인 사후 (post-hoc) 귀속 도구로 확립한다고 주장합니다. 그 중요성은 다음과 같습니다:

이론과 실무의 연결: 학습 과정에서 누적된 기울기 통계 ($diag(M)$) 가 학습 과정을 무시하는 방법들보다 우수한 설명력을 제공함을 입증하여 Neural Feature Ansatz 를 검증.
작업 의존적 우위: 단일 방법이 모든 시나리오를 지배하지는 않지만, AGOP 변형들이 특정 고가치 이점을 제공함을 보여줌: 선형 작업에는 AGOP-Weighted, 곱셈 작업 또는 위치 일관성 작업에는 영구 추론 비용으로 AGOP-Global.
효율성: 추론 시 계산이 필요 없는 방법 (AGOP-Global) 을 제공하여 배치 파이프라인과 데이터셋 수준의 진단에 이상적임.
현재 베이스라인의 한계: 표준 방법인 GradCAM 이 저해상도 입력에 근본적으로 부적합하며, 통합 기울기가 곱셈적 상호작용에서 치명적으로 실패할 수 있음을 강조.

저자들은 AGOP-Weighted 와 AGOP-Global 이 특정 맥락에서 상당한 개선을 제공하지만, 귀속 방법의 선택은 작업의 성격 (선형 대 곱셈, 고정 대 변이하는 공간 신호) 에 따라 안내되어야 한다고 결론지었습니다. 향후 연구는 이러한 발견을 더 큰 네트워크로 확장하고 비대각선 상호작용 항을 탐구하는 것으로 제안됩니다.