Pulling Back the Curtain on Deep Networks

본 논문은 목표 뉴런으로부터 일관된 국소 구조를 재구성하여 지각적으로 정렬되고 안정적이며 충실한 사후 설명을 생성하기 위해 심층 네트워크를 입력 조건부 아핀 연산자로 해석하는 이론적 기반을 갖춘 방법인 시맨틱 풀백을 소개한다.

핵심

상상해 보세요. 매우 똑똑하고 복잡한 기계 (심층 신경망) 가 이미지를 보고 "그건 고양이야!"라고 결정한다고 가정해 봅시다. 하지만 그 기계에 "왜 그렇게 생각했어?"라고 물으면, 보통은 혼란스럽고 정지된 노이즈가 섞인 픽셀 덩어리를 가리킬 뿐입니다. 마치 요리사에게 수프가 왜 맛있는지 물었는데, 그들이 레시피를 설명하지 않고 무작위 향신료 한 줌을 당신에게 던져주는 것과 같습니다.

이 논문은 **시맨틱 풀백 (Semantic Pullbacks, SP)**이라고 불리는 그 질문을 하는 새로운 방식을 소개합니다. 간단한 비유를 통해 작동 원리를 설명해 보겠습니다.

문제: "취약한" 지도

간단한 수학 모델에서는 모델이 무엇을 좋아하는지 보기 위해 "가중치 (노브)"를 살펴볼 수 있습니다. 하지만 심층 네트워크에서는 정답을 찾는 표준적인 방법이 **기울기 (gradients)**를 사용하는 것입니다.

• 비유: 흔들리는 손으로 그린 지도를 보고 산을 오르는 길을 찾으려 한다고 상상해 보세요. 선들은 날카롭고 노이즈가 많으며 때로는 잘못된 방향을 가리킵니다. 이것이 현재 방법들이 하는 일입니다: 그들은 종종 단순한 시각적 노이즈이거나 인간에게 이해할 수 없는 이상한 패턴인 적대적 오류 (adversarial glitches) 처럼 보이는 "주목도 지도 (saliency maps)"를 생성합니다.

새로운 아이디어: "어드조인트 (Adjoint)" 풀백

저자들은 흔들리는 기울기를 보는 대신 **풀백 (pullback)**을 살펴봐야 한다고 주장합니다.

• 비유: 신경망을 일련의 환상 거울과 미끄럼틀로 생각하세요. 신호 ("고양이" 결정) 가 뒤쪽에서 나올 때, 표준 방법은 발생한 모든 비틀림과 회전을 정확히 역순으로 추적하려고 시도합니다.
• 혁신: 저자들은 다른 접근법을 제안합니다. 그들은 네트워크를 물건을 늘리고 이동시키는 수학적 기계인 **아핀 연산자 (affine operators)**의 집합으로 취급합니다. 정교한 비틀림을 정확히 역순으로 돌리는 대신, "부드러운" 역순을 사용합니다.
  • 게이팅의 부드럽게 만들기: 네트워크의 많은 층은 엄격한 문지기 (예: "숫자가 음수라면 문을 완전히 닫아라") 처럼 작동합니다. 표준 방법은 이를 엄격하게 존중하여, 약간이라도 음수인 신호는 모두 차단합니다. 새로운 방법은 "부드러운 문지기 (soft adjoint)"를 사용합니다. "숫자가 거의 음수라면, 신호를 조금이라도 통과시켜라"라고 말합니다. 이는 엄격한 문지기가 버렸을 이미지 부분을 복구하여, 뉴런이 실제로 무엇을 중요하게 생각하는지 더 선명한 그림을 드러냅니다.

과정: "풀백 어센트 (Pullback Ascent)"

이들 "부드럽게 만든" 역방향 신호를 얻은 후, 거기서 멈추지 않습니다. 신호가 제안하는 방향으로 몇 걸음 앞으로 나아가는 것입니다.

• 비유: 안개 낀 숲에서 숨겨진 길을 찾으려 한다고 상상해 보세요.
  • 구식 방법: 흔들리는 나침반 (기울기) 에 기반해 한 걸음을 내딛습니다. 절벽으로 떨어질 수도 있습니다.
  • 신식 방법: 안개를 고려하는 "부드러운 나침반 (부드러운 풀백)"을 사용합니다. 그런 다음 그 방향으로 몇 걸음의 작고 신중한 발걸음 (풀백 어센트) 을 내딛습니다. 이는 단순히 어지럽게 헤매는 것이 아니라 실제 일관된 경로 (시맨틱 특징) 를 찾도록 도와줍니다.

그들이 발견한 것

저자들은 수천 장의 이미지를 사용하여 ResNet50 과 PVT 와 같은 유명한 이미지 인식 모델에서 이를 테스트했습니다.

• 더 나은 지도: 새로운 지도는 정지 노이즈가 아니라 실제 객체 (고양이, 개, 자동차) 처럼 보입니다. 인간이 보는 것과 훨씬 더 잘 일치합니다.
• 더 신뢰할 수 있음: 이미지를 약간 변경해도 설명이 안정적으로 유지됩니다. 구식 방법들은 사소한 변화에도 극적으로 뒤바뀌곤 했습니다.
• 더 빠름: 평균을 내기 위해 모델을 수백 번 실행해야 하는 다른 방법들 (하나의 선명한 사진을 얻기 위해 100 장의 사진을 찍는 것과 같음) 과 달리, 이 방법은 몇 가지 추가 단계로 단일 통과로 처리합니다. 계산 비용이 저렴합니다.
• 재학습 불필요: 이미 가지고 있는 사전 훈련된 모델에 이 방법을 적용할 수 있습니다. 기계를 다시 짓거나 새로운 것을 가르칠 필요가 없습니다.

큰 그림

이 논문은 심층 네트워크를 **입력 조건부 아핀 연산자 (input-conditioned affine operators)**로 이해하는 것이 더 낫다고 주장합니다. 쉬운 말로: 네트워크는 단순히 계산만 하는 것이 아니라, 입력에 기반하여 정보를 처리하는 방식을 역동적으로 변경합니다. 이 "풀백" 방법을 사용하면 전통적인 기울기 방법의 노이즈와 취약성 없이 뉴런의 "선호 방향"을 원래 이미지까지 추적할 수 있습니다.

간단히 말해: AI 자체를 다시 구축할 필요 없이, AI 가 보고 있는 객체의 진정한 모양을 드러내는 부드럽고 안정적인 빛줄기로 흔들리고 노이즈가 많은 손전등을 대체했습니다.

기술 요약

기술 요약: 의미적 풀백 (Semantic Pullbacks, SP)

문제 제기

딥러닝의 발전에도 불구하고, 현대 신경망의 내부 연산을 해석하는 것은 여전히 어렵습니다. 사후 설명 가능성 (post-hoc explainability) 의 주된 패러다임은 출력 점수에 대한 입력의 기울기 (gradient) 를 시각화하는 데 의존합니다. 그러나 ReLU, LayerNorm, 또는 Self-Attention 이 포함된 현대 아키텍처에서는 이러한 기울기가 종종 노이즈가 많고 불안정하며, 표준 건전성 검사 (sanity checks) 를 통과하지 못합니다. 이러한 기울기는 취약하거나, 적대적으로 보이거나, 의미론적으로 유의미한 특징을 포착하지 못할 수 있습니다.

Smoothing(예: SmoothGrad) 이나 특징 강조와 같은 기존 완화 시도들은 종종 비용이 많이 드는 확률적 샘플링, 무거운 정규화, 또는 통일된 이론적 근거가 결여된 임의의 수정에 의존합니다. 또한 B-cos 네트워크와 같은 방법들은 문제가 최적화가 아니라 최적화되는 방향에 있을 수 있음을 시사합니다. 즉, 기울기는 심층 신경망을 위한 가중치 벡터 설명의 올바른 일반화가 아닐 수 있습니다.

방법론

본 논문은 심층 네트워크를 입력 조건부 아핀 연산자 (input-conditioned affine operators) 로 재해석하는 의미적 풀백 (Semantic Pullbacks, SP) 프레임워크를 제안합니다. 저자들은 뉴런의 선호도를 기울기를 통해 보는 대신, 네트워크의 유효 동적 선형 연산자의 수반 작용 (adjoint action) 을 사용해야 한다고 주장합니다.

핵심 개념: 풀백 vs 기울기

선형 모델에서 가중치 벡터는 자연스럽게 선호되는 입력 방향을 드러냅니다. 심층 네트워크에서는 순전파 (forward pass) 를 $f(x) = W(x)x$와 같은 동적 아핀 맵으로 모델링할 수 있으며, 여기서 $W(x)$는 순전파 상태 (게이팅, 라우팅, 정규화) 에 의존합니다.

• 기울기: $W(x)$가 $x$에 따라 어떻게 변하는지 포함하여 모든 입력 의존성을 미분합니다. 이는 게이팅 및 정규화 통계에서 비롯된 노이즈를 도입합니다.
• 풀백: 동적 선형 구성 요소의 수반으로 정의되며, $\nu_u(x) = W(x)^\top u$입니다. 이는 $W(x)$의 상태 의존 매개변수를 미분하지 않고 출력 공간 벡터 $u$를 입력 공간으로 되돌려 보냅니다. 선형 레이어에서는 풀백과 기울기가 일치하지만, 비선형/라우팅 레이어 (ReLU, MaxPool, Attention) 에서는 이 둘이 갈라집니다.

의미적 풀백 프레임워크

저자들은 일관된 국소 구조를 복원하기 위해 두 가지 주요 메커니즘을 통해 표준 풀백을 정제합니다.

1. 소프트 수반 (Soft Adjoint - SfP):
   표준 풀백은 여전히 노이즈가 있을 수 있습니다. 왜냐하면 하드 게이팅 (예: ReLU 마스크) 이 약하지만 의미론적으로 관련 있는 구성 요소를 급격히 억제하기 때문입니다. 저자들은 하드 역방향 게이팅을 온도 매개변수 $\tau$로 제어되는 연화된 버전으로 대체하는 소프트 수반을 도입합니다.

   • 메커니즘: ReLU, SiLU, MaxPool 과 같은 레이어의 경우, 역전파 동안 하드 게이트 (예: $1\{z>0\}$) 를 소프트 함수 (예: 정규 CDF $\Phi(z/\tau)$ 또는 온도 스케일 시그모이드) 로 대체합니다.
   • 목표: 이는 데이터 분포에 걸친 기대되는 국소 풀백을 근사하여, 순전파를 변경하거나 확률적 샘플링을 요구하지 않으면서 약하지만 일관된 특징 구성 요소를 복원합니다.

2. 풀백 상승 (Pullback Ascent, PA):
   특히 Self-Attention 과 같은 강한 레이어 내 의존성을 가진 아키텍처에서 일관된 구조를 더욱 강화하기 위해, 이 방법은 반복적 정제 절차를 사용합니다.

   • 메커니즘: 입력 $x$에서 시작하여 알고리즘은 소프트 풀백 벡터장을 따라 반복적으로 상승합니다: $x^{(t+1)} = x^{(t)} + \alpha \cdot \text{Norm}(\tilde{\nu}_u(x^{(t)}))$.
   • 목표: 이는 목표 뉴런이 인코딩한 특징을 강조하는 국소화된 클래스 조건부 교란을 생성합니다. 이는 약간의 단계 ($K \approx 5$) 만 필요하고 무거운 주파수 영역 정규화가 필요 없는 경량의 국소 상승 절차로 작용합니다.

의미적 풀백 (SP) 은 이러한 레이어별 수반 정제로 생성된 설명을 포괄하는 용어입니다. 이 방법은 아키텍처 수정, 재학습, 또는 미세 조정이 없이 표준 사전 훈련 모델 (CNN 및 Transformer) 에 직접 작동합니다.

주요 기여

1. 의미적 풀백 프레임워크: 연화된 수반 운송에 기반한 원칙적인 사후 설명 방법입니다. 이는 뉴런이 국소 데이터 분포에 걸친 기대치로서 특징을 나타낸다는 관점 하에 기울기 평활화, B-cos 정렬, 특징 강조의 개념을 통합합니다.
2. 효율적인 구현: 표준 사전 훈련된 CNN(ResNet, VGG) 과 Transformer(PVT) 에서 작동하는 레이어별 폐쇄형 (closed-form) 구현입니다. 아키텍처 변경이나 확률적 샘플링이 필요 없어 계산적으로 효율적입니다.
3. 풀백 상승: 표준 기울기 상승에서 흔히 발생하는 노이즈와 적대적 아티팩트를 피하면서, 몇 단계 만에 일관된 클래스 조건부 교반적 (counterfactual) 교란을 생성하는 경량 절차입니다.
4. 실증적 검증: ResNet50, VGG, PVT 에서 6 가지 지표 (충실도, 견고성, 목표 특이성) 를 사용하여 1,000 개의 ImageNet 검증 이미지에 걸쳐 포괄적인 평가가 수행되었습니다.

결과

저자들은 Quantus 툴킷을 사용하여 SP 를 기존 베이스라인 (Gradient, SmoothGrad, Integrated Gradients, DeepLift, GuidedGrad-CAM 등) 과 비교 평가했습니다.

• 충실도 (Faithfulness): SP 는 모든 아키텍처에서 부정확도 (Infidelity) 를 크게 개선했습니다. 부정확도는 교란 시 점수 변화를 얼마나 잘 예측하는지를 측정하는 지표입니다. 예를 들어, PVT 에서 Pullback Ascent 는 8.91 인 표준 기울기에 비해 1.63 의 부정확도를 달성했습니다.
• 안정성 및 목표 민감도: SP 방법은 Max Sensitivity(견고성) 와 Random Logit(목표 특이성) 에서 경쟁력 있거나 우수한 성능을 보였습니다. 서로 다른 클래스에 대해 유사한 맵을 생성하는 (높은 Random Logit) GuidedGrad-CAM 과 달리, SP 는 고유하고 목표 특이적인 설명을 생성합니다.
• 지각적 정렬: 정성적 결과는 SP 히트맵과 교반적 교란이 시각적으로 일관되어 있으며, 기울기 기반 방법에서 흔히 보이는 노이즈가 많고 적대적인 패턴 없이 의미론적으로 유의미한 객체 영역을 강조함을 보여줍니다.
• 효율성: SP 는 계산적으로 효율적입니다. 단일 소프트 풀백은 본질적으로 한 번의 역전파만 필요합니다. Pullback Ascent 는 작은 단계 수 $K$에 선형적으로 확장되어, SmoothGrad 와 같은 샘플링 기반 방법이나 Integrated Gradients 와 같은 경로 적분 방법보다 훨씬 빠릅니다.

중요성과 주장

본 논문은 수반 운송 (adjoint transport) 이 심층 학습에서 기울기와 함께 "1 급 원시 (first-class primitive)"로 취급되어야 한다고 주장합니다. 저자들은 다음과 같이 논합니다:

• 기울기는 항상 올바른 일반화가 아님: 동적 아핀 네트워크에서 기울기는 게이팅 및 통계를 미분하는 항들을 포함하는데, 이는 뉴런의 실제 "작용"이나 선호 방향을 반영하지 않을 수 있습니다.
• 신경 특징은 국소적으로 기대됨: 의미 있는 특징은 종종 완전히 실현된 점별 방향이 아니라 부분적으로 활성화된 국소 기대치로 표현됩니다. SP 는 소프트 수반을 통해 이러한 기대치를 근사합니다.
• 재학습 불필요: 모델을 변환하고 미세 조정해야 하는 B-cos 네트워크와 달리, SP 는 기존 사전 훈련된 네트워크에 직접 적용하여 더 충실하고 지각적으로 정렬된 설명을 제공할 수 있습니다.
• 통합적 관점: 이 접근법은 신경 연산에 대한 경로 중심적 관점을 제시하며, 풀백을 연화함으로써 게이팅 구성 요소를 평활화하여 네트워크가 의사결정에 사용하는 "강한 경로"를 효과적으로 강조합니다.

저자들은 의미적 풀백이 샘플링의 계산적 오버헤드나 모델 재학습의 필요성 없이, 모델의 예측 행동에 충실하고 안정적이며 지각적으로 정렬된 설명을 생성하는 실용적이고 이론적으로 근거 있는 메커니즘을 제공한다고 결론지었습니다.