Causal Interpretation of Neural Network Computations with Contribution Decomposition

이 논문은 희소 오토인코더를 활용하여 신경망의 입력-출력 변환 과정을 숨겨진 뉴런의 인과적 기여도로 분해하는 CODEC 방법론을 제안하며, 이를 통해 기존 활성화 분석으로는 파악하기 어려운 계층적 비선형 계산의 메커니즘과 제어 가능성을 규명했습니다.

핵심

이 논문은 **"CODEC"**이라는 새로운 방법을 소개하며, 인공지능 (AI) 이 어떻게 생각해서 결론을 내리는지 그 '속내'를 파헤치는 방법을 제안합니다.

기존의 방법들은 AI 가 어떤 단어를 선택했는지, 혹은 어떤 픽셀을 주목했는지만 봤다면, CODEC 는 **"그 픽셀이 AI 의 최종 결정에 얼마나 기여했는지 (기여도)"**를 직접 계산하고 분석합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 기존 방법의 한계: "무대 위의 배우"만 보는 것

기존의 AI 해석 기술들은 마치 연극을 볼 때 **무대 위에서 가장 크게 소리를 지르는 배우 (활성화된 뉴런)**만 주목하는 것과 같습니다.

• 문제점: 배우가 크게 소리 질렀다고 해서 그 배우가 극의 결말을 바꾼 건 아닐 수 있습니다. 오히려 조용히 서 있는 배우가 극의 흐름을 막거나 (부정적 기여), 다른 배우의 소리를 돋우었을 수도 있거든요.
• 결과: 우리는 "누가 큰 소리를 냈는지"는 알 수 있어도, "누가 실제로 극을 이끌었는지"는 모릅니다.

2. CODEC 의 등장: "연극의 기여도 분석가"

이 논문은 **CODEC(기여도 분해)**라는 도구를 만들어냈습니다. 이는 각 배우 (뉴런) 가 극의 결말에 **얼마나 기여했는지 (기여도)**를 정량적으로 측정합니다.

• 핵심 아이디어: 단순히 "소리 (활성화)"를 보는 게 아니라, 그 소리가 극의 결말을 얼마나 밀어 올렸는지 (양수 기여) 혹은 **얼마나 방해했는지 (음수 기여)**를 모두 계산합니다.

3. 주요 발견: "혼란스러운 주방"에서 "명확한 레시피"로

연구진은 이 CODEC 를 이미지 인식 AI(ResNet-50 등) 에 적용해 놀라운 사실을 발견했습니다.

A. 층이 깊어질수록 '단순해진다' (희소성)

• 비유: AI 의 첫 번째 층은 마치 혼잡한 주방 같습니다. 수많은 요리사 (뉴런) 가 동시에 재료를 자르고, 소스를 뿌리고, 불을 조절합니다. 모두 바쁘지만 누가 무엇을 했는지 알기 어렵습니다.
• 발견: 하지만 AI 가 깊어질수록 (층이 깊어질수록), 실제로 요리에 기여하는 요리사는 드물어집니다. 마치 "이 요리는 오직 3 명의 요리사만 제대로 참여했다"는 식으로, 불필요한 소음이 사라지고 핵심 기여자들만 남게 됩니다.

B. "좋음"과 "나쁨"이 분리된다 (부정적 기여의 분리)

• 비유: 처음에는 "맛있는 소스 (긍정)"와 "쓴 소스 (부정)"가 섞여 있어서 어떤 요리사가 무엇을 했는지 구별하기 어렵습니다.
• 발견: 하지만 AI 가 깊어질수록, 맛을 내는 역할과 맛을 없애는 역할이 명확하게 분리됩니다. 특정 뉴런은 "이것은 개다"라고 확신하게 만들고, 다른 뉴런은 "아니, 이건 고양이가 아니다"라고 부정하는 역할을 명확히 수행합니다. 이 둘이 섞이지 않고 따로따로 작동한다는 점이 핵심입니다.

4. CODEC 의 마법: "레시피"를 찾아내다

이제 CODEC 는 이 기여도 데이터를 분석해 **공통된 패턴 (모드)**을 찾아냅니다.

• 비유: 수천 명의 요리사들이 각자 다른 행동을 했지만, CODEC 는 **"이 50 명은 모두 '고양이'를 찾을 때 함께 움직이는 팀이다"**라고 그룹화합니다.
• 효과:
  1. 조작 가능: 이 '고양이 팀'의 역할을 끄면 (제거하면), AI 는 고양이 사진을 못 봅니다. 반대로 이 팀만 남기고 나머지를 다 끄면, AI 는 고양이만 봅니다.
  2. 이해 가능: 이 팀이 어떤 특징 (귀, 수염 등) 을 보고 판단하는지 시각화할 수 있습니다.

5. 생물학적 뇌에도 적용: "망막의 비밀"

이 방법은 인공지능뿐만 아니라 **동물의 뇌 (예: 척추동물의 망막)**를 연구하는 데에도 쓰였습니다.

• 비유: 망막의 신경세포들이 어떻게 빛을 처리해서 뇌로 보내는지 알기 어려웠는데, CODEC 를 쓰니 **"이 세포들은 '움직임'을 감지할 때 함께 일하고, 저 세포들은 '색깔'을 감지할 때 함께 일한다"**는 조합이 드러났습니다.
• 의의: 이는 생물학자들이 실험을 통해 검증할 수 있는 새로운 가설을 자동으로 만들어줍니다.

6. 요약: 왜 이 연구가 중요한가?

지금까지 우리는 AI 가 **"무엇을 보았는지 (활성화)"**만 알 수 있었습니다. 하지만 CODEC 는 **"무엇이 결정을 내리게 했는지 (기여도)"**를 보여줍니다.

• 기존: "이 사진에서 고양이 귀가 빛났어!" (단순 관찰)
• CODEC: "이 귀가 빛난 게 아니라, 이 특정 뉴런들이 '귀'를 인식해서 '고양이'라는 결론을 내리게 한 거야! 그리고 그 반대 역할을 하는 뉴런들은 '개'라는 결론을 막았어." (인과적 이해)

이처럼 CODEC 는 AI 의 블랙박스 속을 들여다보게 해주는 가장 정교한 해부도와 같습니다. 이를 통해 우리는 더 안전하고, 더 투명하며, 더 효율적인 AI 를 만들 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 기존 해석 방법의 한계: 기존 신경망 해석 방법 (Interpretability) 은 주로 은닉층의 활성화 (Activation) 패턴을 분석하여 인간이 이해할 수 있는 개념과 상관관계를 찾는 데 중점을 두었습니다. 그러나 활성화는 단순히 입력에 대한 민감도 (수용野, Receptive Field) 만을 반영할 뿐, 해당 뉴런이 실제 네트워크 출력에 인과적으로 (Causally) 어떤 영향을 미치는지 (투영野, Projective Field) 를 직접적으로 보여주지 못합니다.
• 인과적 기여도의 부재: 단일 뉴런의 활성화가 높다고 해서 반드시 출력에 기여하는 것은 아닙니다. 때로는 출력을 억제하거나 무관한 정보를 포함할 수도 있습니다. 기존 방법들은 개별 뉴런의 분석에 그쳤고, 뉴런들의 집단적 상호작용이 어떻게 출력을 구성하는지에 대한 체계적인 프레임워크가 부족했습니다.
• 핵심 질문: 네트워크의 입력이 중간 단계를 거쳐 최종 출력으로 변환되는 과정에서, 은닉 뉴런들이 어떻게 협력하여 출력을 구성하는가?

2. 제안된 방법론: CODEC (Methodology)

저자들은 **CODEC (Contribution Decomposition)**라는 새로운 프레임워크를 제안합니다. 이는 네트워크의 행동을 희소 (Sparse) 한 '기여 모드 (Contribution Motifs)'로 분해하여 인과적 과정을 규명하는 방법입니다.

주요 단계:

1. 기여도 (Contribution) 계산:

   • 기존 어트리뷰션 (Attribution) 기법 (Integrated Gradients, ActGrad 등) 을 확장하여, 각 은닉 뉴런이 특정 출력 목표 (예: 특정 클래스의 로그잇, 엔트로피 등) 에 기여하는 정도를 정량화합니다.
   • 이는 뉴런의 **수용野 (입력에 대한 민감도)**와 **투영野 (출력에 대한 영향력)**를 모두 포함한 종합적인 척도입니다.
   • 공간적 합계를 통해 채널별 순 기여도 (Net Contribution) 를 산출하며, 양 (Excitatory) 과 음 (Inhibitory) 기여도를 분리합니다.

2. 희소 자동 인코더 (Sparse Autoencoder, SAE) 를 통한 분해:

   • 계산된 기여도 행렬을 SAE 를 사용하여 분해합니다.
   • 인코더: 입력된 기여도 벡터를 희소한 로딩 (Loadings) 벡터로 매핑합니다.
   • 딕셔너리: 네트워크의 공통적인 작동 패턴을 나타내는 **기여 모드 (Contribution Modes)**를 학습합니다.
   • 희소성 제약: 로딩에 하드 임계값 (Hard Thresholding) 과 L1 정규화를 적용하여, 각 입력 이미지에서 소수의 모드만이 활성화되도록 합니다.

3. 입력 공간 시각화:

   • 학습된 모드가 어떤 입력 특징 (예: 이미지의 특정 부분) 을 통해 출력을 유도하는지 시각화합니다. 이를 통해 모드가 의미 있는 시각적 구성 요소 (예: '손', '나무 질감') 를 포착하는지 확인합니다.

3. 주요 결과 (Key Results)

A. 이미지 분류 네트워크 (ResNet-50) 분석

• 희소성과 차원성의 증가: 네트워크의 깊은 층으로 갈수록 기여도 (Contributions) 는 활성화 (Activations) 보다 더 **희소 (Sparse)**해지고 **차원성 (Dimensionality)**이 증가합니다. 이는 고차원 층일수록 더 세분화된 특징 조합이 필요함을 시사합니다.
• 양/음 기여도의 분해 (Decorrelation): 초기 층에서는 양 (+) 과 음 (-) 기여도가 강하게 상관관계를 보이지만, 깊은 층으로 갈수록 서로 **분리 (Decorrelate)**되는 경향이 발견되었습니다. 이는 생물학적 시각 시스템의 흥분/억제 상호작용과 유사하며, 복잡한 특징을 정교하게 조절하기 위한 메커니즘으로 해석됩니다.
• 의미 있는 모드의 발견: CODEC 로 추출한 기여 모드는 활성화 기반 모드보다 ImageNet 클래스와 더 높은 상관관계를 보였습니다. 특히 중간 층에서 특정 클래스 (예: '판다', '블랙 위도우') 와 강하게 연관된 모드를 찾아냈습니다.

B. 네트워크 제어 및 조작 (Control)

• 정밀한 Ablation/Preservation: CODEC 로 식별된 기여 모드의 채널을 제거 (Ablation) 하거나 유지 (Preservation) 하는 실험을 수행했습니다.
  • Ablation: 관련 모드의 채널만 2% 제거해도 목표 클래스의 정확도가 급격히 떨어졌으나, 다른 클래스에는 영향이 적었습니다.
  • Preservation: 관련 채널만 남기고 나머지를 제거해도 목표 클래스는 정확하게 분류되었습니다.
  • 이는 활성화 기반 분석보다 CODEC 기반 분석이 네트워크의 인과적 경로를 더 정확하게 파악하여 제어 가능성이 높음을 증명했습니다.

C. 생물학적 신경망 모델 (척추동물 망막) 적용

• 망막 신경망 모델에 CODEC 를 적용하여, 모델의 중간 뉴런 (Interneurons) 이 어떻게 망막 ganglion cell 의 반응을 구성하는지 분석했습니다.
• 동적 수용野 (Dynamic Receptive Fields): 여러 기여 모드가 동시에 활성화될 때, ganglion cell 의 수용野가 동적으로 변화하는 것을 발견했습니다. 이는 단일 뉴런의 고정된 특징이 아니라, 뉴런 군집의 조합적 작용 (Combinatorial Actions) 으로 인해 생성됨을 보여줍니다.

D. Vision Transformer (ViT) 적용

• ViT 에도 CODEC 를 적용하여 토큰 (Tokens) 을 공간 차원으로, 히든 차원을 채널로 간주하여 분석했습니다.
• CNN 과 마찬가지로 기여도가 활성화보다 희소함을 확인했으며, 기여 모드를 통한 타겟 클래스 제거 실험이 활성화 기반 방법보다 우월한 성능을 보였습니다.

4. 주요 기여도 (Contributions)

1. 새로운 해석 프레임워크: 활성화 분석을 넘어, 뉴런이 출력을 인과적으로 구성하는 방식을 분석하는 CODEC 프레임워크를 제안했습니다.
2. 인과적 모드의 발견: 네트워크가 출력을 생성하는 데 필수적인 '희소하고 해석 가능한 모티프 (Motifs)'를 자동 추출하는 방법을 제시했습니다.
3. 생물학적 통찰: 인공 신경망과 생물학적 신경망 (망막) 모두에서 뉴런 군집의 조합적 작용이 동적 기능을 생성한다는 공통 원리를 규명했습니다.
4. 실용적 제어: 네트워크의 특정 기능을 정밀하게 조작 (제거 또는 유지) 할 수 있는 도구로써의 가능성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 신경망의 '블랙박스'를 열기 위해 **활성화 (Activation)**가 아닌 **기여도 (Contribution)**에 초점을 맞춘 패러다임 전환을 제시합니다.

• 이론적 의의: 비선형 계산을 수행하는 신경망이 어떻게 계층적으로 정보를 재구성하고, 희소한 모드를 통해 복잡한 출력을 생성하는지에 대한 기계적 통찰을 제공합니다.
• 실용적 의의: 안전한 AI 개발, 효율적인 아키텍처 설계, 그리고 생물학적 신경망 연구 (예: 망막 신경 회로의 기능 규명) 에 직접적으로 활용 가능한 도구를 제공합니다.
• 미래 전망: CODEC 는 대규모 언어 모델 (LLM) 을 포함한 다양한 아키텍처로 확장 가능하며, 신경망의 계산 블록을 재구성하여 더 효율적이고 해석 가능한 AI 시스템을 만드는 기반이 될 것입니다.

요약하자면, CODEC 는 **"뉴런이 무엇을 감지하는가 (활성화)"**가 아니라 **"뉴런이 무엇을 만들어내는가 (기여)"**를 분석함으로써, 신경망의 내부 작동 원리를 인과적이고 해석 가능한 수준으로 규명하는 획기적인 방법론입니다.