What is Missing? Explaining Neurons Activated by Absent Concepts

이 논문은 기존 설명 가능한 인공지능 (XAI) 방법이 간과해 온 '개념의 부재'가 뉴런 활성화에 미치는 영향을 규명하고, 이를 탐지하기 위한 새로운 기법을 제안하여 모델 해석과 편향 제거를 개선하는 방법을 제시합니다.

핵심

이 논문은 **"인공지능이 무엇을 '보지' 않았을 때, 그 '부재'를 어떻게 활용하는지"**에 대한 놀라운 발견을 담고 있습니다.

기존의 인공지능 (AI) 설명 기술은 주로 "무엇이 있기에" AI 가 그런 판단을 내렸는지 설명하는 데 집중했습니다. 하지만 이 논문은 "무엇이 없어서" AI 가 판단을 내리는 경우도 매우 흔하며, 기존 기술은 이를 놓치고 있었다고 지적합니다.

이 복잡한 개념을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드리겠습니다.

---

1. 핵심 개념: "보이지 않는 단서" (Encoded Absence)

🕵️‍♂️ 비유: 형사 수사관
상상해 보세요. 형사가 범인을 잡으려 합니다.

• 기존 AI 설명 (현존하는 단서): "범인은 붉은 모자를 썼다!"라고 말합니다. (이미지에 붉은 모자가 있어서 범인이라고 판단)
• 이 논문이 발견한 것 (부재의 단서): "범인은 검은 모자를 쓰지 않았다!"라고 말합니다.

실제 세상은 이 두 가지가 모두 중요합니다. 예를 들어, '아일랜드 세터'라는 개의 종류를 구분할 때, AI 는 단순히 '아일랜드 세터 특유의 코'가 있는지 확인하는 것뿐만 아니라, **'다른 개종류 (예: 서식스 스패니얼) 의 특징이 없는지'**를 확인함으로써 더 정확하게 판단합니다.

AI 는 **"저것은 없다"**는 사실을 통해 **"이것은 맞다"**고 결론 내리는 경우가 많습니다. 이를 **'인코딩된 부재 (Encoded Absence)'**라고 부릅니다.

2. 문제점: 기존 기술의 실수

🔦 비유: 어두운 방에서 손전등
기존의 AI 설명 기술 (XAI) 은 마치 어두운 방에서 손전등을 비추는 것과 같습니다.

• 기존 방식: 손전등이 비추는 곳 (이미지에 있는 것) 만 봅니다. "여기에 코가 있네! 그래서 아일랜드 세터구나!"라고 말합니다.
• 문제점: 하지만 손전등은 **비추지 않는 곳 (부재)**을 보여줄 수 없습니다. "저기 검은 모자가 없으니까 아일랜드 세터구나!"라는 중요한 단서는 손전등에 비춰지지 않아서 설명되지 않습니다.

기존 기술은 AI 가 "없음"을 어떻게 활용하는지 보여주지 못해, AI 의 판단 과정을 불완전하게 설명해 왔습니다.

3. 해결책: "반대 방향"으로 비추기

저자들은 이 문제를 해결하기 위해 두 가지 간단한 방법을 제안했습니다.

🔍 방법 1: "없는 것을 찾아보기" (Non-target Attribution)

• 기존: "이 개가 아일랜드 세터인 이유를 찾아봐." → (아일랜드 세터 사진만 봄)
• 새로운 방법: "이 개가 아일랜드 세터가 아닌 다른 개 (예: 서식스 스패니얼) 인 이유를 찾아봐."
  • 이렇게 하면 AI 가 "아, 이 개는 서식스 스패니얼의 특징이 없으니까 아일랜드 세터라고 판단했구나!"라는 부재의 단서를 찾아낼 수 있습니다.

🎨 방법 2: "가장 싫어하는 것 찾기" (Feature Visualization through Minimization)

• 기존: "이 뉴런을 가장 활발하게 만드는 이미지를 만들어봐." → (코가 있는 이미지)
• 새로운 방법: "이 뉴런을 가장 침묵하게 만드는 이미지를 만들어봐."
  • AI 가 "이 뉴런을 끄려면 무엇이 있어야 하나?"를 생각하게 하면, AI 가 싫어하는 (즉, 없어야 하는) 특징이 무엇인지 알 수 있습니다. "아, 이 뉴런은 '검은 모자'가 있을 때 꺼지네! 그럼 이 뉴런은 '검은 모자가 없음'을 감지하는 거구나!"

4. 왜 이것이 중요할까요?

⚖️ 비유: 편견을 고치는 약
AI 는 종종 편견 (Bias) 을 가집니다.

• 예시: 피부암 진단 AI 가 "색깔이 화려한 반점이 있으면 암이 아니다 (양성)"라고 잘못 배웠다면, 그 반점이 없으면 암이라고 잘못 판단할 수 있습니다.
• 해결: 기존에는 "화려한 반점이 있으면 암이 아니다"라는 사실만 막았습니다. 하지만 이 논문의 방법을 쓰면, **"화려한 반점이 없으면 암이다"**라는 잘못된 추론도 함께 막을 수 있습니다. AI 가 '있는 것'과 '없는 것' 양쪽 모두를 올바르게 이해하도록 도와주어, 더 공정하고 정확한 AI 를 만들 수 있습니다.

5. 요약

이 논문은 **"AI 는 '없음'을 통해 세상을 이해한다"**는 사실을 밝혀냈습니다.

• 기존: "무엇이 있기에" AI 가 판단했는지 설명함.
• 새로운 발견: "무엇이 없기에" AI 가 판단하는 경우가 많음.
• 해결: 기존 설명 기술에 "부재"를 찾아보는 간단한 방법을 추가하면, AI 의 숨겨진 사고 과정을 완전히 이해하고, 더 편견 없는 AI 를 만들 수 있음.

결론적으로, 우리는 이제 AI 가 "보이는 것"뿐만 아니라 "보이지 않는 것"까지 어떻게 보고 있는지를 제대로 설명할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem)

• 기존 XAI 의 한계: 현재 널리 사용되는 XAI 기법 (속성 부여 (Attribution) 및 특징 시각화 (Feature Visualization)) 은 주로 입력 데이터에 '존재하는' 개념이 뉴런 활성화나 예측에 어떻게 기여하는지에 초점을 맞추고 있습니다.
  • 속성 부여: 입력 픽셀 중 예측에 가장 크게 기여한 부분을 강조합니다.
  • 특징 시각화: 특정 뉴런을 가장 강하게 활성화시키는 입력 패턴을 찾습니다.
• 간과된 인과 관계 (Encoded Absences): 그러나 신경망은 **'개념의 부재 (Absence)'**가 뉴런을 활성화시키는 인과 관계도 학습할 수 있습니다. 예를 들어, 'Irish Setter'를 분류할 때 해당 품종의 특징뿐만 아니라, 'Sussex Spaniel'과 같은 유사한 품종의 특징이 없음을 확인하는 것도 중요한 판단 근거가 될 수 있습니다.
• 현재의 미비점: 이러한 '부재에 의한 활성화 (Encoded Absence)'는 생물학적 신경망 (예: 파리 운동 감지) 에서 흔히 관찰되지만, 현대의 딥러닝 모델에서는 체계적으로 연구되지 않았으며, 기존 XAI 방법으로는 이를 발견하거나 설명하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 기존 XAI 방법론을 두 가지 간단한 방식으로 확장하여 '부재된 개념'을 포착할 수 있도록 제안합니다.

A. 비대상 속성 부여 (Non-target Attribution)

• 개념: 기존 속성 부여는 특정 클래스 $t$에 대한 예측을 위해 입력 $x$에서 어떤 특징이 중요한지 분석합니다. 하지만 '부재'를 설명하려면, 해당 개념이 존재하는 다른 클래스의 입력을 사용하여 클래스 $t$에 대한 속성을 계산해야 합니다.
• 작동 원리:
  • 클래스 $t$를 예측할 때, 해당 클래스의 이미지에는 특정 개념이 존재하지 않습니다. 따라서 기존 방법으로는 이 개념의 '부재'가 예측에 기여했음을 알 수 없습니다.
  • 대신, 해당 개념이 존재하는 다른 클래스의 이미지 ($x_{c \neq t}$) 를 입력으로 하여 클래스 $t$에 대한 속성 값을 계산합니다.
  • 이때, 해당 개념이 클래스 $t$ 예측을 억제하는 경우, 계산된 속성 값은 **음수 (Negative Attribution)**가 됩니다. 이를 통해 "이 개념의 존재는 클래스 $t$ 예측을 방해한다"는 인과 관계를 드러냅니다.

B. 최소화 기반 특징 시각화 (Feature Visualization through Minimization)

• 개념: 기존 특징 시각화는 뉴런을 최대화하는 입력을 찾습니다. 하지만 부재를 인코딩한 뉴런은 특정 개념이 없을 때 활성화되므로, 최대화하면 오히려 그 개념이 없는 패턴이 나옵니다.
• 작동 원리:
  • 특정 뉴런 $z_j$의 활성화를 최소화하는 입력 패턴 $\hat{x} = \arg \min_x z_j(x)$를 찾습니다.
  • 이 최소 활성화 입력은 해당 뉴런을 억제하는 개념 (즉, 뉴런이 부재를 인코딩하는 개념) 을 명확하게 보여줍니다.

3. 주요 기여 (Key Contributions)

1. 부재된 개념의 인코딩 정의: 딥러닝 모델에서 개념의 부재가 뉴런 활성화를 증가시키는 인과 관계를 '부재된 인코딩 (Encoded Absence)'으로 공식적으로 정의했습니다.
2. 메커니즘적 증명: 음수 가중치 연결과 양의 전위 (Positive Potential) 를 통해 뉴런이 어떻게 논리 NOT 연산 (부재 감지) 을 구현할 수 있는지 기계학습적 관점에서 증명했습니다.
3. XAI 방법론의 확장: 기존 속성 부여와 특징 시각화 기법을 수정하여 (비대상 속성 부여, 최소화 시각화) 부재된 개념을 시각화하고 설명할 수 있는 프레임워크를 제시했습니다.
4. 편향 제거 (Debiasing) 개선: 모델이 특정 특징의 '부재'를 편향된 판단 근거로 사용하는 경우, 기존 편향 제거 방법만으로는 해결되지 않음을 보였으며, 부재까지 고려한 편향 제거 전략을 제안했습니다.

4. 실험 결과 (Results)

• Hassenstein-Reichardt 감지기 실험: 생물학적 운동 감지기를 모방한 간단한 CNN 을 사용하여, 한 방향 운동의 '부재'가 다른 방향 운동 감지에 필수적임을 증명했습니다. 기존 방법은 이를 설명하지 못했으나, 제안된 방법으로는 부재된 방향 (억제 신호) 을 정확히 시각화했습니다.
• Toy Model 실험: '초록색 픽셀의 유무'로 분류하는 모델을 학습시켰을 때, 기존 방법은 초록색 픽셀의 '부재'를 설명하지 못했으나, 제안된 방법은 초록색 픽셀이 없을 때 활성화되는 뉴런이 초록색 픽셀의 부재를 인코딩함을 정확히 드러냈습니다.
• ImageNet 모델 분석: VGG19 및 ResNet-50 과 같은 대규모 모델에서 거의 모든 채널이 부재된 개념을 인코딩하고 있음을 정량적으로 확인했습니다. 특히 세밀한 분류 (Fine-grained classification, 예: 개 품종 구분) 에서 유사한 클래스의 특징이 '없음'을 확인하는 것이 중요한 판단 근거로 사용됨을 발견했습니다.
• 편향 제거 실험 (ISIC 데이터셋): 피부 병변 이미지에서 '유색 패치'가 양성 (Benign) 과 연관된 편향이 있는 경우, 기존 편향 제거 (존재 기반) 는 실패했습니다. 하지만 제안된 '존재 + 부재' 편향 제거 기법을 적용하면, 모델이 유색 패치의 '부재'를 악성 (Malignant) 판단 근거로 사용하는 것을 방지하여 편향을 효과적으로 제거하고 정확도를 높였습니다.

5. 의의 및 결론 (Significance)

• XAI 패러다임의 전환: 기존 XAI 가 '무엇이 있는가 (Presence)'에만 집중했다면, 이 연구는 **'무엇이 없는가 (Absence)'**도 모델의 결정에 핵심적인 역할을 하며, 이를 설명하는 것이 완전한 해석을 위해 필수적임을 강조합니다.
• 모델 이해도 향상: 모델이 유사한 클래스를 구별하거나 편향을 학습할 때 부재된 정보를 어떻게 활용하는지 이해함으로써, 모델의 취약점과 동작 원리를 더 깊이 파악할 수 있습니다.
• 실용적 가치: 제안된 방법은 복잡한 모델 구조 변경 없이 기존 XAI 도구를 확장하여 적용 가능하므로, 다양한 도메인에서 모델의 편향을 제거하고 신뢰성을 높이는 데 즉시 활용될 수 있습니다.

요약하자면, 이 논문은 **"모델이 입력에 없는 것을 통해 무엇을 판단하는가"**라는 질문을 던지며, 이를 해결하기 위한 실용적인 도구와 이론적 근거를 제공하여 XAI 의 지평을 넓혔습니다.