VISIONLOGIC: From Neuron Activations to Causally Grounded Concept Rules for Vision Models

이 논문은 뉴런 활성화와 시각적 개념 간의 인과적 관계를 검증하여 계층적 논리 규칙을 생성함으로써 기존 방법론보다 모델의 예측 행동을 더 잘 이해할 수 있는 새로운 신경 - 심볼릭 프레임워크 'VisionLogic'을 제안합니다.

핵심

비전 로직 (VISIONLOGIC): AI 의 '머리 속'을 논리로 풀어낸 새로운 방법

이 논문은 인공지능 (AI) 이 이미지를 보고 무엇을 판단하는지, 그 이유를 인간이 이해할 수 있도록 설명해주는 새로운 방법 'VISIONLOGIC(비전 로직)'을 소개합니다.

기존의 AI 설명 방법들은 마치 "이 사진에 개가 있어요"라고 단순히 보여주는 정도였는데, 비전 로직은 "왜 개라고 생각했는지"에 대한 확실한 논리적 규칙을 찾아냅니다.

이걸 더 쉽게 이해하기 위해 마법사와 수사관의 비유로 설명해볼까요?

---

1. 문제: AI 는 왜 '흑막 (Black Box)'일까?

지금까지의 AI 설명 기술 (예: TCAV, ACE 등) 은 마치 운전사가 "왜 여기를 멈췄나요?"라고 물었을 때, "저기 차가 보이니까요"라고 대충 말하는 것과 비슷합니다.

• 기존 방식의 문제점: AI 가 '개'를 인식할 때, '풀밭'이라는 배경이 자주 같이 나오니까 AI 가 '풀밭'을 보고 '개'라고 착각하는 경우가 많습니다. (예: 소가 풀밭에 있으면 소라고 판단하는 것).
• 결과: AI 가 실수하는 이유를 정확히 모르고, 잘못된 이유 (상관관계) 를 진짜 이유 (인과관계) 인 줄 알 수 있습니다.

2. 해결책: 비전 로직 (VISIONLOGIC) 의 3 단계 수사 과정

비전 로직은 AI 를 수사관처럼 만들어, 단순히 "무엇이 있나?"가 아니라 **"무엇이 진짜 원인인가?"**를 찾아냅니다.

1 단계: AI 의 '신경'을 '논리 문장'으로 번역하기

AI 는 수만 개의 작은 신경 (뉴런) 으로 이루어져 있습니다. 비전 로직은 이 복잡한 신경 신호를 **인간이 읽을 수 있는 간단한 '규칙'**으로 바꿉니다.

• 비유: AI 의 복잡한 뇌세포 활동을 "눈이 보이면 (조건 1) + 귀가 길면 (조건 2) = 토끼다 (결론)" 같은 논리 문장으로 정리하는 것입니다.

2 단계: '진짜 원인' 찾기 (인과관계 검증)

여기가 가장 중요한 부분입니다. 단순히 "풀밭이 있으면 소가 있다"라고 말하는 게 아니라, **"풀밭을 지우면 소가 사라지는가?"**를 직접 실험해봅니다.

• 작동 원리:
  1. AI 가 '개'라고 판단한 사진에서 '개'가 있는 부분을 지우거나 흐리게 만듭니다.
  2. AI 가 여전히 '개'라고 말하면? -> "아, 그 부분은 개가 아니라 배경이구나!" (가짜 원인 제거)
  3. AI 가 "개"라고 하지 않고 다른 걸 말하면? -> "오, 이 부분이 진짜 개를 판단하는 핵심이구나!" (진짜 원인 발견)
• 효과: 이렇게 **실제 실험 (삭제 테스트)**을 통해 AI 가 진짜로 믿는 이유만 골라냅니다.

3 단계: 규칙을 다듬어 완성하기

찾아낸 핵심 부분 (예: 개의 귀, 꼬리) 을 더 정교하게 다듬어, AI 가 어떤 규칙으로 판단하는지 명확한 지도를 만듭니다.

• 결과: "이 AI 는 '귀가 길고', '꼬리가 흔들리며', '풀밭이 없어도' 개라고 판단한다"는 식의 명확한 논리 규칙을 얻게 됩니다.

---

3. 왜 이 방법이 특별한가요? (기존 방법 vs 비전 로직)

특징	기존 방법 (상관관계)	비전 로직 (인과관계)
비유	운전사: "저기 차가 보이니까 멈췄어." (단순 관찰)	수사관: "그 차를 치면 사고가 나니까 멈췄어." (원인 분석)
정확성	배경 (풀밭) 과 대상 (소) 을 혼동할 수 있음	배경을 지워도 대상이 사라지는지 확인함
신뢰도	AI 가 실수할 때 이유를 모를 수 있음	AI 가 왜 틀렸는지, 혹은 왜 맞았는지 명확히 설명
결과	"개처럼 보이는 것"	"개라고 판단한 논리적 이유"

4. 실제 효과는 어떨까?

연구진은 이 방법을 사람들과 함께 실험해 보았습니다.

• 실험: 사람들에게 AI 가 왜 그런 판단을 내렸는지 설명해달라고 요청했을 때, 비전 로직을 사용한 그룹이 가장 잘 이해했습니다.
• 성과: AI 가 실수하는 경우 (예: 늑대를 하스키로 오인하는 경우) 를 찾아내는 능력도 기존 방법보다 훨씬 뛰어났습니다.

5. 결론: AI 와 인간의 대화 시작

비전 로직은 AI 가 단순히 "정답"만 알려주는 기계가 아니라, 왜 그 답을 냈는지 논리적으로 설명해줄 수 있는 파트너가 되도록 돕습니다.

• 핵심 메시지: "AI 는 블랙박스 (알 수 없는 상자) 가 아닙니다. 우리는 그 안을 열어보고, '왜'라는 질문에 답할 수 있는 명확한 규칙을 찾아냈습니다."

이 기술은 의료, 자율주행, 보안 등 실수하면 안 되는 중요한 분야에서 AI 를 더 신뢰할 수 있게 만들어 줄 것입니다. 마치 AI 의 두뇌를 해부하여, 그 작동 원리를 인간이 이해할 수 있는 언어로 번역해준 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

딥러닝 기반 비전 모델 (CNN, ViT 등) 은 뛰어난 성능을 보이지만, 그 '블랙박스' 성격으로 인해 신뢰할 수 있는 AI 개발의 주요 장애물이 되고 있습니다. 기존 해석 가능성 (Interpretability) 연구 중 개념 기반 설명 (Concept-based explanations) 방법은 저수준의 속성 맵 (Grad-CAM 등) 대신 고수준의 의미론적 개념을 제시하여 주목을 받아 왔습니다.

그러나 기존 방법론 (TCAV, ACE 등) 은 다음과 같은 근본적인 한계를 가집니다:

• 상관관계에 의존: 모델의 활성화와 개념 간의 통계적 상관관계만 분석할 뿐, 인과성 (Causality) 을 검증하지 않습니다.
• 위험한 오해: 데이터셋의 편향 (예: 소와 초목의 공존) 을 모델의 추론 논리로 잘못 해석하여, 인과적이지 않은 가짜 개념 (Spurious concepts) 을 발견할 수 있습니다.
• 결여된 검증: 발견된 개념이 실제로 모델의 결정에 인과적으로 기여하는지에 대한 엄격한 검증 절차가 부재합니다.

2. 방법론 (Methodology)

논문의 제안 방법인 VISIONLOGIC은 신경망 (Neural) 과 심볼릭 (Symbolic) 접근법을 결합한 프레임워크로, 인과적으로 검증된 개념에 기반한 전역 논리 규칙 (Global Logical Rules) 을 생성합니다. 주요 프로세스는 세 단계로 구성됩니다.

1 단계: 뉴런 활성화에서 추상적 술어 (Predicates) 유도

• 이진 술어 학습: 입력 이미지의 최종 레이어 뉴런 활성화 값 ($z_j(x)$) 을 이진 술어 $p_j(x) \in \{0, 1\}$ 로 변환합니다.
• 학습 가능한 임계값: 임의의 임계값을 고정하는 대신, 각 채널별로 활성화 임계값 ($T_j$) 과 날카로움 ($s_j$) 을 학습합니다. 이를 통해 뉴런이 "특징이 존재함"을 의미하는 논리 원자 (Logical Atom) 로 추상화됩니다.
• 순위 기반 선택: 특정 클래스에서 해당 채널이 기여도가 높은 (Top-k) 경우에만 술어가 활성화되도록 하여, 불필요한 술어의 proliferation 을 방지하고 컴팩트한 어휘를 유지합니다.

2 단계: 논리 규칙 및 추론 점수 유도

• 전역 논리 규칙 생성: 학습된 술어들을 조합하여 클래스별 논리 규칙 (DNF 형태) 을 유도합니다.
• 추론 점수 (Inference Score): 테스트 시, 입력 이미지의 활성화된 술어들이 각 클래스의 특징적 패턴 (Rank Profile) 과 얼마나 일치하는지 계산하여 클래스를 예측합니다.
• 특징: 이 단계에서 생성된 규칙은 원본 모델의 예측을 근사하며, 인간이 읽을 수 있는 논리적 형식을 가집니다.

3 단계: 시각 개념에 대한 인과적 근거 (Causal Grounding)

• 블록킹 (Ablation) 기반 인과성 검증: 발견된 술어가 활성화되는 데 필수적인 이미지 영역을 찾기 위해 반복적 영역 정제 (Iterative Region Refinement) 알고리즘을 사용합니다.
  • 초기 바운딩 박스를 설정한 후, 해당 영역을 노이즈로 대체 (Ablation) 하여 술어가 비활성화되는지 확인합니다.
  • 활성화 $\to$ 비활성화 전환은 해당 영역이 술어에 인과적임을 의미합니다.
  • 바운딩 박스를 반복적으로 축소하여 정밀한 위치를 찾습니다.
• 세그멘테이션 정제: Mask R-CNN 또는 SAM 과 같은 세그멘테이션 모델을 활용하여 바운딩 박스를 객체의 실제 경계에 맞게 정제하고, 인과성을 재확인합니다.
• 일관된 개념 형성: 동일한 클래스 내 여러 이미지에서 검증된 영역들을 집계하여 일관된 시각 개념을 도출합니다.

3. 주요 기여 (Key Contributions)

1. VISIONLOGIC 프레임워크 제안: 뉴런 활성화에서 인과적으로 검증된 개념을 기반으로 한 전역 논리 규칙을 추출하는 최초의 신경 - 심볼릭 (Neural-Symbolic) 프레임워크를 제안했습니다.
2. 효율적 인과적 정제 알고리즘: 바운딩 박스와 세그멘테이션 마스크를 결합한 반복적 정제 알고리즘을 개발하여, 모델 결정에 인과적으로 중요한 이미지 영역을 정밀하게 국소화하고 일관된 개념을 발견합니다.
3. 대규모 인간 평가: 기존 최첨단 개념 기반 방법 (ACE, CRAFT) 보다 모델의 의사결정 과정을 이해하는 데 있어 인간 평가에서 통계적으로 유의미한 개선을 입증했습니다.
4. 성능 유지 및 해석 가능성: CNN 과 ViT 등 다양한 아키텍처에서 원본 모델의 판별력 (Discriminative Power) 을 대부분 유지하면서 (Top-5 정확도 90% 이상), 인간이 이해할 수 있는 인과적 개념과 규칙을 제공합니다.

4. 실험 결과 (Results)

인간 평가 (Human Evaluation)

• 시나리오: Husky vs Wolf (편향 탐지), Otter vs Beaver (비직관적 전략 발견), Kit Fox vs Red Fox (실패 사례 이해) 등 3 가지 실제 시나리오에서 수행.
• 결과: VISIONLOGIC 은 Baseline(설명 없음), Control(Grad-CAM), ACE, CRAFT 를 모두 능가했습니다.
  • 특히 Husky vs Wolf 시나리오에서 VISIONLOGIC 의 유틸리티 점수는 1.25 로, 기존 방법론 (ACE: 1.01, CRAFT: 0.89) 보다 월등히 높았습니다.
  • 통계적 검정 (Kruskal-Wallis, Dunn's test) 을 통해 VISIONLOGIC 의 성능 향상이 통계적으로 유의미함 ($p < 0.05$) 을 입증했습니다.

모델 성능 및 규칙 품질

• 모델: ResNet, ConvNeXt, ViT, Swin Transformer 등 4 가지 아키텍처에서 평가.
• 정확도: 커버된 이미지 (Covered images) 에 대해 VISIONLOGIC 의 규칙 기반 예측은 원본 모델의 Top-1/Top-5 정확도를 거의 유지했습니다 (예: ViT Top-5 정확도 97.38%).
• 규칙의 신뢰성: 발견된 개념들은 객체의 일부 (귀, 부리, 꼬리) 나 전체 구조를 포착하며, CNN 과 Transformer 모두에서 일관된 패턴을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

VISIONLOGIC 은 기존 개념 기반 설명 방법론의 치명적인 약점인 '인과성 부재' 문제를 해결했습니다. 단순히 상관관계에 기반한 개념 나열을 넘어, 어떤 시각적 특징이 모델의 결정에 인과적으로 필수적인지를 엄격하게 검증함으로써 신뢰할 수 있는 해석을 제공합니다.

• 신뢰성: 고위험 분야 (High-stakes applications) 에서 AI 의 의사결정 과정을 인간이 이해하고 검증할 수 있는 토대를 마련했습니다.
• 미래 전망: 심층 신경망의 복잡한 표현과 인간의 인과적 추론 사이의 간극을 메우는 중요한 단계로, 향후 더 낮은 수준의 시각적 특징 (엣지, 질감) 으로 규칙을 확장하는 연구의 기반이 될 것입니다.

이 연구는 단순히 "모델이 무엇을 보았는지"가 아니라 "모델이 왜 그렇게 판단했는지"에 대한 인과적이고 논리적인 설명을 가능하게 하여, 신뢰할 수 있는 AI 개발에 중요한 기여를 했습니다.