Circuit Tracing in Vision-Language Models: Understanding the Internal Mechanisms of Multimodal Thinking

이 논문은 전사기, 귀인 그래프, 어텐션 기반 방법을 활용하여 비전 - 언어 모델의 내부 회로를 추적하고 시각적 특징 회로가 수학적 추론 및 교차 모드 연관성을 처리하는 인과적 메커니즘을 규명함으로써 투명하고 신뢰할 수 있는 모델 개발의 기반을 마련합니다.

핵심

이 논문은 **"시각 - 언어 모델 (VLM)"**이라는 인공지능이 어떻게 생각하고 판단하는지 그 내부 작동 원리를 투명하게 파헤친 첫 번째 연구입니다.

기존의 AI 는 "블랙박스 (Black Box)"라고 불렸습니다. 입력을 주면 답이 나오지만, 그 사이에서 무슨 일이 일어났는지 아무도 알 수 없었죠. 이 논문은 그 블랙박스를 열어 **"회로 (Circuit)"**를 찾아내고, 그 회로가 어떻게 작동하는지 설명하는 지도를 그리는 방법을 제시합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ 1. 연구의 핵심: AI 의 '뇌'를 해부하다

비유: AI 는 거대한 도서관과 같습니다.
기존의 AI 는 책 (데이터) 을 읽어서 답을 내놓지만, 어떤 책의 어떤 페이지를 참조했는지, 어떤 단어를 어떻게 연결했는지 알 수 없었습니다. 이 연구팀은 AI 의 뇌 속에 숨겨진 **'특수한 안경 (Transcoders)'**을 끼워주었습니다.

• 기존 상태: AI 가 복잡한 생각을 할 때, 수많은 정보가 뒤섞여 있어 (다의적) 무엇을 의미하는지 알기 어려웠습니다.
• 이 연구의 방법: AI 의 각 층 (Layer) 에 **'분류기 (Transcoder)'**를 설치했습니다. 이 분류기는 뒤죽박죽 섞인 정보를 **"하나의 의미만 가진 깔끔한 개념"**으로 분리해냅니다.
  • 예: "사과"라는 단어가 나올 때, 단순히 '과일'로만 인식되던 것을 "빨간색", "동그란 모양", "맛있는 것"처럼 **개별적인 특징 (회로)**으로 쪼개서 보는 것입니다.

🗺️ 2. 어떻게 작동하나요? (3 단계 과정)

이 연구팀은 AI 의 생각을 추적하기 위해 3 가지 단계를 거칩니다.

1. 분류기 설치 (Transcoders):
   AI 가 이미지를 보고 텍스트를 생성할 때, 그 과정에서 일어나는 복잡한 신호들을 **하나하나 분리된 '레고 블록'**처럼 정리합니다.
2. 연결 지도 그리기 (Attribution Graph):
   "어떤 레고 블록이 다음 단계의 어떤 블록에 영향을 줬는지" 선을 그어 연결합니다. 마치 전류가 흐르는 회로도를 그리는 것처럼, "이 이미지의 '빨간색' 신호가 '사과'라는 단어를 만들었고, 그게 다시 '맛있다'는 결론으로 이어졌다"는 인과관계를 찾아냅니다.
3. 실험과 조작 (Intervention):
   찾은 회로를 실제로 건드려 봅니다.
   • 조작 (Steering): "빨간색" 회로의 신호를 강하게 키우면 AI 가 '사과' 대신 '토마토'를 말하게 될까요?
   • 이식 (Patching): 한 회로 (예: '화성' 이미지) 에서 발견된 패턴을 다른 회로 (예: '지구' 이미지) 에 이식해 보면, AI 가 화성처럼 반응할까요?
   • 결과: 네, 실제로 조작하면 AI 의 답변이 바뀝니다. 이는 우리가 찾은 회로가 단순한 추측이 아니라, 실제로 AI 를 움직이는 진짜 원인임을 증명합니다.

🔍 3. 놀라운 발견들 (실제 사례)

이 방법으로 AI 의 뇌를 들여다보니 정말 흥미로운 사실들이 드러났습니다.

• 🧠 계층적 통합:
  AI 의 초기 층은 단순히 "색깔"이나 "모양"만 봅니다. 하지만 **깊은 층 (Layer 20 이상)**에 가면 비로소 "빨간색 + 동그란 것 = 사과"처럼 시각적 정보와 의미 (사과) 가 하나로 합쳐집니다.
• 🔢 시각적 수학:
  "1+2"를 이미지로 보여주면, AI 는 숫자 '3'을 텍스트로 계산하기보다, 이미지 공간 안에서 직접 '3'이라는 모양을 만들어내는 회로를 사용하는 것을 발견했습니다.
• 🖐️ 환각 (Hallucination) 의 원인:
  AI 가 손가락을 6 개로 잘못 세는 경우 (6-Finger Hallucination) 는 단순히 실수가 아닙니다.
  • 원인: AI 가 '손'이라는 개념을 너무 강하게 인식하다 보니, '손가락 5 개'라는 회로가 '손'이라는 강력한 신호에 눌려버리고, '6'이라는 숫자 회로가 제대로 작동하지 않아서 발생합니다. 즉, 시각적 인식과 내부 회로의 경쟁에서 생긴 문제입니다.
• 🚀 별과 우주선:
  '화성' 이미지를 보여주면, AI 는 '우주선'이라는 개념을 떠올립니다. 이는 이미지 자체에 우주선이 없어도, AI 내부에 **"화성 = 우주선"**이라는 시각적 연상 회로가 따로 존재하기 때문입니다.

🛠️ 4. 왜 이 연구가 중요한가요?

이 연구는 AI 를 조종할 수 있는 도구를 줍니다.

• 오류 수정: AI 가 잘못된 정보를 말하면, 그 오류를 일으키는 특정 회로를 찾아서 끄거나 수정할 수 있습니다.
• 신뢰성 확보: AI 가 왜 그런 결론을 내렸는지 그 '회로도'를 보여줄 수 있으므로, 의료나 자율주행 같은 중요한 분야에서 AI 를 더 신뢰할 수 있게 됩니다.
• 설계 개선: 앞으로 더 똑똑하고 효율적인 AI 를 만들 때, 어떤 회로가 필요한지 알 수 있게 됩니다.

💡 요약

이 논문은 **"AI 가 어떻게 생각하는지"**를 단순히 추측하는 것을 넘어, 실제 내부 회로를 찾아내고, 그 회로를 조작해 AI 의 행동을 바꾸는 것까지 성공한 획기적인 연구입니다.

마치 자동차 엔진의 내부 구조를 완벽하게 이해하고, 특정 부품을 교체하여 차의 성능을 조절할 수 있게 된 것과 같습니다. 이제 우리는 AI 를 더 투명하고 안전하게 다룰 수 있는 첫걸음을 떼게 되었습니다.

기술 요약

논문 개요

이 논문은 시각 - 언어 모델 (VLM) 의 내부 작동 원리를 투명하게 분석하기 위한 최초의 회로 추적 (Circuit Tracing) 프레임워크를 제안합니다. 기존 VLM 들이 강력한 성능을 보임에도 불구하고 '블랙박스'로 남아있어 의사결정 과정을 이해하기 어렵다는 문제를 해결하기 위해, 언어 모델 (LLM) 에서 성공적으로 적용된 기계적 해석 가능성 (Mechanistic Interpretability) 기법을 다중 모달 (Multimodal) 환경으로 확장했습니다.

1. 문제 정의 (Problem)

• 블랙박스 문제: VLM 들은 이미지 캡셔닝, 시각적 질문 응답 (VQA), 복잡한 추론 등 다양한 작업에서 뛰어난 성능을 보이지만, 내부적으로 어떻게 시각 정보와 언어 정보를 통합하여 추론하는지는 불투명합니다.
• 해석의 한계: 기존 해석 가능성 연구는 주로 텍스트 전용 모델에 집중되어 있었습니다. VLM 은 서로 다른 통계적 특성과 의미를 가진 두 가지 모달리티 (시각, 언어) 를 통합해야 하므로, 단일 모달리티 모델보다 훨씬 복잡한 내부 메커니즘을 가집니다.
• 필요성: 의료, 자율주행 등 고위험 분야에서 VLM 을 신뢰하고 편향을 완화하며, 오류를 진단하기 위해서는 모델의 내부 계산 회로를 인과적으로 이해하는 것이 필수적입니다.

2. 방법론 (Methodology)

저자들은 VLM 의 내부 회로를 추적하기 위해 전송기 (Transcoders), 귀속 그래프 (Attribution Graphs), 주의 기반 분석을 결합한 3 단계 프레임워크를 구축했습니다.

가. 전송기 (Transcoders) 를 통한 특징 분해

• 목적: VLM 의 다의적 (Polysemantic) MLP(다층 퍼셉트론) 활성화 값을 해석 가능한 단의적 (Monosemantic) 특징으로 분해합니다.
• 구현: 기존 SAE(희소 자동 인코더) 와 달리, MLP 서브레이어를 전송기로 대체하여 계산적 동등성을 유지하면서 특징 수준의 분석을 가능하게 합니다.
• 특징: 각 MLP 레이어마다 전송기를 훈련하여, 입력을 희소한 잠재 특징 (Latent Features) 집합으로 매핑하고 이를 통해 원본 출력을 재구성합니다. 이를 통해 복잡한 신경 표현을 인간이 이해할 수 있는 개별 개념 (예: '손', '화성', '숫자 3') 으로 분리합니다.

나. 귀속 그래프 (Attribution Graphs) 구축

• 목적: 특징 간의 인과적 관계를 파악하여 계산 회로를 시각화합니다.
• 방식: 주어진 입력 (이미지 + 텍스트) 에서 모델이 선형화 (Linearized) 된다고 가정하고, 각 특징이 상위 레이어의 활성화 및 최종 출력 로짓 (Logits) 에 기여하는 정도를 계산합니다.
• 구조: 노드는 토큰 임베딩, 활성화된 전송기 특징, 출력 로짓을 포함하며, 에지는 특징 간의 가중치 (귀속도) 를 나타냅니다. 이를 통해 특정 작업 (예: 시각적 수학 추론) 을 수행하는 최소 계산 서브그래프 (회로) 를 식별합니다.

다. 특징 해석 및 주의 분석 (Feature Interpretation & Attention)

• 활성화 패턴 분석: 다양한 시각 - 언어 입력 데이터셋에서 특정 특징이 가장 강하게 활성화되는 예시들을 수집하여 해당 특징이 무엇을 의미하는지 (예: '화성' 이미지에서 활성화됨) 파악합니다.
• 비전 인코더 주의 맵: SigLIP 비전 인코더의 주의 (Attention) 맵을 분석하여 모델이 이미지의 어떤 영역에 집중하는지 시각화합니다.

라. 개입 실험 (Intervention & Steering)

• 특징 조종 (Steering): 특정 특징의 활성화 값을 인위적으로 변경하여 모델 출력에 미치는 영향을 관찰합니다.
• 회로 패칭 (Circuit Patching): 한 회로에서 발견된 특징 집합을 다른 회로로 이식하거나, 특정 특징을 억제/증폭하여 모델의 행동을 제어하고 인과성을 검증합니다.

3. 주요 기여 (Key Contributions)

1. VLM 을 위한 최초의 회로 추적 프레임워크: 다중 모달 추론의 내부 계산 메커니즘을 체계적으로 분석할 수 있는 도구와 방법론을 처음 제시했습니다.
2. 다중 모달 회로 발견: 텍스트와 이미지가 어떻게 결합되어 추론에 사용되는지, 그리고 시각적 특징이 어떻게 언어 모델 내에서 독립적인 표현 공간을 유지하는지 규명했습니다.
3. 인과적 검증: 단순한 상관관계가 아닌, 개입 실험 (Steering, Patching) 을 통해 발견된 회로가 실제 모델 행동의 원인이 됨을 입증했습니다.

4. 주요 결과 및 통찰 (Results & Insights)

실험은 오픈소스 모델인 Gemma-3-4B-it을 대상으로 수행되었으며, 다음과 같은 핵심 통찰을 도출했습니다.

• 계층적 통합 (Hierarchical Integration): 시각적 특징과 의미론적 (Semantic) 특징이 동시에 인코딩되는 특징은 네트워크의 상위 레이어 (약 20 레이어 이후) 에서만 나타납니다. 초기 레이어는 모달리티별로 분리되어 처리되다가 깊은 층으로 갈수록 통합됩니다.
• 시각적 수학 추론 (Visual Math Reasoning): 이미지 기반의 간단한 산술 문제 (예: 1+2) 에서 모델은 순수한 의미론적 계산뿐만 아니라 시각적 공간 내에서 결과 숫자 (예: '3') 를 직접 계산하는 회로를 사용하는 것으로 나타났습니다.
• 할루시네이션의 원인 (Six-Finger Problem): 손가락 개수를 세는 과정에서 발생하는 '6 개의 손가락' 같은 할루시네이션은 단일 오류가 아니라, 비전 인코더의 일반적 '손' 의미 강조와 내부 회로의 특징 경쟁 (Feature Competition) 이 결합되어 발생함을 발견했습니다.
• 병렬 시각 - 의미 경로: 모델은 깊은 층까지 시각적 유사성 (예: 바다수달, 물범, 비버) 과 의미적 범주가 다른 특징들을 독립적으로 유지하다가, 최종 레이어에서 통합된 다중 모달 표현으로 수렴합니다.
• 시각적 연상 (Visual Associations): '화성' 이미지를 입력했을 때, 의미론적 맥락 없이도 내부적으로 '우주선 (Space Shuttle)'과 같은 시각적 연상 특징이 활성화되는 것을 확인했습니다.

5. 의의 및 의의 (Significance)

• 신뢰할 수 있는 AI 개발: VLM 의 오류를 진단하고 편향을 완화하며, 인간 가치와 정렬 (Alignment) 된 모델을 설계하는 데 필요한 과학적 기반을 제공합니다.
• 모델 제어 가능성: 발견된 회로를 통해 모델을 조작 (Steering) 하거나 특정 기능을 비활성화하는 등, 모델의 행동을 정밀하게 제어할 수 있는 가능성을 열었습니다.
• 차세대 아키텍처 설계: 시각과 언어가 상호작용하는 방식을 이해함으로써, 더 효율적이고 강력한 차세대 VLM 아키텍처 설계에 지침을 제공합니다.

6. 한계 및 향후 과제

• 시각적 주의 맵의 해석 난이도: 비전 인코더의 주의 맵이 항상 관련 영역을 명확히 localize 하지 못해 특징 주석에 한계가 있습니다.
• 교차 레이어 중첩 (Cross-layer Superposition) 미포착: 현재 레이어별 전송기만 사용하여 레이어 간 중첩 현상을 완전히 포착하지 못했습니다.
• 인간 개입 의존성: 회로 발견 과정에 상당한 인간의 수작업이 필요하여 자동화와 정량적 평가가 어렵습니다.
• 모델 확장성: 현재 Gemma-3 모델에 국한되어 있으며, 다양한 VLM 아키텍처로 확장하여 검증이 필요합니다.

이 논문은 VLM 의 '블랙박스'를 여는 중요한 첫걸음으로, 다중 모달 AI 의 투명성과 신뢰성을 높이는 데 기여할 것으로 기대됩니다.