Counting Circuits: Mechanistic Interpretability of Visual Reasoning in Large Vision-Language Models

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 시각 - 언어 모델 (LVLM) 은 다양한 시각 추론 작업에서 뛰어난 성능을 보이지만, 인간의 시각 지능에서 가장 기본적이면서도 중요한 능력인 '세기 (Counting)' 작업에서는 심각한 한계를 드러냅니다.
• 문제점:
  • LVLM 은 단순한 검은 점이나 기하학적 도형이 10 개 미만인 경우에도 정확한 계수를 수행하지 못하며, 이는 인간의 '소시타이징 (subitizing, 소수의 물체를 즉시 인식하는 능력)'과 대조적입니다.
  • 기존 연구들은 계수 성능 향상을 위해 이미지 전처리나 단순한 파인튜닝에 의존했으나, 모델 내부의 기계적 메커니즘 (Mechanistic) 이 어떻게 작동하는지, 그리고 계수 능력이 일반적인 시각 추론과 어떤 연관이 있는지에 대한 깊은 이해가 부족했습니다.
  • 특히, LVLM 이 계수를 위해 실제 객체를 개별화하고 정보를 집계하는지, 아니면 단순히 통계적 패턴을 암기하는지에 대한 의문이 제기되었습니다.

2. 핵심 방법론 (Methodology)

이 연구는 LVLM 의 내부 계수 메커니즘을 해석하고 이를 개선하기 위해 기계적 해석 가능성 (Mechanistic Interpretability) 기법을 도입했습니다.

가. 새로운 해석 도구 개발

1. 시각 활성화 패칭 (Visual Activation Patching, VAP):
   • 기존 텍스트 전용 LLM 에 적용되던 활성화 패칭 기법을 시각 - 언어 모델에 확장했습니다.
   • 객체 수만 다른 정밀하게 제어된 합성 이미지 쌍 (Clean vs. Corrupted) 을 사용하여, 모델의 각 레이어와 토큰이 계수 정보에 어떻게 반응하는지 인과적 흐름을 추적했습니다.
2. HeadLens:
   • 개별 어텐션 헤드의 기능을 해석하기 위해 제안된 새로운 도구입니다.
   • 멀티헤드 셀프 어텐션 (MHSA) 의 선형 가산성 (linear additivity) 을 활용하여, 각 헤드의 출력을 시맨틱 토큰으로 디코딩합니다. 이를 통해 헤드가 실제로 어떤 의미 (예: 숫자, 객체 존재 여부, 난이도) 를 처리하는지 식별합니다.

나. 계수 회로 (Counting Circuit) 발견

VAP 와 HeadLens 를 통해 LVLM 내부에서 계수 작업을 수행하는 4 가지 주요 어텐션 헤드 유형을 규명했습니다:

1. 시각 그라운딩 헤드 (Visual Grounding Heads, 초기 레이어): 이미지 토큰에서 색상, 모양, 경계 등 기본 시각적 특징을 추출합니다.
2. 크로스-모달 라우팅 헤드 (Cross-Modal Routing Heads, 중반 레이어): 시각 정보를 추상적인 수치 개념으로 변환하여 텍스트 스트림으로 전달합니다.
3. 계수 집계 헤드 (Counting Aggregation Heads, 후반 레이어): 텍스트 프롬프트에 집중하며, 이전 레이어에서 집계된 정보를 바탕으로 최종 숫자 예측을 수행합니다.
4. 인지 및 난이도 인식 헤드 (Existence and Difficulty Awareness Heads, 후반 레이어): 객체의 존재 유무와 계수 작업의 난이도를 추정합니다.

다. 개입 전략 (Intervention Strategy)

발견된 회로 구조를 바탕으로, 합성 데이터 (SynDot, SynPoly) 만을 사용하여 모델을 경량 파인튜닝하는 전략을 제안했습니다:

1. 객체 중심 어텐션 정규화 (Object-Focused Attention Regularizer): 초기 레이어의 시각 그라운딩 헤드가 객체 중심에 집중하도록 KL 발산을 통해 정규화합니다.
2. 적응형 헤드 온도 조절 (Adaptive Head Temperature Tuning): 계수 회로 (라우팅 및 집계 헤드) 의 어텐션 엔트로피를 낮추어 관련 토큰에 대한 집중도를 높입니다.
3. 공동 최적화: 위 두 가지 정규화 항을 지도 학습 (SFT) 과 결합하여 모델을 미세 조정합니다.

3. 주요 결과 (Results)

가. 인지적 정렬 (Cognitive Alignment)

• LVLM 은 인간과 유사하게 소수 (1-4 개) 에서는 정확한 인식 (소시타이징) 을 보이지만, 수가 증가하면 노이즈가 섞인 추정 (estimation) 으로 전환되는 불연속성을 보입니다. 이는 은닉 상태 매니폴드의 위상적 얽힘 (topological entanglement) 으로 설명됩니다.

나. 성능 향상 (Performance Enhancement)

• OOD(Out-of-Distribution) 계수 성능: 단순한 합성 데이터 (SynDot, SynPoly) 로만 파인튜닝한 모델은 실제 사진 (SynReal, PixMo-Count) 과 같은 분포 외 데이터에서 평균 8.36% 의 정확도 향상을 보였습니다.
• 일반 시각 추론 능력: 계수 작업에만 특화된 파인튜닝임에도 불구하고, MMMU, RealWorldQA, MathVista 와 같은 복잡한 일반 시각 추론 벤치마크에서 평균 1.54% 의 성능 향상을 달성했습니다.
• 모델별 효과: Qwen2.5-VL, Qwen3-VL, LLaVA-1.5 등 다양한 아키텍처에서 일관된 개선을 보였습니다.

다. 일반화 메커니즘 분석

• 회로 중첩 (Mechanistic Overlap): 계수 작업에 중요한 상위 20 개 헤드와 일반 추론 (수학, 공간 관계 등) 작업에 중요한 헤드 간의 자카드 유사도 (Jaccard Similarity) 가 33% 이상으로 높게 나타났습니다. 이는 계수가 단순한 작업이 아니라, 일반 시각 추론의 핵심 기초 회로를 공유하고 있음을 의미합니다.
• 대조 실험: 색상/모양 인식 (순수 지각 작업) 만을 학습시킨 모델은 일반 추론 성능 향상을 보이지 않았습니다. 이는 계수 작업이 '추론 (Reasoning)'을 필요로 하므로 다른 추론 작업으로의 전이가 가능함을 입증합니다.

4. 주요 기여 (Key Contributions)

1. 인지적 정렬: LVLM 이 인간의 계수 인지 과정 (소시타이징과 추정의 전환) 을 모방하고 있음을 증명하고, 이를 은닉 상태의 위상적 구조로 설명했습니다.
2. 방법론적 혁신: 멀티모달 입력을 위한 Visual Activation Patching 과 개별 헤드의 시맨틱 기능을 해석하는 HeadLens를 제안하여 LVLM 의 회로 발견을 가능하게 했습니다.
3. 회로 발견: 시각 그라운딩, 크로스-모달 라우팅, 계수 집계, 인지/난이도 감지 등 4 가지 기능적 헤드 카테고리를 식별하고, 이들이 일반 시각 추론의 기반이 됨을 규명했습니다.
4. 성능 향상: 복잡한 데이터 없이도 단순한 합성 이미지를 통해 계수 회로를 강화함으로써, 모델의 OOD 계수 강건성과 일반 시각 추론 능력을 동시에 향상시키는 경량 개입 전략을 제시했습니다.

5. 의의 및 결론 (Significance)

이 논문은 계수 (Counting) 가 단순한 작업이 아니라 LVLM 의 일반적인 시각 추론 능력의 핵심 기둥임을 입증했습니다.

• 이론적 의의: LVLM 이 어떻게 시각 정보를 수치 개념으로 변환하고 집계하는지에 대한 기계적 이해를 제공하며, 인간과 유사한 인지적 제약이 모델 내부에도 존재함을 보여줍니다.
• 실용적 의의: 복잡한 데이터 수집 없이도, 단순한 합성 데이터를 통해 모델의 핵심 추론 회로를 강화할 수 있음을 보여줍니다. 이는 향후 LVLM 의 전반적인 추론 능력을 향상시키기 위한 효율적이고 표적화된 (targeted) 학습 전략의 새로운 패러다임을 제시합니다.

결론적으로, 이 연구는 "계수 능력을 개선하는 것이 곧 모델의 전반적인 시각 추론 능력을 향상시킨다"는 통찰을 제공하며, LVLM 의 내부 작동 원리를 이해하고 제어하는 데 중요한 이정표가 됩니다.