I Walk the Line: Examining the Role of Gestalt Continuity in Object Binding for Vision Transformers

논문 개요

이 논문은 비전 트랜스포머 (Vision Transformers, ViT) 모델이 어떻게 저수준의 시각적 특징을 결합하여 객체 (Object) 표현을 생성하는지, 즉 '객체 바인딩 (Object Binding)' 문제를 연구합니다. 저자들은 인간이 시각 정보를 처리할 때 의존하는 게슈탈트 (Gestalt) 심리학의 '연속성 (Continuity)' 원리가 트랜스포머 모델의 바인딩 메커니즘에서도 핵심적인 역할을 하며, 이를 특정 어텐션 헤드 (Attention Heads) 가 담당하고 있음을 규명했습니다.

1. 연구 문제 (Problem)

• 배경: 자연 장면은 색상, 모양, 질감 등 수많은 저수준 특징으로 구성되어 있습니다. 인간은 이를 즉시 일관된 객체로 인식합니다. 이를 '객체 바인딩'이라고 하며, 신경망 모델에게 있어 근본적인 도전 과제 중 하나입니다.
• 현황: 최근 연구들은 사전 훈련된 비전 트랜스포머 모델이 객체 바인딩 메커니즘을 학습하여 이미지 패치 (Patch) 와 객체 간의 관계를 나타내는 표현을 생성함을 보였습니다.
• 미해결 과제: 모델이 어떻게 특정 패치들을 하나의 객체로 묶는지 (binding representations 을 할당하는지) 에 대한 구체적인 메커니즘은 여전히 불명확합니다. 특히 게슈탈트 원리 중 '연속성 (continuity)'이 바인딩에 어떻게 기여하는지, 그리고 이것이 다른 원리 (유사성, 근접성) 와 어떻게 구별되는지 규명할 필요가 있었습니다.

2. 방법론 (Methodology)

저자들은 통제된 실험을 위해 합성 데이터셋과 프로빙 (Probing), 그리고 기계적 해석 (Mechanistic Interpretability) 기법을 활용했습니다.

• 데이터셋 생성:
  • Blobs & Curves 데이터셋: 무작위 색상과 모양의 '블롭 (blob)'과 '곡선 (curve)'을 생성했습니다.
  • 실험 조건:
    1. Object: 연속적인 곡선을 형성하는 객체.
    2. Scrambled (Control): 객체 패치를 회전 (Orientation) 하거나 위치를 무작위화 (Location) 하여 연속성을 파괴하되, 패치 내의 픽셀 내용과 근접성은 유지하거나 변형하여 유사성/근접성만으로는 해결할 수 없도록 설계했습니다.
• 바인딩 프로브 (Binding Probes):
  • Li et al. (2025) 의 2 차 프로브 (Quadratic Probe) 를 사용하여 모델의 레이어별 활성화 값에서 두 패치가 같은 객체에 속하는지 판별하는 능력을 측정했습니다.
  • Object 데이터셋과 Scrambled 데이터셋에서의 프로브 정확도 차이를 통해 모델이 연속성 신호에 의존하는지 확인했습니다.
• 게슈탈트 연속성 헤드 식별 (Gestalt Continuity Heads):
  • 특정 패치를 곡선을 따라 이동시키며 ($t=0$에서 최대 정렬, $t \neq 0$에서 불일치) 각 어텐션 헤드가 이웃 패치에 얼마나 집중하는지 측정했습니다.
  • 연속성 민감도 지수 (Sensitivity Index, $S(t)$): 회전된 제어 조건 대비 곡선이 완성된 조건에서의 어텐션 비율을 계산하여, 픽셀 내용과 무관하게 '연속성'을 감지하는 헤드를 식별했습니다.
• 인과적 제거 실험 (Causal Ablation):
  • 식별된 연속성 헤드의 출력을 평균 제거 (Mean Ablation) 하여, Object 데이터셋과 Scrambled 데이터셋의 바인딩 프로브 성능에 미치는 영향을 비교했습니다.

3. 주요 결과 (Key Results)

• 연속성에 대한 민감성:
  • 다양한 사전 훈련된 ViT 모델 (DINO, DINOv2, MAE, CLIP, ImageNet 등) 에서 바인딩 프로브는 Scrambled 데이터셋보다 Object 데이터셋에서 훨씬 높은 정확도를 보였습니다. 이는 모델이 패치 간 유사성이나 근접성뿐만 아니라 시각적 연속성을 활용하여 객체를 결합하고 있음을 시사합니다.
• 연속성 감지 헤드의 발견:
  • 모델의 초기 레이어 (주로 1~4 레이어) 에 연속성을 추적하는 특정 어텐션 헤드가 존재함을 발견했습니다.
  • 이러한 헤드는 곡선이 정렬된 상태 ($t=0$) 에서 이웃 패치로의 어텐션이 극대화되는 가우시안 형태의 튜닝 곡선 (Tuning Curve) 을 보였습니다.
  • 이 헤드들은 Blobs, Curves, 자연 이미지 (ImageNet) 등 다양한 데이터셋에서 일관되게 나타났습니다 (Pearson 상관관계 $r \approx 0.66$).
• 인과적 역할 입증:
  • 연속성 헤드를 제거 (Ablation) 했을 때, Object 데이터셋의 바인딩 성능이 Scrambled 데이터셋에 비해 선택적으로 크게 저하되었습니다.
  • 이는 해당 헤드가 객체 바인딩 표현을 생성하는 데 인과적으로 기여하며, 특히 연속성 정보를 활용할 수 있는 상황에서 결정적인 역할을 함을 의미합니다.

4. 주요 기여 (Key Contributions)

1. 게슈탈트 원리의 역할 규명: 비전 트랜스포머 모델이 객체 바인딩을 수행할 때 게슈탈트 '연속성' 원리가 핵심적인 단서로 작용함을 실험적으로 증명했습니다.
2. 구체적인 메커니즘 발견: 단순히 추상적인 바인딩 표현이 존재하는 것을 넘어, 특정 어텐션 헤드가 이미지 패치 경계를 넘어선 연속적인 곡선을 추적하는 구체적인 신경 메커니즘을 발견했습니다.
3. 인과적 검증: 해당 헤드를 제거함으로써 바인딩 성능이 저하됨을 보여, 이 헤드들이 바인딩 표현 형성에 필수적임을 입증했습니다.
4. 범용성: 다양한 학습 목표 (자기지도, 지도학습, CLIP 등) 로 훈련된 모델들에서 이러한 메커니즘이 보편적으로 나타남을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 현대 비전 모델이 인간과 유사한 시각적 인지 능력 (객체 바인딩) 을 어떻게 획득하는지에 대한 새로운 통찰을 제공합니다.

• 이해의 확장: 트랜스포머 아키텍처가 단순한 패턴 매칭을 넘어, 시각적 구조 (연속성) 를 이해하고 이를 활용하여 객체를 구성하는 능력을 학습할 수 있음을 보여줍니다.
• 해석 가능성 (Interpretability): 복잡한 딥러닝 모델 내부에서 특정 인지 기능 (게슈탈트 원리 적용) 을 담당하는 구체적인 하위 구성 요소 (어텐션 헤드) 를 식별하고 그 기능을 규명함으로써, 모델 해석 가능성 연구에 중요한 기여를 합니다.
• 미래 방향: 본 연구는 비전 모델의 'detokenization' (토큰을 의미 있는 단위로 결합) 메커니즘을 이해하는 데 기초를 제공하며, 향후 다른 게슈탈트 원리 (폐쇄성, 유사성 등) 나 자연스러운 시각 자극에서의 바인딩 메커니즘 연구로 확장될 수 있습니다.

요약하자면, 이 논문은 비전 트랜스포머가 게슈탈트 연속성 원리를 활용하여 객체를 바인딩하며, 이를 수행하는 구체적인 어텐션 헤드가 존재하고 이를 제거할 경우 바인딩 능력이 손상됨을 체계적으로 증명했습니다.