Human-like Object Grouping in Self-supervised Vision Transformers

1. 연구 배경 및 문제 정의 (Problem)

• 핵심 문제: 인간의 시각 시스템은 복잡한 자연 장면을 일관된 '객체'로 통합 (grouping) 하는 능력이 탁월합니다. 이는 부분 - 전체 관계, 게슈탈트 원리, 사전 지식 등을 활용합니다. 최근 자기지도 학습 (Self-supervised learning) 으로 훈련된 비전 파운데이션 모델 (Vision Foundation Models) 은 객체 분할과 유사한 속성을 보인다고 알려져 있으나, 이러한 모델이 인간의 객체 지각 (object perception) 과 얼마나 정렬 (alignment) 되어 있는지는 명확히 규명되지 않았습니다.
• 기존 연구의 한계: 기존 연구는 주로 저수준 게슈탈트 단서나 명확한 경계를 가진 단순 자극에 집중했으며, 자연스러운 장면 (naturalistic scenes) 에서 객체가 공간적으로 분리되지 않거나 윤곽이 불명확한 상황에서의 인간 지각과 모델의 비교는 부족했습니다.

2. 방법론 (Methodology)

A. 대규모 행동적 벤치마크 구축 (Behavioral Benchmark)

• 실험 설계: 고전적인 심리학 패러다임인 "두 점 (Two-dot)" 실험을 자연 이미지로 확장했습니다.
  • 참가자들은 자연 이미지에 놓인 두 개의 점 (중앙 점과 주변 점) 이 동일한 객체 위에 있는지, 서로 다른 객체 위에 있는지를 판단합니다.
  • 측정 지표: 반응 시간 (Reaction Time, RT) 을 주요 지표로 사용했습니다. RT 는 객체 그룹화의 난이도를 반영하며, '동일 객체 우세 (same-object advantage)' 및 거리 효과와 같은 지각적 현상을 포착합니다.
• 데이터 규모: 288 개의 자연 이미지 (COCO2017) 를 사용하여 4 가지 조건 (동일/서로 다른 객체 × 가까움/멀음) 으로 총 1,020 회 이상의 시행을 생성했습니다. 72 명의 참가자가 참여하여 대규모 행동 데이터를 확보했습니다.

B. 모델 평가 및 예측 (Model Evaluation)

• 모델 세트: 다양한 비전 모델 (Transformer 및 CNN) 을 평가했습니다.
  • Transformer: DINO 계열 (DINO, DINOv2, DINOv3), MAE, DeiT3 (지도 학습).
  • CNN: ConvNeXt (지도 학습 및 DINOv3 지식 증류).
• 평가 방식: 모델의 패치 (patch) 특징을 추출하여 두 점 위치에 대한 특징을 연결 (concatenate) 한 후, 2 층 MLP 를 통해 '동일/서로 다름' 분류 정확도를 측정하거나, 인간 반응 시간 (RT) 을 예측하는 능력을 평가했습니다.

C. 객체 중심성 (Object-Centricity) 정량화

• Affinity Map 및 ROC 분석: 모델의 패치 특징 간 코사인 유사도를 계산하여 'Affinity Map'을 생성했습니다.
• 지표: 중앙 점과 가장 유사한 패치들이 실제 객체 경계 내에 얼마나 많이 포함되는지 (True Positive Rate) 를 ROC 분석을 통해 정량화했습니다. 이를 통해 지도 학습 없이 객체 중심 구조의 강도를 수치화하는 새로운 메트릭을 제안했습니다.

D. 그람 행렬 정렬 (Gram Matrix Alignment) 실험

• 기법: 지도 학습 모델의 특징 벡터 간 유사성 구조 (그람 행렬) 를 자기지도 학습 모델 (DINOv3) 의 그람 행렬 구조와 일치하도록 미세 조정 (Fine-tuning) 하는 '지식 증류'를 수행했습니다.
• 목적: 객체 중심성과 인간 행동 정렬이 특징 간 상관관계 구조 (Gram matrix structure) 에 기인하는지 확인하기 위함입니다.

3. 주요 기여 (Key Contributions)

1. 대규모 행동 벤치마크: 자연 장면에서의 객체 그룹화를 탐구하기 위해 1,000 회 이상의 시행을 포함하는 정밀한 행동 실험 데이터를 구축했습니다.
2. 새로운 객체 중심성 메트릭: 패치 수준의 Affinity Map 을 기반으로 한 ROC 분석을 통해, 객체 경계에 대한 모델의 표현 능력을 지도 학습 없이 정량화하는 방법을 제안했습니다.
3. 훈련 목표의 중요성 입증: 아키텍처 (Transformer vs CNN) 보다 **훈련 목표 (Self-supervised DINO vs Supervised)**가 인간과 유사한 객체 표현을 결정하는 더 중요한 요소임을 보였습니다.
4. 그람 행렬의 역할 규명: 자기지도 학습 모델의 그람 행렬 구조를 모방하도록 지도 학습 모델을 미세 조정하면, 객체 중심성과 인간 행동 정렬이 크게 향상됨을 증명했습니다.

4. 주요 결과 (Results)

• 모델 성능 비교:
  • **DINOv3 (ViT-B)**가 인간 행동 예측 (반응 시간 상관관계) 및 그룹화 분류 정확도 (91.9%) 에서 가장 우수한 성능을 보였습니다.
  • 훈련 목표의 영향: 동일한 아키텍처 (ViT-B) 를 사용하더라도, 자기지도 학습 (DINO) 모델이 지도 학습 (Supervised) 모델보다 훨씬 뛰어난 객체 그룹화 능력을 보였습니다.
  • CNN vs Transformer: DINOv3 로 증류된 ConvNeXt 모델도 supervised CNN 보다 월등히 좋았으나, Transformer 아키텍처가 그람 행렬 정렬에 더 민감하게 반응하여 더 큰 개선을 보였습니다.
• 객체 중심성과 행동 정렬의 상관관계:
  • 제안한 메트릭으로 측정한 객체 중심성 (Object-centricity, AUC) 이 높을수록 인간 반응 시간 예측 정확도도 높았습니다. 이는 모델이 패치 수준에서 객체 정체성을 얼마나 잘 인코딩하느냐가 인간 지각과의 정렬을 결정한다는 것을 의미합니다.
• 그람 행렬 정렬 효과:
  • 지도 학습 모델에 DINOv3 의 그람 행렬 구조를 증류하면, 그룹화 정확도와 객체 중심성 AUC 가 크게 향상되었으며, 인간 행동과의 정렬도 개선되었습니다. 이는 특징 간의 상관관계 구조 (Feature correlation structure) 가 인간과 유사한 객체 표현의 핵심 메커니즘임을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 함의: 자기지도 학습 (특히 DINO 계열) 은 인간 시각 피질의 '연관 필드 (association fields)'와 유사한 메커니즘을 내재화하여, 패치 간 유사성을 통해 객체를 통합하는 인간과 유사한 계산 원리를 학습함을 보여줍니다.
• 모델 설계 가이드: 비전 모델의 성능 향상을 위해 단순히 분류 목표를 확장하는 것보다, 학습된 표현의 유사성 구조 (Similarity structure) 를 자연 장면의 객체 조직화 원리에 맞게 명시적으로 형성하는 것이 더 효과적입니다.
• 그람 행렬의 중요성: DINOv3 의 설계에서 그람 행렬 고정 (Gram anchoring) 이 중요한 역할을 한다는 기존 연구와 일치하게, 본 연구는 행동적 분석을 통해 그람 행렬 구조가 객체 중심성과 인간 지각 정렬을 주도하는 핵심 요소임을 독립적으로 입증했습니다.

결론적으로, 이 연구는 자기지도 학습 비전 모델이 인간과 유사한 방식으로 객체 구조를 포착하며, 이를 정량화하고 개선하기 위한 새로운 메트릭과 방법론 (그람 행렬 정렬) 을 제시했다는 점에서 중요한 의의를 가집니다.