Into the Rabbit Hull: From Task-Relevant Concepts in DINO to Minkowski Geometry

본 논문은 DINOv2 의 SAE 를 통해 선형 표현 가설을 검증하고, 작업별 개념의 기능적 특성을 규명한 후, 토큰 표현이 단순한 희소성이 아닌 아키타입의 볼록 혼합으로 구성된다는 '민코프스키 표현 가설 (MRH)'을 제안하여 비전 트랜스포머의 해석 가능성을 새로운 기하학적 관점에서 재정립합니다.

핵심

이 논문은 **"DINOv2"**라는 매우 똑똑한 인공지능이 세상을 어떻게 '보고' 이해하는지 그 내부를 들여다본 탐사 보고서입니다.

기존에는 AI 가 이미지를 볼 때, 마치 수많은 독립적인 나침반들이 각각의 방향을 가리키며 정보를 저장한다고 생각했습니다 (선형 표현 가설). 하지만 이 연구팀은 AI 의 뇌를 더 자세히 들여다보니, 사실은 **수많은 나침반들이 모여 만든 '지형도'와 '건축물'**처럼 복잡하고 흥미로운 구조를 하고 있다는 새로운 사실을 발견했습니다.

이 내용을 쉽게 이해할 수 있도록 세 가지 핵심 이야기로 나누어 설명해 드릴게요.

---

1. 첫 번째 발견: AI 는 '무엇이 아닌지'도 배운다 (토끼 구멍으로의 여정)

연구팀은 DINOv2 가 다양한 일을 할 때 어떤 '개념'을 사용하는지 분석했습니다.

• 분류 (Classify): "이건 토끼야!"라고 말할 때, AI 는 토끼 자체만 보는 게 아니라 **"토끼가 아닌 나머지 모든 곳"**을 동시에 봅니다. 마치 토끼가 있는 그림에서 토끼를 제외한 배경을 "여기 토끼가 있구나"라고 판단하는 근거로 사용하는 것과 같습니다. 이를 'Elsewhere(그 외의 곳)' 개념이라고 부릅니다.
• 분할 (Segmentation): 물체의 경계를 그릴 때는 물체의 **가장자리 (테두리)**를 감지하는 개념들만 집중적으로 사용합니다.
• 깊이 (Depth): 3D 깊이를 추정할 때는 그림자, 원근감, 질감의 변화 등 인간 시각 신경과학에서 알려진 세 가지 단서 (Monocular cues) 를 사용합니다.

비유하자면:
AI 는 단순히 "토끼"라는 스티커를 붙이는 게 아니라, "토끼가 있는 곳"과 "토끼가 없는 곳"의 관계를 통해 상황을 이해하는 논리적인 사고를 하고 있다는 것입니다.

---

2. 두 번째 발견: AI 의 뇌는 '선'이 아니라 '구름'과 '건물'이다

기존 이론은 AI 의 정보가 서로 겹치지 않는 독립적인 선 (Direction) 으로 이루어져 있다고 믿었습니다. 하지만 연구팀은 다음과 같은 이상한 점들을 발견했습니다.

• 선형이 아닌 밀집된 구조: 개념들이 완전히 독립적이지 않고, 서로 뭉쳐 있거나 (클러스터), 정반대 방향 (예: 흰색 vs 검은색) 으로 짝을 이루고 있습니다.
• 위치 정보의 압축: 처음에는 픽셀의 위치 (좌표) 를 정확히 기억하지만, AI 가 깊게 생각할수록 위치 정보는 2 차원 평면으로 압축되어 사라집니다. 하지만 그 후에도 이미지의 모양은 부드럽게 이어져 있습니다.

비유하자면:
기존의 생각은 **"각자 다른 방향을 가리키는 나침반 32,000 개"**가 있다고 생각한 것이었습니다.
하지만 실제로는 **"구름처럼 뭉쳐 있는 개념들"**과 **"서로 반대되는 극 (북극/남극) 을 가진 쌍"**들이 모여 있습니다. 마치 지도에서 특정 지역이 뭉쳐 있거나, 특정 방향으로만 뻗어 있는 지형과 같습니다.

---

3. 세 번째 제안: '민코프스키 가설' (Minkowski Representation Hypothesis)

이 모든 것을 설명하기 위해 연구팀은 새로운 이론을 제시합니다. 바로 **"민코프스키 표현 가설"**입니다.

이 가설의 핵심은 **"토큰 (이미지의 작은 조각) 은 몇 가지 '원형 (Archetype)'들의 합성물"**이라는 것입니다.

• 원형 (Archetype): 가장 대표적인 예시들입니다. (예: '토끼'라는 동물, '갈색'이라는 색, '부드러움'이라는 질감)
• 합성 (Convex Mixture): AI 는 새로운 이미지를 볼 때, 이 원형들을 섞어서 만듭니다.
  • 예: "이것은 토끼 (동물) + 갈색 (색상) + **부드러운 (질감)**의 혼합물이다."
• 민코프스키 합 (Minkowski Sum): 이 혼합 과정이 여러 개의 '건축 블록 (Convex Polytopes)'을 쌓아 올리는 것과 같습니다. 각 블록은 하나의 카테고리 (동물, 색상, 질감 등) 를 나타내며, AI 는 이 블록들을 겹쳐서 최종적인 이미지를 이해합니다.

창의적인 비유:

• 기존 생각 (선형 가설): AI 의 뇌는 수많은 독립적인 레이어가 쌓인 빌딩처럼, 각 층이 서로 다른 정보를 담고 있다고 생각했습니다.
• 새로운 생각 (민코프스키 가설): AI 의 뇌는 레고 블록으로 만든 구조물입니다.
  • 레고 블록 하나하나가 '원형 (토끼, 갈색 등)'입니다.
  • AI 는 이 레고 블록들을 섞어서 (Convex Mixture) 새로운 모양을 만듭니다.
  • 이 레고 블록들은 서로 다른 '구역 (Tile)'에 모여 있고, AI 는 이 구역들을 겹쳐서 (Minkowski Sum) 최종적인 세상을 이해합니다.

---

결론: 왜 이 발견이 중요한가요?

이 연구는 AI 를 해석하는 방식을 완전히 바꿀 수 있습니다.

1. 개념은 '화살표'가 아니라 '영역'이다: 우리는 이제 AI 가 특정 방향 (화살표) 을 가리킬 때만 개념을 찾는 게 아니라, 어떤 '영역'에 속해 있는지를 봐야 합니다.
2. 조작의 한계: AI 를 조작할 때 (예: "토끼처럼 보이게 해줘"), 무한히 선을 따라가는 게 아니라, 특정 '원형 (레고 블록)'에 가까워지는 것이 중요합니다. 너무 멀리 가면 AI 가 엉뚱한 것을 보게 됩니다.
3. 해석의 새로운 길: AI 가 어떻게 세상을 이해하는지 알기 위해서는, 단순히 결과만 보는 게 아니라 어떤 레고 블록들이 어떻게 섞였는지 그 과정을 추적해야 합니다.

한 줄 요약:
"AI 는 수많은 나침반으로 방향을 찾는 게 아니라, 세상의 기본 레고 블록 (원형) 들을 섞어서 세상을 재구성하고 있다."

이 연구는 AI 의 내면이 우리가 생각했던 것보다 훨씬 더 기하학적이고 구조적이며, 마치 수학적인 건축물처럼 정교하게 지어져 있음을 보여줍니다.

기술 요약

논문 요약: INTO THE RABBIT HULL: FROM TASK-RELEVANT CONCEPTS IN DINO TO MINKOWSKI GEOMETRY

이 논문은 시계열 비전 트랜스포머 (Vision Transformer, ViT) 모델인 DINOv2의 내부 표현 구조를 심층적으로 분석하고, 기존의 선형 희소성 가정을 넘어선 새로운 기하학적 해석을 제시합니다. 저자들은 32,000 개의 시각적 개념 (concepts) 을 학습한 대규모 사전 (dictionary) 을 구축하여, 다양한 하위 작업이 어떻게 이러한 개념들을 활용하는지 분석하고, 토큰 표현이 단순한 선형 방향이 아닌 **볼록 다면체 (convex polytopes) 의 합 (Minkowski sum)**으로 조직화되어 있음을 주장합니다.

---

1. 연구 배경 및 문제 제기 (Problem)

• DINOv2 의 성공과 미해결 과제: DINOv2 는 자기지도학습 (self-supervised learning) 을 통해 객체, 장면, 동작을 인식하는 데 탁월한 성능을 보이며 다양한 하위 작업 (분류, 세그멘테이션, 깊이 추정 등) 에 널리 사용됩니다. 그러나 모델이 내부적으로 무엇을 '인지'하는지, 그 표현이 어떻게 기하학적으로 조직화되어 있는지에 대한 이해는 여전히 부족합니다.
• 기존 가설의 한계: 현재 비전 모델 해석의 주류 가설인 **선형 표현 가설 (Linear Representation Hypothesis, LRH)**은 내부 특징이 거의 직교하는 (quasi-orthogonal) 희소 선형 조합으로 표현된다고 봅니다. 그러나 DINOv2 의 표현 공간에서 관찰되는 이방성 (anisotropy), 국소적 연결성, 그리고 특정 작업에 특화된 밀집된 구조는 단순한 LRH 로 설명하기 어려운 현상들을 보여줍니다.
• 핵심 질문: DINOv2 의 표현은 단순한 희소 선형 방향의 집합인가, 아니면 더 복잡한 기하학적 구조 (예: 볼록 영역, 아키타입의 혼합) 를 따르는가?

2. 방법론 (Methodology)

2.1. 개념 사전 학습 (Concept Dictionary Learning)

• 희소 오토인코더 (Sparse Autoencoders, SAE) 활용: 저자들은 DINOv2-B 모델의 활성화 공간에서 32,000 개의 반복되는 패턴 (개념) 을 추출하기 위해 안정화된 SAE 를 사용했습니다.
• 안정성 확보: 기존 SAE 의 불안정성 문제를 해결하기 위해, 각 사전 원자 (dictionary atom) 가 실제 활성화의 볼록 껍질 (convex hull) 내에 있도록 제약하는 Stable SAE를 적용하여 재현 가능한 기하학적으로 충실한 사전 (dictionary) 을 구축했습니다.
• 데이터: 140 만 장의 ImageNet-1K 이미지를 사용하여 학습했습니다.

2.2. 3 단계 분석 프레임워크

1. 하위 작업별 개념 활용 분석 (Downstream Usage): 분류, 세그멘테이션, 깊이 추정 등 다양한 작업이 사전의 어떤 개념들을 선택적으로 활용하는지 분석합니다.
2. 개념의 기하학 및 통계 분석 (Geometry and Statistics): 학습된 개념들의 분포, 상관관계, 희소성, 그리고 토큰 간의 국소적 연결성을 분석합니다.
3. 미크노프스키 기하학 제안 (Towards Minkowski Geometry): 관찰된 현상들을 종합하여, 토큰이 아키타입 (archetypes) 들의 볼록 혼합 (convex mixture) 으로 구성된다는 새로운 가설을 제시하고 이를 이론적, 실증적으로 검증합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1. 작업별 개념의 기능적 특화 (Functional Specialization)

• 분류 (Classification): "Elsewhere(다른 곳)" 개념이 주요 역할을 합니다. 이는 대상 객체가 있는 영역이 아닌 배경이나 주변 영역에서 활성화되지만, 객체의 존재에 의존하는 개념입니다. 이는 모델이 "객체가 여기에 없다"는 논리적 부정 (learned negation) 을 통해 분류를 수행함을 시사합니다.
• 세그멘테이션 (Segmentation): 객체의 경계 (boundary) 를 감지하는 개념들이 일관되게 활성화되며, 이러한 개념들은 개념 공간에서 밀집된 저차원 서브공간을 형성합니다.
• 단안 깊이 추정 (Monocular Depth Estimation): 시각 신경과학의 원리와 일치하는 3 가지 유형의 단안 깊이 단서 (monocular cues) 를 학습한 것을 발견했습니다:
  1. 투영 기하학 (소실점, 수렴 구조)
  2. 그림자 기반 (조명 그라데이션)
  3. 주파수 기반 (텍스처 변화)

3.2. 개념의 기하학적 조직화 (Geometric Organization)

• 부분적 밀집성 (Partly Dense): 표현이 완전히 희소하지 않고, 일부 개념 (특히 위치 정보) 은 전체 데이터셋에 걸쳐 밀집되어 활성화됩니다.
• 반대 쌍 (Antipodal Pairs): "왼쪽 vs 오른쪽", "흰색 vs 검은색"과 같이 의미적으로 반대되는 개념 쌍이 벡터 공간에서 거의 반대 방향 (antipodal) 을 이루며 존재합니다. 이는 단순한 직교성보다는 부호화된 축 (signed axes) 을 형성함을 보여줍니다.
• 위치 정보의 압축: 초기 층에서는 정확한 위치 정보가 유지되지만, 깊은 층으로 갈수록 위치 정보가 2 차원 평면으로 압축됩니다.
• 국소적 연결성: 위치 정보를 제거한 후에도 토큰들의 표현 공간은 매끄럽고 국소적으로 연결된 저차원 다양체 (manifold) 를 유지합니다.

3.3. 미크노프스키 표현 가설 (Minkowski Representation Hypothesis, MRH)

• 핵심 주장: 토큰 표현은 단순한 선형 방향의 합이 아니라, **아키타입 (landmarks) 들로 정의된 볼록 다면체 (convex polytopes) 들의 미크노프스키 합 (Minkowski sum)**으로 이해되어야 합니다.
  • 예: "토끼"라는 토큰은 (동물 범주에서의 아키타입) + (위치 아키타입) + (깊이 아키타입) 의 볼록 혼합으로 구성됩니다.
• 이론적 근거: 멀티헤드 어텐션 메커니즘은 각 헤드가 값 벡터들의 볼록 결합을 생성하고, 이들이 합쳐지면서 자연스럽게 미크노프스키 합 구조를 형성함을 수학적으로 증명했습니다.
• 실증적 증거:
  • 토큰 간의 선형 보간은 유효한 데이터 다양체를 벗어났지만, 그래프 기반의 지오데식 (geodesic) 보간은 다양체 위에 머무릅니다.
  • 아키타입 분석 (Archetypal Analysis) 을 통해 소수의 아키타입만으로 토큰을 높은 정확도로 재구성할 수 있음을 확인했습니다.
• 해석 가능성에 대한 함의:
  • 개념은 방향이 아닌 점/영역: 개념은 무한한 선형 방향이 아니라, 볼록 영역 내의 특정 랜드마크 (아키타입) 로 이해되어야 합니다.
  • 스텔링 (Steering) 의 한계: 방향 벡터를 따라 무한히 이동하는 대신, 아키타입에 도달하는 지점에서 신호가 포화됩니다.
  • 비식별성 (Non-identifiability): 단일 층의 활성화만으로는 원래의 구성 요소 (개별 다면체) 를 유일하게 복원할 수 없습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 해석 가능성의 패러다임 전환: 기존의 "선형 희소성" 중심의 해석에서 벗어나, **볼록 기하학 (Convex Geometry)**과 **아키타입 기반 (Archetypal)**의 관점으로 비전 트랜스포머의 내부 구조를 재해석합니다.
• 모델 메커니즘과 구조의 일치: DINOv2 의 자기지도학습 목표와 멀티헤드 어텐션 메커니즘이 자연스럽게 이러한 미크노프스키 기하학적 구조를 생성함을 보여줍니다.
• 실용적 도구: 32,000 개의 개념을 시각화하고 탐색할 수 있는 대화형 도구 DinoVision을 공개하여, 연구 커뮤니티가 대규모 비전 모델의 표현을 탐구할 수 있는 기반을 마련했습니다.
• 미래 방향: 이 연구는 개념 추출이 단순히 활성화 층을 분석하는 것을 넘어, 아키타입과 볼록 영역의 관계를 규명하는 방향으로 나아가야 함을 시사합니다.

이 논문은 DINOv2 와 같은 대규모 비전 모델이 단순한 특징의 집합이 아니라, 볼록 다면체들의 합으로 구성된 복잡한 기하학적 공간에서 작동함을 밝힘으로써, 모델의 해석 가능성과 제어 (steering) 에 대한 새로운 이론적 토대를 제공합니다.