Do Foundation Models Know Geometry? Probing Frozen Features for Continuous Physical Measurement

이 논문은 비전 - 언어 모델의 고정된 특징 공간에 텍스트 생성 경로보다 정밀한 연속 기하학적 정보가 내재되어 있으며, 경량 프로브나 LoRA 미세 조정을 통해 이러한 잠재된 기하학적 신호를 효과적으로 추출할 수 있음을 보여줍니다.

핵심

이 논문은 **"기초 모델 (Foundation Models) 이 실제로 기하학 (도형, 공간, 각도) 을 알고 있을까?"**라는 흥미로운 질문에서 시작합니다.

결론부터 말씀드리면, **"네, 알고 있습니다! 하지만 입을 다물고 있을 뿐입니다."**라는 놀라운 사실을 발견했습니다.

이 복잡한 내용을 누구나 이해할 수 있도록 비유와 이야기로 풀어보겠습니다.

---

1. 핵심 비유: "지식 있는 교수님 vs. 말 못하는 학생"

상상해 보세요. 거대한 AI 모델은 모든 것을 알고 있는 천재 교수님입니다. 이 교수님은 손가락의 관절이 어떻게 구부러지는지, 머리가 얼마나 기울었는지, 물체가 어디에 있는지 정확히 계산할 수 있는 능력을 가지고 있습니다.

하지만 문제는 이 교수님이 **학생 (텍스트 생성 기능)**에게 그 지식을 전달할 때 발생합니다.

• 교수님 ( frozen features, 고정된 특징): 손가락 각도를 6.1 도 오차로 정확히 계산합니다. (정답!)
• 학생 (Text output, 텍스트 출력): "손가락이 구부러져 있어요"라고 말하려다 보니, 20.0 도나 틀린 엉뚱한 답을 말합니다. (오답!)

이 논문은 이 3.3 배의 차이가 "교수님이 모르고 있어서"가 아니라, **"학생이 교수님의 말을 제대로 전달하지 못해서 (Pathway-training deficit)"**라고 진단했습니다. 즉, 지식은 있는데 말로 표현하는 기술이 부족했던 것입니다.

2. 해결책: "LoRA 라는 통역사"

연구진은 이 문제를 해결하기 위해 LoRA라는 가벼운 "통역사"를 고용했습니다.

• LoRA: 교수님의 깊은 지식을 학생이 이해할 수 있는 언어로 번역해주는 작은 보조 장치입니다.
• 결과: 통역사 (LoRA) 를 붙이자, 학생이 내는 답의 정확도가 6.5 도까지 급격히 좋아졌습니다.
• 의미: 교수님 (기초 모델) 은 이미 기하학을 완벽하게 알고 있었으며, 우리는 단지 그 지식을 꺼내 쓰는 방법만 배우면 된다는 것을 증명했습니다.

3. 놀라운 발견: "서로 다른 언어를 쓰지만 같은 답을 내놓는 5 인조"

연구진은 다양한 AI 모델 (CLIP, DINOv2, SigLIP 등) 을 실험했습니다. 이 모델들은 각각 **서로 다른 언어 (아키텍처)**로 훈련받았기 때문에, 내부적으로 생각하는 방식은 완전히 달랐습니다. (예: 한 모델은 "사과"를 볼 때 빨간색을 먼저 보고, 다른 모델은 둥근 모양을 먼저 봄)

하지만 놀랍게도, 기하학적 문제를 풀 때 이 5 명의 모델은 **완전히 같은 점수 (R² ≈ 0.55)**를 받았습니다.

• 비유: 서로 다른 국적과 언어를 가진 5 명의 천재들이, 각자 다른 방식으로 문제를 풀었지만 정답은 똑같이 맞췄습니다.
• 의미: 모델의 구조 (아키텍처) 보다는 **무엇을 배웠는지 (훈련 목표)**가 기하학적 능력을 결정한다는 뜻입니다.

4. 구체적인 실험 내용 (간단히)

이 논문은 다음과 같은 실험들을 통해 위 주장을 증명했습니다.

• 손가락 실험 (FreiHAND): 손가락 관절의 각도를 예측했습니다. 텍스트로 말하게 하면 엉망이 되지만, 고정된 특징을 직접 읽으면 매우 정확했습니다.
• 머리 실험 (BIWI): 머리가 얼마나 기울었는지 (Yaw, Pitch, Roll) 측정했습니다. 얼굴이 화면에 크게 잡혀있을 때 (Loosely-framed) 는 특정 부분만 집중하면 정확도가 뚝 떨어졌지만, 잘라낸 이미지 (Tightly-cropped) 에서는 모든 모델이 비슷하게 잘했습니다.
• 물체 실험 (YCB-Video): 물체의 위치를 예측했습니다. 손처럼 유연한 관절보다는 딱딱한 물체일 때 모든 모델이 더 잘했습니다.

5. 왜 이것이 중요한가요? (실용적인 의미)

이 연구는 AI 개발자들에게 **"새로운 거대한 모델을 만들 필요 없다"**는 메시지를 줍니다.

1. 저렴한 비용: 이미 배포된 거대한 AI 모델 하나만 있으면, 손가락, 머리, 물체, 카메라 각도 등 모든 기하학적 작업을 동시에 할 수 있습니다.
2. 작은 추가 작업: 각 작업마다 6,000 개의 파라미터 (매우 작은 양) 만 추가하면 됩니다. 전체 모델의 5 만 분의 1 수준입니다.
3. 유연성: 텍스트로 말하고 싶다면 LoRA 통역사를 붙이면 되고, 숫자로만 계산하고 싶다면 고정된 프로브 (Probe) 를 쓰면 됩니다.

요약

이 논문은 **"AI 는 이미 기하학을 알고 있다. 다만 우리가 그 지식을 꺼내는 방법을 몰랐을 뿐이다"**라고 말합니다.

기존의 AI 는 "눈은 멀었지만 귀는 밝은" 상태였습니다. 이 연구는 그 귀 (고정된 특징) 를 잘 활용하는 방법을 찾아냈고, 덕분에 작은 비용으로 정밀한 3D 공간 인식이 가능해졌습니다. 이제 우리는 거대한 AI 를 단순히 "대화"하는 것을 넘어, 정밀한 측정 도구로도 사용할 수 있게 된 것입니다.

기술 요약

이 논문은 **"기초 모델 (Foundation Models) 이 기하학적 정보를 알고 있는가?"**라는 질문에 답하며, 비전 - 언어 모델 (VLM) 의 고정된 특징 (frozen features) 이 연속적인 물리적 측정값 (예: 관절 각도, 헤드 포즈, 물체 자세 등) 을 얼마나 정확하게 인코딩하는지 체계적으로 분석합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 현황: 기초 모델은 정량적인 시각 작업에 널리 사용되지만, 그 표현 (representation) 이 연속적인 물리적 측정값을 얼마나 잘 인코딩하는지에 대한 체계적인 이해가 부족합니다.
• 문제: VLM 을 프롬프트로 사용하여 수치적 추정을 요청하면, 텍스트 생성 경로를 통해 출력되는 답변은 불명확하며 오차가 큽니다 (예: 손 관절 각도 추정 시 평균 오차 20~39 도).
• 가설: 이 오차가 모델의 표현 자체의 한계 (representation deficit) 때문인지, 아니면 텍스트 인터페이스의 병목 현상 (pathway-training deficit) 때문인지 불분명했습니다.

2. 방법론 (Methodology)

저자는 14 개의 다양한 기초 모델 (ViT, CNN, VLM 등) 의 **고정된 특징 (frozen features)**을 대상으로 다음과 같은 실험을 수행했습니다.

• 선형 프로빙 (Linear Probing): 고정된 모델의 특징 벡터에서 손 관절 각도, 헤드 포즈, 물체 자세, 시선 방향, 카메라 내부 파라미터 등을 예측하기 위해 **선형 프로브 (Linear Probe)**를 사용했습니다.
  • RRR (Reduced-Rank Regression): 과적합을 방지하고 일반화 성능을 높이기 위해 랭크가 제한된 릿지 회귀를 사용했습니다.
• 데이터셋:
  • FreiHAND: 손 관절 각도 (21 개 3D 키포인트).
  • BIWI: 헤드 포즈 (Yaw, Pitch, Roll).
  • YCB-Video: 강체 물체의 6DoF 자세.
  • MPIIFaceGaze: 시선 방향.
• 비교 대상:
  • Frozen Probe: 고정된 특징에 선형 프로브를 적용.
  • Text Output: VLM 의 텍스트 생성 경로 (Direct prompt, Few-shot, Chain-of-thought).
  • LoRA Fine-tuning: 고정된 백본에 LoRA (Low-Rank Adaptation) 를 적용하여 텍스트 경로를 미세 조정.
  • 기타 모델: MediaPipe Hands, 전용 3D 재구성 모델 등.

3. 주요 기여 및 발견 (Key Contributions & Findings)

1) 텍스트 병목 현상은 표현의 결함이 아닌 '경로 훈련'의 결함

• 결과: 고정된 특징을 선형 프로브로 읽었을 때 손 관절 각도 예측 오차 (MAE) 는 6.1 도였으나, 텍스트 생성 경로를 통한 최선의 출력은 20.0 도에 그쳤습니다 (약 3.3 배의 격차).
• 해석: 모델 내부에는 정확한 기하학적 정보가 인코딩되어 있으나, 이를 텍스트로 변환하는 경로가 이를 제대로 활용하지 못한다는 것을 의미합니다.
• LoRA 의 효과: LoRA (r=16, 2,000 이미지) 로 미세 조정하면 텍스트 경로의 오차가 6.5 도까지 줄어듭니다. 이는 기하학적 정보가 존재하며, LoRA 를 통해 텍스트 경로로 '라우팅'될 수 있음을 증명합니다.

2) 아키텍처보다 '학습 목표 (Training Objective)'가 정확도를 결정

• 결과: DINOv2, CLIP, SigLIP 등 서로 다른 아키텍처와 학습 방식을 가진 5 개의 비전 인코더가 **통계적으로 동등한 정확도 (R² ≈ 0.55)**에 수렴했습니다.
• 표현의 불일치: 이 모델들 간의 표현 유사성 (CKA) 은 0.41 로 매우 낮았음에도 불구하고, 기하학적 읽기 능력은 동일했습니다. 이는 **표현의 수렴 없이 기능적 수렴 (Functional Convergence)**이 발생함을 보여줍니다.
• 학습 목표의 영향: 지도 학습 (Supervised) 모델보다 자기지도 학습 (Self-supervised) 또는 대비 학습 (Contrastive) 모델이 기하학적 인코딩 성능이 더 뛰어났습니다. 아키텍처 (ViT vs CNN) 보다는 학습 데이터와 목표가 더 중요했습니다.

3) 기하학적 정보는 공간적, 작업별로 의존적임

• 공간적 집중: 얼굴이 느슨하게 프레임된 이미지 (BIWI) 에서는 특정 패치 (얼굴 영역) 를 집중적으로 주의 (Attention Pooling) 하면 성능이 크게 향상되었으나, tightly-cropped 된 물체 이미지 (YCB-Video) 에서는 효과가 없었습니다. 이는 기하학적 정보가 작업에 따라 공간적으로 어떻게 분포하는지에 따라 달라짐을 시사합니다.
• 계층적 특성: 비전 인코더에서는 깊은 층으로 갈수록 기하학적 신호가 강해지지만, VLM 의 텍스트 생성기 (Decoder) 층에서는 초기 층에서 정점을 찍고 이후 감소하는 경향을 보였습니다.

4. 결과 (Results)

• 정확도: 고정된 선형 프로브는 손 관절 각도 예측에서 **6.14 도 (MAE)**의 오차를 기록하여, 전용 모델인 MediaPipe Hands (16.3 도) 보다 훨씬 정확했습니다.
• 다중 작업: 하나의 고정된 백본을 공유하면서, 각 작업 (손, 머리, 물체, 카메라) 에 대해 약 6,000 개의 파라미터만 추가하는 프로브로 다중 기하학적 태스크를 동시에 수행할 수 있음을 입증했습니다.
• 통계적 검증: 14 개의 백본에 대한 네스팅 10-fold 교차 검증 (Nested 10-fold CV) 에서 Friedman 검정 결과, 성능 순위가 통계적으로 유의미하게 유지됨을 확인했습니다.

5. 의의 및 결론 (Significance)

• 과학적 통찰: 기초 모델의 내부 표현이 텍스트 출력보다 훨씬 풍부한 기하학적 정보를 포함하고 있음을 규명했습니다. 이는 "플라톤적 표현 가설 (Platonic Representation Hypothesis)"을 연속적인 기하학적 대상으로 확장한 것입니다.
• 실용적 가치:
  • 저비용 다중 태스크: 별도의 대규모 모델 학습 없이, 기존에 배포된 백본에 가벼운 프로브 (약 6,000 파라미터) 만 추가하여 다양한 기하학적 측정 작업을 수행할 수 있습니다.
  • LoRA 활용: 텍스트 기반 인터페이스가 필요할 경우, LoRA 를 통해 고정된 기하학적 신호를 텍스트로 변환하는 효율적인 방법을 제시했습니다.
• 한계: 손가락 끝 (Thumb) 이나 낮은 분산 (Low-variance) 을 가진 타겟, 그리고 공간적으로 분산된 신호의 경우 프로빙 성능이 떨어질 수 있습니다.

요약하자면, 이 논문은 기초 모델이 기하학을 '모르지'는 않지만, 텍스트 생성이라는 병목 현상으로 인해 그 능력을 제대로 발휘하지 못한다는 것을 증명하고, 이를 해결하기 위한 효율적인 프로빙 및 LoRA 전략을 제시합니다.