GeoSense: Internalizing Geometric Necessity Perception for Multimodal Reasoning

이 논문은 멀티모달 언어 모델이 2D 단서만으로는 부족하다고 판단할 때 기하학적 정보를 자율적으로 활성화하여 공간 추론 능력을 향상시키는 'GeoSense' 프레임워크를 제안합니다.

핵심

지오센스 (GeoSense): "필요할 때만 3D 안경을 쓰는 똑똑한 AI"

이 논문은 Multimodal Large Language Models(MLLMs, 멀티모달 거대 언어 모델) 이 가진 공간 이해 능력의 한계를 해결하기 위해 개발된 새로운 기술, GeoSense에 대해 설명합니다.

기존의 AI 는 마치 "항상 3D 안경을 끼고 사는 사람"과 같습니다. 책상 위의 물건을 찾는 간단한 질문을 할 때도 3D 깊이 정보를 무조건 계산해서 시간을 낭비하거나, 오히려 그 정보가 방해가 되어 엉뚱한 답을 내놓기도 합니다.

GeoSense는 이 문제를 해결하기 위해 "상황을 파악해서 3D 안경을 필요할 때만 끼는" 능력을 AI 에 심어주었습니다.

---

1. 왜 이런 기술이 필요한가요? (기존의 문제점)

기존 AI 모델들은 3D 공간 정보를 처리할 때 두 가지 극단적인 태도를 보였습니다.

• 무조건 무시: 3D 정보를 아예 안 보고 2D 이미지 (평면 사진) 만으로 추측합니다. "소파가 내 앞쪽 왼쪽에 있나?" 같은 질문에는 엉뚱한 답을 내놓습니다.
• 무조건 사용: 어떤 질문이든 3D 정보를 무조건 끼워 넣습니다. "이 사진에 고양이가 몇 마리야?" 같은 간단한 질문에도 3D 깊이를 계산하느라 뇌를 피곤하게 만들고, 때로는 그 복잡한 계산이 오히려 방해가 되어 실수를 합니다.

비유하자면:

"집에서 컵을 찾으라고 할 때, 3D 안경을 끼고 천천히 방 전체를 스캔하는 것과 같습니다. 컵은 바로 눈앞에 있는데 말이죠. 반면, '소파가 어디에 있나?'라고 물었을 때는 3D 안경 없이 평면 그림만 보고 '저기 있겠지'라고 추측하는 것이죠. 기존 AI 는 이 두 가지를 구분하지 못했습니다."

2. GeoSense 는 어떻게 해결하나요? (핵심 아이디어)

GeoSense 는 AI 에게 **"내 감각이 부족할지 스스로 판단하는 능력 (Internal Sense Perception)"**을 길러줍니다.

• 스스로 판단: AI 는 질문과 이미지를 보고 "이 문제는 2D 정보만으로도 충분해"라고 생각하면 2D 로만 답하고, "아, 이건 3D 깊이를 봐야 정확히 알 수 있겠군"이라고 판단하면 그때서야 3D 정보를 불러옵니다.
• 필요할 때만 사용: 3D 정보는 마치 비상용 도구처럼 평소에는 꺼져 있다가, 정말 필요할 때만 꺼내 쓰는 방식입니다.

3. 어떻게 가르쳤나요? (두 단계 훈련 과정)

이 똑똑한 판단력을 가르치기 위해 연구자들은 두 단계의 훈련을 시켰습니다.

1 단계: 3D 정보와의 친해지기 (정렬 훈련)

먼저, AI 가 2D 이미지와 3D 깊이 정보를 각각 따로따로 잘 이해하도록 가르칩니다. 마치 새로운 언어 (3D 정보) 를 배우는 것처럼, 이 정보를 AI 가 기존에 알던 언어 (이미지, 텍스트) 와 자연스럽게 섞어서 이해할 수 있게 만듭니다. 이때는 3D 정보를 무조건 다 쓰게 합니다.

2 단계: '필요성'을 깨우치기 (지각 훈련)

이제 가장 중요한 단계입니다. 연구자들은 수만 개의 문제를 AI 에게 두 번 풀게 했습니다.

1. 3D 정보 없이 풀기
2. 3D 정보를 넣고 풀기

그리고 결과를 비교했습니다.

• 3D 정보가 없으면 틀리고, 있으면 맞은 경우: "아, 이 문제는 3D 안경이 필수구나!"라고 가르칩니다. (예: "소파가 내 앞에서 얼마나 떨어져 있나?")
• 3D 정보가 없어도 맞고, 있으면 오히려 틀린 경우: "이 문제는 3D 안경을 쓰면 오히려 방해가 되네! 그냥 2D 로만 봐야 해."라고 가르칩니다. (예: "이 문서에 숫자가 몇 개야?")

이 과정을 통해 AI 는 스스로 "이건 3D 가 필요해"라고 말하거나 ( 토큰을 사용), "아니야, 2D 로 충분해"라고 판단하는 능력을 익히게 됩니다.

4. 어떤 효과가 있나요?

실험 결과, GeoSense 는 놀라운 성과를 보였습니다.

• 공간 추론 능력 대폭 향상: "소파가 내 왼쪽 앞쪽에 있나?" 같은 복잡한 공간 질문에서 기존 모델보다 훨씬 정확해졌습니다.
• 일반 능력 유지: 3D 정보를 쓸 필요가 없는 "문서 읽기"나 "수학 문제" 같은 일반 질문에서는 3D 정보를 쓰지 않아서, 오히려 기존 모델들보다 더 빠르고 정확하게 답했습니다.
• 효율성: 불필요한 3D 계산을 하지 않으므로 컴퓨터 자원도 아끼고, 답변 속도도 빨라졌습니다.

5. 실제 사례 (Case Study)

논문 속 예시를 보면 다음과 같은 모습이 나옵니다.

• 상황 A (고양이 찾기): "사진에 진짜 고양이가 몇 마리야?"라고 물었을 때, 거울에 비친 고양이와 진짜 고양이를 구분하기 위해 AI 가 스스로 "3D 정보를 필요로 합니다 ()"라고 말하며 3D 안경을 끼고 정답을 맞췄습니다.
• 상황 B (의자 찾기): "의자가 있니?"라고 물었을 때, 3D 정보가 방해가 될 수 있다는 것을 알고 3D 정보를 쓰지 않고 2D 정보만으로 정답을 냈습니다.

요약

GeoSense는 AI 에게 "항상 3D 안경을 끼는 것"이 아니라, **"상황을 보고 필요할 때만 3D 안경을 끼는 지혜"**를 심어준 기술입니다.

이는 마치 현명한 요리사와 같습니다.

• 간단한 샐러드를 만들 때는 손만 쓰지만 (2D 만 사용),
• 정교한 스테이크를 굽는 때는 온도계와 타이머를 꼭 챙겨 쓰는 (3D 정보 활용) 것처럼,
  작업의 성격에 따라 가장 적절한 도구를 선택하는 능력을 가진 AI 를 만들었다는 점이 이 연구의 가장 큰 성과입니다.

이 기술은 자율주행, 로봇, 그리고 우리 일상의 AI 비서들이 더 똑똑하고 효율적으로 작동하는 데 큰 도움이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 멀티모달 대형 언어 모델 (MLLM) 은 자율 주행, 로봇 공학 등 다양한 분야에서 혁신을 이끌고 있으나, 공간 추론 (Spatial Reasoning) 능력에서 여전히 한계를 보입니다. 특히 3D 기하학적 정보에 대한 이해가 부족하여 깊이, 위상, 시점 변환 등의 작업에서 오류를 범합니다.
• 기존 방법의 한계:
  • 기존의 접근법 (예: Spatial-MLLM, VG-LLM) 은 3D 기하학적 정보를 모든 입력에 대해 강제로 주입 (Rigid Injection) 하는 방식을 취합니다.
  • 이는 3D 정보가 필수적인 공간 작업에는 도움이 되지만, 텍스트 인식 (OCR) 이나 평면 기하학 등 3D 정보가 불필요한 일반 작업에서는 불필요한 노이즈로 작용하여 성능을 저하시킵니다.
  • 실험 결과, 강제로 3D 정보를 주입할 경우 일반 시각 추론 능력 (예: 객체 착시, 수학 문제) 이 오히려 감소하는 '양날의 검' 현상이 확인되었습니다.
• 핵심 문제: 모델이 어떤 상황에서 기하학적 정보가 '필요'하고, 어떤 상황에서 '불필요'한지 스스로 판단하여 적응적으로 활용하는 '지각적 인식 (Perceptual Awareness)'이 결여되어 있다는 점입니다.

2. 방법론 (Methodology)

GeoSense 는 모델이 기하학적 정보의 필요성을 자율적으로 감지 (Internalize) 하고, 필요할 때만 3D 특징을 활용하도록 하는 적응형 프레임워크입니다.

가. 아키텍처: 독립적인 기하학 입력 채널 (Independent Geometry Input Channel)

• 분리된 인코더: 2D 시각 인코더 (Qwen2.5-VL) 와 3D 기하학 인코더 (VGGT) 를 병렬로 사용합니다.
• 독립 토큰화: 기존 방법처럼 2D 특징과 3D 특징을 요소별 덧셈 (Element-wise addition) 으로 융합하는 것이 아니라, 3D 기하학 정보를 독립적인 모달리티 (Modality) 로 처리합니다.
• 프로젝션: 3D 특징은 별도의 MLP 프로젝터를 통해 MLLM 의 임베딩 공간에 매핑되며, <|vggt pad|> 와 같은 경계 토큰으로 구분된 시퀀스로 구성됩니다. 이를 통해 2D 시각 추론이 3D 정보에 의해 오염되는 것을 방지합니다.

나. 2 단계 학습 전략 (Two-Stage Training Strategy)

1. 기하학적 특징 정렬 (Geometry Alignment):
   • 사전 학습된 인코더는 고정 (Frozen) 하고, LLM 백본과 프로젝터만 학습합니다.
   • 2D 및 3D 특징을 통일된 임베딩 공간에 정렬하여, 3D 토큰이 텍스트 및 2D 시각 토큰과 의미론적으로 호환되도록 합니다.
2. 공간 인식 지도 미세 조정 (Spatial-Aware Supervised Fine-Tuning):
   • 핵심 메커니즘: 모델이 입력과 태스크 의도에 따라 기하학적 정보가 필요한지 스스로 판단하도록 훈련합니다.
   • 데이터 선별 전략 (Data Curation):
     • Strategy A (필요한 경우): 3D 정보가 정답에 필수적인 데이터 (T-F: 2D 만으로는 틀리고 3D 포함 시 맞음) 에 대해, 모델이 <vggt> 토큰을 생성하여 3D 정보를 요청하는 체인 오브 씽킹 (CoT) 을 학습시킵니다.
     • Strategy B (노이즈인 경우): 2D 정보가 더 좋은 데이터 (F-T: 3D 포함 시 오히려 틀림) 에 대해, 모델이 3D 요청 신호를 억제하고 2D 정보만으로 추론하도록 학습시킵니다.
   • 이를 통해 모델은 손으로 만든 규칙 없이도 데이터에서 내재된 경험적 사전 지식 (Empirical Priors) 을 학습합니다.

3. 주요 기여 (Key Contributions)

1. 적응형 추론 프레임워크 제안: 모델이 컨텍스트에 따라 3D 기하학적 정보를 '필요에 따라 (On-demand)' 선택적으로 활용하는 자율적 메커니즘을 최초로 도입했습니다.
2. 모델 적응형 데이터 선별 파이프라인: 모델의 추론 오차를 분석하여, 3D 정보가 필수적인 경우와 노이즈인 경우를 구분하는 맞춤형 학습 데이터를 구축했습니다. 이는 수동 규칙에 의존하지 않고 모델이 스스로 '지각'하도록 합니다.
3. 성능 균형 달성: 공간 추론 성능을 획기적으로 향상시키면서도, 기존 MLLM 이 가진 일반 시각 추론 및 논리 추론 능력을 유지하거나 오히려 개선했습니다.

4. 실험 결과 (Results)

• 평가 벤치마크: VSI-Bench, MindCube, BLINK 등 7 가지 공간 추론 벤치마크와 MMBench, WeMath, POPE 등 4 가지 일반 시각 벤치마크에서 평가했습니다.
• 공간 추론 성능:
  • GeoSense 는 Qwen2.5-VL-3B 기반 모델로서, 훨씬 큰 모델 (Qwen2.5-VL-7B) 과 경쟁하는 수준의 공간 추론 성능을 달성했습니다.
  • 특히 BLINK 벤치마크에서 가장 높은 점수를 기록하며, 다양한 공간 하위 작업에 대한 적응력을 입증했습니다.
• 일반 추론 성능 유지:
  • 3D 정보가 불필요한 일반 작업 (예: 객체 인식, 수학 문제) 에서는 3D 토큰을 거의 사용하지 않음 (약 3% 만 활성화) 으로써, 기존 모델의 일반 추론 능력을 유지했습니다.
  • 반면, 3D 정보를 강제로 주입한 기존 방법 (VG-LLM) 은 일반 벤치마크 (MME, POPE 등) 에서 성능이 저하되는 현상을 보였습니다.
• 애블레이션 연구 (Ablation Study):
  • 적응형 선택 (GeoSense) 이 무조건적인 융합 (Visual Fusion) 보다 전체적으로 우월한 성능을 보였습니다.
  • 모델이 3D 정보가 불필요한 경우 (예: 단순 객체 카운팅) 에는 이를 정확히 감지하여 계산을 생략하는 것을 확인했습니다.
• 구체적 사례:
  • 거울에 비친 고양이와 실제 고양이를 구분하거나, 가려진 물체를 식별할 때는 3D 정보를 요청 (<vggt>) 하고, 단순한 객체 존재 여부나 색상 기반 추론이 가능한 경우에는 3D 정보를 요청하지 않는 등 상황에 맞는 판단을 내렸습니다.

5. 의의 및 결론 (Significance)

• 효율성과 강건성: 추가적인 공간 인코더를 상시 구동하는 부담을 줄여 에지 디바이스 배포에 적합하며, 불필요한 계산을 방지합니다.
• 자율적 지각의 진보: MLLM 이 단순히 정보를 주입받는 것을 넘어, "무엇을 알아야 하는지" 스스로 판단하는 (Self-aware) 단계로 나아갔음을 보여줍니다.
• 미래 방향: 3D 표현의 다양성 (포인트 클라우드 등) 을 통합하고, 에지 디바이스에서의 효율성을 극대화하기 위한 내부 트리거 메커니즘 최적화가 향후 과제로 제시되었습니다.

요약하자면, GeoSense 는 3D 기하학적 정보를 '만능 해결사'가 아닌 '필요할 때만 꺼내는 도구'로 다루는 적응형 메커니즘을 통해, MLLM 의 공간 추론 능력을 획기적으로 높이면서도 일반 지능을 훼손하지 않는 새로운 패러다임을 제시했습니다.