LAST: Leveraging Tools as Hints to Enhance Spatial Reasoning for Multimodal Large Language Models

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 공간 추론 (Spatial Reasoning) 은 로봇 항법, 신체화된 AI(Embodied AI), 3D 장면 이해 등 물리적 세계와 상호작용하는 지능형 시스템의 핵심 능력입니다. 최근 멀티모달 대규모 언어 모델 (MLLM) 은 일반적인 시각 이해와 의미론적 추론에서 큰 진전을 보였으나, 정밀한 공간 배치, 크기 추정, 미세한 관계 추론과 같은 작업에서는 여전히 한계를 보입니다.
• 주요 문제점:
  1. 할루시네이션 및 부정확성: MLLM 은 복잡한 기하학적 레이아웃을 해석할 때 종종 할루시네이션을 일으키거나 깊이/원근 정보를 잘못 이해합니다.
  2. 데이터 스케일링의 한계: 단순히 공간 관련 데이터 양을 늘리는 방식 (Data-driven scaling) 은 모델이 구조화된 기하학적 사전 지식과 공간 제약을 내재화하는 데 한계가 있습니다.
  3. 도구 활용의 어려움: 기존 전문 비전 모델 (Depth estimation, Object localization 등) 은 이미 정교한 능력을 갖추고 있으나, 이를 MLLM 이 직접 호출하고 그 결과 (세그멘테이션 마스크, 깊이 지도 등) 를 고수준 추론에 효과적으로 활용하는 것은 어렵습니다.
     • 이질적인 도구 호출: 다양한 파라미터를 가진 도구를 호출하는 과정이 복잡하고 오류가 누적되기 쉽습니다.
     • 저수준 출력의 해석: 도구가 생성한 저수준 시각 데이터 (마스크, 깊이 맵 등) 를 MLLM 이 고수준의 공간 단서로 변환하여 이해하는 데 실패합니다.

2. 제안 방법론: LAST 프레임워크 (Methodology)

저자들은 이러한 문제를 해결하기 위해 LAST (Leveraging Tools as Hints) 라는 통합 프레임워크를 제안했습니다. 이는 LAST-Box라는 상호작용 샌드박스와 점진적 학습 전략으로 구성됩니다.

가. LAST-Box (확장 가능한 상호작용 샌드박스)

MLLM 이 직접 저수준 모델 인터페이스를 호출하는 대신, 이를 추상화하여 관리 가능한 단위로 제공합니다.

• 원자적 연산 (Atomic Operations): 객체 감지 (GroundingDINO), 깊이 추정 (DepthAnything-v2), 세그멘테이션 (SAM), 3D 재구성 (VGGT) 등 전문 비전 모델들을 원자적 모듈로 정의합니다.
• 공간 기술 (Spatial Skills): 원자적 연산을 조합하여 재사용 가능한 고수준 '기술 (Skill)'로 추상화합니다.
  • 예: EstimateDepth (감지 + 깊이 추정 + 평균 깊이 계산), EstimateSize ( coarse localization + 정밀 세그멘테이션 + 이미지 시각화).
  • 핵심 기능: 각 기술은 시각적 힌트 (annotated images) 와 텍스트 설명을 쌍으로 반환합니다. 이를 통해 MLLM 은 복잡한 도구 호출 체인을 거치지 않고도 직관적이고 통제된 방식으로 지각 능력을 확장할 수 있습니다.
  • 현재 6 가지 핵심 기술 (SegmentObjects, EstimateDepth, EstimateSize, CountObjects, ZoomCrop, Get3DPoint) 을 지원합니다.

나. 점진적 학습 전략 (Progressive Training Strategy)

MLLM 이 도구 출력을 이해하고 적절히 호출할 수 있도록 3 단계 커리큘럼 학습을 적용합니다.

1. Stage 1: Warm-up (도구 출력 이해)
   • 목적: 모델이 도구 출력 (마스크, 깊이 지도 등) 의 형식과 의미를 이해하도록 훈련.
   • 방법: 시각적 증강 뷰 (마스크, 깊이 맵) 와 이에 대한 QA 쌍을 생성하여 모델이 시각 피드백을 올바르게 해석하도록 학습시킵니다.
2. Stage 2: Supervised Fine-Tuning (SFT, 도구 호출 학습)
   • 목적: 언제, 어떻게 도구를 호출할지 학습.
   • 방법: Think-Act-Observe-Reason 사이클을 따르는 추론 궤적 (Trajectory) 으로 데이터를 구성합니다.
   • 일관성 검증: 도구 출력이 불완전할 경우 원본 이미지와 결합하도록 유도하고, 도구 실패 시 원본 이미지로 회귀하는 내결함성 (Fallback) 메커니즘을 학습시킵니다.
3. Stage 3: Interactive Reinforcement Learning (IRL, 최적화)
   • 목적: 도구 호출 결정 및 출력 해석 능력 강화.
   • 방법: GRPO 알고리즘을 사용하여 보상 함수 (Format, Correctness, Tool reward) 를 기반으로 학습합니다. 모델이 스스로 행동 궤적을 탐색하도록 하여 복잡한 공간 추론에 필요한 다단계 도구 조합 능력을 배양합니다.

3. 주요 기여 (Key Contributions)

1. 원자적 연산에서 기술 (Skill) 로의 추상화: 이질적인 도구 호출을 재사용 가능한 공간 기술로 구성하여 장거리 (Long-horizon) 도구 호출 궤적을 단축하고 학습 안정성을 높였습니다.
2. 점진적 도구 인식 학습: 도구 출력 이해 (Warm-up) → 도구 호출 학습 (SFT) → 적응적 도구 활용 (RL) 의 3 단계 전략을 통해 모델이 도구를 효과적으로 내재화하도록 했습니다.
3. 강력한 오픈소스 모델 공개: 제안된 샌드박스와 학습 전략을 통합한 7B 파라미터 규모의 오픈소스 모델 (LAST-7B) 을 공개하여, 여러 공간 추론 벤치마크에서 최첨단 (SOTA) 성능을 달성했습니다.

4. 실험 결과 (Results)

• 벤치마크: CVBench, EmbSpatial, SPBench-SI, MSMU 등 4 가지 공간 추론 데이터셋에서 평가.
• 성능 향상:
  • LAST-7B는 백본 모델 (Qwen2.5-VL-7B) 대비 평균 약 18.28% (약 20% 에 근접) 의 성능 향상을 보였습니다.
  • 특히 크기 추정 (Size Estimation, +32.96%), 상대적 방향 (Relative Direction, +31.04%), MSMU (+26.97%) 와 같은 정밀한 기하학적/계량적 작업에서 압도적인 개선을 이루었습니다.
  • 경쟁 모델 대비 우위: 7B 규모의 모델임에도 불구하고, GPT-5.1, Gemini-2.5-Pro 등 최상위 폐쇄형 상용 모델들을 공간 추론 작업에서 능가했습니다.
• 일반화 능력: LAST-Box 를 미세 조정 (Fine-tuning) 이 불가능한 폐쇄형 모델 (Gemini 시리즈) 에 적용했을 때도 성능이 크게 향상되어, 프레임워크의 보편적 유효성을 입증했습니다.
• 학습 단계 분석:
  • 3 단계 학습 중 어느 단계라도 제거하면 성능이 저하되었으며, 특히 SFT 단계가 핵심 역할을 함을 확인했습니다.
  • RL 학습을 통해 모델이 단일 도구가 아닌 다단계 도구 조합 (Multi-step tool invocation) 을 더 자주 수행하게 되었고, 이는 복잡한 추론 능력 향상으로 이어졌습니다.
  • 도구 성공 시 (Tool Success Rate > 88%) 정답률이 크게 증가하여, 모델이 도구의 출력을 표면적이 아닌 실제 추론에 활용하고 있음을 증명했습니다.

5. 의의 및 결론 (Significance)

이 논문은 MLLM 이 가진 공간 추론의 근본적인 한계 (기하학적 정밀도 부족) 를 해결하기 위해, 전문 비전 도구를 '힌트'로 활용하는 새로운 패러다임을 제시했습니다.

• 패러다임 전환: 단순히 데이터를 늘리는 방식에서 벗어나, 성숙된 전문 비전 모델을 MLLM 의 '외부 지각 기관'으로 통합하여 상호 보완적인 구조를 만들었습니다.
• 실용성: LAST-Box 를 통해 이질적인 도구들을 표준화된 인터페이스로 제공함으로써, MLLM 이 복잡한 물리적 환경에서 정밀한 공간 작업을 수행할 수 있는 길을 열었습니다.
• 미래 전망: 이 연구는 로봇 공학, 자율 주행, 증강현실 (AR) 등 정밀한 공간 이해가 필수적인 분야에서 MLLM 의 실용성을 크게 높일 것으로 기대됩니다.

요약하자면, LAST는 MLLM 이 전문 비전 도구를 효과적으로 호출하고 그 결과를 해석하여, 기존 모델이 도달하지 못했던 고정밀 공간 추론 능력을 획득하도록 하는 획기적인 프레임워크입니다.