TIGeR: Tool-Integrated Geometric Reasoning in Vision-Language Models for Robotics

이 논문은 비전 - 언어 모델이 외부 도구를 활용해 정밀한 기하학적 계산을 수행할 수 있도록 하는 TIGeR 프레임워크와 대규모 데이터셋을 제안하여 로봇 조작 작업에서 센티미터 단위의 정밀도를 달성했다고 요약할 수 있습니다.

핵심

🤖 TIGeR: 로봇을 위한 '수학 천재'와 '도구 상자'의 만남

이 논문은 **"로봇이 세상을 정말로 이해하고 정밀하게 움직이게 하려면, AI 에게 수학을 직접 가르치는 게 아니라, 계산기를 쥐여주는 것이 더 낫다"**는 놀라운 아이디어를 제시합니다.

이걸 좀 더 쉽고 재미있게 비유해서 설명해 드릴게요.

---

1. 문제: "눈은 좋지만, 손은 서투른" 기존 AI

지금까지의 로봇용 AI(시각 - 언어 모델) 는 마치 **"눈이 매우 밝지만, 눈금자가 없는 자를 가진 장인"**과 같습니다.

• 무엇을 잘하나요? "저기 식물이 있네", "컵이 왼쪽에 있네"처럼 대략적인 위치나 관계를 말해줍니다. (예: "컵이 식물의 왼쪽에 있어요.")
• 무엇을 못하나요? "식물에서 정확히 5cm 위"나 "컵과 병 사이의 정확한 거리"를 계산하는 것은 매우 어렵습니다. AI 는 숫자를 직접 계산하는 게 아니라, 과거에 본 패턴을 기억해서 "대충 이렇게 보일 거야"라고 추측할 뿐이죠.
• 결과: 로봇이 물건을 잡으려 할 때 "아, 대략 여기겠지?"라고 생각하다 보면, 센티미터 단위의 오차 때문에 물건을 떨어뜨리거나 부딪히게 됩니다.

2. 해결책: TIGeR (도구 통합 기하학적 추론)

이 연구팀은 AI 에게 "수학을 외우게" 하는 대신, "계산 도구 (코드와 라이브러리) 를 직접 쓰게" 했습니다.

🌟 핵심 비유: "수학 천재"가 "계산기"를 꺼내다

기존 AI 는 머릿속으로 모든 계산을 하려다 틀리는 계산 실수 많은 학생이었습니다.
하지만 TIGeR은 문제를 풀 때, "이건 내가 머리로만 풀기엔 너무 복잡하네"라고 생각하면 바로 **계산기 (외부 도구)**를 꺼내서 정확한 답을 구하는 현명한 학생입니다.

TIGeR 이 어떻게 작동하나요?

1. 문제 인식: 로봇이 "식물 위 5cm 에 있는 물에 물을 주세요"라고 말하면, TIGeR 은 "아, 이건 눈으로만 볼 게 아니라 정밀한 거리 계산이 필요해!"라고 깨닫습니다.
2. 코드 작성: TIGeR 은 직접 숫자를 맞추는 대신, **"이 계산을 해주는 파이썬 코드를 써줘"**라고 요청합니다.
3. 도구 실행: 카메라의 깊이 정보, 중력 방향, 물체의 3D 크기 같은 정확한 데이터를 도구에게 넘겨주면, 코드가 **정확한 3D 좌표 (x, y, z)**를 계산해 줍니다.
4. 정밀 실행: 로봇은 이 계산된 좌표대로 팔을 움직여, 센티미터 단위의 오차 없이 물을 부을 수 있게 됩니다.

3. 준비물: TIGeR-300K (수천 개의 연습 문제)

이 AI 가 도구 쓰는 법을 배우기 위해, 연구팀은 TIGeR-300K라는 거대한 연습장을 만들었습니다.

• 내용: "물체 A 와 B 사이의 거리 구하기", "3D 공간에서 장애물 피해서 이동 경로 찾기" 같은 30 만 개의 문제입니다.
• 특징: 단순히 정답만 있는 게 아니라, **"어떤 도구를 썼고, 어떤 코드를 짰으며, 중간 계산 과정은 어땠는지"**까지 모두 기록되어 있습니다. 마치 수학 문제집에 풀이 과정이 상세히 적혀 있는 것과 같습니다.

4. 훈련 방법: 두 단계로 완성하는 훈련

이 AI 를 가르치는 방법은 두 단계로 나뉩니다.

1. 1 단계 (SFT - 지도 학습): "이런 문제엔 이 도구를 쓰고, 이런 코드를 짜면 돼"라고 정답을 보여주며 가르칩니다. (도구 쓰는 법을 익힘)
2. 2 단계 (RFT - 강화 학습): AI 가 문제를 풀면, "도구를 잘 썼니?", "계산 결과가 정확한가?", "코드가 실행 가능한가?"를 단계별로 점수를 매겨줍니다.
   • 비유: 요리사에게 "재료 (도구) 를 잘 고르고, 레시피 (코드) 를 정확히 따라 요리하면 점수를 준다"는 식입니다. 특히 **중간 과정 (계산 과정)**이 정확해야 높은 점수를 받도록 설계했습니다.

5. 실제 성과: 로봇이 '미세 조정'을 해냅니다!

이 기술을 실제 로봇에 적용해 보니 놀라운 결과가 나왔습니다.

• 시뮬레이션 & 실물 실험: 로봇이 "식물 뒤쪽에 있는 물건을 잡으라"거나 "컵에서 10cm 오른쪽에 놓으라"는 명령을 받았을 때, 기존 로봇들은 실패하거나 엉뚱한 곳에 놓았지만, TIGeR 을 쓴 로봇은 55~70% 의 성공률로 정밀하게 작업을 수행했습니다.
• 가려진 물체도 파악: 카메라에 보이지 않는 물체의 '뒤쪽'이나 '아래쪽' 위치를 기하학적 계산으로 정확히 찾아내어, 가려진 물체도 안전하게 다룰 수 있게 되었습니다.

---

📝 한 줄 요약

"로봇 AI 에게 '눈썰미'만 믿게 하지 말고, '정밀한 계산 도구'를 쥐여주면, 로봇은 이제 공장에서나 우리 집에서도 센티미터 단위로 정교하게 일할 수 있게 됩니다!"

이 연구는 AI 가 단순히 "보는 것"을 넘어, "계산하고 행동하는" 진정한 로봇의 핵심 기술로 도약하는 중요한 발걸음입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 비전 - 언어 모델 (VLMs) 은 공간적 추론 (Spatial Reasoning) 에서 뛰어난 성능을 보여주지만, 실제 로봇 공학 (Robotics) 에 적용하기에는 다음과 같은 근본적인 한계가 존재합니다.

• 정성적 한계: VLM 은 "왼쪽이다", "접근 가능하다"와 같은 정성적 (Qualitative) 인 관계만 파악할 수 있으며, 로봇 조작에 필수적인 센티미터 (cm) 단위의 정량적 (Quantitative) 정밀도를 제공하지 못합니다.
• 계산적 부재: 깊이 센서 (Depth Sensor) 나 카메라 보정 파라미터 (Intrinsics/Extrinsics) 와 같은 메트릭 (Metric) 정보를 활용하지 못하고, 이를 단순한 이미지 패턴으로 축소하여 처리합니다.
• 확률적 예측의 오류: 3D 바운딩 박스나 포즈를 예측하는 기존 접근법은 데이터 기반의 통계적 회귀 (Statistical Regression) 에 의존하므로, 기하학적 원리에 기반한 결정론적 (Deterministic) 계산이 불가능하여 실제 로봇의 정밀한 조작 (Manipulation) 에 실패합니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 TIGeR (Tool-Integrated Geometric Reasoning) 프레임워크를 제안했습니다. 이는 VLM 을 단순한 '지각 추정기 (Perceptual Estimator)'가 아닌 '기하학적 컴퓨터 (Geometric Computer)'로 재정의하는 접근법입니다.

A. 핵심 아키텍처: 도구 통합 추론

TIGeR 은 복잡한 기하학적 연산을 신경망 내부에 학습시키는 대신, 모델이 추론 과정에서 외부 도구 (Tools) 를 호출하고 실행 가능한 코드를 생성하도록 합니다.

• 작동 원리:
  1. 인지: 기하학적 추론이 필요한 시점을 감지합니다.
  2. 코드 생성: 적절한 연산을 수행할 Python 코드를 생성합니다.
  3. 도구 호출: 깊이 센서, 카메라 보정 파라미터, 기하학 라이브러리 등 외부 도구를 호출하여 정확한 계산을 수행합니다.
  4. 결과 통합: 계산된 메트릭 값 (3D 좌표, 거리, 회전 행렬 등) 을 다시 VLM 의 추론 과정에 주입합니다.

B. 도구 카테고리 (Tool Categorization)

• 시각 지각 도구 (Visual Perception Tools): 카메라 내부 파라미터 (Intrinsics), 외부 파라미터 (Extrinsics), 깊이 센서 데이터, 객체 분할 (SAM2 등) 을 추출하여 정밀한 2D-3D 매핑을 지원합니다.
• 기하학 계산 도구 (Geometric Computation Tools): 2D 박스를 3D 로 변환, 3D 점 투영, 객체 간 거리 계산, 충돌 회피 경로 생성 등을 수행합니다. 이 과정은 Qwen3-Coder 와 같은 외부 코드 생성기를 통해 실행됩니다.

C. 데이터셋: TIGeR-300K

모델 학습을 위해 30 만 개의 샘플로 구성된 대규모 데이터셋을 구축했습니다.

• 구성: 점 변환, 포즈 추정, 궤적 생성, 공간 호환성 검증 등 다양한 기하학적 작업을 포함합니다.
• 특징: 단순한 질문 - 답변 쌍이 아닌, **완전한 도구 호출 시퀀스 (Tool Invocation Sequence)**와 **중간 계산 과정 (Intermediate Computations)**을 포함합니다.
• 생성 방식:
  1. 템플릿 기반: CA-1M 데이터셋을 기반으로 구조화된 템플릿을 사용하여 정밀한 기하학적 지표를 생성 (약 274K 개).
  2. LLM 기반 CoT 재작성: SSR-CoT 데이터를 기반으로 대규모 언어 모델을 통해 도구 호출이 포함된 사고 과정 (Chain-of-Thought) 으로 재작성 (약 35K 개).

D. 2 단계 학습 파이프라인

1. 지도 미세 조정 (SFT): TIGeR-300K 를 사용하여 모델이 도구 사용과 코드 생성의 기본 능력을 습득하도록 학습시킵니다.
2. 강화 미세 조정 (RFT): GRPO (Group Relative Policy Optimization) 알고리즘을 적용하여 모델의 정확도를 극대화합니다.
   • 계층적 보상 설계 (Hierarchical Reward Design):
     • 형식 보상 (Format): 토큰 및 문법 구조의 정확성.
     • 도구 호출 보상 (Tool): 올바른 도구 선택 및 파라미터 포맷.
     • 파라미터 내용 보상 (Parameter): 연속형/이산형 파라미터의 정밀도.
     • 코드 생성 보상 (Code): 코드 실행 성공 여부 및 출력 정확도.
     • 답변 보상 (Answer): 최종 기하학적 결과의 정답 여부.

3. 주요 기여 (Key Contributions)

1. 개념 및 방법론: VLM 을 정성적 추론에서 정량적 기하학 계산이 가능한 도구 통합 프레임워크로 전환하여, 로봇 제어의 정밀도를 획기적으로 높였습니다.
2. TIGeR-300K 데이터셋: 프로그램적 도구 호출을 통해 기하학적 추론을 학습시키기 위해 설계된 대규모 전용 데이터셋을 공개했습니다.
3. 성능 입증: SFT 와 RFT 를 결합한 학습 파이프라인을 통해 기하학적 추론 벤치마크에서 SOTA(State-of-the-Art) 성능을 달성하고, 실제 로봇 조작에서 센티미터 단위의 정밀도를 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: CV-Bench, BLINK, RoboSpatial, Q-Spatial++ 등 다양한 공간 이해 및 기하학 추론 벤치마크에서 79.30% 의 정확도를 기록하여, Gemini 2.5-Pro(73.47%) 를 포함한 기존 최첨단 모델들을 능가했습니다. 특히 정량적 기하학 추론 (Q-Spatial++) 에서 70.30% 의 정확도를 보였습니다.
• 시뮬레이션 평가 (Open6DOR): 가상 환경에서의 로봇 조작 태스크에서 기존 VLA(Octo, OpenVLA) 및 SoFar 모델 대비 **11.3% 높은 성공률 (83.7%)**을 달성했습니다.
• 실제 로봇 평가 (Real-world): UR5 로봇 팔을 사용하여 복잡한 환경 (가려진 객체, 정밀한 거리 제어) 에서 조작 태스크를 수행했습니다.
  • 성공률: 정밀한 거리 제어 (예: "복숭아 오른쪽 0.1m") 및 가려진 영역 (예: "장난감 뒤쪽") 조작에서 55%~70% 의 성공률을 기록하며, 기존 모델들 (0~10%) 보다 월등히 우수한 성능을 보였습니다.
  • 특징: TIGeR 은 3D 좌표계를 명시적으로 활용하여 가려짐 (Occlusion) 문제를 해결하고 정확한 3D 위치를 계산할 수 있는 유일한 방법임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 공학 분야에서 VLM 의 한계를 극복하기 위한 새로운 패러다임을 제시합니다.

• 정밀도 확보: 신경망의 추측에 의존하지 않고, 외부 도구와 코드를 통해 결정론적이고 정밀한 기하학 계산을 가능하게 함으로써 실제 산업용 로봇의 요구사항을 충족시킵니다.
• 해석 가능성 (Interpretability): 모델이 어떤 도구를 호출하고 어떤 계산을 수행했는지 명확하게 드러나기 때문에, 오류 분석 및 디버깅이 용이합니다.
• 적응성: 새로운 작업이나 환경에 대해 모델을 재학습 (Retraining) 하지 않고도 새로운 도구를 통합하여 유연하게 대응할 수 있습니다.

결론적으로 TIGeR 은 비전 - 언어 모델이 단순한 '눈'을 넘어, 정밀한 계산 능력을 갖춘 '두뇌'로 진화하여 실제 물리 세계의 복잡한 로봇 조작 임무를 수행할 수 있는 핵심 기술로 평가됩니다.