기술 요약: SpaceTools – 이중 상호작용 강화 학습을 통한 도구 증강 공간 추론

문제 정의

시각-언어 모델(VLM)은 뛰어난 정성적 시각 이해력을 보여주었으나, 로보틱스와 같은 체화된 애플리케이션(embodied applications)에 필요한 미터법 단위의 정밀한 공간 추론에는 어려움을 겪고 있습니다. 최근 모델들은 개방형 시각 질문에는 탁월하지만, 인식을 물리적 행동으로 변환하는 데 필요한 기하학적 정밀도, 3D 인식 및 다단계 추론 능력은 부족합니다.

공간 추론을 향상시키기 위한 전통적인 접근 방식은 모델을 특정 작업 데이터셋에 미세 조정(fine-tuning)하는 것에 의존하며, 이는 대규모 주석(annotation)과 광범위한 데이터 엔지니어링을 필요로 합니다. 또한, "에이전트적(agentic)" 패러다임은 VLM이 외부 도구(예: 깊이 추정기, 세그멘테이션 모델)를 활용하여 능력을 확장할 수 있다고 제안하지만, 현재의 구현은 종종 수작업으로 설계된 프롬프팅 전략이나 고정된 사전 정의 도구 파이프라인에 의존합니다. 이러한 한계는 모델이 최적의 도구 사용 패턴을 동적으로 발견하는 것을 방해합니다. 또한, 이질적인 도구 세트에 직접 강화 학습(RL)을 적용하는 것은 탐색 공간을 지나치게 넓혀 탐색 실패를 야기합니다.

방법론

본 논문은 **Double Interactive Reinforcement Learning (DIRL)**이라는 새로운 학습 패러다임을 통해 VLM이 여러 컴퓨터 비전 및 로보틱스 도구를 조정할 수 있게 하는 프레임워크인 SpaceTools를 소개합니다.

1. 이중 상호작용 강화 학습 (DIRL)

DIRL은 다중 도구 RL의 탐색 공간 문제를 극 และ 고정된 파이프라인의 경직성을 피하기 위해 설계된 2단계 학습 프레임워크입니다.

• 1단계: 교수 단계 (초기화)

  • 목표: 기본적인 도구 사용 능력을 확립하고 정책(policy)을 위한 강력한 초기값을 제공합니다.
  • 과정: 저자들은 두 가지 데이터 소스를 결합합니다:
    1. IRL로 학습된 교사(IRL-Trained Teacher): 단일 **포인팅 도구(pointing tool)**만을 사용하여 상호작용 RL(IRL)로 학습된 모델입니다. 이 제한된 탐색 공간은 신뢰할 수 있는 수렴을 가능하게 하며 근거가 확실한 추론 궤적을 생성합니다.
    2. 유니버설 교사(Universal Teacher): 전체 도구 세트(포인팅, 세그멘테이션, 3D 바운딩 박스 등)를 사용하여 작업을 해결하도록 유도된 프런티어 모델(예: Claude Sonnet 4.5)입니다. 올바른 솔루션으로 이어지는 궤적만을 보존합니다.
  • 학습: 베이스 VLM은 이러한 궤적들(IRL-교사 1부, 유니버설-교사 3부)로 구성된 데이터셋을 통해 지도 미세 조정(SFT)을 거칩니다.

• 2단계: 탐색 단계 (정교화)

  • 목표: 다중 도구 조율을 정교화하고 다양한 추론 작업을 처리하는 법을 배웁니다.
  • 과정: SFT로 초기화된 정책은 전체 도구 세트에 접근하여 **상호작용 RL (IRL)**을 수행합니다.
  • 메커니즘: 모델은 다회차 대화 속에서 상호작용합니다. 모델은 추론을 생성하고(<thought> 태그), 도구를 호출하며(<tool> 태그), 도구 출력을 받고, 최종 답변을 생성할 때까지(<answer> 태그) 반복합니다.
  • 최적화: 저자들은 작업별 보상(예: 객관식의 정확도, 바운딩 박스의 IoU, 파지(grasping)를 위한 기하학적 일관성)을 기반으로 정책을 업데이트하기 위해 **그룹 상대 정책 최적화(GRPO)**를 사용합니다.

2. Toolshed: 확장 가능한 도구 인프라

다양한 도구와 함께 수행되는 계산 집약적인 상호작용 학습을 지원하기 위해, 저자들은 Toolshed라는 분산 인프라를 개발했습니다.

• 기능: 계산량이 많은 컴퓨터 비전 도구(예: SAM2, Depth Pro, RoboRefer, GraspGen)와 로보틱스 도구를 온디맨드 서비스 형태로 호스팅합니다.
• 아키텍처: 도구 리소스 관리를 RL/추론 워크로드로부터 분리하여, 리소스 격리와 비동기 병렬 워커를 활용함으로써 학습 중 높은 처리량과 활용도를 달로 달성합니다.

3. 보상 설계

RL 프레임워크는 학습을 유도하기 위해 정규화된 작업별 보상을 사용합니다:

• 객관식: 이진 보상 (정답 시 1, 오답 시 0).
• 2D 바운딩 박스: 평균 IoU (MIoU).
• 포인팅: 정규화된 중심점 거리 음수값 (NNDC), 이진 정확도로 클리핑됨.
• 포즈 추정: 예측된 코너와 실제 코너의 볼록 껍질(convex hulls) 사이의 IoU.
• 파지(Grasp) 추정: 기하학적 정렬을 보상하기 위한 정규화된 좌표 음수 오차 (NNCE).

주요 기여

1. DIRL (Double Interactive Reinforcement Learning): 대규모의 이질적인 도구 세트를 효과적으로 조율하는 법을 VLM이 학습할 수 있게 하는 새로운 학습 패러다임입니다. 이는 교사 가이드 기반의 감독(단일 도구 및 프런티어 모델 궤적 활용)과 상호작용 탐색을 결합하여 대규모 액션 공간에서의 학습을 안정화하는 독특한 방식을 취합니다.
2. Toolshed: 다양한 계산 집약적 비전 및 로보틱스 도구를 호스팅하여 상호작용 학습 루프 동안 효율적인 사용을 가능하게 하도록 설계된 확장 가능한 오픈 소스 플랫폼입니다.
3. SpaceTools: DIRL을 통해 학습된 VLM(Qwen2.5-VL-3B 기반)으로, 공간 추론 벤치마크에서 최첨단 성능을 달성하며 7-DOF 로봇을 도구로 사용하여 신뢰할 수 있는 실세계 조작 능력을 입증합니다.

실험 결과

공간 추론 벤치마크

SpaceTools는 RoboSpatial-Home, BLINK, RefSpatial, CVBench, BOP-ASK의 5개 벤치마크에서 평가되었습니다.

• 성능: SpaceTools는 거의 모든 벤치마크에서 최첨단 결과를 달성했으며, 프런티어 모델(예: GPT-5, Claude Sonnet 4.5, Gemini-ER 1.5) 및 특화된 오픈 소스 공간 VLM을 능가했습니다.
• 비교:
  • RoboSpatial에서 Gemini-ER 1.5보다 +7.5% 높은 성능을 보였습니다.
  • 포즈 추정에서 Claude Sonnet 4.5보다 +24.4% 앞섰습니다.
  • 파지 예측에서 GPT-5보다 +8.3% 높은 성능을 기록했습니다.
• 절제 연구(Ablation): IRL로 학습된 교사를 제거하면 특히 미세한 공간 접지(spatial grounding)가 필요한 작업에서 성능이 급격히 저하되었습니다. 2단계 IRL 단계를 제거하는 것도 성능을 저하시켜, 상호작용 탐색이 도구 조율을 정교화하는 데 결정적임을 확인했습니다. 도구 없는 SFT 및 RL 베이스라인은 SpaceTools보다 상당한 차이(+12% ~ +16% on RoboSpatial)로 뒤처졌습니다.

실세계 로봇 조작

저자들은 7-DOF 로봇이 수행하는 pick-and-place 작업을 통해 SpaceTools를 평가했습니다.

• 성공률: SpaceTools는 pick-and-place 작업에서 86%의 성공률을 달성하여, 동일한 도구를 갖춘 프런티어 모델(GPT-5, Claude Sonnet 4.5)보다 우수한 성능을 보였습니다.
• 효율성: SpaceTools는 첫 움직임까지 걸리는 시간(TTFM)이 10초로 나타나, 다른 도구 증강 모델에서 관찰된 30~36초보다 현저히 빨랐으며, 이는 더 효율적인 추론과 도구 체이닝을 나타냅니다.
• 행동: 도구 출력을 환각하거나 도구 체이닝을 일관되게 수행하지 못하는 베이스라인과 달리, SpaceTools는 동적으로 전략을 적응(예: 도구 실패 시 자체 추정으로 전환)하고 폐쇄형 인지-행동 루프를 오케스트레이션하는 법을 배웠습니다.

의의 및 주장

본 논문은 SpaceTools가 구조적 수정이나 대규모 작업별 데이터 엔지니어링 없이도 VLM이 복잡한 공간 추론 능력을 습득할 수 있음을 보여준다고 주장합니다.

• 확장성: 본 연구는 상호작용 RL이 (DIRL을 통해) 적절히 초기화되고 (Toolshed를 통해) 견고한 인프라의 지원을 받을 때, 다중 도구의 조합적 탐색 공간을 성공적으로 탐색할 수 있음을 보여줌으로써 도구 증강 추론의 확장성 문제를 해결합니다.
• 일반화: 모델은 강력한 분포 외(out-of-distribution) 일반화 능력을 보입니다. 예를 들어, RoboSpatial에서 주로 학습된 모델은 다른 미세 조정 방식들이 완전히 실패했던 RefSpatial 등의 벤치마크에서도 효과적으로 전이되었습니다.
• 체화된 AI (Embodied AI): 실제 로봇을 도구로서 성공적으로 통합한 것은 추상적인 공간 추론과 물리적 조작 사이의 간극을 메우는 프레임워크의 능력을 입증하며, 이는 실세계 로보틱스 시스템에 에이전트적 VLM을 배치하기 위한 실행 가능한 경로를 제시합니다.

저자들은 도구 통합이 정밀한 공간 접지를 위한 명확한 이점을 제공하지만, 모델이 고차원 작업에서 미묘한 도구 출력을 해석하는 데 여전히 어려움을 겪고 있다는 점을 지적하며, 에이전트적 추론에 대한 지속적인 연구의 필요성을 강조하며 마무리합니다.