기술 요약: DIRECT – 임보디드 플래너(Embodied Planners)에서 테스트 타임 컴퓨팅을 언제, 어디에 할당해야 하는가?

문제 정의

시각-언어 모델(VLM)은 추상적인 지침을 실행 가능한 하위 기술로 분해하는 임보디드 에이전트의 고수준 플래너로서 점점 더 많이 배치되고 있습니다. 능력을 향방하기 위한 주요 전략은 체인 오브 쏘트(Chain-of-Thought, CoT) 추론, 더 큰 모델 크기, 또는 확장된 메모리 히스토리와 같은 기법을 통해 추론 시 더 많은 자원을 소비하는 **테스트 타임 컴퓨팅(test-time compute)**을 확장하는 것입니다. 그러나 저자들은 모든 태스크에 대해 컴퓨팅을 나이브하게 확장하는 것이 실제 세계 배포와 상당한 마찰을 일으킨다는 점을 관찰했습니다. 프런티어 VLM의 지연 시간(latency)은 수십 초에 달할 수 있으며, 균일한 확장은 차감되는 수익이나 불균형한 수익을 낳는 경우가 많습니다. 예를 들어, "생각하는(Thinking)" 모델은 비사고형 모델보다 3.8배 더 느리면서도 사소한 태스크에서는 동일한 성공률을 달것도 합니다.

핵심 문제는 테스트 타임 컴퓨팅이 균일한 레버가 아니라는 점입니다. 다양한 스케일링 축(추론 깊이, 모델 크기, 메모리)은 질적으로 구별되는 능력을 부여하며, 이는 특정 태스크 요구 사항에만 유익합니다. 값비싼 컴퓨팅을 균일하게 할당하는 것은 낭비이며, 과소 할당하는 것은 복잡한 태스크에서의 실패로 이어집니다. 본 논문은 테스트 타임 컴퓨팅을 언제 그리고 어디에 사용할지 결정하는 것이 프런티어 성능을 실제 로봇 시스템으로 가져오는 데 핵심적이라고 주장합니다.

방법론: DIRECT 프레임워크

저자들은 멀티모달 장면 컨텍스트를 기반으로 태스크당 테스트 타임 컴퓨팅을 동적으로 할당하도록 설계된 라우팅 프레임워크인 DIRECT(Dynamic Inference Router for Embodied Compute Tradeoffs)를 제안합니다.

핵심 아키텍처

DIRECT는 태스크 입력 $x = (I, \ell)$—초기 장면 관측값 $I$(RGB 이미지 또는 멀티 뷰 스택)와 자연어 지침 $\ell$로 구성됨—를 고정된 후보 풀 $\mathcal{M} = \{m_1, \dots, m_K\}$로부터 특정 플래너 $m_k$로 매핑하는 경량 라우터로 작동합니다.

• 입력 인코딩: 라우터는 고정된 BGE-M3 텍스트 인코더를 사용하여 지침을 인코딩하고, 고정된 SigLIP 계열 비전 인코더를 사용하여 장면을 인코딩합니다. 이 임베딩들은 결합되어 태스크 특징 벡터 $\phi(x)$를 형성합니다.
• 라우터 모델: 프레임워크는 선형 모델, 다층 퍼셉트론(MLP), k-최근접 이웃(KNN), 그리고 One-vs-Rest(OVR) 분류기를 포함한 다양한 파라미터 효율적 아키텍처를 평가합니다.
• 결정 목적 함수: 라우터는 품질($q$, 태스크 성공)과 비용($c$, 지연 시간 또는 FLOPs) 사이의 균형을 맞추는 효용 함수 $U(q, c)$를 최대화하는 플래너를 선택합니다. 프레임워크는 품질 및 비용 점수를 예측하여 최적의 트레이드오프를 결정하는 회귀 기반 헤드를 포함한 다양한 효용 인스턴스화를 지원합니다.

데이터 수집 및 학습

• 시뮬레이션: VLABench 및 RoboMME와 같은 벤치마크를 위해, 저자들은 모든 플래너-태스크 쌍에 대해 품질(성공률)과 비용(지연 시간 또는 FLOPs)을 측정하여 품질($Q$) 및 비용($C$) 행렬을 구축합니다.
• 하드웨어 (물리 로봇): 포괄적인 물리적 롤아웃은 실용적이지 않으므로, 저자들은 합성 데이터 파이프라인을 사용합니다. 장면을 샘생성하고, 후보 지침을 생성하며, 대규모 VLM을 사용하여 기술 분해를 제안합니다. 그 후 LLM 판별기가 참조 기술에 대한 계획의 "조종 가능성(steerability)"을 점수 매깁니다. 이를 통해 라우터는 로봇 하드웨어를 매 학습 단계마다 필요로 하지 않고도 물리적 스타일의 태스크에 대해 학습될 수 있습니다. 학습된 라우터는 이후 제로샷으로 물리적 하드웨어(DROID 설정의 Franka 암)에 배포됩니다.

조사된 스케일링 축

프레임워크는 세 가지 주요 스케일링 축에 대해 평가됩니다:

1. 체인 오브 쏘트(CoT) 깊이: "Thinking"(심층 추론) 모델과 "Instruct"(비사고) 모델 간의 라우팅.
2. 모델 크기: 다양한 파라미터 수를 가진 VLM 변체들 간의 라우팅 (예: 2B에서 235B까지).
3. 메모리 히스토리: 서로 다른 메모리 아키텍처를 가진 플래너 간의 라우팅 (예: 경량 프레임 샘플링 대 MemER와 같은 검색 기반 메모리).

주요 결과

실험은 VLABench, RoboMME 및 물리적 Franka DROID 하드웨어에서 수행되었으며, 270,000개 이상의 시뮬레이션 라우팅 결정과 245개의 하드웨어 궤적을 포함했습니다.

1. 체인 오브 쏘트(CoT) 라우팅

• 발견: CoT 추론은 평균 성능을 향상시키지만, 비사고형 모델이 성능 면에서 대등하거나 더 우수한 44%의 태스크에서는 불필요하며, 이 경우 지연 시간이 수십 배 낮습니다.
• 결과: DIRECT는 동종 및 이종 모델 쌍 모두에서 가장 높은 라우팅 효율성($\eta$)을 달립니다. VLABench에서, DIRECT는 비싼 모델에 근접한 품질을 회복하면서 지연 시간을 약 30% 절감합니다 (예: $\eta \approx 75\%$). 물리적 하드웨어에서, DIRECT는 다단계 식료품 태스크(multi-step grocery task)의 경우 "Thinking" 플래너의 성공률을 달성하면서도 훨씬 낮은 지연 시간(예: 19.58s 대비 6.85s)을 보여줍니다.

2. 모델 크기 라우팅

• 발견: 모델 크기를 확장하는 것이 단조 증가하는 개선 곡선을 생성하지는 않습니다. 더 큰 모델은 모든 태스크를 균일하게 개선하기보다는 플래너가 명령할 수 있는 기술의 폭을 주로 확장합니다. 기본적인 기술에는 작은 모델도 충분합니다.
• 결과: DIRECT는 불규칙한 스케일링 곡선을 단조로운 개선으로 전환합니다. 주어진 기술 세트에 대해 가장 적합한 모델로 라우팅함으로써, 가장 큰 모델(예: 235B)의 성능을 회복하는 동시에 평균 지연 시간을 크게 줄입니다. 물리적 하드웨어에서, DIRECT는 접기나 닫기와 같은 복잡한 기술에 대해서만 선택적으로 더 큰 모델로 격상함으로써, 27B 플래너의 성공률을 저렴한 지연 시간(예: 0.36s 대비 0.21s)에 근접하게 달성합니다.

3. 메모리 라우팅

• 발견: 메모리 지향 컴퓨팅은 먼 과거의 히스토리가 필요한 태스크(예: 관측 불가능한 목표)에만 유익합니다. 짧은 회상이 필요한 쉬운 태스크의 경우, 경량 메모리 체계가 훨씬 적은 비용으로 무거운 검색 기반 모델보다 성능이 뛰어납니다.
• 결과: DIRECT는 장기 메모리가 필요한 태스크를 식별하여 메모리 증강 플래너로 라우팅하는 한편, 관측 가능한 태스크에는 메모리가 없는 플래너를 사용합니다. RoboMME 및 물리적 하드웨어에서, DIRECT는 정적 메모리 증강 플래너보다 훨씬 적은 프레임을 처리하면서도 오라클(최상의 가능한 플래너)에 근접한 성공률을 달성합니다.

의의 및 주장

본 논문은 나이브하게 테스트 타임 컴퓨팅을 확장하는 것은 낭비적이며, 스케일링의 이점은 균일한 것이 아니라 태스크에 따라 달라진다고 주장합니다. DIRECT의 주요 의의는 다음과 같습니다:

1. 낮은 비용으로 프런티어 성능 회복: 태스크 요구 사항을 적절한 플래너와 동적으로 매칭함으로써, DIRECT는 풀 내의 가장 강력하고 비싼 모델들과 대등한 성공률을 달성하면서도 비용(지연 시간)은 훨씬 낮게 유지합니다 (물리 실험에서 평균 지연 시간 최대 65% 감소).
2. 컴퓨팅의 비균일성 입증: 본 연구는 서로 다른 스케일링 축(추론, 크기, 메모리)이 질적으로 구별되는 능력 향상을 제공하며, 정적 모델 선택이 아닌 태스크별 할당이 필요하다는 경험적 증거를 제공합니다.
3. 실제 세계 적용 가능성 확보: 토큰 사용량과 지연 시간을 줄이면서 성공률을 희생하지 않음으로써, DIRECT는 프런티어 VLM의 능력과 임보디드 에이전트의 실시간 제약 조건 사이의 커지는 간극을 해결합니다.

저자들은 고수준 플래너를 고정된 기능이 아닌 동적인 변수로 취급하는 것이 로봇 시스템에서 프런티어 수준의 임보디드 플래닝을 달기 위한 실질적인 경로라고 결론짓습니다. 이 프레임워크는 태스크 난이도를 추론하기 위해 경량화된 임베딩 기반 특징에 의존하며, 이는 효과적인 라우팅이 복잡하고 무거운 추론 메커니즘 없이도 달성될 수 있음을 시사합니다.