CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation

CaP-X: 로봇 조작을 위한 코딩 에이전트 벤치마킹 및 개선 프레임워크

이 논문은 "Code-as-Policy"(CaP) 접근법, 즉 실행 가능한 코드를 생성하여 로봇의 지각 (perception) 과 제어 (control) 원시 기능 (primitives) 을 구성하는 방식이 로봇 조작 분야에서 어떻게 작동하는지 체계적으로 연구하고 개선하기 위한 통합 프레임워크 CaP-X를 제안합니다.

기존의 비전 - 언어 - 행동 (VLA) 모델이 데이터 의존적이고 해석 불가능한 단점이 있는 반면, CaP-X 는 프로그래밍 에이전트를 통해 로봇 제어의 투명성과 유연성을 높이는 것을 목표로 합니다.

---

1. 문제 정의 (Problem)

• 기존 제어 패러다임의 한계: 전통적인 로봇 제어는 인간 엔지니어가 명시적으로 작성한 구조화된 코드를 기반으로 합니다. 이는 강건하지만 확장성이 떨어지고 새로운 작업에 적용하기 어렵습니다.
• VLA 모델의 한계: 대규모 데이터로 학습된 VLA 모델은 접촉이 많은 작업에서 뛰어난 성능을 보이지만, 새로운 로봇 embodiment 나 장거리 (long-horizon) 작업으로 일반화하기 어렵고 해석이 불가능합니다.
• Code-as-Policy 의 미해결 과제: 최근 LLM 기반 코딩 에이전트가 등장했지만, 대부분의 기존 연구는 인간이 설계한 고수준 원시 기능 (high-level primitives) 에 의존합니다. 이는 에이전트 자체의 추론 능력보다는 원시 기능의 구조적 이득에 의존할 수 있음을 의미합니다.
  • 핵심 질문: 원시 기능의 추상화 수준이 낮아질 때 (low-level primitives) 에이전트 성능은 어떻게 변하는가? 그리고 테스트 시간 계산 (test-time computation) 을 늘려 이 격차를 메울 수 있는가?

2. 방법론 (Methodology)

CaP-X 는 네 가지 핵심 구성 요소로 이루어진 통합 프레임워크입니다.

2.1 CaP-Gym (인터랙티브 환경)

• 목적: 에이전트가 로봇을 제어하기 위해 프로그램을 생성하고 실행할 수 있는 인터랙티브 환경.
• 특징: RoboSuite, LIBERO-PRO, BEHAVIOR 등 187 개의 표준 로봇 조작 태스크를 통합했습니다.
• 구조: Read-Eval-Print Loop (REPL) 패러다임을 따르며, 생성된 코드가 물리 시뮬레이터나 실제 로봇에서 실행됩니다. 지각 (SAM3, Molmo 등) 과 제어 (PyRoki 등) 원시 기능은 상태 비저장 (stateless) 서비스로 구현되어 병렬 평가가 가능합니다.

2.2 CaP-Bench (체계적 벤치마크)

• 목적: 12 개의 최첨단 언어 및 비전 - 언어 모델을 평가하기 위한 벤치마크.
• 평가 축 (Axes):
  1. 추상화 수준 (Abstraction Level): 인간이 설계한 매크로 (고수준) 에서부터 원자적인 저수준 원시 기능까지의 변화.
  2. 시간적 상호작용 (Temporal Interaction): 제로샷 단일 턴 (Single-turn) vs 다중 턴 상호작용 (Multi-turn, 오류 복구 및 반복적 추론).
  3. 지각 기반 (Perceptual Grounding): 시각 피드백의 형태 (원시 RGB, 텍스트 기반 시각 차이 등) 가 코드 생성에 미치는 영향.
• 결과: 고수준 원시 기능은 성능을 높이지만 표현력을 제한하며, 저수준에서는 성능이 급격히 떨어집니다.

2.3 CaP-Agent0 (학습 없는 에이전트 프레임워크)

• 목적: CaP-Bench 의 통찰을 바탕으로, 별도의 학습 (training-free) 없이 인간 수준의 신뢰성을 회복하는 에이전트.
• 핵심 기술:
  1. 다중 턴 시각 차이 모듈 (Visual Differencing Module, VDM): 원시 이미지를 텍스트로 변환하여 에이전트에게 제공함으로써, 원시 이미지 직접 입력 시 발생하는 모달리티 정렬 문제를 해결합니다.
  2. 자동 생성된 기술 라이브러리 (Skill Library): 성공적인 실행 궤적에서 유틸리티 함수를 자동 추출하여 재사용 가능한 기술 라이브러리를 구축합니다.
  3. 병렬 추론 (Parallel Reasoning): 단일 모델의 여러 쿼리 또는 여러 모델 (Gemini, GPT, Claude 등) 을 병렬로 실행하여 다양한 후보 코드를 생성하고, 이를 종합하여 최종 코드를 생성합니다.
• 성과: CaP-Agent0 는 저수준 원시 기능만 사용함에도 불구하고, 여러 태스크에서 인간 전문가 수준의 성능을 달성하거나 VLA 모델보다 우수한 성과를 보였습니다.

2.4 CaP-RL (강화 학습)

• 목적: 검증 가능한 보상 (verifiable rewards) 을 통해 코딩 에이전트 자체를 강화 학습 (GRPO) 하는 방법.
• 특징: 시뮬레이션에서 학습된 정책이 실제 로봇으로 제로샷 (zero-shot) 전환 시에도 높은 성공률을 유지합니다 (Sim-to-Real gap 최소화).

3. 주요 결과 (Key Results)

• 성능 격차: 단일 턴 (Zero-shot) 평가에서 최신 LLM/VLM 모델은 인간이 작성한 코드의 성공률을 따라잡지 못했습니다. 특히 저수준 원시 기능 (S4) 에서 성능이 크게 저하되었습니다.
• 추상화의 영향: 원시 기능의 추상화 수준이 높을수록 (S1) 성공률이 높아지지만, 이는 에이전트의 추론 능력을 과장할 수 있습니다.
• 다중 턴 및 시각 기반의 효과:
  • 텍스트 기반 피드백 (M1) 만으로도 성능이 향상됩니다.
  • 시각 차이 (Visual Differencing, M3) 를 텍스트로 변환하여 제공하는 방식이 원시 이미지 직접 입력 (M2) 보다 훨씬 효과적입니다.
  • 저수준 원시 기능 + 다중 턴 피드백 (M4) 은 고수준 단일 턴 (S2) 을 능가하며, 고수준 다중 턴 (M3) 과 유사한 성능을 보입니다.
• CaP-Agent0 의 성과:
  • 7 개 태스크 중 4 개에서 인간 전문가와同等하거나 더 높은 성공률을 기록했습니다.
  • LIBERO-PRO 및 BEHAVIOR 데이터셋에서 훈련 기반 VLA 모델 (OpenVLA, $\pi_0$, $\pi_0.5$) 과 비교하여 instruction perturbation(지시어 변화) 에 더 강건한 성능을 보였습니다.
  • 실제 로봇 (Franka Panda, AgiBot G1) 에서 제로샷으로 복잡한 작업 (예: 컵 아래 숨겨진 물체 찾기, 수학적 문제 해결, 물체 쌓기) 을 성공적으로 수행했습니다.
• CaP-RL 의 효과: 시뮬레이션에서 RL 후 학습 (Post-training) 을 거친 모델은 실제 로봇에서도 높은 성공률 (Cube Lift 84%, Stack 76%) 을 유지하며, Sim-to-Real 격차가 매우 작았습니다.

4. 기여 (Contributions)

1. CaP-Gym: 테이블탑, 양손, 모바일 조작 태스크를 포괄하는 통합 인터랙티브 로봇 코딩 환경.
2. CaP-Bench: 태스크, 원시 기능 수준, 모달리티에 따른 로봇 제어 성능을 체계적으로 측정하는 벤치마크.
3. 성능 개선 접근법:
   • CaP-Agent0: 학습 없이 다중 턴 상호작용, 시각 기반 텍스트 변환, 자동 기술 라이브러리, 병렬 추론을 결합한 프레임워크.
   • CaP-RL: 환경 보상을 통한 코딩 에이전트의 강화 학습 및 Sim-to-Real 전이.

5. 의의 및 결론 (Significance)

이 논문은 로봇 제어의 패러다임을 **"기계 지능의 문제"**로 재정의합니다. 즉, 에이전트 설계, 추론 시간 계산 (inference-time computation), 지각, 제어를 통합적으로 연구할 수 있는 플랫폼을 제공합니다.

• 실용성: 인간이 설계한 복잡한 API 에 의존하지 않고, 저수준 원시 기능에서도 강건하게 작동하는 범용 로봇 에이전트의 가능성을 입증했습니다.
• 확장성: CaP-Agent0 는 별도의 태스크별 학습 데이터 없이도 새로운 환경과 로봇에 적응할 수 있어, 오픈 엔디드 (open-ended) 환경에서의 로봇 적용에 중요한 기여를 합니다.
• 미래 방향: CaP-X 는 코드 기반 에이전트와 VLA 모델의 하이브리드 접근법 (고수준 논리는 코딩 에이전트, 저수준 제어는 VLA) 을 포함한 향후 연구의 기준점이 될 것입니다.

요약하자면, CaP-X 는 로봇 조작 분야에서 코딩 에이전트의 잠재력을 체계적으로 평가하고, 테스트 시간 계산과 지능적인 에이전트 설계를 통해 인간 수준의 신뢰성을 달성하는 방법을 제시한 획기적인 연구입니다.