기술 요약: 로보틱스 하네스 최적화 (Robotics Harness Optimization, RHO)

문제 정의

Code-as-Policies (CaP)는 대규모 언어 모델(LLM)이 로봇을 위한 인지, 계획 및 제어 프리미티브를 구성하는 실행 가능한 코드를 작성할 수 있음을 입증했습니다. 그러나 현재의 CaP 시스템은 실행 피드백, 시각적 차이 및 오류 수정을 처리하기 위해 테스트 시점에 다회차(multi-turn) 코드 생성 루프에 과도하게 의존합니다. 이러한 방식은 지연 시간과 추론 호출의 계산 비용 문제로 인해 실시간 로봇 제어에는 부적합한 경우가 많습니다.

반대로, 픽셀과 언어를 액션으로 직접 매핑하는 Vision-Language-Action (VLA) 모델은 일반화 능력이 부족합니다. 환경이 변화했을 때(예: 객체 위치 변경 또는 작업 설명 변경), OpenVLA나 $\pi_0.5$와 같은 VLA 모델은 치명적인 성능 저하를 겪습니다 (예: LIBERO-PRO 변형 환경에서 각각 0.0% 및 12.83%의 성공률).

핵심 과제는 다음과 같은 로봇 제어 패러다임을 개발하는 것입니다:

1. 배포 시점의 반복적인 LLM 추론을 피함 (실시간 제어 가능).
2. VLA가 실패하는 분포 변화 및 섭동(perturbation) 상황에서도 강건하게 일반화함.
3. 블랙박스 신경망이 아닌, 해석 가능하고 디버깅 가능한 정책을 생성함.

방법론: 로보틱스 하네스 최적화 (RHO)

저자들은 계산 부담을 테스트 시점의 생성에서 **훈련 시점의 진화적 탐색(evolutionary search)**으로 전환하는 패러다임인 **Robotics Harness Optimization (RHO)**를 소개합니다. 단일 프롬프트나 함수를 최적화하는 대신, RHO는 다중 파일 신경-심볼릭 정책 저장소(multi-file neurosymbolic policy repositories)(Repositories-as-Policies)를 진화시킵니다.

핵심 구성 요소

1. HELIX (Hierarchical Evolution via LLM-Informed eXploration):

   • 단일 아티팩트를 넘어 전체 다중 파일 저장소로 탐색 공간을 격상시키는 성찰적 진화 최적화 도구입니다.
   • 변이 연산자(Mutator): 변이 연산자 역할을 하는 도구 기반 코딩 에이전트(예: Codex, Claude Code)입니다. 단일 생성 단계 내에서 에이전트는 다음을 수행할 수 있습니다:
     • 저장소 내의 여러 파일을 편집.
     • 일시적인 테스트 작성 및 실행.
     • 화이트리스트 인터페이스를 통해 로봇 환경에서 후보 정책 실행.
     • 트레이스백(traceback) 및 stderr 읽기.
     • 장면 상태를 비교하기 위해 시각적 차이 모듈(VDM)에 쿼리.
   • 성찰(Reflection): 에이전트는 다음 변이를 가이드하기 위해 이전 세대의 실패와 성공을 요약한 성찰 프롬프트를 전달받습니다.

2. 정책으로서의 저장소 (Repositories-as-Policies):

   • 후보 아티팩트는 작업 라우터, 제어 루틴, 인지 래퍼, 파지(grasp) 헬퍼, 그리고 해당되는 경우 LLM 하네스를 포함하는 배포 가능한 소프트웨어 시스템입니다.
   • 이들은 신경-심볼릭(neurosymbolic) 구조입니다. 즉, 심볼릭 코드가 학습된 신경 인지/파지 서비스를 모션 프리미티브와 결합합니다.

3. Robot-Environments-as-a-Service (REaaS) 및 격리:

   • REaaS: 코딩 에이전트가 후보를 실행하고 피드백을 수집할 수 있도록 격리된 화이트리스트 접근 권한을 가진 로봇 환경(시뮬레이터)을 제공합니다.
   • 격리 메커니즘: 보상 해킹(예: 에이전트가 솔루션을 하드코딩하거나 평가기 내부를 읽는 행위)을 방지하기 위해 RHO는 엄격한 경계를 강제합니다. 변이 작업 공간은 평가기 소스 코드, 벤치마크 분할, 판사 프롬프트를 제외하는 사이드카 프록시입니다.

4. 최적화 루프:

   • 선택(Selection): 후보는 훈련 미니배치에서 평가됩니다. 자식 모델이 부모 모델보다 총 형태 보상(total shaped reward)을 엄격히 개선하거나 완화된 $\ge$ 임계값을 충족하는 경우 수용됩니다.
   • 파레토 프런티어(Pareto Frontier): 단일 개선 체인을 유지하는 대신, RHO는 **커버리지 지배(coverage dominance)**를 기준으로 후보들의 파레토 프런티어를 유지합니다. 저장소는 적어도 하나의 검증 인스턴스에서 최고의 성능을 보이고 다른 생존 저장소에 의해 지배되지 않는 경우 유지됩니다. 이는 다양성을 확보하고 조기 수렴을 방지합니다.
   • 배포(Deployment): 최종 배포되는 정책은 터미널 프런티어에서 가장 높은 평균 검증 보상을 가진 저장소입니다. 결정적으로, 배포 시에는 LLM 코드 생성이 발생하지 않습니다. 저장소는 정적 Python 컨트롤러(또는 LLM-in-the-loop 시스템을 위한 고정된 하네스)로서 실행됩니다.

주요 기여

1. Robotics Harness Optimization (RHO): 단일 프롬프트나 함수가 아닌 해석 가능한 신경-심볼릭 다중 파일 저장소를 진화시켜, 테스트 시점의 추론 루프를 제거하기 위해 최적화를 훈련 시점으로 옮기는 새로운 패러다임입니다.
2. 도구 기반 성찰적 변이: 변이 연산자가 환경과 상호 작용하고, 트레이스백을 읽으며, 단일 변이 단계 내에서 여러 파일을 편집할 수 있는 도구 기반 코딩 에이전트인 최초의 진화적 최적화 도구입니다.
3. 강건하고 일반화 가능한 정책: RHO가 단일 턴 평가에서 다회차 에이전트 시스템 및 VLA 베이스라인을 능가하는 성능을 보여줌으로써, 특히 분포 변화 상황에서 우수한 성능을 입증했습니다.

실험 결과

저자들은 세 가지 벤치마크에서 RHO를 평가했습니다: CaP-Bench Robosuite, LIBERO-PRO, 그리고 Robotec's RAI O3DE.

1. CaP-Bench Robosuite (조작)

• 설정: 배포 시 LLM 코드 생성 호출이 없는 단일 턴 실행(S4) 방식.
• 성능: RHO는 **70.0%**의 성공률(700회 시도 중 490회)을 달رش했습니다.
• 비교: 이는 가장 강력한 기존의 다회차 기록(CaP-Agent0의 68.29%, 시도당 최대 66회의 LLM 호출 필요)을 능가합니다. CaP-Agent0를 단일 턴 실행으로 제한했을 때 성능은 24.0%로 급락했습니다.
• 효율성: RHO는 제어 루프 중 배포 시 LLM 호출을 전혀 사용하지 않고 이 성과를 달성했습니다.

2. LIBERO-PRO (변형 하에서의 일반화)

• 설정: VLA가 일반적으로 실패하는 환경(객체/목표/공간 스왑 및 작업 설명 변경)에서의 픽 앤 플레이스(pick-and-place) 작업.
• 성능: RHO는 변형되지 않은 데이터에 대한 63세대의 훈련 후 **45.0%**의 성공률(3000회 시도 중 1351회)을 달성했습니다.
• 비교:
  • 기존 다회차 CaP SOTA(CaP-Agent0, 18.17%)보다 2.5배 높습니다.
  • $\pi_0.5$(12.83%)보다 3.5배 높습니다.
  • OpenVLA(0.0%)를 유의미하게 압도했습니다.
• 의의: RHO는 변형된 작업을 위한 데모 없이도 변형된 설정에 일반화할 수 있음을 보여줍니다.

3. RAI O3DE (LLM-in-the-Loop 배포)

• 설정: 제어 루프에 LLM이 포함된 ROS 2 조작 벤치마크.
• 성닝: RHO는 프롬프트, 도구, 제어 코드로 구성된 다중 파일 저장소를 진화시켜, 홀드아웃(held-out) 성공률을 23.5%에서 44.3%로 향상시켰습니다.
• 효율성: 기존 베이스라인 대비 **20% 적은 실제 시간(wall-clock time)**과 27% 적은 도구 호출로 이를 달성했습니다.
• 절제 연구(Ablation): 단일 파일 절제 모델(GEPA 스타일)은 도구 호출을 16% 증가시키고 실제 시간을 34% 증가시켜, 다중 파일 저장소 구조의 우수성을 입증했습니다.

구조적 사전 지식 분석

다중 파일 저장소를 단일 파일 스텁 또는 경직된 구조적 사전 지식(행동 트리, 유한 상태 기계)과 비교한 실험 결과는 다음과 같습니다:

• 다중 파일 저장소(70.0%)는 단일 파일 스텁(63.86%)보다 크게 우수했습니다.
• 경직된 사전 지식(행동 트리: 33.86%, FSM: 18.14%)은 성능이 무너졌습니다. 이는 저장소 구조가 솔루션 공간을 제한하지 않으면서도 모듈화를 유도하는 적절한 스캐폴딩(scaffolding)을 제공함을 시사합니다.

의의 및 주장

본 논문은 RHO가 로봇 정책 발견 방식의 근본적인 변화를 나타낸다고 주장합니다:

• 테스트 시점에서 훈련 시점으로: 훈련 과정에 검색과 정교화를 전방 배치함으로써, RHO는 실시간 제어 중 발생하는 반복적인 LLM 추론의 지연 시간과 불안정성을 제거합니다.
• 해석 가능성 및 디버깅 가능성: 엔드 투 엔드 VLA와 달리, RHO는 고급 휴리스틱(예: 분위수 강건 기하학, IK 가능성 사전 게이팅, 이중 인지 교차 검증)이 명시적으로 발견되고 인코딩되는 신경-심볼릭 코드를 생성합니다. 이러한 메커니즘은 인간이 읽을 수 있고 검증 가능합니다.
• 일반화: RHO는 새로운 객체 배치 및 작업 설명에 일반화할 수 있는 강건한 전략을 진화적 탐색을 통해 발견할 수 있음을 보여주며, 현재의 에이전트 스택 및 VLA 모델을 모두 능가합니다.
• 확장성: RHO는 에이전트가 수집하는 "경험"을 확장합니다. CaP-Agent0가 배포 시 턴 단위로 피드백을 수집하는 반면, RHO는 진화적 탐색 중에 이 경험을 한 번에 수집하여 정적이고 효율적인 저장소로 컴파일합니다.

저자들은 RHO가 기초가 되는 LLM의 공간 추론 한계를 물려받지만, 작업 및 모션 계획에 필요한 모듈형 구조를 성공적으로 복구하며, 이는 강건하고 해석 가능하며 배포 가능한 로봇 제어를 향한 경로를 제공한다고 결론짓습니다.