기술 요약: HARBOR: 에이전트 기반 로봇 강화 학습을 위한 하네스 프레임워크

1. 문제 정의

강화 학습(RL)은 특히 시뮬레이션에서 학습된 정책을 물리적 하드웨어로 전이하는 심투리얼(sim-to-real) 환경에서 로봇 학습의 지배적인 패러다임으로 자리 잡았습니다. 그러나 RL의 광범위한 도입을 저해하는 것은 알고리즘 자체가 아니라, 이를 구현하기 위해 요구되는 노동 집약적인 엔지니어링 파이프라인입니다. 실무자들은 디지털 트윈을 수동으로 구축하고, 보상 함수를 설계하며, 도메인 무작위화(domain randomization)를 조정하고, 하이퍼파라미터를 튜닝해야 합니다. 이러한 작업들은 단 하나의 설정을 위해서도 종종 전문가의 노력이 며칠 또는 몇 주가 소요됩니다.

기존 연구들은 이 파이프라인의 고립된 구성 요소(예: 언어 모델 가이드 보상 합성, 자동 도메인 무작위화, 또는 하이퍼파라미터 튜닝을 위한 AutoRL)를 자동화하는 방안을 탐구해 왔으나, 이러한 시스템들은 대개 전체 워크플로우를 해결하지 못합니다. 실무자들은 여전히 시뮬레이터를 구성하고, 생성된 보상을 학습 코드에 연결하며, 컴퓨팅 클러스터를 관리하고, 성공적인 설계를 다른 작업으로 수동 전이하는 작업에 부담을 느낍니다. 이러한 파편화는 RL 워크플로우가 신속한 배포나 대규모 범용 로봇 학습을 위해 효과적으로 확장되는 것을 방해합니다.

2. 방법론: HARBOR 프레임워크

저자들은 HARBOR라는 하네스 프레임워크를 소개하며, 로봇 RL 자동화를 "하네스 엔지니어링(harness-engineering)" 문제로 재정의합니다. 단순히 유능한 대규모 언어 모델(LLM)에 의존하여 코드를 생성하는 대신, HARBOR는 전문화된 에이전트들을 표준화된 인터페이스를 통해 조율하는 구조화된 실행 환경을 제공합니다.

핵심 아키텍처

HARBOR는 상위 수준의 목표(주어진 시뮬레이터 코드베이스와 작업 명세)를 전문화된 에이전트들이 실행하는 경계가 정해진 단계들로 분해합니다. 프레임워크는 튜플 $H_{RL} = (H_A, C, M, G, K)$로 정의됩니다:

• 에이전트 ($H_A$): 특정 단계(예: 의존성 설정, 작업 생성, 보상 설계)에 할당된 컨텍스트 격리 서브프로세스입니다. 이들은 로컬 아티팩트와 검색된 지식에 기반하여 작동하며, 중앙 컨트롤러에 압축된 요약을 반환합니다.
• 명령 ($C$): 에이전트에게 노출된 재현 가능한 작업들(예: rl-sweep, tune-reward)입니다. 이 명령들은 내장된 템플릿과 스크립트에 근거하여, 서로 다른 에이전트 간에 일관된 실행을 보장합니다.
• 가변 아티팩트 ($M$): 워크플로우 상태를 외부에 드러내는 지속적이고 검사 가능한 파일들(예: 구성 파일, 학습 로그, 비디오)입니다. 이는 LLM 컨텍스트에 대한 의존도를 줄이고, 에이전트 간의 통신 기질 역할을 합니다.
• 검증 가능한 게이트 ($G$): 단계 진행 여부를 결정하는 실행 가능한 체크 기능입니다. 여기에는 하드 인터페이스 체크(예: 임포트 성공, 장치 감지)와 소프트 세맨틱 체크(예: 롤아웃 동작, 보상 진단)가 포함됩니다. 게이트가 실패하면 에이전트는 아티팩트를 수정하기 위한 실패 요약을 전달받으며, 통과하면 상태가 확정됩니다.
• 재사용 가능한 지식 ($K$): 템플릿, 참조, 스크립트, 인간의 휴리스틱 및 이전 실행에서 축적된 경험의 저장소입니다. 이를 통해 시스템은 패턴(예: 효과적인 보상 항, 불안정한 파라미터 범위)을 추출하고, 이를 재사용하여 후속 시도의 효율성을 높일 수 있습니다.

실행 프로토콜

시스템은 중앙 집중식 제어, 분산 실행(Centralized Control, Decentralized Execution) 모델을 통해 작동합니다:

1. 오케스트레이션: 메인 에이전트가 관련 지식을 검색하고, 경계가 정해진 단계에 전문화된 서브 에이전트를 파견합니다.
2. 병렬 시도: 보상 튜닝 및 하이퍼파라미터 최적화와 같은 반복적인 단계는 격리된 디렉토리에서 병렬 시도로 실행됩니다. 이는 메인 에이전트의 컨텍스트 과부하를 방지하고 컴퓨팅 클러스터에서의 비동기 실행을 가능하게 합니다.
3. 경험 학습: 시도가 종료된 후, 메인 에이전트는 결과를 종합하고, 반복되는 패턴을 불렛 포인트로 추출하며, 재사용 가능한 지식 베이스를 업데이트합니다. 이를 통해 시스템은 실행 전반에 걸쳐 실패와 성공으로부터 학습하여 성능을 개선합니다.
4. 게이트 체크 기반 진행: 에이전트는 실행 가능한 게이트가 출력을 검증한 후에만 단계를 진행합니다. 이는 오류가 하류로 전파되는 것을 방지하며, 재시도 예산 내에서 문제가 해결되지 않을 경우 인간의 개입을 허용합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 문제 프레이밍: 로봇 RL 자동화를 하네스 엔지니어링 문제로 규정하고, 장기 자동화를 가능하게 하는 특정 인터페이스(MDP 구성 요소)와 피드백 신호(롤아웃, 학습 곡선)를 식별했습니다.
2. 시스템 구현: 자연어 로봇 학습 목표를 에이전트-명령-아티팩트-게이트-지식 패러다임을 사용하여 자동화되고 신뢰할 수 있는 워크플로우로 변환하는 시스템인 HARBOR를 제시합니다.
3. 접근성 및 감사 가능성: HARBOR는 문서화된 LLM 에이전트 플러그인으로 구현되었습니다. 지속적인 아티팩트와 게이트 체크포인트를 사용하는 방식은 실무자가 파이프라인을 감사하고, 개입하며, 적응할 수 있게 하여 전문가 이상의 진입 장벽을 낮춥니다.

4. 실험 결과

저자들은 조작(manipulation), 보행(locomotion), 양손 데크스터러스 제어(bimanual dexterous control)를 아우르는 6개의 벤치마크와 16개의 작업에 대해 HARBOR를 평가했습니다. 평가 세트에는 IsaacLab, Bi-DexHands (IsaacGym), ManiSkill (Sapien), Genesis, MJLab (Warp), Loco-Mujoco (MJX)와 같은 다양한 시뮬레이션 백엔드가 포함되었습니다.

엔드 투 엔드 자동화 및 심투리얼(Sim-to-Real)

• 시뮬레이션 성능: HARBOR는 네 가지 시뮬레이터(IsaacLab, ManiSkill, Genesis, MJLab)와 네 가지 조작 작업(Stack-Cube, Insert-Drawer, Lift-Box, Dex-Grasp)에 대해 전체 파이프라인(의존성 설정부터 정책 학습까지)을 성공적으로 자동화했습니다. IsaacLab 작업에서 88.5%에서 100% 사이의 성공률을 달encing했습니다.
• 실제 세계 전이: HARBOR를 통해 학습된 정책은 실제 로봇(Franka 양팔 로봇 및 Allegro Hand가 장착된 xArm)으로 성공적으로 전이되었습니다. 물리 엔진의 특성에 따라 성공률이 달라졌으나(예: 물리 식별 문제로 인해 MJLab에서 낮은 성능), 프레임워크는 실제 실행을 위해 보상 구조와 도메인 무작위화를 적응시키는 능력을 입증했습니다.
• 보상 설계: Eureka 및 REvolve와 비교했을 때, HARBOR는 특히 장기 목표 작업(Stack-Cube) 및 복잡한 상호작용(Insert-Drawer)에서 일관되게 우수한 성능을 보였습니다. 롤아웃 동작 피드백을 진단에 활용하고 단계적 보상 구축을 위해 인간의 휴리스틱을 활용하는 능력이 성공의 핵심이었습니다.

RL 알고리즘 튜닝

HARBOR는 테이블탑 조작, 양손 데크스터러스 제어, 보행 작업 전반에서 PPO, SAC, TD3를 튜닝하는 데 테스트되었습니다.

• 성능 향상: 12개 중 11개의 작업 설정에서 HARBOR로 튜닝된 구성이 기본(default) 구성을 대등하거나 능가했습니다.
• 샘플 효율성: 튜닝된 정책은 샘플 효율성(AUC 및 리턴 임계값 도달 시간으로 측정)에서 상당한 개선을 보였으며, 특정 작업(예: UnitreeGo2에서의 SAC)에서는 최대 **516%**의 이득을 기록했습니다.
• 복잡한 작업 성공: 주목할 점은, HARBAR가 기존 베이스라인이 실패했던 작업(ShadowHandDoorOpenIn, ShadowHandDoorCloseIn)을 SAC가 학습할 수 있도록 지원했다는 것입니다.

절제 연구(Ablation) 및 효율성 분석

ManiSkill Push-Cube 파이프라인에 대한 절제 연구를 통해 전체 HARBOR 프레임워크를 특정 구성 요소가 결여된 변형 모델(서브 에이전트 격리/병렬성 없음, 게이트 없음, 경험 없음) 및 바닐라 베이스라인과 비교했습니다.

• 신뢰성: 전체 HARBOR 프레임워크는 바닐라 베이스라인(50회 중 29회 성공)에 비해 가장 높은 신뢰성(50회 중 48회 성공)을 달성했습니다.
• 비용 및 시간: HARBOR는 가장 비용 효율적인 구성이었으며, 바닐라 베이스라인과 비교하여 실제 실행 시간(wall-clock time)을 약 4.2배 단축하고 토큰 비용을 크게 절감했습니다.
• 구성 요소의 영향:
  • 격리 (CCDE): 서브 에이전트 격리를 제거하면 컨텍스트 부하와 실행 시간이 증가하여 반복 단계에서의 성공률이 감소했습니다.
  • 게이트: 게이트를 제거하면 렌더링 결함과 같은 침묵의 실패(silent failure)가 발생했으며, 보상 생성 및 튜닝에서의 성공률이 감소했습니다.
  • 경험: 재사용 가능한 지식을 제거하면 생성 단계에서의 신뢰성이 급격히 떨어졌습니다(보상 생성 성공률이 10회 중 2회로 감소).

5. 의의 및 한계

본 논문은 로봇 RL 자동화가 순수한 코드 생성 작업이 아니라 구조화된 하네스로서의 엔지니어링 파이프라인을 다룸으로써 엔드 투 엔드로 달성될 수 있음을 보여준다고 주장합니다. 실행 가능한 피드백과 지속적인 아티팩트를 활용함으로써, 시스템은 엔지니어링 노력과 비용을 줄이면서도 실제 세계 전이가 가능한 정책을 생성합니다.

한계점:

• 지식 의존성: HARBOR의 능력은 에이전트에게 노출된 도구와 사전 지식에 의해 제한됩니다. 사전 스캐폴딩이 없는 새로운 작업은 많은 수의 복구 반복이 필요하거나 실패할 수 있습니다.
• 심투리얼 경계: HARBOR가 시뮬레이션 파이프라인을 자동화하지만, 물리 로봇으로의 배포에는 여전히 로봇 인터페이스와 인간 피드백 루프를 위한 수동 엔지니어링이 필요합니다.
• 정책 아키텍처: 현재 구현은 상대적으로 단순한 정책 아키텍처를 지원합니다. Vision-Language-Action(VLA) 또는 월드 모델 기반 정책으로 확장하는 것이 향후 연구 방향으로 언급되었습니다.

저자들은 HARBOR를 인간의 전문성을 대체하는 것이 아니라, 실무자가 파이프라인을 감사하고 적응할 수 있게 함으로써 RL을 다양한 로봇 작업에 적용할 수 있도록 진입 장벽을 낮추는 시스템으로 포지셔닝하고 있습니다.