기술 요약: RDA (강화 학습을 위한 보상 설계 에이전트)

문제 정의

강화 학습(RL)은 로봇 제어 분야에서 상당한 성공을 거두었으나, 수작업으로 제작된 보상 함수에 대한 의존성으로 인해 확장성의 한계에 부딪혀 있습니다. 이러한 함수를 설계하는 과정은 시행착오가 지배적인 느리고 취약한 과정이며, 종종 복잡한 인간의 의도와 일치하지 못하는 경우가 많습니다. Eureka와 같은 최근의 자동화된 접근 방식은 대규모 언어 모델(LLM)을 활용하여 진화적 탐색을 통해 보상 코드를 생성하지만, 이들은 거친 수치적 피드백(예: 성공률 및 구성 요소 통계)에 의존합니다. 이러한 의미론적 통찰력의 결여는 시스템이 유사한 점수를 산출하는 서로 다른 실패 모드를 구별하지 못하게 만들며, 결과적으로 정책이 작업 목표는 달성하되 의도된 동작은 위반하게 만듭니다 (예: 물체를 밀어서 목표에 도달하는 대신 던져서 도달하는 경우).

방법론

저자들은 보상 설계 루프에 의미론적 이해를 주입하기 위해 설계된 시각-언어 모델(VLM) 기반의 에이전트 프레임워크인 **RDA (Reward Design Agent)**를 소개합니다. RDA는 인간의 보상 엔지니어링을 모방하여 다음과 같은 반복적인 진화 과정을 통해 작동합니다:

1. 초기화 및 분해:

   • 자연어 지시문과 시뮬레이터 환경이 주어지면, VLM은 작업을 해석 가능한 일련의 **하위 작업(subtasks)**으로 분해합니다.
   • 지시문과 하위 작업에 따라, VLM은 실행 가능한 초기 보상 코드 후보 풀을 생성합니다.

2. 진화적 탐색 루프:

   • 정책 훈련: 각 보상 후보는 시뮬레이터 내에서 (Soft Actor-Critic을 사용하여) RL 정책을 훈련하는 데 사용됩니다.
   • 시각적 분석: 오직 수치적 통계에만 의존하는 기존 방식과 달리, RDA는 훈련된 정책으로부터 궤적(trajectories)을 샘플링하여 VLM을 통한 시각적 분석을 수행합니다. VLM은 각 하위 작업을 독립적으로 평가하여 완료 점수(0.0–1.0)를 할당하고, 점수에 대한 언어 기반 근거를 제공합니다.
   • 요약 및 진단: VLM은 이러한 분석들을 종합하여 반복되는 실패 모드(예: "에이전트가 손을 사용하는 대신 상체를 기울임")를 식다운하고 정책의 성능을 요약합니다.
   • 성찰 및 수정:
     • 하위 작업 성찰: VLM은 현재의 하위 작업 분해가 지시문을 충분히 포착하고 있는지 분석합니다. 만약 실패 모드(예: 모호한 접촉 요구 사항)가 감지되면, 하위 작업 정의를 더 명시적으로 정교화합니다.
     • 보상 성찰: 시각적 진단과 정교화된 하위 작업에 따라, VLM은 보상 코드를 수정합니다. 여기에는 특정 실패 모드를 해결하기 위한 구성 요소 가중치 조정, 게이팅 메커니즘 도입(예: 전방 이동에 보상을 주기 전 양손 접촉 요구), 또는 셰이핑 함수(shaping functions)의 수정이 포함됩니다.

3. 종료: 프로세스는 정해진 횟수의 반복 횟수만큼 반복되며, 발견된 가장 성능이 좋은 보상 함수를 반환합니다.

주요 기여

• VLM 기반 시각적 피드백: RDA는 시각적 궤적 분석을 보상 정교화 루프에 직접 통합한 최초의 프레임워크입니다. 이는 거친 수치적 통계를 넘어 에이전트 행동에 대한 미세한 의미론적 진단을 제공합니다.
• 작업 분해 및 하위 작업 수준의 추론: 복잡한 지시를 하위 작업으로 나눔으로써, RDA는 정밀한 크레딧 할당(credit assignment)과 실패 진단을 가능하게 하여 특정 동작에 대한 정확한 교정을 허용합니다.
• 에이전트 기반 반복 정교화: 이 시스템은 VLM이 평가자이자 설계자로서 작용하여, 시각적 증거를 바탕으로 작업 명세(하위 작업)와 보상 코드를 모두 반복적으로 정교화하는 폐쇄 루프 프로세스를 채택합니다.

실험 결과

저자들은 두 가지 벤치마크인 ManiSkill(12개의 단기 수평 테이블 조작 작업)과 HumanoidBench(4개의 장기 전신 조작 작업)에 걸친 16개 작업에 대해 RDA를 평가했습니다.

• ManiSkill: RDA와 Eureka 베이스라인 모두 정밀하게 설계된 인간의 밀집(dense) 및 희소(sparse) 보상보다 정렬도(alignment)와 성공률 모두에서 유의미하게 높은 성능을 보였습니다. 특히 RDA는 다른 방법들이 어려움을 겪었던 도전적인 PlugCharger 작업을 해결하며 가장 높은 정렬도(0.95)와 성공률(0.90)을 달성했습니다.
• HumanoidBench: 시각적 피드백의 이점은 이러한 복잡한 장기 작업에서 더욱 두드러졌습니다. Eureka는 RDA와 유사한 성공률을 달성했지만, 정렬도는 현저히 낮았습니다 (0.47 vs 0.70). Eureka는 종종 잘못 정렬된 행동(예: 패키지를 던짐)을 통해 작업을 해결했으나, RDA의 시각적 분석은 이러한 편차를 감지하고 수정하여 의도된 "미는(pushing)" 동작을 따르는 정책을 만들어냈습니다.
• 절제 연구(Ablation Studies):
  • 시각적 분석: Eureka 베이스라인에 궤적 기반 시각적 분석을 추가했을 때 정렬도에서 가장 큰 폭의 향상(0.31에서 0.82로)이 나타났으며, 이는 시각적 피드백이 정렬 오류를 감지하는 핵심 메커니즘임을 확인시켜 줍니다.
  • 하위 작업 분해: 하위 작업 분해를 추가하면 미세한 조작에 대한 더 나은 크레딧 할당을 가능하게 하여 성공률이 향상되었습니다 (PlugCharger에서 0.83에서 1.0으로).
  • 스케일링: 성능은 반복당 생성되는 보상 후보의 수에 따라 일관되게 확장되었습니다.

의의 및 주장

본 논문은 RDA가 자동화된 보상 설계의 결정적인 간극, 즉 작업 목표를 수치적으로는 만족하더라도 정렬되지 않은 행동을 감지하고 수정하지 못하는 문제를 해결한다고 주장합니다. 정책 학습과 시각적 진단 사이의 루프를 닫음으로써, RDA는 최소한의 인간 감독 하에 복잡하고 장기적인 작업을 학습하는 데 있어 시각 가이드 에이전트 루프가 필수적임을 입증합니다.

저자들은 RDA가 현재 계산 비용(전체 RL 훈련 라운드가 필요함)과 VLM 컨텍스트 제약이라는 한계에 직면해 있지만, 학습된 정책이 단순히 성공하는 것을 넘어 인간 지시문의 미묘한 사양을 준수하도록 보장하기 위해서는 시각 기반 피드백이 필요하다는 새로운 패러다임을 제시한다고 결론짓습니다. 파운데이션 모델과 시뮬레이터가 확장됨에 따라, 이러한 시각 기반 프레임워크가 로봇 학습에 있어 필수적이 될 것이라고 저자들은 단언합니다.