기술 요약: CRAFT – 다중 로봇 협업 과제를 위한 파운데이션 모델 기반의 자율적 코칭 강화 학습

1. 문제 정의

본 논문은 실세계 다중 로봇 협업 과제에 다중 에이전트 강화 학습(MARL)을 적용할 때 발생하는 도전 과제를 다룹니다. MARL은 분산된 의사결정 프레임워크를 제공하지만, 다음과 같은 이유로 로보틱스 적용에 어려움이 있습니다:

• 고차원의 연속적인 결합 행동 공간(joint action spaces).
• 희소하고 복잡한 보상 설계: 개별 행동과 필수적인 팀 협업을 모두 포착하는 보상을 정의하는 것은 어렵습니다.
• 비정상성(Non-stationarity): 에이전트들이 동시에 학습하면서 서로에게 변화하는 환경을 생성합니다.
• 장기적 horizon 과제: 여러 단계에 걸쳐 접촉이 빈번한 동작을 요구하는 과제는 초기 상호작용에서의 작은 오류가 이후의 성공을 가로막기 때문에 실패하는 경우가 많습니다.

저자들은 인간이 "코칭(coaching)"—커리큘럼 설계(과제를 하위 과제로 분해), 학습 신호 제공(보상), 그리고 진척도 평가를 포함하는 과정—을 통해 복잡한 협업을 학습한다고 주장합니다. 이들은 파운데션 모델(대규모 언어 모델(LLM) 및 시각-언어 모델(VLM))이 이러한 코칭 역할을 자동화하여, 과제를 분해하고, 보상을 생성하며, 시각적 및 정량적 피드백을 바탕으로 보상을 개선할 수 있다고 제안합니다.

2. 방법론: CRAFT 프레임워크

CRAFT(파운데이션 모델을 사용하여 협업 과제를 위한 다중 로봇 학습을 자율적으로 코칭하는 강화 학습)는 네 가지 핵심 모듈로 구성된 자동화된 코칭 루프로 작동합니다:

2.1 커리큘럼 생성 모듈

커리큘럼 LLM은 장기 목표 과제($M_{target}$)를 $K$개의 하위 과제($M_1, \dots, M_K$) 시퀀스로 분해합니다.

• 프로세스: LLM은 과제와 환경에 대한 자연어 설명을 받습니다. LLM 출력의 확률성을 완화하기 위해, 시스템은 여러 후보 커리큘럼을 생성한 후 LLM이 이를 하나의 일관된 커리큘럼으로 정제하도록 유도합니다.
• 그라운딩(Grounding): 정밀한 보상 설계를 보장하기 위해, 하위 과제는 모호한 자연어 대신 구체적인 환경 상태 변수(예: "핸들까지의 유클리드 거리 최소화")를 사용하여 설명됩니다.

2.2 보상 함수 생성 모듈

각 하위 과제 $M_k$에 대해, 보상 생성 LLM은 자연어 설명을 실행 가능한 파이썬 보상 함수($R_k$)로 번역합니다.

• 컨텍스트: LLM에는 환경 설명, 헬퍼 함수(고차원 상태 처리를 위함), 그리고 치명적인 망각(catastrophic forgetting)을 방지하기 위한 이전 하위 과제의 보상 함수가 제공됩니다.
• 구조: 보상은 추후 분석을 용이하게 하기 위해 해석 가능한 구성 요소(예: lift_reward, balance_reward)로 분해됩니다.
• 학습: 분산 정책 $\pi_k$는 중앙 집중형 학습 및 분산 실행(CTHE, 구체적으로 MAPPO) 알고리즘을 사용하여 학습됩니다.

2.3 정책 평가 모듈

다음 하위 과제로 넘어가기 전, 평가 VLM은 훈련된 정책 $\pi_k$를 평가합니다.

• 입력: VLM은 롤아웃 이미지(시각적 스냅샷)와 상태 변수 궤적을 분석합니다.
• 결정: VLM은 정책이 하위 과제를 성공적으로 완료했는지 판단합니다.
  • 성공: 커리큘럼이 $M_{k+1}$로 진행됩니다.
  • 실패: VLM은 실패 원인을 제공하여 정제 루프를 트리거합니다.

2.4 보상 정제 모듈

정책이 실패하면 시스템은 정제 루프(최대 $J$회 반복, 일반적으로 $J=3$)에 진입합니다:

1. 조언 생성: 조언 VLM은 실패 원인, 현재 보상 코드, 그리고 보상 구성 요소 학습 곡선(학습 중 특정 보상 항이 어떻게 진화했는지 보여주는 그래프)을 분석합니다. 그 후 보상을 수정하는 방법에 대한 자유 형식의 조언을 생성합니다(예: "lift 항의 가중치를 높여라", "elevation의 제곱 항을 제거하라").
2. 보상 정제: 정제 LLM은 실패한 보상 코드와 VLM의 조언을 받아 새로운 정제된 보상 함수($R^{j+1}_k$)를 생성합니다.
3. 재학습: 새로운 보상으로 정책을 재학습합니다. 모든 시도가 실패하면, 반복 과정 중 가장 좋았던 정책을 선택하고 다음 하위 과제로 이동합니다.

웜 스타팅(Warm-Starting): 새로운 하위 과제로 이동할 때, 정책 가중치는 이전 하위 과제의 성공적인 정책으로부터 초기화됩니다. "가소성 상실(loss of plasticity, 지역 최적점으로의 수렴)"을 방지하기 위해, 시스템은 액터(actor) 가중치는 보존하면서 탐색 파라미터(정책 표준 편차)와 가치 네트워크 가중치를 리셋합니다.

3. 주요 기여

1. CRAFT 프레임워크: 파운데이션 모델의 추론 능력을 활용하여 장기 협업 과제를 수행하는 다중 로봇 팀을 자율적으로 코칭하는 새로운 프레임워크를 제시했습니다.
2. 자동화된 커리큘럼 및 보상 설계: LLM을 통한 과제 분해 및 보상 생성과, VLM을 통한 시각적 평가 및 보상 정제를 통합하여 인간이 설계하는 커리큘럼과 보상 함수의 필요성을 줄였습니다.
3. 경험적 검증: 표준 MARL 및 베이스라인 LLM 방식이 실패하는 복잡한 다중 로봇 과제(다족 보행 로봇 내비게이션 및 양팔 조작)에서 CRAFT의 효과를 입증했습니다.
4. 실세계 전이: 튜닝 없이 시뮬레이션에서 학습된 정책을 물리적 하드웨어(Unitility Go1 및 Go2 사족보행 로봇)로 성공적으로 제로샷 전이(zero-shot transfer)했습니다.

4. 실험 결과

저자들은 세 가지 환경에서 CRAF를 평가했습니다: Quadruped Gate(좁은 문 통과), Quadruped Seesaw(균형 잡기 및 등반), Two-Arm Lift(협동 솥 들기).

• 베이스라인 대비 성능:
  • CRAFT는 Seesaw(59.33%)와 Lift(94.67%)에서 가장 높은 성공률을 달 기록했으며, Gate(78.33%)에서도 경쟁력 있는 성능을 보였습니다.
  • 베이스라인: "Env Reward"(인간 설계)와 "Example Reward"는 거의 0에 가깝거나 매우 낮은 성공률을 보였습니다. "From Scratch"(커리큘럼 없는 CRAFT 보상)는 CRAFT보다 현저히 낮은 성능을 보여 커리큘럼의 필요성을 강조했습니다.
  • LLM 베이스라인: 커리큘럼이 없는 Eureka(LLM 보상 탐색) 및 VLM 정제가 없는 CurricuLLM(LLM 커리큘럼)과 비교했을 때, CRAFT는 두 모델 모두를 능가했습니다. Eureka는 종종 물리적으로 불가능한 부자연스러운 관절 구성을 가진 정책을 학습한 반면, CurricuLLM은 보상 정제의 부재로 인해 신뢰도가 낮았습니다.
• 보상 정제 효능: VLM 가이드 정제 루프는 CurricuLLM에 비해 "커리큘럼 성공 비율"(성공적인 정책을 도출한 시행 횟수의 비율)과 "최대 성공률"을 크게 향상시켰습니다.
• VLM 신뢰도: VLM 정책 평가 모듈은 실제 정답(ground truth) 대비 85.71%의 정확도를 달성했습니다. 오류는 주로 보수적인 거짓 음성(성공한 정책을 거부함)이었으며, 이는 단순히 추가 정제를 트리거할 뿐이므로 허용 가능한 수준입니다.
• 하드웨어 전이: Quadruped Gate 과제에서 시뮬레이션에서 훈련된 정책은 미세 조정 없이 20회의 실행 동안 실제 로봇에서 65%의 성공률을 달성하여 강력한 Sim-to-Real 전이를 입증했습니다.

5. 의의 및 주장

본 논문은 CRAFT가 파운데이션 모델을 다중 로봇 시스템을 위한 자율적 코치로 사용하는 것의 생존 가능성을 입증한다고 주장합니다. 그 의의는 다음과 같습니다:

• 인간 개입 감소: 복잡한 협업 과제를 위한 커리큘럼 및 보상 함수 설계라는 지루한 과정을 자동화합니다.
• 복잡한 협업 가능: 직접 훈련이나 정적 보상 설계로는 습득하기 어려운 행동, 특히 장기적이고 접촉이 빈번한 시나리오에서의 행동을 성공적으로 학습합니다.
• 물리적 타당성: 단계별 커리큘럼 접근 방식은 에이전트가 단순히 최종 성공만을 위해 최적화되는 것이 아니라, 물리적으로 실현 가능한 행동(예: 들어 올리기 전 안정적인 잡기)을 향해 나아가도록 유도합니다. 이는 Eureka와 같은 직접 최적화 방식에서 흔히 나타나는 부자연스러운 움직임을 방지합니다.

인정된 한계점:

• 확률성: 파운데이션 모델에 대한 의존도는 변동성을 도입합니다. 일부 시행은 잘못된 커리큘럼이나 보상 생성으로 인해 실패할 수 있으나, 이는 시뮬레이션에서 여러 번 시도함으로써 관리 가능합니다.
• VLM 의존성: 평가 모듈은 순수하게 시각적 정보보다는 수치적 상태 궤적에 크게 의존하며, 이는 시각적으로 근거 있는 실패(예: 부족한 공간적 협업)를 감지하는 데 제한이 될 수 있습니다.
• 확장성: 현재 방식은 하위 과제당 여러 번의 LLM/VLM 쿼리를 요구하여 계산 비용이 높을 수 있으나, 저자들은 테스트된 과제들에 대해서는 충분하다고 언급했습니다.

저자들은 파운데이션 모델이 확률성을 도입함에도 불구하고, 과제를 분해하고 보상을 자율적으로 정제하는 능력이 실제 환경에서의 확장 가능하고 신뢰할 수 있는 다중 로봇 협업을 향한 유망한 경로를 제공한다고 결론지었습니다.