Iterative On-Policy Refinement of Hierarchical Diffusion Policies for Language-Conditioned Manipulation

이 논문은 환경 피드백을 통해 고수준 계획자와 저수준 제어기의 능력을 자동으로 정렬하고 상호 개선하는 자기 강화 사이클을 도입한 'HD-ExpIt' 프레임워크를 제안하여, 언어 조건부 조작 작업에서 오프라인 데이터만 사용하는 기존 계층적 확산 정책의 성능을 획기적으로 향상시킵니다.

핵심

🤖 핵심 비유: "현장 지휘관"과 "실무자"의 팀워크

로봇이 일을 할 때, 보통 두 명의 가상의 인물이 역할을 나눕니다.

1. 고위 지휘관 (High-Level Planner): "책상 위의 빨간 컵을 가져와서 싱크대에 넣어줘"라는 큰 명령을 듣고, **'먼저 컵을 잡고, 들어 올리고, 이동하고, 놓아야 해'**라는 단계별 계획 (하위 목표) 을 세웁니다.
2. 실무자 (Low-Level Controller): 지휘관의 계획을 보고, 실제로 로봇 팔을 움직여 컵을 잡는 구체적인 동작을 수행합니다.

기존의 문제점: "계획과 현실의 괴리"
기존 방식은 지휘관이 책상에서만 계획을 세울 뿐, 실무자가 실제로 그 일을 할 수 있는지 (예: 로봇 팔이 너무 짧거나, 컵이 미끄러워서 잡기 힘든지) 를 모르고 계획을 세웠습니다.

• 상황: 지휘관이 "저 높은 선반까지 올라가서 물건을 가져와"라고 계획했는데, 실무자는 발이 닿지 않아 실패합니다.
• 결과: 계획은 완벽해 보였지만, 실제 실행에서 계속 실패하는 '불일치'가 발생합니다.

💡 이 논문이 제안한 해결책: "HD-ExpIt" (스스로 배우는 팀)

이 연구는 **지휘관과 실무자가 서로의 능력을 알고, 실패를 통해 함께 성장하는 '반복적인 훈련 루프'**를 만들었습니다. 이를 HD-ExpIt이라고 부릅니다.

1. "시뮬레이션 속의 무한한 시도" (확률적 탐색)

기존에는 정해진 데이터만 보고 학습했지만, 이 방법은 지휘관이 수천 번의 시뮬레이션을 돌립니다.

• 마치 게임에서 캐릭터가 같은 맵을 수천 번 달리며 최적의 경로를 찾는 것과 같습니다.
• 지휘관이 "이렇게 해보자"라고 계획을 세우면, 실무자가 실제로 시도해 봅니다.
• 성공하면: "좋아! 이 계획은 실무자가 할 수 있구나!"라고 기억합니다.
• 실패하면: "아, 이 계획은 현실적으로 불가능하구나."라고 배웁니다.

2. "성공한 경험만 모아 다시 가르치기" (데이터 증류)

이 과정은 스스로를 가르치는 선생님과 같습니다.

• 로봇이 실패한 수많은 시도 중에서, 실제로 성공한 '명작'들만 골라냅니다.
• 이 성공한 경험들을 다시 지휘관과 실무자에게 보여주고 학습시킵니다.
• 지휘관은 "아, 실무자가 할 수 있는 범위 내에서 계획을 세워야겠다"라고 배우게 됩니다.
• 실무자는 "이런 상황에서는 이렇게 움직여야 성공하구나"라고 더 정교해집니다.

이 과정을 몇 번 반복하면, 지휘관은 실무자의 능력을 완벽하게 이해하게 되고, 실무자는 지휘관의 계획을 더 잘 수행하게 되어 팀워크가 완벽해집니다.

📊 실제 성과: "CALVIN"이라는 어려운 시험에서 최강자가 되다

연구진은 로봇이 복잡한 작업을 연속으로 수행하는 CALVIN이라는 어려운 시험을 치르게 했습니다.

• 기존 방식: 정해진 데이터만 보고 학습한 로봇은 연속으로 2~3 개의 작업을 성공하는 데 그쳤습니다.
• HD-ExpIt 방식: 이 새로운 훈련법을 쓴 로봇은 연속으로 4~5 개의 작업을 성공하는 등, 기존 방식보다 성공률이 2 배 이상 뛰었습니다.

🌟 왜 이것이 중요한가요?

기존의 로봇 학습은 "책상 위에서의 이론 공부"만 했다면, 이 방법은 **"현장에서의 실전 훈련"**을 통해 로봇을 성장시켰습니다.

• 더 이상 '계획만 세우는' 로봇이 아닙니다: 실제로 할 수 있는 일을 계획합니다.
• 데이터에 의존하지 않습니다: 처음에 부족했던 데이터라도, 스스로 실패와 성공을 반복하며 부족한 부분을 채워갑니다.
• 복잡한 일도 가능해집니다: 단순한 물건 잡기부터, 여러 단계를 거치는 복잡한 작업까지 로봇이 스스로 해결할 수 있는 능력을 키웠습니다.

📝 한 줄 요약

**"로봇에게 '이론'만 가르치지 말고, 실패와 성공을 반복하며 스스로 '현실 감각'을 익히게 하여, 계획가와 실행자가 완벽한 팀워크를 이루게 만든 혁신적인 훈련법"**입니다.

이 기술은 앞으로 우리가 집에서 로봇에게 "청소하고, 설거지하고, 옷 개고" 같은 복잡한 지시를 내렸을 때, 로봇이 덜 헷갈리고 더 정확하게 일을 해낼 수 있는 토대가 될 것입니다.

기술 요약

이 논문은 언어 조건부 조작 (Language-Conditioned Manipulation) 작업을 수행하는 로봇을 위해 제안된 HD-ExpIt(Hierarchical Diffusion with Expert Iteration) 프레임워크에 대한 연구입니다. 이 방법은 고정된 오프라인 데이터셋의 한계를 극복하고, 환경 피드백을 통해 계층적 확산 정책 (Hierarchical Diffusion Policies) 을 반복적으로 정제하는 새로운 접근법을 제시합니다.

다음은 논문의 핵심 내용을 한국어로 요약한 기술적 개요입니다.

---

1. 문제 정의 (Problem Statement)

• 계층적 정책의 불일치 (HL-LL Mismatch): 언어 기반 조작 작업을 위해 고수준 계획기 (High-Level Planner, HL) 와 저수준 제어기 (Low-Level Controller, LL) 로 구성된 계층적 정책이 널리 사용되지만, HL 이 생성한 하위 목표 (Subgoals) 가 실제 LL 의 물리적 능력 범위 내에 있지 않아 실패하는 경우가 많습니다.
• 기존 방법의 한계:
  • 기존 연구들은 HL 과 LL 간의 불일치를 해결하기 위해 중간 '접착제 (Glue)' 모듈이나 공유 표현 (Shared Representations) 을 도입했으나, 이는 학습 불안정성이나 추론 오버헤드를 초래했습니다.
  • 더 중요한 문제는 이러한 방법들이 고정된 오프라인 데이터셋에만 의존한다는 점입니다. 이는 환경의 변화나 보지 못한 설정 (Unseen Settings) 에 대한 일반화 능력을 제한합니다.
• 목표: 환경 피드백을 활용하여 HL 이 LL 의 실제 능력을 고려한 하위 목표를 생성하도록 지속적으로 정제 (Refinement) 하는 프레임워크 개발.

2. 방법론 (Methodology: HD-ExpIt)

HD-ExpIt 은 전문가 반복 (Expert Iteration) 알고리즘에서 영감을 받아, 확산 모델 (Diffusion Model) 의 확률적 특성을 '생성적 탐색 (Generative Search)' 메커니즘으로 활용합니다. 학습 과정은 다음과 같은 자기 강화 (Self-reinforcing) 사이클로 구성됩니다.

A. 구성 요소

1. 고수준 계획기 (HL): 텍스트 명령과 초기 관측치를 입력받아 시각적 하위 목표 시퀀스 (Plan) 를 생성하는 확산 모델.
2. 저수준 제어기 (LL): 생성된 하위 목표와 현재 관측치를 입력받아 로봇의 연속적인 행동 (Action Chunk) 을 생성하는 정책.

B. 학습 사이클 (Iterative Training Loop)

각 반복 (Iteration) $t$에서 다음 세 단계가 수행됩니다:

1. 지도 학습 업데이트 (Supervised Training):
   • 현재 데이터셋 $D_t$를 사용하여 HL 과 LL 을 독립적으로 지도 학습 (Supervised Learning) 으로 업데이트합니다.
2. 온-폴리시 롤아웃 및 데이터 수집 (On-Policy Rollout & Collection):
   • 업데이트된 정책 $\pi_t$를 사용하여 다양한 컨텍스트에서 $K$번의 시도를 수행합니다.
   • 확산 모델의 확률성 활용: HL 의 확률적 샘플링을 통해 다양한 계획 (Plan) 을 탐색합니다.
   • 피드백 필터링: 환경으로부터의 성공/실패 신호 (Reward) 를 기반으로 성공적인 궤적 (Trajectories) 만을 선별합니다.
   • 컨텍스트 다양성 확보: 단순한 환경 초기화뿐만 아니라, 이전 전문가 데이터의 중간 상태 (Expert-replayed contexts) 를 초기 상태로 사용하여 장기적 작업 (Long-horizon) 에서 발생할 수 있는 상태 공간도 탐색합니다.
3. 데이터 집계 (Dataset Aggregation):
   • 수집된 성공적인 궤적 $R_t$를 기존 데이터셋에 추가하거나 대체하여 새로운 학습 데이터셋 $D_{t+1}$을 구성합니다.
   • HD-ExpIt (Standard): 전체 데이터를 합쳐 처음부터 학습 (Catastrophic Forgetting 방지).
   • HD-ExpIt-ft (Fine-tuning): 이전 정책에서 파인튜닝하여 계산 효율성 향상.

이 과정을 통해 HL 은 LL 이 실제로 수행 가능한 하위 목표만 생성하도록 학습되며, LL 은 새로운 성공 사례를 통해 능력이 향상됩니다.

3. 주요 기여 (Key Contributions)

1. HD-ExpIt 프레임워크 제안: 고정된 오프라인 데이터셋의 한계를 극복하고, 환경 피드백을 통한 자기 강화 사이클로 계층적 확산 정책을 지속적으로 개선하는 간단하고 안정적인 프레임워크를 제안했습니다.
2. 암묵적 정렬 (Implicit Alignment): 명시적인 프록시 모델이나 공유 표현 없이, 환경 피드백 기반의 반복적 정제를 통해 HL 과 LL 의 능력을 자동으로 정렬 (Align) 하는 새로운 학습 패러다임을 제시했습니다.
3. 실증적 검증: Franka-3Blocks 환경과 까다로운 CALVIN 벤치마크에서 HD-ExpIt 이 오프라인 데이터만 학습한 정책보다 성능을 획기적으로 향상시켰으며, Scratch(처음부터 학습) 한 방법 중 최상위 (SOTA) 성능을 달성했음을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상:
  • Franka-3Blocks: 단일 반복(iteration) 만으로도 성공률 (Success Rate) 이 70% 에서 94% 이상으로 급격히 상승했습니다.
  • CALVIN (LH-MTLC): 5 개의 연속된 작업을 성공적으로 수행하는 평균 길이 (Avg. Len.) 가 기존 오프라인 학습 정책 (2.69) 에서 HD-ExpIt (3.80) 으로 크게 개선되었습니다. 특히 5 개 연속 작업 성공률은 약 2 배 이상 증가했습니다.
• 기저 모델 비교: 기존 방법들 (SuSIE, TaKSIE, HULC, MDT 등) 보다 우수한 성능을 보였으며, 특히 MDT 와 같은 최신 방법보다도 높은 성능을 기록했습니다.
• 구성 요소 분석:
  • HL 의 개선: HD-ExpIt 로 학습된 HL 은 다른 LL 과 짝지어졌을 때도 더 나은 성능을 발휘하여, HL 이 LL 의 능력 범위를 내재화 (Internalize) 했음을 보여줍니다.
  • LL 의 개선: Ground Truth 하위 목표를 사용할 때에도 HD-ExpIt 로 학습된 LL 이 더 높은 성능을 보였습니다.
  • 재계획 (Replanning) 의존도 감소: 반복 학습을 통해 HL 이 더 정확한 계획을 생성하게 되어, 실패 후 재계획에 의존하는 비율이 감소했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 조작 분야에서 **확산 모델 (Diffusion Models)**과 **반복적 강화 학습 (Iterative Refinement)**을 결합한 새로운 방향성을 제시합니다.

• 데이터 효율성 및 일반화: 고정된 데이터셋에 의존하지 않고, 환경과의 상호작용을 통해 스스로 성공적인 행동을 발견하고 학습함으로써, 보지 못한 환경이나 복잡한 장기 작업에 대한 일반화 능력을 크게 향상시켰습니다.
• 학습 안정성: 복잡한 강화 학습 (RL) 의 불안정성을 피하면서도, 환경 피드백을 통해 정책이 지속적으로 진화할 수 있는 '지도 학습 + 데이터 수집'의 하이브리드 방식을 성공적으로 구현했습니다.
• 실용성: CALVIN 과 같은 표준 벤치마크에서 SOTA 성능을 달성함으로써, 실제 로봇 시스템에 적용 가능한 언어 조건부 조작 기술의 발전 가능성을 입증했습니다.

요약하자면, HD-ExpIt은 로봇이 "생각 (계획)"과 "행동 (제어)" 사이의 괴리를 스스로 해결하며, 환경 피드백을 통해 지속적으로 성장할 수 있는 강력한 학습 프레임워크입니다.