기술 요약: 세계 행동 모델(World Action Models)을 통한 순환 생성 리플레이 기반의 지속적 모방 학습

1. 문제 정의

본 논문은 로봇 정책의 지속적 모방 학습(continual imitation learning), 특히 파괴적 망각(catastrophic forgetting) 문제에 초점을 맞춥니다. 세계 행동 모델(WAM)이 인지, 예측, 제어를 통합하는 범용 로봇 정책으로 부상함에 따라, 이들은 새로운 태스크에 순차적으로 적응해야 합니다. 그러나 표준적인 순차적 미세 조정(sequential fine-tuning)은 이전에 학습된 기술을 덮어쓰는 문제를 야기합니다.

전통적인 해결책은 이전 태스크의 실제 인간 시연(demonstrations) 데이터를 저장하고 재생하는 **경험 리플레이(Experience Replay, ER)**에 의존합니다. 저자들은 현대 로보틱스에서 이러한 방식이 점점 비실용적이라고 주장합니다. 정책이 공개되지 않은 대규모 독점 데이터셋을 통해 학습되거나, 과거의 시연 데이터를 저장하는 것이 불가능한 경우가 많기 때문입니다. 핵심 문제는 다음과 같습니다: 로봇이 원래의 인간 시연 데이터에 접근할 수 없는 상황에서, 어떻게 이전에 학습된 기술을 유지하며 지속적인 적응을 수행할 수 있는가?

2. 방법론: 순환 생성 리플레이 (REGEN)

저자들은 WAM의 내재적인 생성 능력을 활용하여 의사 리플레이(pseudo-replay) 궤적을 합성함으로써, 저장된 실제 시연 데이터 없이도 동작하는 순환 생성 리플레이(Recurrent Generative Replay, REGEN) 프레임워크를 제안합니다.

핵심 메커니즘

WAM은 언어 지시어($\ell$)와 현재 관측값($o$)이 주어졌을 때 미래의 행동($\tilde{a}$)과 미래의 시각적 관측값($\tilde{o}$)을 공동으로 모델링하는 정책으로 정의됩니다. REGEN은 이를 활용하여 과거 태스크를 위한 "환각(hallucinated)" 궤적을 재귀적으로 쿼리합니다.

이전 태스크 $T_i$에 대한 생성 과정(언어 지시어 $\ell_i$만 주어진 상태)은 다음 세 단계로 진행됩니다:

1. 초기화(Initialization): 유효한 시각적 컨텍스트를 제공하기 위해, 현재 태스크의 시연 데이터($D_k$)에서 샘플링된 실제 관측값으로 롤아웃(rollout)을 시작합니다.
2. 순환 생성(Recurrent Generation): 모델은 액션 청크(action chunk)와 미래 관측값을 예측합니다. 결정적으로, 생성된 미래 관측값($\tilde{o}_t$)이 다음 단계의 입력 관측값으로 다시 피드백되며, 실제 데이터를 사용하는 대신 이 재귀적 루프가 종료 조건이 충족될 때까지 지속됩니다.
3. 종료(Termination): 최대 호라이즌(maximum horizon)에 도달하거나, 모델의 내부 보상 헤드가 태스크 완료를 예측할 때(예: 연속된 스텝에서 보상 > 0.99) 생성이 중단됩니다.

학습 목적 함수

정책은 현재 태스크의 실제 시연 데이터 $D_k$와 모든 이전 태스크에 대해 합성된 의사 궤적 집합 $R_k$를 결합한 데이터셋 $D^+_k = D_k \cup R_k$에 대해 행동 복제(behavioral cloning)를 통해 업데이트됩니다. 손실 함수는 각 태스크 지시어에 조건화된 상태에서, 정책의 예측 행동과 의사 궤적 내의 행동 간의 차이를 최소화합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. REGEN 프레임워크: 실제 과거 시연을 저장하지 않고도 궤적을 합성하는, WAM 자체를 네이티브 생성 리플레이 메커니즘으로 사용하는 최초의 지속적 모방 학습 프레임워크입니다.
2. 실증적 검증: 시뮬레이션(LIBERO 벤치마크) 및 실제 환경(xArm7 매니퓰레이터) 모두에서 REGEN이 파괴적 망각을 실질적으로 완화하고 새로운 태스크로의 순방향 전이(forward transfer)를 보존함을 입증했습니다.
3. 한계 분석: 생성된 리플레이가 실제 경험 리플레이와 일치하지 못하게 만드는 구체적인 병목 현상을 식별했습니다: (i) 재귀적 생성 과정에서의 장기 호라이즌 시각적 퇴화, (ii) 예측된 미래 관측값과 그에 대응하는 생성된 행동 사이의 불일치.

4. 실험 결과

시뮬레이션 (LIBERO 벤치마크)

실험은 LIBERO-Spatial, LIBERO-Object, LIBERO-Goal 스위트에서 수행되었습니다.

• 성능: REGEN은 단순 순차적 미세 조정(Seq-FT)에 비해 부정적 역방향 전이(Negative Backward Transfer, NBT)를 50% 이상 감소시켰습니다. 예를 들어, LIBERO-Goal에서 NBT는 Seq-FT의 100에서 REGEN의 44.9로 떨어졌습니다.
• 비교: 실제 데이터를 사용하는 경험 리플레이(ER)가 상한선(upper bound)이지만, REGEN은 다른 비-리플레이 베이스라인(Seq-LoRA, EWC, PackNet)보다 우수한 성능을 보였으며 특권적 ER(privileged ER) 방식의 성능에 근접했습니다.
• 표현 안정성: 액션 표현 드리프트(action representation drift) 분석 결과, REGEN은 Seq-FT(0.30)에 비해 현저히 낮은 드리프트(0.12)를 유지하여 정책의 내부 구조를 보존했습니다.

실제 조작 (Real-World Manipulation)

xArm7 로봇을 사용하여 물체(당근, 가지)를 그릇이나 접시에 놓는 태스크에 대한 테스트를 수행했습니다.

• 결과: REGEN은 Seq-FT와 비교했을 때 망각(NBT)을 96.3에서 60.5로 줄였고, 순방향 전이(FWT)를 50에서 80으로 향상시켰습니다.
• 의의: 이는 과거 데이터를 다시 수집하는 것이 불가능한 실제 로봇 환경에서 본 방법론의 실용성을 확인해 줍니다.

5. 한계 및 향후 방향

저자들은 REGEN이 아직 실제 경험 리플레이를 완전히 대체할 수는 없음을 명시적으로 언급합니다. 성능 격이는 두 가지 주요 요인에 기인합니다:

1. 시각적 충실도 저하(Visual Fidelity Degradation): 모델이 관측값을 재귀적으로 생성함에 따라 시각적 아티팩트와 흐릿함이 누적됩니다. 이러한 퇴화는 감독 신호(supervisory signal)를 약화시켜 NBT(망각)를 증가시키는 것과 상관관계가 있습니다.
2. 행동-관측 불일치(Action-Observation Inconsistency): "상상된" 성공률(생성된 비주얼 기반)과 "실제 실행된" 성공률(실제 행동 기반) 사이에 불일치가 존재합니다. 모델은 종종 시각적으로는 그럴듯한 성공 결과를 예측하면서도, 물리적으로는 불충분한 행동을 생성합니다.

본 논문은 WAM 생성의 충실도와 일관성을 개선하는 것이 의사 리플레이와 실제 경험 리플레이 사이의 간극을 메우기 위한 핵심적인 미래 연구 방향이라고 결론짓습니다.

6. 의의

본 논문은 "자신의 과거를 상상할 수 있는 로봇은 자신의 미래를 계속 학습할 수 있다"는 가설을 제시합니다. 저장된 시연 데이터 없이 지속적 학습을 위한 토대로서 WAM을 확립함으로써, REGEN은 데이터 프라이버시나 저장 공간의 제약으로 인해 전통적인 리플레이 버퍼를 사용할 수 없는 시나리오에서 로봇의 평생 학습(lifelong learning)을 향한 경로를 제시합니다. 이 연구는 WAM의 생성 능력이 현재의 생성 모델이 가진 한계점만 해결된다면 효과적인 암묵적 메모리(implicit memory) 역할을 할 수 있음을 강조합니다.