기술 요약: 체화된 지속 학습을 위한 기술-구성적 전문가 (Skill-Compositional Experts)

문제 정의

본 논문은 로봇이 폐쇄 루프 제어(closed-loop control) 하에서 이전에 학습한 행동을 유지하면서 새로운 조작 작업을 순차적으로 습득해야 하는 설정인 **체화된 지속 학습(Embodied Continual Learning, ECL)**을 다룹니다. 데이터가 정적인 일반적인 지속 학습(CL)과 달리, ECL은 로봇의 행동에 따라 관측값이 진화하는 동적인 환경을 포함합니다.

식별된 핵심 과제는 **파괴적 망각(catastrophic forgetting)**이며, 이는 **특징 드리프트(feature drift)**에 의해 ECL에서 더욱 악화됩니다. 시각-언어-행동(Vision-Language-Action, VLA) 모델이 새로운 작업을 학습함에 따라, 그들의 특징 표현(feature representations)이 기존 작업과 관련된 것들로부터 멀어지는 드리프트 현상이 발생합니다. 폐쇄 루프 제어 하에서 이러한 드리프트는 단순히 정적인 성능 저하에 그치지 않습니다. 이는 순차적 의사결정을 통해 전파되어 오류를 누적시키고, 이전에 학습된 행동의 퇴보를 초래합니다. 기존 방법들은 작업을 고립된 단위로 취급하거나, 일관된 구성을 위한 명시적인 기술 조직 없이 기술 발견(skill discovery)에만 집중하여 일관되지 않은 재사용과 증폭된 드리프트를 유발합니다.

방법론: SCE 프레임워크

저자들은 재사용 가능한 기술의 구성을 통해 지속적인 작업 학습을 가능하게 하도록 설계된 SCE (Skill-Compositional Experts) 프레임워크를 제안합니다. 이 아키텍처는 사전 학습된 VLA 모델에 통합되는 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 구성적 기술 접지 (Compositional Skill Grounding, CSG)

CSG는 작업 데모를 재사용 가능한 기술로 분해하고 이를 **기술 베이스(Skill Base)**로 조직하는 역할을 합니다. 이는 두 단계로 작동합니다:

• 상태 인식 작업 분해(State-Aware Task Decomposition): 로봇 상태 역학(구체적으로 그리퍼 상태 변화 및 말단 장치 운동 트렌드 변화)을 사용하여 원시 작업 데모를 시간적으로 일관된 세그먼트로 분할합니다.
• VLM 기반 기술 유도(VLM-Grounded Skill Induction): 시각-언어 모델(VLM)이 이러한 세그먼트를 현재의 기술 베이스와 대조하여 접지(grounding)합니다. 만약 세그먼트가 기존 기술과 일치하면 해당 기술이 할당되고, 그렇지 않으면 새로운 재사용 가능한 기술이 유도되어 베이스에 추가됩니다. 이 과정은 훈련 데이터에 대한 기술 주석($s$)을 생성하여 모델이 구조화된 기술 공간을 학습할 수 있게 합니다.

2. 이중 실행 및 전이 전문가 (Dual Execution-and-Transition Experts, DETE)

DETE는 기술 구성을 지원하기 위해 VLA 행동 디코더에 두 개의 상호 보완적인 전문가 브랜치를 증강합니다:

• 실행 전문가 브랜치(Execution Expert Branch): 기술 특화 행동 패턴을 모델링하는 데 집중합니다. 현재 기술 분포를 기반으로 풀(pool)에서 가장 관련 있는 전문가를 선택하기 위해 라우터를 사용하며, 이를 통해 개별 기술의 안정적인 실행을 보장합니다. 업데이트를 특정 전문가로 국한함으로써 관련 없는 기술과의 간섭을 줄입니다.
• 전이 전문가 브랜치(Transition Expert Branch): 교차 기술 전이 패턴을 모델링하는 데 집중합니다. 기술 변화는 흔히 즉각적이기보다는 시간적 간격을 두고 발생하므로, 이 브랜치는 이전 기술과 후속 기술 사이의 의존성을 포착합니다. 기술 분포를 통합한 전이 인식 라우터를 사용하여 기술 전환 중의 모호성을 모델링합니다.
• 적응형 퓨전(Adaptive Fusion): 적응형 퓨전 모듈은 실행 브랜치와 전이 브나치의 출력을 동적으로 결합합니다. 전이 인식 라우팅 특징을 기반으로 균형 계수($\alpha$)를 계산합니다. 기술 분포가 단일 기술에 집중되어 있을 때는 실행을 강조하고, 기술 경계 근처에서는 일관된 행동을 보장하기 위해 전이 브랜치로 가중치를 이동시킵 most.

모델은 행동 생성을 위한 기존의 flow-matching 손실 함수와 기술 분포를 감독하기 위한 보조 교차 엔트로피 손실을 결합하여 최적화됩니다.

주요 기여

1. SCE 프레임워크: 재사용 가능한 기술을 구성함으로써 지속 학습을 가능하게 하고, 폐쇄 루프 ECL의 특수한 과제인 특징 드리프트를 해결하는 기술-구성적 전문가 프레임워크를 제안했습니다.
2. CSG 및 DETE 모듈:
   • CSG: 데모를 재사용 가능한 기술로 분해하고 구조화된 기술 베이스를 유지하는 메커니즘입니다.
   • DETE: 기술 특화 실행과 교차 기술 전이를 분리하여 안정적인 실행과 일관된 전환을 가능하게 하는 이중 전문가 아키텍처입니다.
3. 실증적 검증: SCE가 최신 베이스라인 모델들에 비해 특징 드리프트를 효과적으로 완화하고 유지 성능을 향상시킨다는 것을 광범위한 실험을 통해 입증했습니다.

실험 결과

저자들은 시뮬레이션 및 실제 환경 벤치마크 모두에서 SCE를 평가했습니다.

• 시뮬레이션 (LIBERO 벤치마크):

  • LIBERO-Goal에서 SCE는 **83.4%**의 최종 성공률(SR)과 **4.3%**의 신규 작업 망각(NBT)을 달 기록했으며, 이는 Task-MoE(64.8% SR, 15.8% NBT)와 같은 베이스라인을 크게 상회하는 수치입니다.
  • LIBERO-Long에서 SCE는 **73.4%**의 최종 SR과 **0.5%**의 NBT를 달성하여, 긴 호라이즌에서도 탁월한 안정성을 보여주었습니다.
  • 사용된 지표로는 순방향 전이(FWT), NBT, AUC(Area Under Curve), 최종 SR이 있습니다.

• 실제 조작 (Real-World Manipulation):

  • 세 가지 순차적 작업(Box-to-Board, Board-to-Bowl, Box-to-Bowl)에 대해 7자유도 Mercury B1 로봇을 사용한 실험에서, SCE는 **83.3%**의 최종 SR과 **0.0%**의 NBT를 달성하여 Task-MoE 베이스라인(56.7% SR, 10.0% NBT)보다 우수한 성능을 보였습니다.

• 특징 드리프트 분석:

  • 분석 결과, 표준 순차 훈련은 행동 특징에서 상당한 드리프트(VLM 특징보다 최대 6.9배 더 큰 드리프트)를 유발하는 반면, SCE는 이 드리프트를 실질적으로 감소시켰습니다.
  • 공유 앵커 롤아웃(Shared-anchor rollouts)은 SCE가 베이스라인에 비해 폐쇄 루프 제어 하에서 참조 행동으로부터 훨씬 작은 시뮬레이터 상태 격차를 유지함을 보여주었습니다.

• 절제 연구 (Ablation Studies):

  • CSG를 제거했을 때 최종 SR이 83.4%에서 70.0%로 하락하여, 명시적인 기술 조직의 필요성을 강조했습니다.
  • 실행 또는 전이 전문가 브랜치 중 하나라도 제거하면 성능이 저하되었으며, 이는 기술 특화 실행과 교차 기술 전이 모델링이 서로 보완적이며 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 SCE가 체화된 지속 학습에서의 **안정성-가소성 트레이드오프(stability-plasticity trade-off)**에 대한 강력한 솔루션을 제공한다고 주장합니다. 지식을 재사용 가능한 기술로 구조화하고 기술 간의 전이를 명시적으로 모델링함으로써, 폐쇄 루프 성능을 저하시키는 전형적인 특징 드리프트의 축적을 방지합니다. 저자들은 이 방식이 로봇이 기존에 학습한 행동을 작업 수준이나 비구조적 기술 수준의 방법보다 더 효과적으로 유지할 수 있게 하여, 실제 로봇 배포에서의 장기적 적응성을 위한 실행 가능한 단계가 될 것이라고 단언합니다. 이 연구는 향-규모 및 더 개방적인 기술 레퍼토리를 위해 이 구성적 접근 방식을 확장하는 방향을 제시합니다.