기술 요약: AtomSkill

문제 정의

다양한 멀티태스크 로봇 조작으로 모방 학습(Imitation Learning, IL)을 확장하는 것은 여전히 중요한 과제입니다. Diffusion Policy(DP) 및 ACT와 같은 최근의 방법론들은 단일 태스크 설정에서는 성공을 거두었으나, 멀티태스크 시나리오에서는 다음과 같은 근본적인 문제들로 인해 어려움을 겪습니다: 차선의 전문가 데모(suboptimal expert demonstrations), 궤적 노이즈, 그리고 행동의 다중 모드성(behavioral multi-modality). 이러한 문제들은 종종 정책이 일반화에 실패하거나 태스크 간의 파괴적인 간섭(destructive interference)을 겪게 만듭니다.

기존의 스킬 기반 접근 방식들은 행동을 재사용 가능한 추상체로 분해하려고 시도하지만, 두 가지 주요한 한계에 직면해 있습니다:

1. 언어적 편향(Linguistic Bias): LISA 및 SkillDiffuser와 같은 방법들은 언어 및 시각적 입력을 통해 언어적 추상화를 학습하지만, 액션 공간(action space)과의 매끄러한 정렬이 부족하여 태스크 특유의 행동을 분리하거나 다중 모드 행동을 모델링하는 데 어려움을 겪습니다.
2. 의미론적 정렬 결여(Lack of Semantic Alignment): 행동 중심 방법론(예: Discrete Policy, QueST, STAR)은 벡터 양자화(Vector Quantization, VQ)를 사용하여 원시 액션 시퀀스로부터 직접 스킬을 학습합니다. 그러나 이러한 추상화는 의미론적 동등성보다는 저수준의 운동 규칙성에 의해 구동됩니다. 결과적으로, 의도는 유사하지만 태스크 컨텍스트가 다른 동작들이 별개의 잠재 토큰으로 인코딩되어, 효과적인 교차 태스크 정렬을 방해하고 일반화 능력을 제한합니다.

방법론: AtomSkill

저자들은 데모로부터 의미론적으로 정렬된 **원자적 스킬 공간(Atomic Skill Space)**을 학습하고, **키포즈 상상(keypose imagining)**을 통해 견고한 장기 실행(long-horizon execution)을 가능하게 하도록 설계된 프레임워크인 AtomSkill을 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. VLM을 이용한 의미론적 스킬 발견

프레임워크는 먼저 전문가 데모 궤적을 중복되지 않는, 의미론적으로 일관된 하위 궤적(원자적 스킬)으로 분할합니다.

• 분할(Segmentation): 궤적은 **그리퍼 상태 키프레임(gripper-state keyframes)**을 기준으로 나뉩니다. 그리퍼 상태의 변화(예: 열림에서 닫힘으로)는 하나의 스킬이 끝나고 새로운 스킬이 시작됨을 나타내는 견고한 지표 역할을 합니다.
• 레이블링(Labeling): 대규모 시각-언어 모델(VLM)을 사용하여 각 세그먼트를 분석하고 의미론적 스킬 레이블(예: "grasp", "place")과 자연어 설명을 할당합니다. 이를 통해 스킬 경계를 단순한 시간적 또는 저수준 운동 패턴이 아닌 의미론적 구조에 기반하여 확립합니다.

2. 의미론적 대조 학습을 통한 원자적 스킬 학습

핵심 학습 모듈은 대조 학습(contrastive learning)으로 강화된 VQ-VAE 아키텍처를 사용하여 잠재 스킬 공간을 구조화합니다.

• 스킬 양자화(Skill Quantization): 스킬 인코더는 가변 길이의 하위 궤적을 고정 길이의 연속적 임베딩으로 압축한 후, 학습 가능한 코드북(벡터 양자화)을 통해 이산 토큰으로 매핑합니다.
• 의미론적 대조 손실(Semantic Contrastive Loss): 이산 토큰이 의미론적으로 유의미한 스킬을 나타내도록 하기 위해, 저자들은 두 가지 항을 가진 대조 목적 함수를 도입합니다:
  • 시간적 일관성($L_{temp}$): 동일한 양자화 토큰과 시퀀스 내 상대적 위치를 공유하는 임베딩들이 서로 가까워지도록 유도하여 구조적 일관성을 보장합니다.
  • 의미론적 인식($L_{skill}$): 동일한 의미론적 레이블(VLM으로부터 획득)을 공유하는 임베딩들이, 비록 서로 다른 태스크에서 유래했을지라도 함께 클러스터링되도록 유도합니다. 이는 기능적으로 유사한 스킬(예: 서로 다른 컨텍스트에서의 "grasp")이 동일한 잠재 표현을 공유하도록 강제합니다.
• 키포즈 상상을 포함한 액션 디코더(Action Decoder with Keypose Imagining): 디코더($\psi_\theta$)는 관측값과 현재 스킬 토큰을 입력으로 받아 다음 두 가지를 공동으로 예측합니다:
  1. 즉각적인 액션 청크(단기 제어).
  2. 현재 스킬의 목표 상태를 나타내는 종단 키포즈(terminal keypose, $a_{keypose}$).

3. 원자적 스킬 사전 확률을 이용한 추론

실행 중에는 디퓨전 기반 샘플러와 키포즈 기반 전이 전략을 사용합니다.

• 원자적 스킬 사전 확률(Atomic Skill Prior): 디퓨전 모델($\rho_\theta$)은 태스크 지시문과 현재 관측값에 조건화되어 고수준 스킬 임베딩을 샘플링합니다. 이 샘플러는 새로운 스킬이 필요할 때만 호출됩니다.
• 키포즈를 이용한 액션 청킹(Action Chunking with Keypose): 정책은 액션 청크를 생성합니다. 다음 스킬로의 전이는 예측된 다음 액션이 예측된 **종단 키포즈(terminal keypose)**에 충분히 가까워질 때 자율적으로 트리거됩니다. 이는 스킬 종료를 결정하기 위한 수동 휴리스틱이나 추가적인 분류기의 필요성을 제거하여, 매끄럽고 견고한 스킬 체이닝을 가능하게 합니다.

주요 기여

1. AtomSkill 프레임워크: 구조화되고 의미론적으로 정렬된 원자적 스킬 공간을 학습하고 활용하는 새로운 멀티태스크 모방 학습 프레임워크를 제 제안합니다.
2. 의미론적으로 근거를 둔 스킬 라이브러리: 그리퍼 상태 탐지를 사용하여 데모를 분할하고 VLM 주석을 달며, 대조 목적 함수를 사용하여 의미론적 일관성과 시간적 일관성을 정렬하는 컴팩트하고 재사용 가능한 스킬 코드북을 구축하는 패러다임을 제시합니다.
3. 키포즈 조건부 액션 생성: 종단 키포즈와 즉각적인 액션을 공동으로 예측하는 액션 디코더를 제공합니다. 이 메커니즘은 장기적인 운동 목표에 대한 추론과 미세한 제어를 동시에 가능하게 하여, 수동 개입 없이도 견고한 스킬 체이닝을 촉진합니다.

실험 결과

저자들은 시뮬레이션(RLBench) 및 실제 환경(단일 암 및 이중 암 태스크) 모두에서 AtomSkill을 평가했습니다.

• 시뮬레이션 (RLBench): 12개의 다양한 태스크에 대해 AtomSkill은 평균 성공률(SR) **74.2%**를 달성하였으며, 이는 MT-ACT(68.6%), DP(36.9%), QueST(32.8%)를 포함한 최신 성능의 베이스라인들을 능가하는 수치입니다. 특히 공간적 국지화와 다단계 협업이 필요한 태스크에서 강점을 보였습니다.
• 실제 단일 암 (Real-World Single-Arm): AtomSkill은 평균 태스크 진행도(ATP) 0.93 및 성공률(SR) **90.0%**를 달성하여, 베이스라인(예: ATP 0.73을 기록한 ACT)을 크게 앞질렀습니다.
• 실제 이중 암 (Real-World Dual-Arm): 복잡한 양팔 태스크(예: "Pot Tidy Up")에서, AtomSkill은 제한된 데이터(태스크당 100개의 데모)로 처음부터 학습했음에도 불구하고 가장 높은 성능(0.60 ATP, 46.7% SR)을 달 기록했습니다. 반면, 대규모 사전 학습에 의존하는 RDT와 같은 베이스라인들은 큰 어려움을 겪었습니다.
• 절제 연구 (Ablation Studies): 시간적 또는 의미론적 대조 손실 중 하나라도 제거하면 성능이 저하되었으며, 이는 두 요소의 상호 보완적인 역할을 확인시켜 줍니다. 마찬가지로, 키포즈 예측을 제거하면 특히 국지화가 중요한 태스크에서 성공률이 감소하여, 공간적 근거 설정(spatial grounding)에서의 역할을 입증했습니다.

의의 및 주장

본 논문은 AtomSkill이 저수준의 운동 규칙성을 넘어 의미론적으로 정렬된 원자적 스킬을 학습함으로써 멀티태스크 모방 학습의 핵심적인 격차를 해결한다고 주장합니다. VLM을 통해 의미론적 구조에 스킬 경계를 명시적으로 부여하고 대조 학습을 통해 의미론적 일관성을 강제함으로써, 이 방법은 태스크 간에 매우 컴팩트하고 전이 가능한 스킬 공간을 달s 성합니다.

**키포즈 상상(keypose imagining)**의 통합은 장기 실행을 위한 핵심 혁신으로 강조됩니다. 이는 정책이 스킬의 종단 상태를 추론할 수 있게 하여, 취약한 수동 종료 휴리스틱에 의존하지 않고도 스킬 간의 자율적이고 매끄러운 전이를 가능하게 합니다.

저자들은 명확한 물리적 전이가 없는 연속적인 태스크(예: 소스를 바르는 동작)의 경우 원자적 스킬의 세밀함(granularity)을 정의하는 데 모호함이 생길 수 있다는 한계를 인정합니다. 그러나 실험 결과는 명확한 상호작 작용 단계가 존재하는 태스크에 대해 AtomSkill이 확장 가능한 멀티태스크 로봇 조작을 위한 견고한 솔루션을 제공함을 보여줍니다.