Implicit-Behavior Coordination from Unlabeled Sub-Task Demonstrations for Rearrangement Tasks

기술 요약: 레이블이 없는 하위 작업 데모로부터의 암시적 행동 협업 (Implicit-Behavior Coordination from Unlabeled Sub-Task Demonstrations)

문제 정의

본 논문은 전형적인 스킬 시퀀싱 문제로 정식화되는 장기적 로봇 재배치(long-horizon robotic rearrangement) 과제의 어려움을 다룹니다. 이 과제는 일반적으로 사전 정의된 스킬(예: 내비게이션, 집기, 놓기), 명시적인 스킬 레이블, 그리고 태스크별 전환 로직을 필요로 합니다. 저자들은 행동의 수와 태스크의 호라이즌(horizon)이 증가함에 따라, 이러한 명시적인 협업 계층을 유지하는 것이 엔지니어링 측면의 병목 현상이 된다고 주장합니다.

제안된 학습 설정은 기존 연구보다 더 제한적입니다:

• 입력: 에이전트는 혼합된 형태의 개별 하위 작업(예: 내비게이션, 서랍 열기, 집기, 놓기)에 대한 레이블이 없는 데모만을 제공받습니다.
• 제약 조건: 스킬 경계, 스킬 식별 레이블, 전체 태스크 궤적(trajectory), 그리고 오라클 태스크 플랜(oracle task plans)이 존재하지 않습니다.
• 목표: 현재 관측값을 행동으로 매핑하고, 부분적으로 관측되는 환경에서 희소한 재배치 목적(대상 위치에 물체를 놓는 것)을 달려 달성하기 위해 이러한 암시적 행동들을 적응적으로 협업하는 정책을 학습하는 것입니다.

방법론

제안된 프레임워크인 **암시적 행동 협업(Implicit-Behavior Coordination)**은 명시적인 스킬 시퀀싱을 가치 기반 선택(value-guided selection)과 결ist된 생성적 접근 방식으로 대체합니다. 시스템은 두 가지 주요 구성 요소로 이루어집니다:

1. 다중 모드 플로우 매칭 정책 (Multi-Modal Flow Matching Policy):

   • 혼합된 레이블 없는 하위 작업 데모를 사용하여 컨디셔널 플로우 매칭(conditional Flow Matching) 정책(트랜스포머 백본 사용)을 학습합니다.
   • 이 정책은 행동의 다중 모드 분포를 학습합니다. 단일 결정론적 행동을 예측하는 대신, 현재 관측 컨텍스트에 조건화된 여러 후보 행동 청크(미래 행동의 시퀀스)를 샘플링합니다.
   • 이 후보들은 명시적인 레이블 없이도 서로 다른 스킬 유사 행동(예: 내비게이션 vs. 놓기)을 암시적으로 나타냅니다.

2. 크리틱 가이드 적응형 선택 (Critic-Guided Adaptive Selection):

   • 학습된 크리틱 네트워크 $Q(s_n, a_n)$는 주어진 관측 컨텍스트에서 특정 행동 청크를 실행했을 때의 기대 수익(할인된 미래 보상의 합)을 추정합니다.
   • 인 샘플 플래닝 (In-Sample Planning): 보상이 희소하므로(성공적인 배치 시에만 발생), 크리틱은 인 샘플 플래닝 방법을 사용하여 학습됩니다. 이는 보상 정보를 중첩되는 데모 컨텍스트를 통해 역방향으로 전파합니다. 만약 "놓기" 데모가 높은 보상을 생성한다면, 그리고 "내비게이션" 데모가 해당 "놓기"와 유사한 행동을 생성할 수 있는 중첩된 컨텍스트를 공유한다면, 그 가치는 내비게이션 궤적으로 전파됩니다.
   • 불확실성 가중 집계 (Uncertainty-Weighted Aggregation): 신뢰할 수 있는 가치 전파를 보장하기 위해, 다음 컨텍스트의 가치는 $K$개의 후보 행동 청크에 대한 크리틱의 평가를 불확실성 가중 평균을 사용하여 계산합니다. 이는 몬테카를로 드롭아웃(Monte Carlo dropout)을 사용하여 분산을 추정함으로써, 데이터의 지지(support)가 부족한 비정상적인 고가치 후보들의 가중치를 낮춥니다.
   • 실행 루프: 추론 시, 정책은 $K$개의 후보 행동 청크를 생성합니다. 크리틱이 이들의 점수를 매기면, 예측된 가치가 가장 높은 청크가 실행을 위해 선택됩니다. 이 과정이 반복되면서 로봇은 현재 상태와 태스크 목적에 따라 암시적 행동 사이를 전환할 수 있습니다.

주요 기여

1. 정식화: 명시적인 스킬 라이브러리나 레이블이 있는 전체 태스크 궤적 없이도, 레이블 없는 하위 작업 데모로부터 장기적 행동 협업을 직접 학습하는 암시적 행동 협량 프레임워크를 도입했습니다.
2. 알고리즘: 오라클 플랜 없이도 협업을 가능하게 하는 생성적 플로우 매칭 정책과 가치 가이드 선택 메커니즘(불확실성 가중 크리틱 포함)을 사용하여 이 프레임워크를 구체화했습니다.
3. 경험적 검증: 혼합된 데이터로부터 학습된 암시적 행동이 복잡한 재배치 태스크를 해결하기 위해 어떻게 협업될 수 있는지, 행동 레퍼토리가 커짐에 따라 어떻게 확장되는지, 그리고 태스크별 모방 베이스라인에 비해 긴 호라이즌에서 어떻게 효과를 유지하는지를 입증했습니다.

실험 결과

Habitat 2.0 시뮬레이터 내 ReplicaCAD 데이터셋과 Fetch 로봇을 사용하여, 난이도가 점진적으로 증가하는 세 가지 태스크(Nav-Place, Nav-Pick-Nav-Place, Nav-Open-Pick-Nav-Place)를 평가했습니다.

• 베이스라인 대비 성능:

  • 제안된 방법은 스킬 레이블이 있는 전체 태스크 데모로 학습된 태스크 특화 모방 베이스라인인 Skill Transformer보다 복잡한 태스크(Nav-Pick-Nav-Place 및 Nav-Open-Pick-Nav-Place)에서 우수한 성능을 보였습니다.
  • 가장 복잡한 태스크에서, 오라클 플랜이나 스킬 레이블에 접근할 수 없음에도 불구하고 Oracle Planner + BC Skills 베이스라인(특권적 태스크 플랜과 명시적 스킬 분해를 사용하는 방식)의 성능에 근접했습니다.
  • 저자들은 Skill Transformer가 결정론적 예측으로 인해 행동 전환에 어려움을 겪는 반면, 제안된 방법은 다중 모드 행동 분포를 표현하고 크리틱을 통해 적절한 행동을 선택할 수 있는 능력 덕분에 성공했다고 분석했습니다.

• 어블레이션 연구 (Ablation Studies):

  • 신뢰할 수 있는 협업은 크리틱 가이드 선택에 의존함을 보여주었습니다. 후보들 사이에서 무작위 선택을 하거나 표준 소프트맥스 가중 크리틱을 사용하는 경우 성공률이 현저히 낮았습니다.
  • 불확실성 가중 크리틱은 지원되지 않는 고가치 후보로부터 가치가 전파되는 것을 방지하여 견고한 성능을 내는 데 필수적이었습니다.

• 확장성 실험 (Scaling Experiments):

  • 행동 레퍼토리: 모든 6가지 행동 모드로 학습된 "풀 레퍼토리(full-repertoire)" 에이전트는 필요한 모드만 학습한 태스크 특화 에이전트와 대등한 성능을 보였으며, 이는 프레임워크가 성능 저하 없이 추가적인 행동을 흡수할 수 있음을 나타냅니다.
  • 태스크 호라이즌: 체인된 타겟(chained-target) 실험(순차적으로 물체를 재배치)에서, 제안된 방법은 5개의 타겟까지 32%의 성공률을 유지하며 견고함을 보인 반면, Skill Transformer 베이스라인은 0.5%의 성공률로 붕괴되었습니다. 이 방법은 태스크 특화 모방 학습보다 누적된 실행 오류에 더 탄력적임을 증명했습니다.

• 실제 환경 검증: UR3e 테이블탑 플랫폼에서의 예비 실험을 통해, 실제 환경의 센싱 및 제어 노이즈 하에서도 행동 시퀀스를 실행할 수 있는 프레 framework의 능력을 입증했습니다. 다만, 타겟 위치는 관측값으로 제공되는 대신 희소 보상을 통해 추론되어야 했습니다.

의의 및 주장

본 논문은 명시적인 스킬 추상화가 장기적 재배치를 위한 필수 전제 조건이 아님을 주장합니다. 이 논문은 암시적 행동 협업을 명시적 스킬 기반 파이프라인의 유망한 데이터 기반 대안으로 포지셔닝합니다.

• 장점: 이 접근 방식은 스킬을 정의하고, 데이터를 레이블링하며, 전환 로직을 설계해야 하는 엔지니어링 부담을 피합니다. 태스크 특화 모방 학습에 비해 행동 레퍼토리와 태스크 호라이즌이 증가함에 따라 더 잘 확장됩니다.
• 트레이드오프: 특권적 오라클 시스템(그라운드 트루스 플랜에 접근 가능한 시스템)의 성능에는 미치지 못하지만, 오라클 정보 없이도 표준 모방 학습보다 우수한 성능을 내면서 중간 지점을 찾는 방식입니다.
• 한점: 이 방법은 가치 전파를 위해 하위 작업 데모의 충분한 커버리지와 중첩이 필요합니다. 현재 타겟이 명시적으로 관측되지 않는 실제 환경에서 서로 다른 타겟 위치에 대해 새로운 크리틱을 학습시켜야 하지만, 생성적 정책 자체를 재학습할 필요는 없습니다.

저자들은 향-후의 발전이 더 넓은 행동 데이터셋, 희소한 목적 함수 하에서의 더 강력한 가치 접지(value grounding), 그리고 실제 배포를 위한 견고한 객체/타겟 접지(object/target grounding)를 필요로 한다고 결론지었습니다.