기술 요약: 술어와 행동을 함께 학습함으로써 제로샷 기술 조합 가능

1. 문제 정의

시연 학습 (LfD) 은 로봇이 복잡한 행동을 습득할 수 있게 했으나, 기존 생성형 시각 - 운동 정책은 재학습 없이 알려진 기술의 새로운 조합에 대해 일반화하는 데 종종 실패합니다. 현재 접근 방식은 일반적으로 행동 궤적에 대한 분포만을 모델링합니다. 다중 모드 행동을 포착하는 데 효과적이지만, 이러한 모델은 행동으로 유도되는 상징적 결과(상태 변화) 에 대해 추론할 능력이 부족합니다. 이러한 한계는 분포 편이가 누적되고 작업 변형의 공간이 조합적으로 증가하는 장기 작업에서 격차를 만듭니다.

이 격차를 해소하려는 이전 연구들은 종종 구성 요소를 분리했습니다: 행동을 생성하는 모델과 관찰로부터 술어를 분류하는 별도의 모델을 훈련시키는 방식입니다. 이러한 분리는 조작 행동과 그 상징적 효과 사이의 긴밀한 결합을 무시합니다. 결과적으로, 예측된 상징적 상태가 실제 행동 모드와 일치하지 않는 추론 시 불일치가 발생할 수 있으며, 이는 견고한 계획 기반 조합을 방해합니다.

2. 방법론: 술어 - 행동 기술 (PACTS)

저자들은 행동을 행동 궤적 ($x$) 과 술어 - 믿음 궤적 ($z$) 에 대한 결합 생성 과정으로 모델링하는 폐루프 시각 - 운동 정책 클래스인 **술어 - 행동 기술 (PACTS)**을 제안합니다.

핵심 공식화

$p(x|o)$와 $p(z|o)$를 별도로 학습하는 대신, PACTS 는 결합된 분포를 학습합니다:
$$(x, z) \sim p_\theta(x, z | o)$$
여기서:

• $x$는 시간 범위 $H$에 걸친 행동 궤적입니다.
• $z$는 술어 - 믿음 궤적으로, 시간 경과에 따른 술어 집합 $J$에 대한 소프트 진리 값 (신뢰도 점수, $[0, 1]$ 범위) 의 간결한 추적을 나타냅니다.
• $o$는 현재 관찰입니다.

이 결합 분포에서 샘플링함으로써, 모델은 특정 행동 모드에 대한 확신이 본질적으로 해당 상징적 추적에 대한 확신을 내포하는 일관된 쌍을 생성합니다.

아키텍처 구현

• 결합 변수: 모델은 결합 궤적 변수 $y \triangleq [x | z]$를 정의하고 단일 조건부 생성 모델 $p_\theta(y | o)$를 학습합니다.
• 목적 함수: 이 프레임워크는 **디노이징 확산 확률 모델링 (DDPM)**과 **조건부 흐름 매칭 (CFM)**을 모두 지원합니다.
  • DDPM: 결합 변수 $y$의 노이즈를 제거하기 위해 노이즈 예측 네트워크 $\epsilon_\theta$를 훈련합니다.
  • CFM: 최적 수송 경로를 따라 노이즈를 데이터로 운반하기 위해 벡터장 $v_\theta$를 훈련합니다.
• 백본: 궤적 생성기는 시간적 UNet(1D 컨볼루션) 또는 Transformer(시간 단계에 대한 자기 주의) 로 인스턴스화될 수 있습니다.
• 실행: PACTS 는 재귀적 시간 범위 방식으로 작동합니다. 각 제어 주기에서 현재 관찰을 조건으로 하여 결합 롤아웃 $(x, z)$을 샘플링하고, 행동의 접두사를 실행한 후 재샘플링합니다.

계획 기반 조합

생성된 술어 - 믿음 궤적 $z$는 계획을 위한 온라인 상징적 인터페이스 역할을 합니다.

1. 상태 추정: $z$의 연속적인 믿음 값은 임계값 처리 (예: $>0.5$) 되어 이산 술어 상태 $\hat{p}_t$를 생성합니다.
2. 계획 루프: 상용 PDDL 계획기는 이러한 예측된 상태를 사용하여 다음을 수행합니다.
   • 전제 조건과 효과를 확인합니다.
   • 목표를 달성하기 위해 기술을 순서대로 배치합니다.
   • 기술의 예측된 효과가 위반될 경우 (예: 환경 교란으로 인해) 재계획을 트리거합니다.
     이를 통해 제로샷 조합이 가능해져 로봇은 재학습 없이 학습된 기술을 순서대로 배치하여 새로운 목표를 달성할 수 있습니다.

데이터 도구

실제 배포를 용이하게 하기 위해 저자들은 기술 분할 및 라벨링 툴킷을 소개합니다. 이 도구는 다음과 같은 방식으로 단일화 된 시연 데이터셋 (예: LeRobot 형식) 을 기술 중심 데이터셋으로 변환합니다.

• 희소한 키프레임에 근거한 술어를 주석합니다.
• 이를 밀집된 시간 단계별 레이블로 보간합니다.
• 목표 달성 술어 구성에 기반하여 에피소드를 연속적인 기술별 궤적으로 분할합니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 합니다:

1. 결합 생성 공식화: 행동 궤적과 술어 추적을 결합된 생성 과정으로 취급하여 단일 모델 내에서 일관된 행동 - 결과 롤아웃을 생성하는 기술 모델.
2. 계획 기반 조합: 술어 - 믿음 추적을 온라인 인터페이스로 사용하여 기술을 순서대로 배치하고 모니터링하는 방법으로, 상용 계획기를 통한 제로샷 조합을 가능하게 함.
3. 오픈 소스 툴킷: 단일화 된 시연을 결합 $(x, z)$ 학습에 적합한 데이터셋으로 변환하는 분할 및 라벨링 툴킷.

4. 실험 결과

저자들은 2 차원 조합 벤치마크 (PushBarrier), 두 가지 3 차원 RoboMimic 작업 (Kitchen 및 Coffee Preparation), 그리고 실제 세계 큐브 포장 작업에서 PACTS 를 평가했습니다.

단일 정책 성능

• 행동 품질: 2D PushBarrier 환경에서 PACTS 는 다양한 백본 (UNet/Transformer) 과 목적 함수 (DDPM/CFM) 에서 완벽하거나 거의 완벽한 작업 보상을 달성했습니다 (최대 보상 $\approx 1.0$). 행동 전용 기준선을 능가하거나 일치시켰습니다. 3D 작업에서 PACTS 는 행동 전용 정책과 경쟁력을 유지하며 결과 모델링을 추가해도 제어 성능이 저하되지 않음을 입증했습니다.
• 술어 예측: PACTS 는 술어 분류 (F1, 재현율, 정밀도, 정확도) 에서 일관되게 기준선을 능가했습니다. 특히 공유 인코더지만 별도의 헤드를 가진 멀티태스크 기준선을 능가했는데, 이는 단순한 매개변수 공유보다 결합 샘플링이 더 강력한 귀납적 편향을 제공함을 시사합니다.

일관성 및 조합

• 술어 - 행동 일관성: 실험 결과 PACTS 의 예측된 믿음 롤아웃이 생성된 행동을 실행함으로써 실현된 실제 결과와 밀접하게 일치하는 것으로 나타났습니다 (낮은 교차 브라이어 및 교차 NLL 점수). 이는 상징적 추적이 사전이 아니라 행동에 의존적임을 확인시켜 주었습니다.
• 제로샷 조합: 시뮬레이션 및 실제 세계 환경에서 시스템은 학습된 하위 기술을 조합하여 종단 간으로 시연되지 않은 새로운 목표 (예: 특정 색상의 큐브만 포장) 를 달성하는 데 성공했습니다.
• 적대적 복구: 시스템은 술어 인터페이스를 통해 기술의 효과가 위반되었을 때 (예: 실행 중 문이 닫힘) 이를 감지하고 재계획을 트리거하여 작업을 복구 및 완료하는 능력을 입증했습니다.

5. 중요성 및 주장

이 논문은 현재 기술 학습의 근본적인 한계가 행동과 그 상징적 결과의 분리라고 주장합니다. 기술을 결합된 행동 - 결과 롤아웃으로 모델링함으로써 PACTS 는 정책의 행동과 자연스럽게 일관된 "계획가 정렬" 인터페이스를 제공합니다.

저자들은 이 접근 방식이 다음을 가능하게 한다고 주장합니다:

• 견고한 일반화: 재학습 없이 보지 못한 작업 조합을 위해 기술을 순서대로 배치할 수 있는 능력.
• 신뢰할 수 있는 모니터링: 계획자가 실행 진행 상황을 확인하고 실패를 감지할 수 있게 하는 온라인 상징적 인터페이스.
• 귀납적 편향: 결합된 분포를 학습하면 정책이 행동 모드와 상징적 전환 사이의 특정 관계를 표현하도록 장려되어 제어와 예측 모두를 개선합니다.

이 논문은 결론을 내리며 겸손하게, 성능은 술어 집합의 품질에 의존하며 현재 접근 방식은 수동으로 정의된 상징적 도메인을 가정한다고 인정합니다. 그러나 행동과 결과의 결합 모델링은 확장 가능하고 신뢰할 수 있으며 조합 가능한 로봇 기술을 향한 필수적인 단계라고 주장합니다.