기술 요약: See2Act – 로봇 모방 학습을 위한 능동적 인지를 위한 확산 모델(Diffusion Models)

문제 정의

현재의 시각-운동 제어(visuomotor control)를 위한 모방 학습(Imitation Learning, IL) 방식은 일반적으로 완전한 관측 가능성과 고정된 시점을 가정하며, "보는 능력"과 "행동하는 능력"을 혼재시켜 취급한다. 실제 환경에서는 물체가 빈번하게 가려지기 때문에, 로봇은 조작을 수행하기 전 작업 관련 정보를 능동적으로 탐색해야 한다. 기존 방식들은 근본적인 한계에 직면해 있다: 데모(demonstrations)는 시점 선택과 조작을 얽히게 만들지만, 표준 IL은 이 둘을 분리하여 취급하거나 필요한 시각 정보가 이미 보인다고 가정한다.

• **고정 시점 정책(Fixed-view policies)**은 작업 관련 영역이 가려져 있을 때 실패한다.
• 다중 시점 또는 수동적 시점 선택(Multi-view or passive-view selection) 방식(예: 미리 설정된 시점 집합에서 최적의 뷰를 선택하는 방식)은 정책이 가려짐을 해결하기 위해 카메라를 어떻게 움직여야 하는지 가르쳐주지 못한다.
• 데이터 비효율성: 단순히 데모에 추가적인 시점을 증강하는 것은 데이터 요구량을 조합론적으로 증가시키지만, 어떤 뷰가 특정 행동에 유용한지는 정책에게 가르쳐주지 못한다.

핵심 과제는 제한된 데모로부터 어디를 볼 것인가와 어떻게 행동할 것인가를 공동으로 결정하는 정책을 학습하는 것이며, 특히 심각한 가려짐(occlusion)이 발생하는 상황에서 그러하다.

방법론: See2Act

저자들은 행동 디노이징(action denoising)과 시점 정교화(viewpoint refinement)를 단일 생성 루프 내에서 결합하는 확산 기반 모방 학습 프레임워크인 See2Act를 제안한다. 핵심 통찰은 확산 궤적(diffusion trajectory)이 행동과 시점에 대한 궤적 역할을 한다는 것이다.

1. 학습 전략

정책은 디지털 트윈을 사용하여 시뮬레이션에서 전체적으로 학습되며, 오프라인 조작 데이터셋을 활용한다.

• 키프레임 행동(Keyframe Actions): 데모는 pick/place 작업을 위한 end-effector 포즈를 나타내는 타겟 키프레임 행동($a_0$)으로 분해된다.
• 시점 앵커링(Viewpoint Anchoring): 고정된 세계 좌표계 대신, 행동은 카메라 좌표계에서 표현된다. 각 확산 타임스텝 $t$에 대해 카메라 포즈 $C_t$가 생성된다.
  • 앵커(Anchors): 궤적은 광범위한 글로벌 뷰($C_T$)와 키프레임 행동 $a_0$로부터 직접 유도된 타겟 중심 뷰($C_0$) 사이로 앵커링된다.
  • 보간(Interpolation): 중간 포즈 $C_t$는 $C_T$와 $C_0$ 사이의 위치에 대해서는 선형 보간을, 방향에 대해서는 구면 선형 보간(SLERP)을 통해 생성된다.
• 노이징 프로세스(Noising Process): 타겟 행동 $a_0$는 카메라 프레임 $C_t$로 변환되어 시점 의존적 타겟 $\hat{a}_0$를 생성한다. 가우시안 노이즈가 추가되어 노이즈가 섞인 행동 $\hat{a}_t$가 만들어진다.
• 목표(Objective): 비주얼 인코더와 노이즈 예측 네트워크는 관측값 $O_t$($C_t$로부터 렌더링됨)와 노이즈가 섞인 행동 $\hat{a}_t$가 주어졌을 때 노이즈 $\epsilon$을 예측하도록 학습된다. 모델은 행동을 디노이징하는 동시에 그에 상응하는 정보가 풍부한 시점을 암묵적으로 학습한다.

2. 추론: 능동적 시점 추론(Active Viewpoint Inference)

테스트 시, 정책은 결합된 역확산(reverse diffusion) 과정을 수행한다:

1. 초기화: 글로벌 뷰($C_T$)와 노이즈가 섞인 행동 추정치로 시작한다.
2. 반복적 정교화: 각 디노이징 단계 $t$에서:
   • 현재 관측값 $O_t$를 캡처한다.
   • 노이즈를 예측하고 카메라 프레임에서의 행동 추정치를 업데이트한다.
   • 정교화된 행동 추정치를 다시 세계 좌표계로 변환한다.
   • 카메라 재배치: 업데이트된 행동 추정치를 기반으로(학습 시와 동일한 보간 로직 사용) 더 타겟 중심적인 새로운 카메라 포즈 $C_{t-1}$을 계산한다.
   • 새로운 관측값 $O_{t-1}$을 캡처한다.
3. 실행: 이 루프는 $t=0$까지 계속되어, 최종 행동과 가려짐을 능동적으로 해결하는 일련의 카메라 포즈를 도출한다. 정책은 안정성을 확보하기 위해 카메라 포즈 변화의 분산이 가장 작은 롤아웃(rollout)을 선택한다.

주요 기여

1. See2Act 프레임워크: 디지털 트윈을 활용하고 카메라 궤적이 전적으로 행동 레이블에 의해 감독되는 새로운 학습 전략을 통해, 시점과 행동의 결합을 학습하는 시점 불가지론적(viewpoint-agnostic) 정책을 구현했다.
2. 능동적 시점 추론: 별도의 계획 단계나 인지 보상 없이도, 로봇이 자율적으로 가려짐을 해결할 수 있도록 카메라 포즈와 예측된 행동을 반복적으로 동시에 정교화하는 테스트 타임 메커니즘을 제공한다.
3. 벤치마크 성능:
   • Ravens: 가려짐이 심한 4개의 새로운 작업에서 평균 91%의 성공률을 달enc성하며, 고정 시점, 다중 시점 및 줌 전용 베이스라인을 크게 압도했다.
   • RLBench: 9개 작업에 대해 평균 81.1%의 성공률을 기록하며, 단 하나의 능동적으로 재배치된 2D 뷰만을 사용했음에도 불구하고 최신 3D 및 다중 시점 정책(예: RVT-2, PerAct)보다 우수한 성능을 보였다.
4. 제로샷 Sim-to-Real 전이: 손목에 장착된 깊이 카메라를 가진 물리적 UR10 로봇에서 입증되었다. 디지털 트윈에서 수집된 단 50개의 데모만을 사용하여, 심각한 가려짐이 있는 실제 환경의 pick-and-place 작업에서 실시간 미세 조정 없이 95%의 성공률을 달성했다.

실험 결과

• 가려짐 해결: Ravens 작업(예: bin-picking, put-within-shelf)에서 고정 시점 베이스라인(Conv-MLP, Diff-MV)은 실패(0% 성공률)했다. 수동 시점 선택(Diff-MV-Entropy)은 최대 64%에 도달했으나 복잡한 가려짐에는 어려움을 겪었다. See2Act는 최대 100%의 성공률을 달성하며, 숨겨진 영역을 찾아내기 위해 반복적인 능동적 정교화가 필수적임을 보여주었다.
• 탐색 행동: bin-search 작업에서 See2Act는 현재 뷰가 비어 있을 때 대안적인 빈(bin)을 조사하기 위해 카메라를 재지향하는 창발적 탐색 행동을 보였으며, 베이스라인이 0%를 기록한 곳에서 100%의 성공률을 달성했다.
• 정밀 조작: 1~2mm의 공차를 요구하는 실제 shelf-kitting 작업에서, See2Act는 고정 시점 방식의 25% 대비 95%의 성공률을 기록했다. 디노이징 과정 중 카메라를 타겟에 가깝게 이동할 수 있는 능력이 고정밀 삽입에 필요한 기하학적 세부 정보를 제공했다.
• 강건성: 정책은 훈련 분포 외의 초기 카메라 포즈에 대해서도 강건함을 보였으며, 훈련 분포 밖의 시점에서 시작하더라도 성능 저하가 8~10% 정도로 미미했다.

의의 및 주장

본 논문은 조작을 행동 정교화와 시각적 증거 획득의 결합된 과정으로 취급함으로써 See2Act가 모방 학습의 중요한 간극을 해결한다고 주장한다.

• 통합 학습: 명시적인 시점 주석이나 인지를 위한 강화 학습 보상 없이도, 오프라인 데이터로부터 "어디를 볼 것인가"와 "어떻게 행동할 것인가"를 공동으로 학습할 수 있음을 입증했다.
• 효율성: 제한된 데이터(50개 데모)로 강력한 성능을 달성했으며, 깊이 관측과 능동적 시점 정교화를 사용하여 심투리얼(sim-to-real) 간극을 극복하고 제로샷 전이를 성공시켰다.
• 한계: 저자들은 매 디노이징 단계마다 새로운 관측이 필요하여 실행 속도가 느려질 수 있다는 점을 인정했다. 향후 연구로는 숙련되고 역동적인 조작을 위한 조밀한 궤적 예측으로 프레임워크를 확장하는 것을 제안했다.

이 연구는 능동적 인지가 확산 디노이징 루프에 직접 내장될 때, 고정 시점, 다중 시점 및 수동 선택 방식이 할 수 없는 방식으로 부분적 관측 가능성을 해결할 수 있음을 확립하였다.