기술 요약: CoStream

문제 정의

장기적이고 접촉이 빈번한 조작 작업(예: 밀리미터 단위의 간극을 가진 PCIe 슬롯에 GPU 삽입)은 이중적인 과제를 안겨줍니다. 즉, 끼임 현상을 방지하기 위한 고정밀 제어가 필요하면서도, 재학습 없이 새로운 작업을 처리할 수 있는 즉각적인 일반화 능력이 요구됩니다. 현재의 로봇 공학 패러다임은 이 두 가지를 동시에 만족하는 데 어려움을 겪고 있습니다:

• 고전적 모듈형 파이프라인: 인지, 상태 추정, 계획 및 제어를 분리합니다. 높은 정밀도를 달 성할 수는 있지만, 취약합니다. 새로운 작업에 적응하려면 비용이 많이 드는 맞춤형 엔지니어링과 모듈의 수동 재설계가 필요합니다.
• 단일 엔지니어링 엔드 투 엔드(End-to-End) 정책: VLA(Vision-Language-Action) 네트워크와 같은 모델은 더 나은 일반화 성능을 제공하지만, 광범-데이터로 재학습하지 않는 한 복잡한 분포 외(out-of-distribution) 접촉 작업에 필요한 정밀도가 부족합니다.

두 패러다임 모두 복잡한 조작에는 경직되고 분리 불가능한 제어 시스템이 필요하다는 암묵적인 가정을 공유합니다. 본 논문은 이러한 가정에 도전하며, 복잡한 능력은 단순하고 독립적인 행동들의 구성을 통해 창발될 수 있다는 것을 제안합니다.

방법론: CoStream 프레임워크

CoStream은 파운데이션 모델과 다양한 센싱 양식(modality)을 여러 개의 구성 가능한 핵심 행동으로 오케스트레이션하는 프레임워크입니다. 완성된 계획을 고정된 인터페이스를 통해 전달하는 기존의 파이프라인과 달리, CoStream은 행동들을 각각의 자연스러운 속도로 작동하며 동적으로 결합되는 독립적이고 병렬적인 스트림으로 유지합니다.

1. 아키텍처 개요

시스템은 공유된 SE(3) 작업 공간 인터페이스 상에서 작동합니다. 매 제어 단계마다 세 가지 별도의 행동이 구성 요소를 생성하며, 이들은 우곱(right-multiplication)되어 단일 엔드 이펙터 포즈 명령($W T_{cmd}$)을 형성하고, 이는 순응형 컨트롤러(compliant controller)에 의해 실행됩니다.

• 시맨틱 행동 (작업 프레임 앵커):

  • 기능: 공간적 제약을 추출하고 세계(world)에 대한 상대적 작업 프레임($W T^k_I$)을 정의합니다.
  • 메커니즘: LLM(대규모 언어 모델)과 VLM(시각-언어 모델)을 사용하여 지시 사항과 장면 요약(객체, 어포던스, 술어)을 파싱합니다. SE(3) 정렬 목적 함수를 최소화하여 작업 프레임을 그라운딩합니다.
  • 출력: 궤적이 아닌 정적 또는 느리게 업데이트되는 앵커 프레임입니다. 이를 통해 축의 소유권(axis ownership)과 강성이 대각 성분(diagonal)으로 유지되도록 보장합니다.

• 예측 행동 (명목 운동):

  • 기능: 작업 프레임 내에서 연속적인 명목 운동 궤적($I T^k_{traj}(t)$)을 생성합니다.
  • 메커니즘: 관측값과 단계별 지침에 조건화된 비디오 월드 모델을 활용하여 롤아웃(rollout)을 샘플링합니다. VLM 크리틱이 최적의 롤아웃을 선택하면, 이를 3D 키포인트 트래커로 리프팅하여 객체 중심의 참조 궤적을 형성합니다.
  • 출력: 정밀하고 경직된 계획이 아닌, 운동 사전 정보(motion prior, 명목 경로)입니다.

• 반응 행동 (촉각 잔차 및 힘 루프):

  • 기능: 손 안의 미끄러짐과 접촉력을 보정하기 위해 고주파수(25Hz) 보정을 제공합니다.
  • 메커니즘: GelSight 촉각 센서를 사용하여 그리퍼에 대한 객체의 상대적 포즈를 추적(NormalFlow 활용)하고 엔드 이펙터의 외력(wrench)을 추정합니다. 미끄러짐을 상쇄하기 위한 촉각 잔차($\Delta T^k_{tac}(t)$)를 생성하고 접촉 이벤트(미끄러짐, 과도한 힘)를 알립니다.
  • 출력: 명목 운동을 수정하는 강체 변환(rigid-body transform)과 컨트롤러를 위한 힘 루프 신호입니다.

2. 구성 및 제어

• 액션 구성: 각 컨트롤러 틱(tick)에서 시스템은 최종 명령을 계산합니다:
  $$W T^k_{cmd}(t) = (W T^k_I \cdot I T^k_{traj}(t)) \cdot \Delta T^k_{tac}(t)$$
  이 우곱 방식은 각 행동이 독립성을 유지할 수 있게 합니다. 만약 특정 스트림이 누락되거나 최신 상태가 아닐 경우, 폴백 행동($H_k$)이 작동하여 시스템이 멈추지 않고 점진적으로 성능이 저하되도록(graceful degradation) 보장합니다.
• 컨트롤러 컴파일: 결정론적 컴파일러는 단계별 사양을 로봇 수준의 파라미터(카테시안 강성, 댐핑, 임피던스/어드미턴스 축, 힘 제한)로 매핑합니다.
  • 자유 공간에서는 컨트롤러가 높은 강성으로 명목 운동을 추적합니다.
  • 접촉 중에는 단계에 따라 카테시안 임피던스(힘 유지를 위한 가상 스프링) 또는 위치 기반 어드미턴스(힘을 제한하기 위함)로 전환합니다.

주요 기여

1. 행동 구성 인터페이스: 시맨틱 그라운딩, 예측적 운동 생성, 그리고 촉각/힘 반응을 독립적인 행동으로 분리하는 접촉 밀착형 조작을 위한 새로운 인터페이스를 제시합니다.
2. 공유 SE(3) 표현: 각 행동이 자신의 자연스러운 속도로 실행되며, 자신이 신뢰할 수 있는 구성 요소(작업 프레임, 운동 사전 정보, 또는 접촉 보정)만을 기여할 수 있게 하는 작업 공간 표현을 제공합니다.
3. 실증적 검증: 8가지 실제 작업에 대해 프레임워크를 시연하여, 고정밀 조립, 수동 섭동으로부터의 견고한 회복, 그리고 재학습 없는 제로샷 전이(zero-shot transfer) 능력을 보여주었습니다.

실험 결과

저자들은 두 대의 Franka Emika Panda 로봇(하나에는 GelSight Mini 촉각 센서 장착)을 사용하여 두 그룹의 작업에 대해 CoStream을 평가했습니다.

• 베이스라인: VoxPoser(모듈형 시각-언어 계획) 및 $\pi_0.5$(단일 엔드 투 엔드 VLA 정책)와 비교하였습니다.
• 고정밀 조립 작업:
  • 작업: 드릴 삽입(0.5mm 간극), RAM 삽입, CPU 배치, GPU 삽입.
  • 결과: CoStream은 14/15에서 15/15의 성공률을 달성했습니다. 반면, VoxPoser와 $\pi_0.5$는 이 작업들에서 완전히 실패했습니다(0/15).
  • 실패 분석: VoxPosizer는 접촉 전 기하학적 편차를 수정할 수 없는 오픈 루프 계획 때문에 실패했습니다. $\pi_0.5$는 접촉 중에 실패했는데, 이는 접촉 이벤트를 지각적 모호함과 구분하지 못해 불안정한 고주파 운동을 유발했기 때문입니다.
• 일상적 조작 작업:
  • 작업: 전등 켜기, 화이트보드 닦기, 컵을 접시로 옮기기, 옷을 상자에 넣기.
  • 결과: CoStream은 모든 설정에서 $\pi_0.5$보다 우수한 성능을 보였으며, 특히 물체 이동 작업(예: 컵-투-플레이트 13/15 vs 4/15)에서 큰 차이를 보였습니다.
• 절제 연구(Ablation Studies):
  • 드릴 삽입 작업에서 **반응 행동(Reactive Behavior)**을 제거하자 성공률이 15/15에서 3/15로 급격히 떨어졌으며, 이는 촉각 피드백이 서브 밀리미터 정밀도에 필수적임을 확인시켜 줍니다.
  • 견고성: 시스템은 촉각 피드백을 바탕으로 엔드 이펙터를 재정렬함으로써, 그리퍼 내부에서 물체를 회전시키는 등의 수동 섭동으로부터 성공적으로 회복했습니다.

의의 및 주장

본 논문은 CoStream이 단일한 복잡한 컨트롤러가 아니라, 단순하고 독립적인 행동들의 구성을 통해 복잡한 조작이 달성되는 영역을 보여준다고 주장합니다.

• 재학습 없는 일반화: 동일한 행동 세트가 다양한 물리적 제약(섬세한 CPU 안착부터 강한 힘이 필요한 RAM 잠금까지)을 성공적으로 처리했으며, 정책 재학습이나 모듈 재설계 없이 일상적인 작업으로 전이되었습니다.
• 구성을 통한 정밀도: "무엇을(what)"(시맨틱), "어디로(where)"(예측), "어떻게(how)"(반응)를 분리함으로써, 시스템은 단일 정책이 실패하는 접촉 밀착 시나리오에서도 밀리미터 수준의 정밀도를 달성합니다.
• 제한된 범위: 저자들은 시스템이 상위 인지(포즈 추정)에 의존하며, 현재는 구조화된 강체 조작에 국한되어 있다는 점을 언급하며 한계를 인정했습니다. 이는 아직 변형 가능한 물체, 숙련된 인핸드(in-hand) 조작, 또는 모호한 목표를 다루지는 못합니다. 또한 반응 행동은 촉각 커버리지와 외력 추정 정확도에 의해 제한됩니다.

요약하자면, CoStream은 조작을 시맨틱, 예측, 반응 스트림으로 분해하고 이를 공유된 SE(3) 인터페이스를 통해 구성함으로써, 일반화 가능하고 고정밀인 로봇 조작을 향한 견고한 경로를 제시합니다.