Representation Handoffs for OpenArm-Based Laboratory Mobile Manipulation

기술 요약: OpenArm 기반 실험실 모바일 조작을 위한 표현 핸드오프(Representation Handoffs)

문제 정의
오픈 소스 로보틱스와 파운데이션 모델이 체화된 AI(Embodied AI) 프로토타입 구축의 장벽을 낮추었으나, 이를 신뢰할 수 있고 안전한 작업 실행 시스템으로 변환하여 실험실 자동화에 적용하는 것은 여전히 어려운 과제로 남아 있다. 특히, 언어 가이드 기반의 실험실 조작에는 자연어 지시, 센서 관측, 그리고 안전한 물리적 행동 사이의 견고한 정렬(alignment)이 필요하다. 핵심적인 어려움은 단순히 장면을 표현하는 것이 아니라, 어떤 표현이 실제 로봇에 의해 실행 가능한지를 결정하는 데 있다. LLM(대규모 언어 모델)의 출력을 로봇 제어로 직접 전달하는 것은 안전하지 않으며, 6D 객체 포즈에만 의존하는 것도 불충분하다. 실제 동작에는 객체의 역할, 스킬 계약(skill contracts), 좌표계, 기하학적 파라미터 및 안전 제한에 관한 컨텍스트가 필요하기 때문이다.

방법론
저자들은 실험실 스타일의 작업을 위해 설계된 OpenArm 기반의 모바일 조작 프로토타입을 제시한다. 이 시스템은 두 개의 OpenArm 매니퓰레이터, 수직 슬라이드, 모바일 베이스, RGB-D 센싱, 그리고 Lidar 기반 매핑을 통합하며, 이 모든 과정은 ROS2와 MoveIt을 통해 조율된다.

본 시스템은 **표현 핸드오프(representation handoffs)**를 중심으로 설계되었으며, 중간 데이터 구조를 암시적인 가정이 아닌 명시적이고 감사 가능한(auditable) 인터페이스로 취급한다. 워크플로우는 다음과 같이 진행된다:

1. 환경 표현: 시스템은 내비게이션 맵, 테이블탑 작업 공간, 그리고 센서 간의 공간적 관계를 설정한다. 캘리브레이션 프로파일은 좌표계(world, base, tool, camera 등)를 정의하며, AprilTag 탐지는 테이블탑 프레임을 검증하는 앵커 역할을 한다.
2. 객체 역할 및 스킬 인터페이스: 실험실 객체들은 사용 프로파일(usage profile)을 통해 "스킬 대응 심볼(skill-facing symbols)"로 매핑된다. 객체는 이름, 포인트 클라우드/메쉬, 물리적 치수, 의미론적 역할(예: "이동 가능한 것", "액체 용기"), 그리고 노출된 스킬들에 의해 정의된다. 이는 의미가 가능한 동작에 근거하도록 설계된 엔지니어링된 어포던스 뷰(affordance view) 역할을 한다.
3. 객체 포즈 및 운용 파라미터: 인지 출력(FoundationPose 서비스로부터 생성됨)은 6D 포즈, 신뢰도 점수, 역할을 포함하는 WorldObject 레코드로 변환된다. 이는 운용 파라미터 플래너(operation-parameter planner)에 의해 생성된 결정론적 운용 파라미터(접근, 잡기, 들어올리기, 붓기 등)를 통해 더욱 풍부해진다.
4. 목표 및 태스크 표현: 통합된 LLM 플래너는 자연어 지시를 등록된 SkillCall 레코드를 포함하는 SkillPlan으로 변환한다. 이 플랜은 스킬 뱅크, 객체 역할 요구사항, 그리고 인자 유형에 대해 엄격하게 검증된다. 검증된 호출은 런타임 바인딩을 통해 실행 가능한 MotionGoal 레코드(예: move_to, open_gripper)로 결합된다.
5. 실행 및 피드백: 결정론적 오케스트레이터가 플랜을 실행한다. 각 스킬 호출 전, 시스템은 객체 가용성, 로봇 상태, 안전 제한에 대한 런타임 사전 점검을 수행한다. 실행은 보수적으로 이루어진다. 만약 객체가 없거나, 신뢰도가 낮거나, 전제 조건이 실패할 경우, 시스템은 중단되고 RuntimeFeedback을 기록한다.

주요 기여

1. 표현 핸드오프의 시스템 뷰: 본 논문은 실험실 지시, 맵, 객체 포즈, 객체 사전 정보(priors), 등록된 스킬 호출, 런타임 바인딩, 그리고 모션 골을 연결하는 구조화된 파이프라인을 정의한다.
2. OpenArm 통합: ROS2/MoveIt 실행, 모바일 내비게이션, 수직 운동, RGB-D 그라운딩, 스킬 뱅크, 그리고 결정론적 스킬 템플릿을 연결하는 기능적 프로토타입을 제시한다.
3. 드라이 런(Dry-Run) 증거 및 현장 교훈: 저자들은 특정 배포 차단 요소(예: 누락된 캘리브레이션, 불완전한 객체 자산, 미완성된 비주얼 그라운딩)를 식별하는 "드라이 런" 트레이스와 스타트업 체크를 제공한다.

결과
시스템은 "드라이 런" 모드에서 전체 표현 파이프라인을 성공적으로 실행한다. 유효한 LLM 플랜을 가진 단순 전달 지시의 경우, 시스템은 완전한 실행 가능한 트레이스를 생성하며, 스킬 호출을 pick-place 시퀀스로 확장한다. LLM을 사용할 수 없거나 요청이 스킬 뱅크 범위를 벗어나는 경우, 시스템은 침묵하거나 환각(hallucination) 명령을 생성하는 대신 unmapped_requests를 명시적으로 보고한다.

그러나 본 논문은 현재 구현이 소프트웨어 통합과 표현 파이프라인을 검증하는 것이며, 아직 시각적 파지(grasping), 붓기(pouring), 또는 삽입(insertion)에 대한 실제 세계의 성공률을 제공하지는 않는다고 명시한다. 현재 시스템은 전체 실행을 위해 플레이스홀더 변환(placeholder transforms)과 모의 인지 트레이스(mock perception traces)에 의존하고 있으며, 이는 실질적인 로봇 배포가 측정된 캘리브레이션 데이터, 채워진 객체 메쉬, 그리고 실제 RGB-D 마스크의 필요성에 의해 가로막혀 있음을 강조한다.

의의 및 주장
본 논문은 체화된 지능 프로토타입 개발을 표현 중심의 시스템 통합 노력으로 재정의한다. 주요 의의는 중간 인터페이스(프로파일, 스킬 계약, 운용 파라미터)를 명시적인 표현으로 취급함으로써 시스템을 감사 가능하고 디버깅 가능하게 만든다는 점을 입증하는 데 있다.

저자들은 다음과 같이 주장한다:

• 6D 포즈는 불충분하다: 실행 가능한 객체는 컨텍스트(역할, 스킬, 프레임)를 필요로 한다.
• 프로파일은 표현이다: 사용 및 캘리브레이션 프로파일은 스타트업 체크를 개선하기 위해 첫 번째 클래스 표현(first-class representations)으로 취급되어야 하는 상태(객체 사전 정보, 기하학적 사실, 능력 계약)를 인코딩한다.
• 제약된 형태는 디버깅을 가능하게 한다: LLM이 등록된 스킬 호출만을 제안하도록 강제함으로써, 지원되지 않는 기능은 숨겨진 모델의 가정이 아닌 명시적인 격차(unmapped_requests)로서 가시화된다.
• 배포 차단 요소는 표현의 차단 요소이다: 실제 세계 배포를 위한 남은 장애물은 단순히 하드웨어 문제가 아니라, 누락된 표현(예: 측정된 변환, 객체 메쉬, 캘리브레이션된 작업 공간 경계)으로 식별된다.

본 연구는 프로토타입에서 신뢰할 수 있는 실험실 자동화 시스템으로 나아가기 위해 필요한 구체적인 통합 경로와 누락된 구성 요소들을 밝히는 현장 보고서 역할을 한다.