Semantic-Geometric Task Representations for Bimanual Manipulation from Human Demonstrations to Robot Action Planning

기술 요약: 양손 조작을 위한 의미론적-기하학적 작업 표현

문제 정의
양손 조작(Bimanual manipulation) 작업은 실행 과정에서 동작의 순서, 관여하는 특정 객체, 그리고 상호작용의 기하학적 특성 등 상당한 변동성을 보입니다. 인간의 시연으로부터 일반화 가능한 작업 표현을 학습하기 위해서는 작업의 이산적인 의미론적 구조(무엇이 일어나고 있는가)와 연속적인 기로의 기하학적 진화(어떻게 일어나는가)를 모두 포착해야 합니다. 기존 방식들은 이러한 두 가지 양식(modality)을 통합하는 데 실패하는 경우가 많습니다. 즉, 그래프 기반 방법론들은 대개 의미론적 관계나 기하학적 궤적 중 하나에만 집중할 뿐, 이를 결합하여 실시간 로봇 의사결정을 유도하는 경우는 드뭅니다. 또한, 많은 현재의 방법론들은 프레임 단위의 행동 인식이나 단일 단계 예측에 국한되어 있어, 장기적인(long-horizon) 작업 진행을 예측하는 능력이 부족합니다. 핵심 과제는 객체 식별, 객체 간 의미론적 관계, 그리고 객체별 움직임 이력을 결합하여 작업 진행 과정을 추론하고, 서로 다른 형태(embodiment) 간(예: 인간에서 로봇으로) 전이가 가능한 형태의 표현을 생성하는 것입니다.

방법론
저자들은 분리된 인코더-디코더 아키텍처를 통해 학습된 **의미론적-기하학적 작업 그래프 표현(semantic–geometric task graph-representation)**을 제안합니다.

1. 그래프 구조: 각 조작 시연은 시공간 그래프 $G(t) = (V, E, u)$로 모델링됩니다.

   • 노드(Nodes): 객체와 손을 나타냅니다. 매 타임스텝마다 별도의 노드를 생성하는 기존 연구와 달리, 본 방식은 단일 객체당 하나의 노드를 사용하며, 시간적 특징(과거 $H$ 프레임의 객체 ID와 3D 좌표를 결합)을 포함하여 복잡도를 줄입니다.
   • 엣지(Edges): 노드 간의 의미론적 관계(예: "오른쪽에 있음"과 같은 정적 공간 관계 및 "접근 중"과 같은 동적 관계)를 포착합니다.
   • 전역 특징(Global Features): 전역 문맥을 제공하기 위해 작업 ID를 인코딩합니다.
   • 입력: RGB-D 비디오 데이터로부터 그래프가 구축되며, 의미론적 관계는 객체의 위치로부터 휴리스틱하게 계산됩니다.

2. 인코더 (MPNN): 메시지 전달 신경망(MPNN)이 그래프를 처리합니다. 이는 $K$번의 반복을 통해 노드, 엣지, 전역 임베딩을 반복적으로 업데이트합니다. 결정적으로, 인코더는 특정 행동 레이블과 분리된 구조화된 표현을 생성하기 위해 오직 시공간 장면 그래프(temporal scene graph) 상에서만 작동합니다. 또한 시간적 의존성을 처리하기 위해 회전 위치 임베딩(Rotary Position Embeddings, RoPE)을 활용하며, 메시지 전달과 시간적 셀프 어텐션(temporal self-attention)을 교차 수행합니다.

3. 디코더 (Transformer 기반): 디코더는 학습된 그래프 임베딩에 조건화되어 미래의 작업 진행을 예측합니다. 이는 서로 다른 시간 척도를 처리하기 위해 다단계 설계를 채택합니다:

   • 1단계: 즉각적인 다음 행동-객체 쌍($t+1$)을 예측합니다.
   • 2단계: 현재 동작의 지속 시간과 독립적으로 작업 시퀀싱을 추론하기 위해 미래의 고수준 의미론적 행동-객체 쌍($a^F, o^F$)을 예측합니다.
   • 3단계: 예측 지평 $P$ 동안 전체 행동, 객체 및 3D 움직임 궤적을 예측합니다.
   • 아키텍처는 행동/객체 시퀀스(전역 임베딩에 어텐션)와 움직임 시퀀스(노드 임베딩에 어텐션)를 위한 별도의 트랜스포머 디코더를 사용합니다.

4. 학습 및 계획:

   • 손실 함수(Loss): 가중치가 적용된 크로스 엔트로피(행동/객체 분류용)와 평균 제곱 오차(MSE, 움직임 회귀용)를 결합한 결합 손실 함수를 사용합니다.
   • 추론(Inference): 중첩된 예측을 처리하기 위해 액션 청킹(action chunking)과 지수 감소 가중치를 적용한 시간적 앙상블을 사용합니다.
   • 로봇 배포: 온라인 플래너는 디코더의 의미론적 예측과 기하학적 움직임 예측을 결합합니다. 이 플래너는 학습된 확률적 움직임 프리미티브(ProMPs)로부터 도출된 궤적 일관성 점수를 사용하여 후보 행동의 점수를 매깁니다. 심볼릭 사전 조건 마스크(symbolic precondition mask)가 불가능한 행동을 필터링하며, 작업 공간 제약 조건을 확인하기 위해 타당성 검사를 수행합니다.

주요 기여

1. 의미론적-기하학적 그래프 표현: 양손 조작을 위해 객체 식별, 객체 간 의미론적 관계, 객체별 움직임 이력을 공동으로 인코딩하는 통합 그래프 구조를 제시합니다.
2. 분리된 아키텍처: 장면 표현 학습과 행동 조건부 예측을 분리하는 인코더-디코더 설계를 제공합니다. 이를 통해 소규모 로봇 데이터셋에 대한 디코더 전용 미세 조정(fine-tuning)만으로 인코더를 다양한 형태(인간에서 로봇으로) 간에 재사용할 수 있습니다.
3. 경험적 특성화: 동작 순서와 객체 참여의 변동성이 커질수록 구조적 관계적 귀납 편향(relational inductive biases)의 이점이 커진다는 분석을 보여줍니다.
4. 실물 로봇 검증: 학습된 표현이 물리적인 양손 로봇에서 온라인 행동 계획을 구동하는 시스템 수준의 시연을 통해, 다양한 베이스라인 모델보다 우수한 성능을 입증했습니다.

결과
본 접근법은 두 가지 데이터셋(KIT Bimanual Actions Dataset 및 자체 제작 데이터셋인 Ours(Bimacs))에 걸친 11가지 양손 작업에 대해 평가되었습니다.

• 인간 시연 예측: MPNN 인코더는 특히 행동이나 객체의 변동성이 높은 작업에서 Dreher [8], Lagamtzis [6], Transformer, 그리고 Decoder-only 모델 등의 절제 실험(ablation) 모델들보다 일관되게 우수한 성능을 보였습니다. 이는 움직임 예측 및 객체 예측에서 탁월한 정확도를 달al 성하며, 의미론적 정보와 기하학적 정보 통합의 가치를 입증했습니다.
• 로봇으로의 전이: 인간 데이터로 사전 학습된 후 소량의 로봇 시연(태스크당 10~15개)으로 미세 조정된 모델은 로봇 데이터로만 학습된 모델보다 훨씬 높은 정확도와 낮은 움직임 RMSE를 달성했습니다.
• 온라인 계획: "요리하기(Cooking)" 및 "정리하기(Clear Up)" 작업에 대한 실물 로봇 실험 결과:
  • 제안된 방법은 두 작업 모두에서 100% 작업 성공률을 달성했습니다.
  • 가장 낮은 움직임 예측 RMSE와 가장 낮은 플래너 불가능율(infeasibility rate)을 기록했습니다.
  • 미세 조정된 시각-언어 모델(VLM)을 포함한 베이스라인들은 현저히 낮은 성능을 보였습니다. VLM은 동적으로 행동 예측을 전환하지 못하고 높은 움직임 예측 오차를 보여 0%의 성공률을 기록했습니다.
  • 객체 변동성이 높은 "정리하기" 작업은 단순한 베이스라인들이 완전한 성공을 거두지 못함으로써, 구조화된 표현의 필요성을 극명하게 보여주었습니다.

의의 및 주장
본 논문은 양손 조작을 위한 작업 표현을 학습하려면 단일 프레임 예측을 넘어 의미론적 관계와 기하학적 진화를 공동으로 모델링해야 한다고 주장합니다. 본 연구의 의의는 다음과 같습니다:

1. 구조화된 의미론적-기하학적 표현은 동작 순서와 객체 참여의 변동성이 큰 작업을 일반화하는 데 필수적입니다.
2. 분리된 아키텍처는 최소한의 로봇 특화 데이터(디코더 전용 미세 조정)를 통해 인간 시연으로부터 물리적 로봇으로의 작업 지식 전이를 가능하게 합니다.
3. 의미론적 행동 예측을 기하학적 움직임 일관성 검사(ProMPs 활용)와 결합하는 것이 견고한 온라인 행동 계획에 결정적이며, 이를 통해 의미론적으로는 타당하지만 기하학적으로는 불가능한 행동을 거부할 수 있게 합니다.

저자들은 본 방식이 대규모 사전 학습이나 순수 시퀀스 기반 모델에 대한 구조적 대안으로서, 인간의 시연과 로봇의 실행 사이의 간극을 메우는 데이터 효율적인 토대를 제공한다고 결론짓습니다.