Joint Discovery of Object and Action Symbols through Effect Prediction for Robotic Manipulation Planning

기술 요약: 로봇 조작 계획을 위한 효과 예측 기반의 객체 및 동작 심볼 공동 발견

문제 정의
자율 로봇은 장기적(long-horizon) 조작 과제를 수행할 때 근본적인 문제에 직면한다. 즉, 고차원의 연속적인 센서-운동 공간(sensorimotor spaces)을 추론하는 것은 계산적으로 불가능하다. 효과적인 계획을 위해서는 연속적인 지각과 동작을 이산적인 표현으로 추상화해야 한다. 기존 방식들은 한계가 있다. 시각 기반 분류는 외형은 비슷하지만 행동 방식이 다른 객체를 구별하지 못하며, 상호작용 기반 방식은 종종 사전 정의된 동작에 의존하거나 궤적의 시간적 구조를 무시한다. 또한, 기존의 퓨샷 일반화(few-shot generalization) 방법들은 대개 정적인 기하학적 또는 시각적 유사성에 의존하여, 새로운 객체를 다루는 데 필수적인 상호작용의 물리적 역학(어포던스, affordances)을 포착하지 못한다. 본 연구가 다루는 핵심 문제는, 정밀한 다단계 계획과 미지의 객체에 대한 강건한 일반화를 가능하게 하기 위해 어떻게 연속적이고 무작위적인 상호작용 데이터로부터 고수준의 객체 및 동작 심볼을 자율적으로 발견할 것인가 하는 점이다.

방법론
저자들은 다중 모드 효과 예측(multi-modal effect prediction)에 최적화된 2단계 학습 과정을 통해 객체와 동작 심볼을 공동으로 발견하는 뉴로-심볼릭(neuro-symbolic) 프레임워크를 제안한다.

1. 아키텍처 및 심볼 발견:

   • 시스템은 **이진 병목 레이어(binary bottleneck layer)**를 갖춘 인코더-디코더 네트워크를 사용한다.
   • 객체 인코더 ($\phi_o$): 합성곱 신경망(CNN)이 객체의 깊이 이미지(depth images)를 이진 심볼($z_o$)로 매핑한다.
   • 동작 인코더 ($\phi_a$): 트랜스포머(Transformer) 아키텍처가 관절 각도 궤적을 이진 심볼($z_a$)로 매핑하여 시간적 구조를 포착한다.
   • 이진 활성화: 두 인코더 모두 Gumbel-Sigmoid (GS) 활성화 함수를 사용하여 이산적인 이진 벡터를 생성하며, 이는 재매개변수화 기법(reparameterization trick)을 통해 학습 중 그래디언트가 흐를 수 있도록 한다.
   • 디코더 ($\psi$): 결합된 객체 및 동작 심볼이 주어졌을 때 다중 모드 효과 궤적(객체 위치, 힘 벡터, 접촉 피드백)을 예측한다.

2. 2단계 학습 절차:

   • 1단계: 모델은 전체 객체 비트와 동작 비트의 일부만을 사용하여 힘과 접촉 피드백 효과만을 예측한다. 이 단계는 초기 영유아의 감각-운동 발달을 모방하여, 촉각 피드백을 바탕으로 거친 고수준 프리미티브(예: 밀기 vs 집어서 놓기)를 구분하는 법을 배운다.
   • 2단계: 모델은 모든 심볼 비트를 사용하여 공간적 위치 변화를 포함한 전체 효과 궤적을 예측한다. 이 단계는 방향성 변화(예: 왼쪽 밀기 vs 오른쪽 밀기)를 포착하도록 동작 심볼을 정교화한다.

3. 계획 프레임워크:

   • 학습된 모델로부터 (객체 심볼, 동작 심볼, 타임스텝) 튜플을 위치 효과에 매핑하는 **이산 효과 라이브러리(discrete effect library)**를 구축한다.
   • A 탐색:* 계획은 이 라이브러리 상에서 A* 탐색을 통해 수행된다. 이 알고리즘은 예측된 궤적의 중간 타임스텝을 별도의 도달 가능한 상태로 활용하는 **부분 동작 실행(partial action executions)**을 사용하여 정밀한 저수준 제어를 가능하게 한다.
   • 실행: 심볼 기반 계획은 심볼 조건부 저수준 컨트롤러(Conditional Neural Movement Primitives, CNMP)를 통해 실행 가능한 관절 각도 궤적으로 변환된다.
   • 드리프트 검증: 실제 객체 위치가 예측된 위치에서 임계값을 초과하여 벗어날 경우 재계획(replanning) 메커니즘이 트리거되어 실행의 무결성을 보장한다.

4. 퓨샷 일반화 (Few-Shot Generalization):

   • 새로운 객체는 시각적 외형이 아닌 행동적 유사성에 의해 분류된다.
   • 시스템은 새로운 객체에 대해 소수의 무작위 시연(demonstrations)을 수집하고, 동작 심볼을 추출하며, 후보 객체 심볼에 대한 효과를 예측한다.
   • 시연 전반에 걸쳐 평균 예측 오차가 가장 낮은 객체 심볼이 해당 신규 객체에 할당되어, 재학습 없이 계획을 수행할 수 있게 한다.

주요 기여

• 공동 심볼 발견: 다중 모드(공간-촉각) 효과 궤적 예측에 최적화된 2단계 학습 과정을 통해, 이진 병목을 가진 딥 인코더-디코더 네트워크가 객체와 동작 심볼을 공동으로 발견한다.
• 부분 실행을 포함한 이산 계획: 정밀한 제어를 위해 중간 궤적 지점을 사용하는 A* 탐색을 수행하고, 심볼 조건부 저수준 컨트롤러 및 드리프트 기반 재계획과 결합된 이산 효과 라이브러리를 구축하는 계획 프레임워크를 제공한다.
• 효과 기반 퓨샷 일반화: 시각적 유사성이 아닌 행동적 유사성(효과 매칭)을 기반으로 신규 객체를 분류함으로써, 최소한의 시연만으로 미지의 객체에 대한 조작 계획을 가능하게 하는 방법론을 제시한다.

실험 결과
실험은 UR10e 매니퓰레이터를 사용한 PyBullet 시뮬레이션 환경에서 다섯 가지 객체 유형(Ball, Cube, Block X, Y, Z)을 대상으로 진행되었다. 본 프레임워크는 두 가지 작업(테이블탑 재배치(Task 1) 및 쌓기(Task 2))에 대해 Diffusion Policy 베이스라인과 비교 평가되었다.

• 효과 예측: 제안된 2단계 트랜스포머 기반 아키텍처는 단일 단계 학습(1.77 cm) 및 완전 연결(fully connected) 베이스라인(1.82 cm)보다 유의미하게 낮은 위치 예측 오차(1.70 cm)를 달anim했다.
• 계획 성능 (기존 객체): 제안된 방법은 두 작업 모두에서 Diffusion Policy 베이스라인을 크게 능가했다. Task 1에서 모든 객체 유형에 대해 더 낮은 유클리드 거리 오차를 기록했다(예: Cube의 경우 4.49 cm vs 5.09 cm). Task 2(쌓기)에서는 잡기 어포던스(grasp affordance)와 중간 상태를 학습하는 능력 덕분에 훨씬 높은 성공률을 보였다(예: Block Z의 경우 69.67% vs 18.33%).
• 퓨샷 일반화 (신규 객체): 다섯 가지 신규 객체(Torus, T-Block, Cylinder, U-Block, Wide Block)에 대해 각각 3회의 시연만을 사용하여 테스트했을 때, 효과 기반 접근 방식은 Diffusion Policy 및 시각 기반 인코딩 베이스라인보다 월등한 성능을 보였다. 특히, 시각 베이스라인은 객체를 오분류(예: Torus를 Ball으로 분류)한 반면, 효과 기반 방식은 행동적 유사성(예: 밀기 효과 측면에서 Torus가 Cube처럼 행동함)을 정확히 식별하여 우수한 계획 성공률을 이끌어냈다.

의의 및 주장
본 논문은 에이전트가 새로운 시나리오를 효과적으로 다루기 위해서는 상호작용을 통해 표현을 발견해야 한다고 주장한다. 본 연구의 의의는 다음과 같다:

1. 외형보다 상호작용: 객체와 동작을 다중 모드 상호작용 효과(힘, 접촉, 운동)로 분류하는 것이 시각 기반 방식보다 계획 수립에 있어 우월하며, 특히 외형은 비슷하지만 물리적 역학이 다른 객체를 구별하는 데 탁월하다.
2. 시간적 구조: 상호작용의 최종 결과뿐만 아니라 전체 시간적 역학을 포착함으로써, 중간 궤적 지점을 이용한 정밀한 계획이 가능하다.
3. 효율적 일반화: 행동적 유사성 매칭을 통해 기하학적 또는 시각적 유사성에 의존하는 방법보다 강력한 퓨샷 일반화를 실현한다.

저자들은 단일 객체 어포던스에 집중한 점, 드리프트 기반 재계획이 실행 후 발생하는 사후 대응적(reactive) 성격을 띤다는 점, 그리고 PDDL 솔버와 비교했을 때 A*의 계산 효율성 문제 등을 한계점으로 인정하였다. 향후 연구로는 객체 간 관계 심볼, 실행 전 검증, 그리고 PDDL 호환 가능한 심볼 연산자 생성 등을 제안하였다.