기술 요약: 반사유추를 통한 창의적 로봇 도구 사용

문제 정의

본 논문은 창의적 로봇 도구 사용이라는 과제를 다룬다. 이는 사물의 주된 설계 의도를 넘어 과제를 수행하기 위해 새로운 사물을 원천 도구의 대체물로 식별하고 재사용하는 능력을 의미한다. 최근의 발전으로 복잡하고 접촉이 많은 작업에서 로봇의 능력이 향상되었으나, 모델링되지 않은 사물로 도구 사용을 일반화하는 것은 여전히 어렵다. affordance(사용 가능성) 학습에 의존하는 전통적인 접근법은 제한된 상호작용 데이터로 인해 종종 실패하며, 시뮬레이션 기반의 시각 - 언어 모델 (VLM) 은 상식적 추론을 제공하지만 물리적 제약과 로봇의 신체성 (embodiment) 에 대한 근거가 부족하여 물리적으로 실행 불가능한 선택을 초래한다.

핵심 문제는 원샷 (one-shot) 도구 조작 작업으로 공식화된다: 특정 환경에서 원천 도구를 사용하여 기술을 습득한 로봇이 새로운 시나리오의 후보 사물 집합에서 적합한 새로운 (모델링되지 않은) 도구를 식별하고 조작 기술을 이를 이전해야 한다. 이 솔루션은 작업 성공에 인과적으로 관련된 물리적 및 기하학적 속성이 무엇인지 추론하여 관련 없는 특징과 구분하고, 선택된 도구가 로봇의 물리적 한계 (예: 적재 하중, 도달 범위) 를 만족하도록 보장해야 한다.

방법론: ToolAnalogy 프레임워크

저자들은 VLM 기반의 상식적 사전 지식과 물리 기반 시뮬레이터 내의 반사유추를 통합한 인과 추론 프레임워크인 ToolAnalogy를 제안한다. 파이프라인은 네 가지 주요 단계로 구성된다:

1. 특징 제안 (VLM)

원천 사물 이미지와 작업 설명을 입력으로 받아, 시각 - 언어 모델 (VLM) 이 '특징 제안자' 역할을 수행한다. 이는 작업에 인과적으로 관련될 수 있는 일련의 후보 의미론적 특징 (예: 길이, 팁 각도, 질량) 을 제안한다. VLM 은 웹 규모의 데이터로 학습된 다양성을 활용하여 잠재적인 '성패를 가르는' 속성 집합을 제공하기 위해 다수결 투표를 통해 여러 번 쿼리되어 상위 후보 특징을 선택한다.

2. 반사유추적 도구 생성

후보 특징을 변화 축으로 활용하여 3D 의미론적 사물 편집기(구체적으로 ParSEL) 가 반사유추적 사물의 데이터 세트를 생성한다.

• 기하학적 편집: 편집기는 제안된 특징에 기반하여 (예: 샤프트 길이 변경 또는 날 각도 변경) 장면에서 재구성된 원천 도구의 3D 메쉬를 수정한다.
• 물리적 편집: 질량과 같은 물리적 속성은 시뮬레이터 내에서 직접 수정된다.
  이 과정을 통해 개별 특징이 교란되어 그 영향을 관찰할 수 있는 통제된 데이터 세트가 생성된다.

3. 시뮬레이션을 통한 인과 발견

로봇이 생성된 반사유추적 사물을 사용하여 동역학 모델(테이블탑 작업용 IsaacSim, 이동 조작용 MuJoCo) 에서 작업을 수행한다.

• 개입: 특징을 하나씩 그리고 조합하여 체계적으로 개입함으로써 작업 성공 (이진 보상) 에 미치는 영향을 관찰한다.
• 인과 식별: 성공률에 유의미한 변화를 일으키는 특징을 인과 특징으로 식별한다. 미미한 영향을 미치는 특징은 비인과적이라고 간주한다.
• 키포인트 이전: 반사유추적 사물의 경우, 조작 키포인트 (그립 및 접촉 지점) 는 의미론적 편집에 기반하여 자동으로 이전되어 제어기가 수정된 기하학과 일관성을 유지하도록 보장한다.

4. 분류 및 현실 세계 실행

새로운 모델링되지 않은 대상 사물에 대해:

• 특정 정렬: 시스템은 특징 분류기를 사용하여 대상 사물이 시뮬레이션에서 발견된 성공 범위 내에서 식별된 인과 특징을 보유하고 있는지 판단한다.
• 매칭: 시스템은 Chamfer 거리를 사용한 형태 매칭을 통해 대상의 인과 특징과 일치하도록 원천 사물의 3D 모델을 편집하여 적합성을 검증한다.
• 실행: 대상이 적합하다고 분류되면, 조작 기술 (키포인트) 이 편집된 원천 모델에서 대상 사물로 이전되고 실제 로봇에서 작업이 수행된다.
• 대응책: 포인트 클라우드 매칭이 모호한 중공 사물의 경우, 2 차 VLM 기반 분류기가 대상과 '경계' 사물 (가장 작고 가장 큰 성공적인 도구) 을 비교하여 특징 범위를 검증한다.

주요 기여

1. 인과 특징 발견: 본 논문은 인과 발견을 VLM 기반 제안과 시뮬레이션 기반 검증으로 분리하는 방법을 도입하여, 전역적 시각적 유사성에 의존하기보다 작업 의존적 인과 특징의 소집합을 식별한다.
2. 반사유추 추론 파이프라인: 물리적 가설을 시뮬레이션에서 테스트하기 위해 의미론적 편집을 통해 반사유추적 사물을 생성하는 새로운 프레임워크로, 도구 선택을 언어나 시각이 아닌 물리에 근거하도록 한다.
3. 인과 정렬을 통한 정책 이전: 이 접근법은 순수한 시각적 대응이 아닌 인과 특징 차원에 기반하여 사물을 정렬함으로써 조작 기술을 이전하며, 다양한 형태와 외관을 가진 사물 간에 더 강력한 키포인트 이전을 이끈다.
4. 해석 가능성: 시스템은 불투명한 신뢰도 점수가 아닌 구체적인 기하학적 및 물리적 속성 (예: "이 막대는 너무 짧다" 또는 "이 상자는 너무 가볍다") 에 기반한 도구 선택에 대한 인간이 해석 가능한 근거를 제공한다.

실험 결과

본 프레임워크는 강체 사물을 포함하는 세 가지 현실 세계 시나리오에서 평가되었다:

1. 테이블탑 당기기: Franka Emika Panda 로봇이 다양한 막대 모양의 사물 (예: 크로우바, 지팡이) 을 사용하여 퍽을 당기는 작업.
2. 테이블탑 퍼내기: Franka Emika Panda 로봇이 다양한 퍼기 모양의 사물 (예: 숟가락, 트레이) 을 사용하여 그릇에서 사탕을 퍼내는 작업.
3. 4 족 로봇 도달: Boston Dynamics Spot 로봇이 팔을 사용하여 계단 플랫폼 (예:crate, 의자) 으로 높은 선반에 도달하는 작업.

성능:

• 도구 선택 정확도: ToolAnalogy 는 당기기 작업에서 90%, 퍼내기 작업에서 40%, 도달 작업에서 **66.7%**의 성공률을 기록했다. 이는 물리적 제약과 작업별 동역학에 어려움을 겪었던 GPT-5.2(0-20%), DINOv3(50%), MAGIC(50%) 과 같은 베이스라인보다 훨씬 우수했다.
• 인과 특징 민감도: 교란 분석은 식별된 인과 특징 (예: 샤프트 길이, 질량) 이 비인과적 특징에 비해 성공률에 훨씬 더 큰 변화를 일으켰음을 보여주어 인과 발견 과정을 검증했다.
• 키포인트 이전: 이 방법은 시각적 매칭 베이스라인 (DINOv3, MAGIC) 에 비해 우수한 키포인트 이전을 보여주었으며, 특히 곡률이 낮거나 형태 변이가 큰 사물의 경우 두드러졌다.
• 효율성: 이 방법은 테스트 시 모든 후보 도구의 포괄적인 3D 재구성을 피하고 대신 추론된 인과 특징에 의존함으로써, 모든 후보에 대한 전체 시뮬레이션 롤아웃에 비해 계산 오버헤드를 줄였다.

중요성과 주장

저자들은 이 접근법이 개방형 세계 조작을 향한 중요한 진전이라고 주장하며, 로봇이 단순한 시각적 유사성이나 카테고리 매칭이 아닌 인과적 물리 추론을 통해 도구 적합성을 추론할 수 있게 한다고 한다.

• 근거화: 이 프레임워크는 VLM 의 상식을 물리적 현실에 성공적으로 근거화하여, 순수 언어 모델이 제안할 수 있는 물리적으로 실행 불가능한 제안들을 필터링한다.
• 일반화: 인과 특징에 초점을 맞춤으로써, 시스템은 시각적으로 유사하지 않더라도 원천 도구와 기능적 속성을 공유하는 새로운 사물로 일반화된다.
• 해석 가능성: 인과 특징에 의존함으로써 로봇은 길이, 질량과 같은 물리적 제약의 관점에서 자신의 결정을 설명할 수 있으며, 이는 AI 추론과 인간의 이해 사이의 간극을 좁힌다.

본 논문은 인과적으로 관련된 특징을 식별하고 추론하는 것이 신뢰할 수 있는 창의적 도구 사용에 필수적이며, 데이터 집약적 학습이나 순전히 휴리스틱한 접근법에 대한 원칙적인 대안을 제공한다고 결론짓는다. 이 연구는 로봇이 도구 기능의 '왜'를 이해함으로써 새로운 환경과 작업에 적응할 수 있는 단계로 제시된다.