🤖 machine learning

GIFT: Geometry-Induced Functional Transfer for Category-level Object Manipulation

이 논문은 기하학 기반 상호작용 전이를 위한 함수 맵(functional maps)과 매끄러운 경로 생성을 위한 스크류 보간법(screw interpolation)을 활용하여, 단 한 번의 인간 시연으로부터 새로운 물체로 복잡한 조작 기술을 일반화할 수 있게 하는 프레임워크인 GIFT를 제시한다.

원저자: Cristiana de Farias, Luis Figueredo, Riddhiman Laha, Maxime Adjigble, Brahim Tamadazte, Rustam Stolkin, Sami Haddadin, Naresh Marturi

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Cristiana de Farias, Luis Figueredo, Riddhiman Laha, Maxime Adjigble, Brahim Tamadazte, Rustam Stolkin, Sami Haddadin, Naresh Marturi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 특정 병을 흔들어 내용물을 섞는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇의 팔을 잡고 병을 쥐고, 흔들고, 내려놓는 동작을 직접 물리적으로 유도하며 가르칩니다.

이제 그 병을 완전히 다른 병인 키가 크고 홀쭉한 와인병으로 바꾼다고 상상해 보세요(기존의 짧고 뚱뚱한 탄산음료 병 대신). 일반적인 로봇은 혼란에 빠질 수 있습니다. 로봇은 탄산음료 병의 정중앙 지점과 똑같은 위치를 잡으려 할 것이고(그 결과 병 목 부분을 잡아 떨어뜨릴 수 있습니다), 새로운 모양에 맞지 않는 방식으로 흔들 수도 있습니다.

이것이 바로 GIFT(Geometry-Induced Functional Transfer)라는 논문이 해결하고자 하는 문제입니다. 이 기술이 어떻게 작동하는지 쉽게 설명해 드리겠습니다.

1. 핵심 아이디어: "영토가 아닌 지도"

대부분의 로봇은 특정 움직임(예: "팔을 왼쪽으로 5인치 이동")을 암기하는 방식으로 학습합니다. 하지만 GIFT는 로봇에게 로봇의 손과 물체의 형태 사이의 관계를 이해하도록 가르칩니다.

이렇게 생각해 보세요. 로봇에게 "병의 A 지점을 잡아라"라고 가르치는 대신, GIFT는 "표면이 손잡이처럼 느껴지는 곳을 잡아라"라고 가르칩니다. 즉, 동작(흔들기)과 특정 물체(탄산음료 병)를 분리하는 것입니다.

2. 세 가지 마법의 재료

이 논문은 이를 실현하기 위해 세 가지 주요 기법을 사용합니다.

A. "기능적 지도" (형태 번역기)

웃는 얼굴이 그려진 고무판을 상상해 보세요. 만약 그 판을 다른 모양으로 늘리더라도, 눈과 입 사이의 관계는 그대로 유지된 채로 웃는 얼굴도 함께 늘어납니다.

GIFT는 3D 물체에 대해 이와 똑같은 작업을 수행하기 위해 **기능적 지도(Functional Maps)**라는 수학적 도구를 사용합니다.

시연: 로봇은 첫 번째 병의 "손잡이" 부분을 봅니다.
전이: 새로운 모양의 병을 보았을 때, 로봇은 이 "고무판" 수학을 사용하여 새 병에서 그에 상응하는 지점을 찾아냅니다. 이는 마치 "이 새 병은 모양은 완전히 다르지만, 이전 병과 똑같이 '손잡이' 영역을 가지고 있다"라고 말하는 것과 같습니다.

B. "스크루(Screw)" 동작 (매끄러운 경로)

로봇이 새로운 물체를 어디서 잡아야 할지 알게 되었다면, 이제 어떻게 움직여야 하는지도 알아야 합니다.

문제점: 단순히 점 A에서 점 B로 선을 긋는다면, 로로봇이 물체에 부딪히거나 새로운 물체가 다른 위치에 있을 때 어색하게 움직일 수 있습니다.
해결책: GIFT는 ScLERP(Screw Linear Interpolation)라고 불리는 것을 사용합니다. 나사를 생각해보세요. 나사를 돌릴 때, 나사는 앞으로 나아가면서 동시에 회전하며 완벽하고 매끄러운 나선형을 그리며 움직입니다.
비유: 로봇의 손을 단순히 직선으로 움직이는 대신, GIFT는 "스크루 경로"를 계산합니다. 이를 통해 새로운 물체가 테이블 위의 어떤 위치에 있더라도, 로봇의 손이 원래 시연의 물리적 특성을 존중하며 매끄럽고 자연스러운 곡선을 그리며 움직이도록 보장합니다. 이는 로봇이 좌표가 아닌 동작의 "느낌"을 기억하게 하는 것과 같습니다.

C. "원샷(One-Shot)" 학습

보통 로봇에게 새로운 작업을 가르치려면 수백 개의 사례를 보여주거나 몇 시간 동안 훈련시켜야 합니다. 하지만 GIFT는 원샷(one-shot) 방식입니다.

주장: 로봇은 인간으로부터 단 한 번의 시연만 받으면 됩니다. 한 번의 물체에 대해 동작을 본 후, 로봇은 추가 훈련 없이도 완전히 다른 물체(예: 한 종류의 병에서 다른 종류의 병으로, 혹은 한 종류의 상자에서 다른 종류의 상자로)에 대해 동일한 작업을 수행하는 방법을 즉시 파악할 수 있습니다.

3. 실제 적용 사례 (실험)

연구진은 이를 7자유도 로봇 팔로 테스트했습니다. 로봇에게 다음과 같은 동작을 보여주었습니다:

나무 블록으로 표면 닦기
마커로 상자 그리기
병 흔들기
버튼 누르기

그 다음, 연구진은 이전에 본 적 없는 다른 물체들(다양한 병, 다양한 블록)을 로봇 앞에 놓았습니다.

결과: 로봇은 새로운 물체를 잡는 위치를 성공적으로 파악했으며, 닦기, 흔들기, 누르기와 같은 작업들을 정확하게 수행했습니다. 추가적인 재학습은 필요하지 않았습니다. 로봇은 단지 "지도"를 사용하여 기존의 작업을 새로운 모양으로 번역했을 뿐입니다.

요약

GIFT는 로봇에게 물리적 작업에 대한 "만능 번역기"를 제공하는 것과 같습니다.

한 번 보여줍니다: "이 물체로 이렇게 하세요."
형태를 분석합니다: 상호작용이 일어나는 지점에 대한 수학적 지도를 만듭니다.
적응합니다: 새로운 물체가 나타나면, 그 지도를 사용하여 새로운 형태에서 일치하는 지점을 찾습니다.
매끄럽게 움직입니다: "스크루" 수학을 사용하여 로봇 팔이 자연스럽게 움직이게 함으로써, 설령 물체가 이상한 위치에 있더라도 부딪히거나 떨어뜨리지 않고 작업을 수행합니다.

이 논문은 이 방식이 로봇이 방대한 데이터나 재학습 없이도, 복잡하고 실제적인 환경에서 낯설고 새로운 물체를 훨씬 더 잘 다룰 수 있게 만든다고 주장합니다.

기술 요약: GIFT (Geometry-Induced Functional Transfer)

문제 정의
인간 중심의 환경에서 로봇 조작은 익숙하지 않은 물체나 새로운 장면으로 기술을 일반화할 때 상당한 어려움에 직면합니다. 최근의 시각-언어-행동(VLA) 모델 및 생성적 시각 운동 정책(예: RT-2, Octo, Diffusion Policies)의 발전은 제로샷 능력을 향상시켰으나, 이들은 종종 명시적인 물리적 및 기하학적 사전 지식(prior)이 부족합니다. 결과적으로, 이러한 방법들은 엄격한 제약 조건 충족이 필요하거나 장면 분포가 변화하는(예: 물체의 형상, 위상 또는 참조 프레임의 변화) 경우 취약한 동작을 보일 수 있습니다. 기존 방식들은 대규모 데이터셋, 광범위한 재학습 또는 수동 참조 프레임에 의존하며, 실행 중 접촉, 포즈 또는 운동학적 제약이 유지됨을 보장하지 못합니다. 본 연구가 다루는 핵심 문제는 단 하나의 인간 시연으로부터, 추가 학습 없이도 기하학적으로 크게 다른 새로운 범주 수준의 물체로 복잡한 조작 기술을 어떻게 전이할 것인가 하는 점입니다.

방법론
저자들은 기하학적 표현을 보조적인 단서가 아닌 기술 전이의 백본(backbone)으로 취급하는 프레임워크인 **GIFT (Geometry-Induced Functional Transfer)**를 제안합니다. 이 방법은 **시연(Demonstration)**과 **모방(Imitation)**의 두 단계로 작동합니다.

기술 표현 (Skill Representation): 기술은 튜플 $T = \{X, f(\text{task})\}$ 로 정의됩니다. 여기서 $X$ 는 로봇 엔드 이펙터 궤적이고, $f(\text{task})$ 는 물체 표면 위에 정의된 상호작용 함수입니다. 이 함수들은 다음을 인코딩합니다:
- 로봇 상호작용 함수 (RIF): 그리퍼와 물체 사이의 접촉 영역.
- 환경 상호작용 함수 (EIF): 물체와 환경 요소(예: 평면) 사이의 상호작용.
함수 맵 대응 (Functional Map Correspondence, FMC): 새로운 물체로 기술을 전이하기 위해, GIFT는 Functional Maps 프레임워크를 활용합니다. 이는 다음 과정을 포함합니다:
- 시연된 물체와 대상 물체 모두에 대해 Laplace-Beltrami (LB) 연산자의 처음 $n$ 개 고유함수(eigenfunctions)를 사용하여 정규 직교 기저(orthonormal bases)를 계산합니다.
- 등거리 변환(isometry)에 불변하는 기술자 함수(예: Wave Kernel Signature)를 계산합니다.
- 소스(source)와 타겟(target) 형상의 기술자 함수를 정렬하는 함수 맵 $C$ 를 찾기 위해 최적화 문제를 해결합니다.
- 이 맵을 점 대 점(point-to-point) 대응 관계로 정밀화하여 상호작용 함수( $f \to g$ )를 새로운 물체의 매니폴드(manifold)로 전이합니다.
- 다중 물체 장면에서 가장 잘 일치하는 물체를 식별하기 위해, 함수 맵 행렬의 대각 우세성(diagonal dominance)에 기반한 물체 선택 메트릭을 사용합니다.
기하학적 일관성을 갖춘 궤적 생성 (Geometry-Consistent Trajectory Generation): 상호작용 함수가 전이되면, 로봇은 **스크류 선형 보간(Screw Linear Interpolation, ScLERP)**을 사용하여 새로운 궤적을 생성합니다.
- 시연된 경로는 단위 이중 쿼터니언(unit dual quaternions)의 시퀀스로 표현됩니다.
- 연속적인 포즈 사이의 상대적 변환( $\delta_i$ )을 계산합니다.
- 새로운 장면에서, 이 상대적 변환들을 새로운 목표 포즈에 적용하여 경로를 재구성합니다.
- 이 접근 방식은 ad-invariance를 보장하며, 이는 분리된 보간법(decoupled interpolation methods)과 달리 참조 프레임이나 물체의 위상에 관계없이 기하학적 제약과 점들 사이의 상대적 관계가 유지됨을 의미합니다.
실행 (Execution): 시스템은 가장 잘 일치하는 물체를 선택하고, RIF와 EIF를 전이하며, 전이된 RIF에 의해 제약된 플래너(LoCoMo)를 사용하여 파지 포즈(grasp pose)를 생성한 후, ScLERP로 생성된 궤적을 사용하여 과업을 수행합니다.

주요 기여

원샷 기술 전이 (One-Shot Skill Transfer): 이 프레임워크는 추가적인 정책 학습 없이도, 단 한 번의 운동 감각 시연(kinesthetic demonstration)으로부터 보지 못한 물체로 복잡한 조작 기술을 전이할 수 있게 합니다.
기하학 우선 패러다임 (Geometry-First Paradigm): 엔드 투 엔드(end-to-end) 학습 방식과 달리, GIFT는 표면 함수와 스크류 기하학을 통해 작업 제약을 명시적으로 인코딩함으로써 해석 가능성과 엄격한 제약 충실도를 보장합니다.
형상 및 위상 변화에 대한 강건성: Functional maps와 screw interpolation을 활용함으로써, 이 방법은 원래 작업의 불변성을 유지하면서도 형상과 참조 프레임이 크게 다른 물체를 성공적으로 처리합니다.
데이터 효율성: 이 접근 방식은 대규모 데이터셋 대신 기하학적 구조에 의존하므로 계산 효율적이며 데이터가 제한적인 시나리오에 적합합니다.

실험 결과
저자들은 7-DoF KUKA iiwa 로봇과 Schunk PG 70 그리퍼, 그리고 손목 장착형 RGB-D 카메라를 사용하여 GIFT를 검증했습니다. 실험에는 닦기(wiping), 상자 그리기(drawing a box), 병 젓기(bottle stirring), 버튼 누르기(button pressing)의 네 가지 기술이 포함되었으며, 다양한 물체 인스턴스에 대해 테스트되었습니다.

물체 매칭: 시스템은 가장 대각 우세한 함수 맵을 가진 물체를 선택함으로써 다중 물체 장면에서 올바른 대상 물체를 성공적으로 식별했습니다.
함수 전이: 전이된 RIF 및 EIF 함수의 평균 절대 오차(MAE)는 모든 기술에서 낮게 유지되었습니다. 함수 전이의 평균 처리 시간은 약 7.4초였습니다.
과업 실행: 시스템은 새로운 장면에서 전이된 기술을 실행할 때 높은 성공률(작업에 따라 75% ~ 100%)을 달ей했습니다. 최종 포즈가 초기 구성과 다르더라도 궤적 제약이 유지되었습니다.
관찰된 한계점: 일부 경우(예: 대칭 블록 닦기), FMC가 물체의 대칭성을 고려하지 못해 물체의 정렬 미비나 회전이 발생할 수 있었습니다. 그러나 저자들은 이것이 기술 전이의 완전한 실패를 의미하는 것은 아니라고 언급했습니다.

의의 및 주장
본 논문은 GIFT가 데이터 기반 파운데이션 모델과 완전히 직교하며 상호 보완적인 접근 방식을 제공한다고 주장합니다. VLA 및 확산 정책(diffusion policies)의 빠른 발전을 인정하면서도, 저자들은 GIFT가 명시적인 제약 충실도, 설명 가능성, 그리고 상당한 형상 변화에 대한 예측 가능한 일반화가 매우 중요한 특정 영역을 목표로 한다고 주장합니다. 이 연구의 의의는 제약 만족이 데이터로부터 추론되는 것이 아니라, 표현과 보간 방식으로부터 직접적으로 도출되는 메커니즘을 제공한다는 점에 있습니다. 저자들은 이러한 기하학적 근거(geometric grounding)가 대규모 시각 운동 정책 아래에 계층화되어, 실제 세계의 동작을 "강화(harden)"함으로써 견고한 기하학적 근거와 의미론적 유연성 사이의 간극을 메울 수 있다고 상정합니다.