Diffusion-Based Impedance Learning for Contact-Rich Manipulation Tasks

이 논문은 Apple Vision Pro 를 통한 원격 조작으로 수집된 데이터를 기반으로 트랜스포머 기반 확산 모델을 활용해 외부 힘에 반응하여 임피던스 파라미터를 실시간으로 적응시키는 'Diffusion-Based Impedance Learning' 프레임워크를 제안하여, 복잡한 접촉 작업에서 정밀하고 안정적인 로봇 조작을 가능하게 합니다.

핵심

이 논문은 로봇이 **물건을 만지거나 부딪히는 상황 (접촉이 많은 작업)**에서 어떻게 더 똑똑하고 부드럽게 움직일 수 있는지에 대한 새로운 방법을 소개합니다.

기존의 로봇은 두 가지 큰 문제를 겪고 있었습니다.

1. 너무 딱딱함: 로봇이 벽에 부딪히면 멈추거나, 부러질 정도로 힘을 세게 줍니다.
2. 너무 유연함: 로봇이 너무 부드럽게 움직여서 원하는 곳에 정확히 닿지 못하거나, 물건을 끼워 넣을 때 헛돌아갑니다.

이 연구는 **"확산 모델 (Diffusion Model)"**이라는 최신 AI 기술과 **"임피던스 제어 (Impedance Control)"**라는 로봇 공학 기술을 결합하여 이 두 문제를 동시에 해결했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 개념: "보이지 않는 스프링"과 "AI 예지몽"

로봇의 손끝에는 보이지 않는 스프링이 달려 있다고 상상해 보세요.

• 스프링이 딱딱하면 (강성 높음): 로봇은 자신의 길을 고집합니다. 벽에 부딪히면 "내가 가야 할 길이 여기야!"라고 외치며 벽을 밀거나 멈춥니다.
• 스프링이 너무 말랑하면 (강성 낮음): 로봇은 바람에 흔들리는 나뭇잎처럼 약해서, 정확한 힘을 주지 못합니다.

기존 방식은 이 스프링의 딱딱한 정도를 사람이 미리 정해두었습니다. 하지만 세상은 예측할 수 없으니, 미리 정해둔 값으로는 실패하기 일쑤였습니다.

이 논문이 제안하는 방법은 **"AI 가 실시간으로 스프링의 딱딱한 정도를 스스로 조절하는 것"**입니다.

2. 어떻게 작동할까요? (세 가지 단계)

① "예지몽"을 꾸는 AI (확산 모델)

로봇은 현재 자신의 위치와 손에 가해지는 힘 (벽을 밀 때의 반발력 등) 을 감지합니다.
이때 AI 는 **"만약 이 장애물이 없다면, 내가 원래 가려던 길은 어디였을까?"**라고 상상합니다.

• 비유: 길을 가다가 큰 바위 (장애물) 를 만났을 때, 내비게이션이 "아, 이 바위가 없으면 나는 저쪽으로 직진했을 텐데"라고 **상상 (재구성)**하는 것과 같습니다.
• 이 AI 는 '확산 모델'이라는 기술을 써서, 현재 부딪힌 상황을 '소음'으로 보고, 원래 가려던 **이상적인 경로 (Zero-Force Trajectory)**를 다시 그려냅니다.

② "방향별" 스프링 조절 (방향성 적응)

AI 가 그려낸 이상적인 경로와 실제 로봇의 위치를 비교합니다.

• 비유: 로봇이 바위를 만났을 때, 바위 방향으로만 스프링을 말랑말랑하게 만들어 바위를 부드럽게 넘기게 하고, 바위를 넘은 뒤로 나아가야 할 방향으로는 스프링을 딱딱하게 유지하여 정확히 목표 지점을 향해 가도록 합니다.
• 기존 방식은 부딪히면 모든 방향의 스프링을 다 말랑하게 만들어 로봇이 헛돌게 했지만, 이 방법은 **"어떤 방향으로는 유연하고, 어떤 방향으로는 단단해야 할지"**를 AI 가 실시간으로 판단합니다.

③ 에너지 보존 법칙을 따름

이 시스템은 물리 법칙 (에너지 보존) 을 어기지 않도록 설계되었습니다. 로봇이 에너지를 낭비하거나 위험하게 움직이지 않도록, AI 가 예측한 경로에 맞춰 스프링의 에너지를 조절합니다.

---

3. 실제 실험 결과: "파쿠르"와 "못 박기"

연구팀은 이 기술을 실제 로봇 (KUKA LBR iiwa) 에 적용하여 두 가지 어려운 테스트를 했습니다.

1. 파쿠르 (장애물 넘기):

   • 로봇이 책상 위에 놓인 여러 개의 장애물을 부드럽게 넘어가야 했습니다.
   • 기존 로봇: 첫 번째 장애물에 부딪히면 멈추거나 튕겨 나갔습니다.
   • 이 기술 적용 로봇: 장애물을 부드럽게 타고 넘어가며, 마치 인간이 파쿠르를 하듯 자연스럽게 움직였습니다.

2. 못 박기 (Peg-in-Hole):

   • 원형, 네모, 별 모양 등 다양한 모양의 못을 구멍에 끼워 넣는 작업입니다. 특히 별 모양은 각이 맞아야 들어갑니다.
   • 중요한 점: AI 는 이 '별 모양 못'에 대한 훈련 데이터를 전혀 받지 않았습니다. 오직 '장애물 넘기'와 '재활 치료' 데이터만 배웠습니다.
   • 결과: 훈련받지 않은 별 모양 못을 포함한 모든 모양에서 100% 성공했습니다!
   • 이유: 로봇이 못의 모양을 '알고' 있는 게 아니라, 부딪히는 힘의 방향을 AI 가 실시간으로 분석하여 "이쪽으로는 힘을 빼고, 저쪽으로 힘을 주자"고 스스로 판단했기 때문입니다.

4. 왜 이것이 중요한가요?

이 기술은 로봇이 미리 정해진 규칙에 갇히지 않고, 상황에 따라 유연하게 대처할 수 있게 해줍니다.

• 기존: "벽이 있으면 멈춰라" (규칙 기반)
• 이 기술: "벽이 있으면 부드럽게 넘어서 원래 목적지로 가라" (상황 인식 기반)

이는 로봇이 공장에서 복잡한 조립 작업을 하거나, 인간과 함께 재활 치료를 할 때, 안전하면서도 정밀한 작업을 가능하게 합니다. 마치 로봇이 "스스로 생각하며" 물리 법칙을 이용해 부드럽게 움직이는 것처럼 보이게 만드는 혁신적인 기술입니다.

요약

이 논문은 **"AI 가 로봇에게 '만약 장애물이 없다면'이라는 상상을 하게 하여, 부딪히는 순간 스프링의 딱딱한 정도를 방향별로 똑똑하게 조절하게 만든 방법"**을 소개합니다. 그 결과, 로봇은 훈련받지 않은 새로운 상황에서도 장애물을 부드럽게 넘고, 정밀한 조립 작업을 100% 성공적으로 수행할 수 있게 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

로봇 제어는 크게 두 가지 영역으로 나뉩니다.

• 정보 영역 (Information Domain): 운동 계획 및 학습 알고리즘이 작동하는 영역으로, 기호적/수치적 표현 (궤적, 포즈 등) 을 다룹니다. 물리 법칙의 제약 없이 데이터 처리에 기반합니다.
• 에너지 영역 (Energy Domain): 물리적 상호작용이 발생하는 영역으로, 에너지 보존, 엔트로피, 중력 등 물리 법칙의 제약을 받습니다.

기존의 학습 기반 방법 (Learning-based methods) 은 정보 영역에서 뛰어난 성능을 보이지만, 물리적 상호작용이 빈번한 환경 (Contact-rich tasks) 에서는 안정성과 안전성이 부족합니다. 반면, 임피던스 제어 (Impedance Control) 는 안정적이고 안전한 접촉 행동을 보장하지만, 강성 (Stiffness) 과 감쇠 (Damping) 파라미터를 작업별로 수동으로 튜닝해야 하는 번거로움이 있으며, 비구조화된 환경에서는 일반화가 어렵습니다.

이 논문은 정보 영역의 생성적 학습 (Generative Learning) 과 에너지 영역의 물리 일관성 있는 제어 (Energy-consistent Control) 를 통합하여, 수동 튜닝 없이도 복잡하고 예측 불가능한 접촉 환경에서 로봇이 안정적으로 작업을 수행할 수 있는 프레임워크를 제시합니다.

2. 방법론 (Methodology)

저자들은 Diffusion-Based Impedance Learning이라는 새로운 프레임워크를 제안했습니다. 핵심 아이디어는 생성 모델 (Diffusion Model) 을 사용하여 물리적 상호작용에 따른 '평형 상태 (Equilibrium)'를 재구성하고, 이를 기반으로 임피던스 파라미터를 실시간으로 적응시키는 것입니다.

A. 핵심 구성 요소

1. 조건부 확산 모델 (Conditional Diffusion Model):

   • 입력: 측정된 외부 와렌치 (External Wrenches, 힘과 토크) 와 로봇의 현재 포즈.
   • 출력: 시뮬레이션된 제로 힘 궤적 (Simulated Zero-Force Trajectory, sZFT).
   • 구조: Transformer 기반의 확산 모델로, 크로스 어텐션 (Cross-attention) 을 통해 외부 와렌치 정보를 조건 (Condition) 으로 받습니다.
   • 역할: 로봇이 장애물과 접촉하여 발생하는 외란을 '노이즈'로 간주하고, 이를 제거하여 물리적으로 일관된 평형 궤적 (sZFT) 을 복원합니다. 이는 실제 접촉 환경에서 로봇이 도달해야 할 이상적인 평형 위치를 추론하는 것입니다.

2. SLERP 기반 회전 노이즈 스케줄러:

   • 회전 (Quaternion) 에 노이즈를 추가할 때 단위 구면 (Unit Sphere) 의 기하학적 일관성을 유지하기 위해 선형 보간 (SLERP) 을 사용합니다. 이는 기존 직교 좌표계 기반 노이즈 추가 방식의 단점을 보완합니다.

3. 에너지 기반 강성 추정 (Energy-based Stiffness Estimation):

   • 복원된 sZFT 와 실제 측정된 외력을 기반으로 가상 스프링의 변형 에너지를 계산합니다.
   • 방향별 적응 (Directional Adaptation): 작업에 중요한 방향 (sZFT 와 정렬된 방향) 은 강성을 유지하고, 작업과 무관한 방향 (장애물 접촉 등) 에만 강성을 줄입니다. 이를 통해 로봇은 장애물을 부드럽게 넘거나 삽입 작업을 수행하면서도 필요한 방향의 강성은 유지합니다.

4. 데이터 수집:

   • Apple Vision Pro 를 이용한 원격 조작 (Teleoperation) 을 통해 데이터 수집.
   • 마커리스 포즈 추적을 사용하여 작업자의 손목 포즈를 로봇의 명령 궤적 (ZFT) 으로 사용하며, 실제 로봇의 접촉 와렌치를 함께 기록합니다.

3. 주요 기여 (Key Contributions)

1. 정보 - 에너지 영역 통합: 생성적 AI(확산 모델) 와 물리 기반 임피던스 제어를 통합하여, 학습된 궤적 생성과 물리적 상호작용 안정성을 동시에 달성했습니다.
2. 접촉 일관성 평형 재구성 (Contact-Consistent Equilibrium Reconstruction): 확산 모델을 통해 외부 힘에 의해 교란된 궤적에서 물리적으로 타당한 평형 상태 (sZFT) 를 실시간으로 추론하는 새로운 접근법을 제시했습니다.
3. 방향별 임피던스 적응: 단순히 전체 강성을 줄이는 것이 아니라, sZFT 를 기반으로 각 축의 중요도를 평가하여 선택적으로 강성을 조절하는 메커니즘을 개발했습니다.
4. 효율적인 데이터 활용: 수만 개의 샘플 (약 1.6 시간의 원격 조작 데이터) 만으로도 높은 정확도와 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

KUKA LBR iiwa 로봇을 사용하여 두 가지 주요 시나리오에서 실험을 수행했습니다.

• 실험 1: 파쿠르 스타일 장애물 통과 (Parkour-style Obstacle Traversal)

  • 상황: 로봇이 테이블 위의 여러 장애물을 연속적으로 통과해야 하는 작업.
  • 결과: 고정 임피던스 제어는 첫 번째 장애물에서 멈추거나 진동 (Jamming) 을 일으켰으나, 제안된 방법은 부드러운 통과에 성공했습니다.

• 실험 2: 다양한 기하학적 핀 - 구멍 삽입 (Multi-geometry Peg-in-Hole)

  • 상황: 원형, 정사각형, 별 모양의 핀을 구멍에 삽입. 훈련 데이터에는 핀 - 구멍 작업이 포함되지 않았습니다 (Zero-shot 일반화).
  • 결과:
    • 고정 임피던스: 원형 핀은 성공했으나, 정사각형 (13%) 과 별 모양 (0%) 은 대부분 실패했습니다.
    • 제안 방법: 모든 핀 유형 (원형, 정사각형, 별 모양) 에서 100% 성공률을 기록했습니다.
  • 의의: 훈련 데이터에 핀 - 구멍 작업이 전혀 없었음에도, 물리적 상호작용 데이터 (와렌치) 만으로 작업에 성공하여 뛰어난 일반화 능력을 입증했습니다.

• 정확도: 위치 정확도 0.994mm, 회전 정확도 0.249 도 (Sub-millimeter 및 Sub-degree) 수준을 달성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 로봇이 비구조화된 환경에서 물리적 상호작용을 수행할 때, 단순히 궤적을 따르는 것을 넘어 물리 법칙 (에너지) 을 고려한 적응형 제어가 필수적임을 보여줍니다.

• 기술적 의의: 기존의 학습 기반 방법 (보상 함수에 의존) 이나 전통적인 임피던스 제어 (수동 튜닝 의존) 의 한계를 극복했습니다. 확산 모델이 물리적 상호작용의 '평형 상태'를 학습함으로써, 로봇이 장애물을 만나도 스스로 유연하게 대응하고 작업을 완수할 수 있게 합니다.
• 실용적 의의: 복잡한 조립 작업, 재활 치료, 비구조화된 환경에서의 작업 등 다양한 분야에서 적용 가능한 범용적인 프레임워크를 제시했습니다. 특히, 훈련 데이터에 없는 새로운 작업 (Zero-shot) 에도 성공적으로 적용된 점은 산업 현장에서의 적용 가능성을 크게 높였습니다.

결론적으로, 이 연구는 생성적 AI 와 물리 기반 제어의 융합을 통해 접촉이 풍부한 로봇 조작의 새로운 패러다임을 제시하며, 안전하고 강인한 인간 - 로봇 상호작용을 위한 중요한 토대를 마련했습니다.