Shape-Interpretable Visual Self-Modeling Enables Geometry-Aware Continuum Robot Control

이 논문은 비저터블 베지어 곡선 표현과 신경 상미분 방정식을 활용하여 연속체 로봇의 3 차원 형상을 시각적으로 해석 가능한 자기 모델로 학습하고, 이를 통해 환경 인식을 갖춘 기하학적 제어 및 장애물 회피가 가능한 새로운 프레임워크를 제안합니다.

핵심

이 논문은 **연속체 로봇 **(Continuum Robot)이라는 특별한 로봇을 더 똑똑하고 안전하게 움직이게 하는 새로운 방법을 소개합니다.

이 로봇은 딱딱한 관절이 없는 대신, 문어 다리가나 코끼리 코처럼 유연하게 구부러지고 변형되는 특징이 있습니다. 이런 로봇은 좁은 공간이나 복잡한 환경에서 일하기 좋지만, "어떻게 구부러졌는지"를 정확히 파악하고 제어하는 게 매우 어렵습니다.

이 연구는 로봇이 **스스로 자신의 모습을 이해하고 **(Self-modeling)하는 기술을 개발했습니다. 어려운 용어 대신 일상적인 비유로 설명해 드릴게요.

---

1. 문제: "눈이 먼 코끼리" 같은 로봇

기존의 로봇 제어 방식은 두 가지 큰 문제가 있었습니다.

• **방식 A **(수학 공식에 의존) 로봇의 정확한 물리 법칙을 수학으로 다 계산해야 하는데, 로봇이 너무 유연해서 공식을 만드는 게 불가능에 가깝습니다. (마치 바람에 흔들리는 나뭇잎의 움직임을 수학으로 완벽히 예측하려는 것과 같습니다.)
• **방식 B **(머릿속의 블랙박스) 카메라로 로봇을 찍어서 "이렇게 움직여라"라고 AI 에게 시키는데, 로봇이 어떻게 변형되었는지 그 내부 구조를 모릅니다. (마치 장난감 인형을 TV 화면으로만 보고 조종하는 것과 비슷합니다. 화면에서는 잘 움직여도, 실제로는 벽에 부딪힐 수도 있습니다.)

2. 해결책: "거울 두 개를 든 코끼리"

이 연구는 생물학에서 영감을 받았습니다. 코끼리가 코를 움직일 때, 뇌는 근육 신호를 보내고 **두 눈 **(양안 시력)으로 코의 모양을 확인하며 스스로 학습합니다.

저희 연구팀은 로봇에게도 똑같은 능력을赋予了했습니다.

① 로봇의 모습을 '스케치'로 그리기 (Bezier Curve)

로봇의 복잡한 모양을 컴퓨터가 이해하기 쉽게 **간단한 선 **(Bezier Curve)으로 바꿉니다.

• 비유: 로봇의 몸을 복잡한 3D 모델링 대신, 아이가 그리는 간단한 선 그림으로 표현하는 것입니다. "이 선의 끝점을 어디로 옮기면 로봇이 이렇게 구부러지겠구나"라고 직관적으로 이해할 수 있게 됩니다.

② 두 개의 카메라로 '입체'를 파악하기 (Multi-view)

로봇 옆에 두 대의 카메라를 둡니다.

• 비유: 한쪽 눈으로만 보면 평면 그림처럼 보이지만, **두 눈으로 보면 입체 **(3D)가 보입니다. 두 카메라의 영상을 합쳐서 로봇이 3 차원 공간에서 정확히 어떤 모양인지 '스스로' 파악하게 합니다.

③ AI 가 로봇의 '운동 신경'을 학습하기 (Neural ODE)

로봇이 움직일 때마다 카메라로 찍은 영상과 모터 신호를 AI 에게 보여줍니다. AI 는 "이렇게 모터에 전기를 보냈더니, 로봇의 선 그림이 이렇게 변했구나"라고 스스로 학습합니다.

• 비유: 로봇이 자신의 몸이 어떻게 움직이는지 경험으로 배운 것입니다. 별도의 복잡한 수학 공식 없이, 직접 움직여보면서 "내 몸은 이렇게 변한다"는 규칙을 찾아낸 것입니다.

3. 놀라운 능력: 장애물 피하기와 자기 조절

이제 로봇은 단순히 "목표 지점"으로만 가는 게 아니라, 주변 환경을 보고 스스로 판단할 수 있습니다.

• 장애물 회피: 로봇 몸체가 장애물에 가까워지면, AI 가 "아, 여기는 위험하구나!"라고 인식합니다. 그리고 로봇의 **몸통 **(Shape)을 살짝 구부려 장애물을 피하면서도, **손끝 **(End-effector)은 목표대로 움직이게 합니다.
  • 비유: 사람이 좁은 통로를 지나갈 때, 손은 들고 가지만 몸통은 살짝 비틀어서 벽에 부딪히지 않는 것과 같습니다.
• **자기 조절 **(Self-motion) 손끝은 제자리에 고정된 채, 몸통만 장애물을 피해 움직일 수 있습니다.

4. 실험 결과: 얼마나 잘할까요?

연구팀은 실제 로봇으로 실험을 해보았습니다.

• 정확도: 로봇이 원하는 모양과 위치로 거의 완벽하게 움직였습니다. (오차가 매우 작았습니다.)
• 비교 실험: 기존의 '한쪽 눈'으로만 조종하는 방식 (DVIK) 과 비교했을 때, 이 방식은 두 눈을 사용해서 로봇이 3 차원 공간에서 정확히 움직이는 것을 보장했습니다. 기존 방식은 한쪽에서는 잘 가도 다른 쪽에서는 벽에 부딪히는 문제가 있었지만, 이 방법은 그런 실수가 거의 없었습니다.

5. 요약: 왜 이 연구가 중요한가요?

이 기술은 로봇을 단순한 기계에서 스스로를 이해하고 환경과 소통하는 존재로 바꿉니다.

• 기존: "이곳으로 가라" (그리고 벽에 부딪힘)
• 이 연구: "이곳으로 가되, 내 몸이 어떻게 생겼고 주변에 무엇이 있는지 알고 가라" (안전하게 우회하며 도착)

이 방법은 수학 공식을 외울 필요도, 로봇 몸에 센서를 붙일 필요도 없이, 오직 카메라 영상만으로 로봇이 스스로를 이해하고 복잡한 환경에서도 안전하게 일할 수 있는 길을 열었습니다. 마치 코끼리가 자신의 코를 완벽하게 이해하며 정교한 작업을 하듯, 로봇도 이제 스스로를 '이해'하며 움직이는 시대가 온 것입니다.

기술 요약

논문 요약: 형상 해석 가능한 시각적 자기 모델링을 통한 기하학적 인식 연속체 로봇 제어

1. 문제 제기 (Problem)

연속체 로봇 (Continuum Robots) 은 유연성과 중복도 (redundancy) 가 높아 복잡한 환경에서 안전한 상호작용이 가능하지만, 연속적인 변형과 비선형 동역학으로 인해 정밀한 감지, 모델링, 제어가 어렵습니다. 기존 연구들은 다음과 같은 한계를 가지고 있습니다:

• 모델 기반 접근: 정확한 물리 모델 (Cosserat rod 등) 을 필요로 하지만, 마찰, 히스테리시스, 외부 상호작용 등으로 인해 실제 환경에서 모델링 오차가 큽니다.
• 데이터 기반 (이산 점) 접근: 로봇 몸체에 밀집된 마커 (markers) 나 깊이 센서를 사용하여 형상을 표현하지만, 시스템 복잡도를 높이고 로봇의 본질적인 유연성을 저해합니다.
• 시각 기반 엔드 - 투 - 엔드 (End-to-End) 학습: 카메라 이미지를 직접 제어 명령으로 매핑하지만, 학습된 형상 표현이 암시적 (implicit) 이어서 로봇의 3D 기하학적 구조나 환경과의 거리를 명시적으로 인식하지 못합니다. 또한 단일 뷰 (single-view) 의 경우 2D 투영과 3D 형상 간의 비유일성 (non-unique mapping) 문제로 인해 장애물 회피나 자기 운동 (self-motion) 과 같은 복잡한 작업 수행이 어렵습니다.

2. 방법론 (Methodology)

이 논문은 형상 해석 가능한 시각적 자기 모델링 (Shape-Interpretable Visual Self-Modeling) 프레임워크를 제안합니다. 이 방법은 해석적 모델, 물리 마커, 카메라 보정 없이 다중 뷰 (multi-view) 평면 이미지만으로 로봇의 3D 형상 동역학을 학습하고 제어합니다.

• 형상 인코딩 (Shape Encoding):
  • 다중 뷰 (2 개 이상의 카메라) 에서 촬영된 로봇 이미지를 이진화하고, 수학적 형태 처리 (morphological operations) 를 통해 로봇의 골격 (skeleton) 을 추출합니다.
  • 추출된 골격을 **베지어 곡선 (Bézier curves)**으로 피팅하여 로봇 형상을 소수의 제어점 (control points) 으로 표현합니다. 이는 2D 이미지를 컴팩트하고 물리적으로 의미 있는 3D 형상 공간으로 변환하여, 로봇의 3D 구성을 유일하게 결정합니다.
• 데이터 기반 자기 모델링 (Data-Driven Self-Modeling):
  • 학습된 형상 표현과 구동기 입력 (actuator input) 을 기반으로 **신경 미분 방정식 (Neural Ordinary Differential Equations, NODE)**을 사용하여 로봇의 형상 동역학과 엔드 이펙터 (end-effector) 위치 동역학을 직접 학습합니다.
  • 이를 통해 해석적 모델 없이도 로봇이 자신의 몸체 변형을 예측하는 내부 모델 (self-model) 을 구축합니다.
• 기하학적 인식 하이브리드 제어 (Geometry-Aware Hybrid Control):
  • 학습된 NODE 모델을 통해 형상 자코비안 (Shape Jacobian) 과 위치 자코비안 (Position Jacobian) 을 추정합니다.
  • 하이브리드 제어기: 엔드 이펙터 위치 제어와 전체 로봇 형상 제어를 통합합니다.
  • 장애물 회피 전략: 로봇 형상 (베지어 곡선) 이 명시적이기 때문에, 로봇 몸체와 장애물 간의 거리를 실시간으로 계산할 수 있습니다. 위험 거리 이하로 접근 시, 가장 가까운 점에 탈출 속도 (escape velocity) 를 적용하여 형상 제어를 통해 장애물을 회피하면서도 엔드 이펙터 목표는 유지합니다.

3. 주요 기여 (Key Contributions)

1. 형상 해석 가능한 시각적 자기 모델링 프레임워크 제안: 해석적 모델, 마커, 보정 없이 다중 뷰 시각 관찰만으로 연속체 로봇의 3D 형상 동역학을 자율적으로 학습합니다.
2. 기하학적 인식 형상 - 위치 하이브리드 제어 전략 개발: 학습된 명시적 형상 표현을 활용하여 장애물 회피 및 자기 운동 (end-effector 위치 고정 시 몸체만 움직이는 것) 과 같은 유연한 행동을 지원합니다.
3. 종합적인 실험 검증: 케이블 구동 3-세그먼트 연속체 로봇을 대상으로 한 실험을 통해, 기존 시각 기반 엔드 - 투 - 엔드 제어 방법 (DVIK) 대비 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 정밀도: 형상 제어 오차는 이미지 해상도의 1.56% (약 4 픽셀) 이내, 엔드 이펙터 위치 오차는 로봇 길이의 2% 이내로 매우 정밀한 제어 성능을 보였습니다.
• 과제 수행:
  • 형상 - 위치 조절 및 추적: 다양한 참조 형상과 궤적 (∞자, 8 자) 에 대해 성공적으로 도달 및 추적을 수행했습니다.
  • 장애물 회피: 환경에 장애물이 존재할 때, 로봇 몸체가 장애물과 충돌하지 않도록 형상을 변형시키면서 엔드 이펙터 목표는 유지하는 데 성공했습니다.
  • 자기 운동 (Self-Motion): 엔드 이펙터 위치를 고정시킨 상태에서 장애물을 피하기 위해 로봇 몸체만 유연하게 움직이는 데 성공했습니다.
• 비교 분석: 단일 뷰 기반의 기존 방법 (DVIK) 과 비교 시, 제안된 방법은 두 뷰 모두에서 일관된 형상 제어 오차를 보였으며, 장애물 회피 시 충돌 없이 목표를 달성했습니다. 반면 DVIK 는 단일 뷰 제어의 한계로 인해 다른 뷰에서는 큰 오차가 발생하거나 장애물과 충돌했습니다.

5. 의의 및 결론 (Significance)

이 연구는 연속체 로봇 제어의 패러다임을 암시적 (implicit) 인 엔드 - 투 - 엔드 학습에서 해석 가능 (interpretable) 하고 기하학적 인식이 가능한 데이터 기반 자기 모델링으로 전환시켰습니다.

• 해석 가능성: 로봇의 형상을 베지어 곡선과 같은 명시적 기하학적 파라미터로 표현함으로써, 로봇이 환경과의 상호작용 (거리, 충돌 위험) 을 추론할 수 있게 되었습니다.
• 안전성 및 적응성: 복잡한 환경에서 장애물 회피와 같은 안전 필수 (safety-critical) 작업을 수행할 수 있는 기반을 마련했습니다.
• 확장성: 물리 모델에 의존하지 않으므로 다양한 형태의 소프트 로봇이나 변형 가능한 시스템으로 확장 적용 가능성이 높습니다.

결론적으로, 이 프레임워크는 시각적 관측을 3D 자기 모델로 승격시켜, 연속체 로봇이 복잡하고 동적인 환경에서 자율적이고 안전하게 조작할 수 있는 새로운 길을 제시합니다.