기술 요약: 변형 가능한 표면 제어를 위한 대응 관계가 필요 없는 함수 기반 Sim-to-Real 학습

1. 문제 정의

자유 형상 표면을 가진 소프트 로봇 시스템은 탄성체로 인해 높은 자유도(DoF)를 가지며, 이로 인해 역기구학(IK)을 통한 형상 제어가 매우 복잡합니다. 수치 시뮬레이션이 변형을 예측할 수는 있지만, 하드웨어의 불확실성과 모델링의 단순화로 인해 시뮬레이션된 형상과 실제 변형 사이에는 상당한 기하학적 격차("reality gap")가 존재합니다.

기존의 sim-to-real 전이 방법들은 세 가지 주요 한계점에 직면해 있습니다:

1. 제한된 공간 범위: 이들은 종종 희소한 마커 포인트(예: 엔드 이펙터만 수정)에 의존하여, 나머지 조작기 부분은 수정되지 않은 상태로 남겨둡니다.
2. 대응 관계에 대한 의존성: 전통적인 방식은 시뮬레이션 데이터와 캡처된 데이터 사이에 완전한 점 대 점(point-to-point) 대응 관계를 요구하며, 이는 구조화되지 않은 3D 스캐너 포인트 클라우드와 호환되지 않습니다.
3. 폐쇄(Occlusion)에 대한 취약성: 마커 기반 시스템은 큰 국부적 변형에 의해 마커가 가려질 경우 실패하며, 이로 인해 영향을 받은 프레임은 학습에 사용할 수 없게 됩니다.

본 논문은 3D 스캐너 데이터(대응 관계가 없는 포인트 클라우드) 또는 모션 캡처(MoCap) 데이터(누락된 마커를 허용)를 사용하여 큰 변형 상황에서도 형상 오차를 수정할 수 있는 대응 관계가 필요 없는(correspondence-free) sim-to-real 학습 방법의 필요성을 다룹니다.

2. 방법론

제안된 접근 방식은 시뮬레이션과 실제 변형 응답 사이의 함수 기반 매핑을 구축하고, 이를 효율적인 IK 계산을 위해 신경망(NN) 파이라인에 통합합니다.

A. 압축된 형상 표현

전체 포인트 클라우드를 처리하는 중복성을 피하기 위해, 자유 형상 표면 $S$는 B-스플라인(B-spline) 표면으로 표현됩니다.

• 표면은 매개변수화되며, 추출된 제어점($S_c$)은 압축된 형상 기술자 역할을 합니다.
• 표면의 임의의 점 $p$는 B-스플라인 디코더를 통해 재구성됩니다: $p = B(u, v, S_c)$.
• 이는 학습 네트워크를 위한 입력 차원을 축소합니다.

B. 함수 기반 공간 워핑(Spatial Warping)

sim-to-real 전이의 핵심은 시뮬레이션된 점 $p$를 교정된 점 $p^*$로 매핑하는 방사 기저 함수(RBF) 기반의 공간 워핑 함수 $\Phi(p)$입니다:
$$p^* = \Phi(p) = \alpha_0 + Ap + \sum_{i=1}^{N} \beta_i e^{-c\|p - q_i\|^2}$$

• 커널 중심($q_i$): UV 매개변수 영역에 고정되어 있으나, B-스플라인 제어점을 통해 3D 공간으로 매핑됩니다.
• 함수 예측 네트워크($N_{rbf}$): 각 형상에 대해 워핑을 직접 학습하는 대신, 입력 제어점 $S_c$를 기반으로 RBF 계수 $\gamma = [\alpha_0, \dots, \beta_i]$를 예측하는 신경망입니다. 이를 통해 시스템은 어떠한 시뮬레이션 형상에 대해서도 연속적인 워핑 함수를 생성할 수 있습니다.

C. 미분 가능한 정렬 및 공동 학습

명시적인 점 대응 관계 없이 시스템을 학습시키기 위해, 저자들은 **신뢰도 가중 Chamfer 거리(confidence-weighted Chamfer distance)**를 주요 손실 지표로 도입했습니다.

• 신뢰도 맵($N_{conf}$): 보조 네트워크는 캡처된 데이터에서 신뢰할 수 있는 대응 관계를 찾을 가능성을 나타내는 스칼라 신뢰도 값 $w_c(p) \in [0, 1]$를 각 점에 대해 예측합니다.
• 손실 함수: 학습은 예측된 교정 형상 $S^*$와 캡처된 물리적 형상 $S_p$ 사이의 가중 Chamfer 거리를 최소화합니다. 신뢰도 맵은 데이터가 누락되었거나 신뢰도가 낮은 영역의 가중치를 낮춥니다.
• 정규화: 세 가지 추가 손실 항이 견고함을 보장합니다:
  1. 신뢰도 정규화: 신뢰도 맵이 0으로 붕괴되는 것을 방지합니다.
  2. 법선 호환성(Normal Compatibility): 예측된 형상의 법선이 캡처된 형상의 법선과 일치하도록 보장합니다.
  3. 기하학적 정규화: 커널 수가 제한적이거나 격차가 클 때 발생하는 "이상한" 형상을 방지하기 위해 RBF 계수에 대한 호환성 조건(예: $\sum \beta_i = 0$)을 강제합니다.

D. 역기구학(IK) 파이라인

학습된 네트워크들은 종단간(end-to-end)의 해석적으로 미분 가능한 파이라인을 형성합니다:

1. 순기구학(Forward Kinematics): 네트워크 $N_{fk}$는 구동 파라미터 $a$로부터 B-스플라인 제어점 $S_c$를 예측합니다.
2. Sim-to-Real 전이: $N_{rbf}$가 RBF 계수를 예측하고, $\Phi$가 형상을 물리적 영역으로 워핑합니다.
3. 최적화: IK 문제는 예측된 물리적 형상과 목표 형상 $S_t$ 사이의 거리를 최소화하는 경사 하강법을 통해 해결됩니다. 전체 체인의 미분 가능성 덕분에 효율적인 그래디언트 계산이 가능합니다.

3. 주요 기여

1. 회복 탄력성이 있는 Sim-to-Real 파이프라인: RBF 기반의 공간 워핑 함수 공간을 사용하여 unorganized 포인트 클라우드와 부분적 폐쇄를 처리할 수 있는 격차 해소 프레임워크를 제공합니다.
2. 대응 관계가 필요 없는 학습: 학습된 신뢰도 맵과 가중 Chamfer 거리를 사용하는 미분 가능한 정렬 방법을 통해, 사전에 정의된 점 대응 관계의 필요성을 제거했습니다.
3. 효율적인 NN 기반 IK: sim-to-real 전이를 통한 해석적 그래디언트를 활용하여 소프트 변형 로봇의 역기구학 문제를 효율적으로 해결하는 계산 파이프라인을 구축했습니다.

4. 실험 결과

본 방법론은 서로 다른 복잡성을 가진 네 가지 공압 구동 소프트 로봇에 대해 검증되었습니다:

• 변형 가능한 멤브레인(Deformable Membrane): 9개의 챔버, 대규모 팽창 변형.
• 소프트 매니퓰레이터(Soft Manipulator): 두 개의 세그먼트, 6개의 챔버, 순수 굽힘.
• 로봇 마네킹(Robotic Mannequin): 15개의 챔버, 9개의 DoF, 복잡한 자유 형상 표면.
• 압축 가능 매니퓰레이터(Compressible Manipulator): 3x3 벨로우즈, 압축, 팽창 및 굽힘 가능.

성능 지표:

• 정확도: 시뮬레이션 전용 또는 직접 학습(구동에서 형상으로의 매핑)과 비교했을 때, 제안된 sim-to-real 방법은 변형 가능한 멤브레인에서 평균 형상 오차를 63.3% ~ 75.5% 감소시켰으며, 마네킹과 매니퓰레이터에서도 성능을 크게 향상시켰습니다.
• 데이터 효율성: 직접 학습이 유사한 성능에 도달하기 위해 400개의 프레임이 필요했던 반면, 본 방법은 단 40개의 학습 프레임만으로 낮은 오차 수준을 달이트했습니다.
• 견고성: 시스템은 최대 21%의 샘플 포인트 누락(3D 스캐너) 및 9.8%의 마커 누락(MoCap)이 있는 데이터셋을 성공적으로 처리했습니다.
• 응용 분야:
  • 3D 프린팅: 재구성 가능한 몰드로 사용되었습니다. sim-to-real 교정을 통해 프린터 헤드와 몰드 사이의 간극을 줄여 정확한 재료 적층을 가능하게 했습니다.
  • 경로 계획(Motion Planning): 시뮬레이션 전용 예측이 충돌을 일으킬 수 있는 장애물 통과 상황에서, 소프트 매니퓰레이터가 충돌 없는 궤적을 계획할 수 있도록 지원했습니다.
  • 마네킹 제어: CAESAR 데이터셋의 인체 형상에 대해 빠른 수렴(약 15회 반복)을 달성했습니다.

5. 의의 및 주장

본 논문은 다음과 같은 점을 통해 변형 가능한 자유 형상 표면의 형상 제어 분야에서 최신 기술 수준을 높였다고 주장합니다:

• 전체 대응 관계에 대한 의존성을 제거함으로써, 밀집된 3D 스캐너와 폐쇄가 있는 견고한 MoCap 시스템의 사용을 가능하게 했습니다.
• sim-to-real 교정을 IK 솔버에 직접 통합하는 통합된 미분 가능 프레임워크를 제공하여 실시간 그래디언트 기반 제어를 가능하게 했습니다.
• 다양한 구동 원리(순수 팽창, 굽힘, 압축) 및 구조적 복잡성에 대한 일반화 가능성을 입증했습니다.

한계 및 향러 과제:
저자들은 본 방법론이 학습 데이터셋의 품질과 범위에 크게 의존한다는 점을 인정합니다. 또한, RBF의 내재적인 매끄러움(smoothness)으로 인해 날카로운 특징을 가진 표면에는 효과가 떨어질 수 있습니다. 향후 연구에는 지속 가능한 의류 제작을 위한 재사용 가능한 몰드로서의 변형 가능한 마네킹 활용과, pick-and-place 작업에서의 소프트 매니퓰레이터 테스트가 포함됩니다.