Surface Constraint Policy for Learning Surface-Constrained and Dynamically Feasible Robot Skills

기술 요약: 표면 제약 조건 학습을 위한 표면 제약 정책 (Surface Constraint Policy)

문제 정의

확산 기반 모방 학습(Diffusion-based imitation learning)은 로봇의 정교한 조작 분야를 발전시켜 왔으나, 복잡한 자유 형식의 표면 제약이 포함된 작업(예: 닦기, 연마, 초음파 스캐닝)에 적용할 때는 상당한 한계에 직면해 있습니다. 기존의 생성 모델은 명시적인 표면 기하학적 제약 모델링이 부족하여 다음과 같은 문제가 발생합니다:

1. 확률적 행동 생성: 신뢰할 수 있는 표면 정렬을 달성하지 못함.
2. 불안정한 접촉: 운동학적 및 동역학적 제약을 충분히 고려하지 못해 큰 가속도, 불규칙한 궤적 곡률, 접촉 상실 또는 표면 손상 가능성이 발생함.
   기존 방법들은 기하학적 관계를 암묵적으로 학습(정밀도가 낮음)하거나, 훈련 중에 제약을 도입하더라도 실제 하드웨어에서 매끄럽고 동역학적으로 허용 가능한 실행을 보장하지 못합니다.

방법론: 표면 제약 정책 (SCP)

저자들은 인간의 시연과 실시간 시각 관찰을 통합하여 표면 기하학 제약과 동역학적 타당성을 모두 만족하는 행동을 생성하는 새로운 프레임워크인 표면 제약 정책(Surface Constraint Policy, SCP)을 제안합니다. 이 파이프라인은 세 가지 핵심 구성 요소로 이루어집니다:

1. 표면 기하학 인코딩 (Surface Geometry Encoding)

기하학적 사전 정보를 제공하기 위해, 시스템은 시연 궤적으로부터 유도된 2차원 가중 가우시안 커널 함수를 사용하여 자유 형식의 표면 $S(u, v)$를 인코딩합니다.

• 과정: 시연된 말단 장치(end-effector) 포즈를 로컬 $uv$ 좌표로 매개변수화합니다.
• 모델: 가중 국소 회귀(Locally Weighted Regression, LWR)를 통해 학습된 가중치를 사용하여 가우시안 커널의 가중 합으로 연속적인 표면 상태 함수를 구축합니다. 이를 통해 표면의 구조화된 기하학적 표현을 생성합니다.

2. 확산 기반 행동 의도 추론 (Diffusion-Based Action Intent Inference)

다중 모달 입력을 통해 작업 수준의 행동 의도($A_t$)를 추론하기 위해 조건부 디노이징 확산 확률 모델(DDPM)을 사용합니다.

• 입력: RGB 이미지 시퀀스($O_t$), 말단 장치 포즈($P_t$), 그리고 관절 구성($J_t$).
• 아키텍처: 시각적 특징은 학습되지 않은 ResNet-18을 통해 인코딩되며, 고유 수용 감각 상태는 MLP를 통해 인코딩됩니다. 이들은 결합되어 트랜스포머 기반 확산 모델에 의해 처리됩니다.
• 출出力: 모델은 현재 관찰값과 확산 단계(diffusion step)를 조건으로 하여 미래 행동 의도(위치 및 방향)의 시퀀스를 생성합니다.

3. 유사도 기반 모션 매핑 및 실행 (Similarity-Based Motion Mapping and Execution)

확률적 정책 출력과 물리적으로 실행 가능한 동작 사이의 간극을 메우기 위해, 추론된 행동 의도는 유사도 기반 매핑 방식을 통해 **표면 제약 동적 운동 프리미티브(Surface-Constrained DMPs)**로 변환됩니다.

• 위치 매핑: 확산 정책의 이산 궤적 점들을 인코딩된 표면 $S(u, v)$ 위로 투영합니다. 이는 다음 두 가지를 최소화하는 공동 최적화 문제로 정식화됩니다:
  1. 투영된 점과 원래 점 사이의 유클리드 거리 (기하학적 일관성).
  2. 투영 전후의 국소 방향 엔트로피 간의 쿨백-라이블러(KL) 발산 (궤적 구조 보존).
• 방향 추정: 방향은 비균일한 시연 분포를 처리하기 위해 공간적 거리에 따라 가중치가 부여된 단위 쿼터니언 다양체($S^3$) 상의 **가우시안 내적 클러스터링(Gaussian intrinsic clustering)**을 사용하여 추정합니다.
• 동적 실행: 매핑된 궤적은 다음을 사용하여 실행됩니다:
  • 호 길이 DMP (Arc-Length DMPs, AL-DMPs): 위치 궤적을 위해, 공간적 형상과 시간적 실행 속도를 분리합니다.
  • 측지선 DMP (Geodesic DMPs, Geo-DMPs): 방향 궤적을 위해, 쿼터니언 다양체 상의 측지선을 따라 진화합니다.
  • 동기화: 두 DMP 유형 모두 기하학적 길이(호 길이 또는 측지선 길이)를 위상 변수로 사용하여, 가변적인 속도에서도 일관된 위치-방향 협응을 보장합니다.

주요 기여

1. 표면 제약 정책 (SCP) 프레임워크: 기존 확산 정책에서 부족한 명시적 모델링 문제를 해결하며, 표면 제약 하에서 미세한 기하학적 일관성을 갖는 행동 의도를 생성하는 새로운 정책 학습 프레임워크입니다.
2. 유사도 매핑 방법: 고수준 정책 의도를 동역학적으로 실행 가능한 로봇 행동으로 변환하는 메커니즘입니다. 이 방법은 궤적 구조를 보존하면서 표면 순응성을 보장하여 모션의 매끄러움과 안정성을 크게 향상시킵니다.
3. 포괄적 검증: 화이트보드 닦기, 자유 형식 표면 닦기, 항공기 윈드스크린 세척 등 난이도가 높아지는 세 가지 작업에서 평가를 수행하여 최신 성능(SOTA) 베이스라인보다 우수한 성능을 입증했습니다.

실험 결과

SCP를 세 가지 베이스라인과 비교하였습니다:

• DP: 표준 확산 정책 (명시적 제약 없음).
• MDP: 운동 프리티브가 결합된 확산 모델 (매끄러움은 개선되나 명시적 표면 제약은 부족함).
• ACP: 적응형 컴플라이언스 정책 (접촉력을 조절하기 위해 임피던스 제어를 사용함).

주요 결과:

• 작업 성공률: SCP는 모든 작업에서 인간 시연과 유사한 성공률(약 98~99%)을 달est했습니다.
  • 화이트보드 닦기: SCP (0.99)가 DP (0.59)와 MDP (0.92)를 능가했습니다.
  • 자유 형식 닦기: SCP (0.98)가 MDP (0.52)를 크게 앞질렀습니다.
  • 윈드스크린 세척: SCP (0.98)가 ACP (0.63)를 크게 앞질렀습니다. DP와 MDP는 이 고정밀 작업에서 지속적으로 실패했습니다.
• 표면 정렬 오차 (SAE): SCP는 위치 및 방향 모두에서 가장 낮은 SAE를 보여주었으며, 특히 엄격한 도구 정밀도가 중요한 윈드스크린 세척 작업에서 두드اء했습니다. ACP는 자세 편차로 인해 더 높은 방향 오차를 보였습니다.
• 동역학적 타당성: SCP는 DP 및 MDP에 비해 더 낮은 가속도와 더 규칙적인 곡률을 가진 더 매끄러운 궤적을 생성하여, 접촉 상실을 방지하고 안정적인 실행을 보장했습니다.

의의 및 주장

본 논문은 SCP가 기하학적 의도 생성과 동역학적 타당성이라는 두 가지 과제를 효과적으로 해결한다고 주장합니다.

• 강건성: 표면 기하학을 명시적으로 인코딩하고 유사도 기반 매핑을 사용하여, 순수 생성적 접근 방식에서 나타나는 부정확한 기하학적 추론 및 불안정한 실행의 일반적인 실패 모드를 피합니다.
• 일반화 능력: 본 방법은 단순한 평면 닦기부터 강체 도구를 사용하는 복잡한 고곡률 항공기 윈드스크린 세척에 이르기까지 다양한 작업에 걸쳐 강력한 일반화 능력을 보여줍니다.
• 한계 및 향ras 과제: 저자들은 현재 방법이 고품질의 시연 데이터에 크게 의존한다는 점을 언급했습니다. 향후 연구는 대규모 언어 모델(LLM) 및 비디오-언어 모델의 사전 지식을 통합하여, 더 적은 시연으로도 새로운 기하학 및 도구에 빠르게 적응하는 것을 목표로 합니다.

결론적으로, 저자들은 SCP가 복잡한 접촉 중심의 산업 시나리오에서 기술 학습을 위한 유망한 접근 방식을 제공하며, 구조화된 표면-기하학 의도와 동역학적으로 실행 가능한 행동 실행을 통합된 방식으로 구현한다고 밝히고 있습니다.