기술 요약: 계단식 최적화를 통한 접촉이 풍부한 조작을 위한 동시 접촉 선택 및 계획

1. 문제 정의

접촉이 풍부한 조작 (Contact-rich manipulation) 은 로봇이 원하는 상태로 물체를 이동시키기 위해 의도적으로 물체와 접촉을 형성하고 해제해야 함을 요구합니다. 이는 접근 궤적, 접촉 위치, 접촉 힘, 그리고 접촉 모드 (접촉, 분리, 미끄러짐, 정지) 간의 전환에 대한 시퀀스를 계획하는 것을 포함합니다.

기존 접근법은 다음과 같은 중대한 한계에 직면해 있습니다:

• 계층적 및 혼합 정수 방법: 초기 연구들은 연속 상태 계획과 이산 접촉 모드 탐색을 분리하거나 혼합 정수 프로그래밍을 사용했습니다. 이러한 방법들은 접촉 궤적의 조합적 폭발로 인해 확장성이 낮아 조작 전략과 견고성을 제한하는 경우가 많습니다.
• 학습 기반 방법: 오프라인 강화 학습 (RL) 을 통해 비부드러운 동역학을 처리할 수 있지만, 다양한 물체 유형과 새로운 작업 설정에 대한 일반화 능력은 종종 부족합니다.
• 접촉 암시적 모델 예측 제어 (CIMPC): CIMPC 와 같은 최근 모델 기반 방법들은 온라인 하이브리드 계획을 가능하게 합니다. 그러나 이들은 일반적으로 능동적 접촉 선택 (active contact selection) 이 부족합니다. 수동으로 설계된 비용 함수나 주어진 참조 궤적에 의존하여 조작 행동을 좁은 분포로 제한합니다. 이는 로봇의 초기 추정이 불량하거나 복잡한 기하학적 구조를 가진 물체를 마주할 때 지역 최적점에 빠지기 쉽습니다. 또한, 접촉 동역학에 내재된 상보성 (complementarity) 은 비부드러움과 희소 그래디언트를 도입하여 접촉 선택과 계획의 통합적 설계를 어렵게 만듭니다.

해결된 핵심 과제는 부정확한 동역학과 지각 노이즈 하에서도 실시간으로 다양한 접촉 위치 시퀀스와 조작 궤적을 자율적으로 추론하고 생성할 수 있는 통합 프레임워크의 부재입니다.

2. 방법론: SCSP 프레임워크

저자들은 **동시 접촉 선택 및 계획 (Simultaneous Contact Selection and Planning, SCSP)**을 제안합니다. 이는 **접촉 선택 최적화 (Contact Selection Optimization, CSO)**와 **접촉 계획 최적화 (Contact Planning Optimization, CPO)**라는 두 개의 모듈로 구성된 새로운 계단식 최적화 프레임워크입니다.

A. 접촉 선택 최적화 (CSO)

CSO 는 하이브리드 계획에 내재된 그래디언트 희소성 및 비부드러움 문제를 해결하기 위해 물체 표면에서 최적 접촉 위치를 전역적으로 탐색하도록 설계되었습니다.

1. 샘플링 및 교환을 통한 이산화: 물체 기하학의 비부드러움을 처리하기 위해 CSO 는 물체 표면에서 후보 접촉 점을 샘플링합니다.
   • 근사 볼록 분해 (ACD): 물체 기하학을 볼록 다각형으로 분해하여 국부적 세부 사항의 간섭을 완화하고 도달 가능성/안정성을 향상시킵니다.
   • 최원점 샘플링 (FPS): 볼록 근사 위에 점들을 균일하게 샘플링합니다.
   • 유효 영역 선택: 도달 불가능, 가려짐, 또는 의미상 부적합한 영역을 필터링하여 유효 후보 집합을 형성하는 온라인 절차입니다.
2. 대리 접촉 모델 (SCM): 원래 접촉 동역학의 계산 복잡성과 상보성 제약을 해결하기 위해 저자들은 SCM 을 도입합니다.
   • 가정: 이 모델은 짧은 구간 동안 고정된 접촉 집합을 가정하며, 다중 접촉 상호작용을 독립적인 스프링 - 댐퍼 시스템으로 분해합니다.
   • 수식화: 이를 통해 환경 접촉 힘을 로봇 접촉 힘의 명시적이며 구간별 선형 함수로 표현할 수 있습니다.
   • 최적화: 문제는 혼합 정수 2 차 프로그래밍 (MIQP) 문제로 재구성됩니다. 내부 루프 (접촉 힘 최적화) 는 밀리초 미만의 시간 척도로 해결 가능한 2 차 프로그래밍 (QP) 이며, 외부 루프 (접촉 위치 선택) 는 효율적으로 해결됩니다.
3. 목적: CSO 목적 함수는 최종 포즈 오차를 최소화하기 전에 정적 안정 포즈 집합 ($X_g$) 에 도달하는 것을 우선시하여 불안정한 접촉 사전 정보를 생성하는 것을 방지합니다.

B. 접촉 계획 최적화 (CPO)

CPO 는 CSO 가 예측한 최적 접촉 위치를 참조로 받아 실행 가능한 접근 및 접촉 궤적을 온라인으로 생성합니다.

1. 순위 매기기 전략: 견고성을 향상시키기 위해 CPO 는 CSO 출력을 맹목적으로 따르지 않습니다. 현재 로봇 구성에 가장 가까운 점 ($p_{near}$) 을 CSO 가 예측한 최적 점 ($\hat{p}^*_r$) 과 비교하여 평가합니다.
   • $p_{near}$가 충분히 좋은 준최적 참조인지 판단하기 위해 개선 비율 ($\rho$) 을 계산합니다.
   • 빈번하고 불안정한 접촉 변경을 방지하기 위해 $\hat{p}^*_r$과 $p_{near}$ 간의 전환을 제어하는 슬라이딩 윈도우 전략을 사용합니다.
2. 사전 정보 유도 하이브리드 계획: 궤적 최적화는 통합 목적 함수 내에서 세 단계로 분해됩니다.
   • 들기 (Lifting) 단계: 반발 및 인력 퍼텐셜을 사용하여 엔드 이펙터를 물체에서 멀어지게 하고 목표 접촉 위치 위의 중간 웨이포인트로 유도합니다.
   • 놓기 (Placing) 단계: 엔드 이펙터를 참조 접촉 위치 ($p_{ref}$) 로 이동시켜 접촉을 확립합니다.
   • 전환: 단계 간 전환은 순위 매기기 트리거 변수 $\gamma$에 의해 제어됩니다.
3. 솔버: 이 프레임워크는 포인트 접촉 계획을 위한 작업 공간 제어 (OSC) 와 전체 차수 중복 로봇 계획을 위한 샘플링 기반 MPC(예: MPPI) 를 포함한 다양한 솔버를 지원합니다.

3. 주요 기여

1. 계단식 최적화 프레임워크: 능동적 접촉 선택 (CSO) 과 접촉 계획 (CPO) 을 통합한 새로운 SCSP 프레임워크로, 모델 불확실성 하에서도 다양한 조작 전략과 견고성을 가능하게 합니다.
2. 효율적인 접촉 선택 알고리즘: 메쉬 샘플링과 대리 접촉 모델을 사용하여 비부드러운 접촉 선택을 이산 - 연속 문제로 변환하고, 이를 빠른 전역 탐색을 위한 처리 가능한 MIQP 문제로 축소하는 방법입니다.
3. 사전 정보 유도 접촉 계획: 접촉 사전 정보를 평가하기 위한 순위 매기기 전략과 하이브리드 계획 (접근, 접촉, 전환) 을 위한 통합 목적 함수를 사용하는 공식으로, 다양한 로봇 구성에 적용 가능합니다.
4. 실험적 검증: 마커나 모션 캡처 없이 비전 지각만을 사용하여 임의의 복잡한 기하학적 구조를 가진 물체의 6 차원 비선형 조작을 실시간으로 달성한 최초의 모델 기반 방법임을 보여주는 광범위한 시뮬레이션 및 실세계 실험입니다.

4. 실험 결과

이 프레임워크는 손가락 끝과 Franka Emika Panda 로봇을 사용하여 비선형 조작 작업 (지면 회전 및 뒤집기) 에서 검증되었습니다.

• 시뮬레이션:
  • 성공률: SCSP 는 I-MPC, CF-MPC, 샘플링 방법과 같은 베이스라인에 비해 훨씬 높은 성공률 (예: 손가락 끝 회전 97%, 로봇 회전 95%) 을 달성했습니다.
  • 견고성: 복잡한 기하학과 지역 최소값 회피 측면에서 학습 기반 방법 (DyWA) 보다 대부분의 시나리오에서 우수한 성능을 보였습니다.
  • 절대성 분석: 순위 매기기 전략을 제거한 경우 (w/o RS) 성공률이 크게 하락하여 접촉 사전 정보 평가의 필요성을 확인했습니다.
• 실세계:
  • SCSP 는 단일 뷰 카메라 (FoundationPose) 만을 사용하여 상태 추정을 수행하면서도 매끄러운 표면과 거친 표면에서 불규칙한 물체 (오리, 토끼, 손, Xbox 컨트롤러) 를 성공적으로 조작했습니다.
  • 부정확한 동역학 (거친 질량/마찰 추정) 과 지각 노이즈에도 불구하고 높은 성공률 (회전의 경우 최대 100%) 을 유지했습니다.
  • 베이스라인 방법들 (DyWA, 샘플링) 은 접촉 미끄러짐, 불안정한 접촉 선택, 또는 실행 오류에 적응하지 못해 빈번히 실패했습니다.
• 일반화: 이 프레임워크는 다중 접촉 작업 (축구 드리블, 기울인 밀기) 과 장기 작업 (서랍 열기, 전자레인지 문 열기) 으로 성공적으로 확장되어 온라인 물리적 추론 능력을 입증했습니다.

5. 중요성 및 주장

이 논문은 SCSP 가 능동적 접촉 선택을 가능하게 함으로써 기존 접촉 암시적 방법들의 이론적 한계를 극복한다고 주장합니다. 최근 RL 접근법들이 성공을 거두었지만, SCSP 는 다양하고 견고한 접촉 계획을 더 해석 가능하게 만드는 것을 목표로 합니다.

저자들은 세계 모델 (CSO) 의 정확성보다 그것이 계획기와 어떻게 인터페이스하는지가 더 중요하다고 강조합니다. CPO 의 순위 매기기 전략은 시스템이 CSO 의 모델 오류로 인한 불안정성을 완화하면서 준최적이지만 실행 가능한 접촉 위치를 활용할 수 있게 합니다. 이는 정밀한 지각이나 사전 정의된 접촉 시퀀스에 의존하지 않고도 복잡하고 실세계의 조작 작업을 위해 동시 접촉 선택 및 계획을 위한 통합 프레임워크가 실현 가능하고 효과적임을 시사합니다.

이 연구는 SCSP 를 임의의 복잡한 물체 기하학, 다양한 로봇 구성, 그리고 다양한 접촉이 풍부한 작업을 처리할 수 있는 일반 프레임워크로 위치시켜, 모델 기반의 효율성과 복잡한 조작에 필요한 적응성 간의 격차를 해소합니다.