SI-Diff: A Framework for Learning Search and High-Precision Insertion with a Force-Domain Diffusion Policy

기술 요약: SI-Diff: 힘 영역 확산 정책으로 탐색 및 고정밀 삽입을 학습하기 위한 프레임워크

문제 제기
상대적 자세의 불확실성 (오정렬 및 작은 간극 등) 으로 인해 접촉이 풍부한 조립, 특히 페그 - 인 - 홀 작업은 상당한 도전에 직면해 있습니다. 기존 접근법은 "탐색" 단계 (큰 x-y 오정렬 해결) 와 "고정밀 삽입" 단계 (작은 간극에서의 걸림 해결) 를 서로 다른 전략이나 모델 전환이 필요한 별개의 문제로 취급하는 경향이 있습니다. 비전 서보링은 대략적인 정렬을 달성할 수 있지만, 그 정확도는 서브밀리미터 간극 작업에는 종종 불충분하여 힘 기반 방법이 필요합니다. TacDiffusion [1] 과 같은 최신 최첨단 방법은 고정밀 삽입에 뛰어나지만, 페그와 홀이 이미 대략적으로 정렬되어 있다고 가정하여 초기 오정렬이 2 mm 를 초과할 경우 실패합니다. 반면, 탐색 전략은 고정밀 삽입으로 원활하게 전환할 수 있는 적응력이 부족한 경우가 많습니다. 모델이나 가중치를 전환하지 않고 두 가지 다른 동작 패턴을 모두 학습하고 실행할 수 있는 통합 프레임워크가 필요합니다.

방법론
저자들은 단일 힘 영역 확산 정책 내에서 탐색과 고정밀 삽입을 통합하는 SI-Diff 프레임워크를 제안합니다.

• 시스템 아키텍처: 이 시스템은 순방향 힘 기반 임피던스 제어기를 사용합니다. 모델은 촉각 및 운동학적 관측을 기반으로 순방향 힘 ($F_{ff}$) 을 생성하도록 학습합니다. 입력 상태에는 현재 및 이전 프레임의 외부 웬치 ($\tau_{ext}$), 내부 웬치 ($\tau_{in}$), 그리고 엔드 이펙터 속도 ($v_e$) 가 포함됩니다.
• 힘 영역 확산 정책: 핵심은 가우시안 노이즈를 $F_{ff}$의 목표 분포로 매핑하는 디노이징 확산 확률 모델 (DDPM) 입니다. 이 모델은 로봇의 상태에 조건부로 각 확산 단계에서 추가된 노이즈를 예측하도록 훈련됩니다.
• 모드 조건부 메커니즘: 단일 모델이 두 가지 다른 행동 (탐색 및 삽입) 을 처리할 수 있도록 하기 위해 저자들은 모드 조건부 메커니즘을 도입했습니다. 자연어 처리 토큰화에서 영감을 받아, 이산 모드 인덱스 (탐색은 0, 삽입은 1) 를 고차원 학습 가능 벡터에 임베딩합니다. 이러한 모드 토큰은 로봇 상태 토큰 시퀀스의 앞에 추가되어, 확산 모델이 지정된 모드 프롬프트에 기반하여 서로 다른 동작 패턴을 학습할 수 있게 합니다.
• 교사 정책:
  • 탐색 교사: 다양한 탐색 궤적을 생성하기 위해 새로운 규칙 기반 정책이 개발되었습니다. 고정된 나선형 탐색과 달리, 이 정책은 (탐색 방향, 진폭, 주파수 등) 매개변수를 무작위화하고 외부 힘에 따라 적응하여 효율적인 탐색을 보장합니다. 훈련에는 2.5 초 이내에 완료된 성공적이고 효율적인 데모만 유지됩니다.
  • 삽입 교사: 이 프레임워크는 삽입 단계의 교사로서 [2] 의 자기 적응식 촉각 삽입 방법 (및 TacDiffusion [1]) 을 활용합니다. 이 정책은 잔류 힘 모니터링을 통해 "고정" 상태를 감지하고 걸림을 피하기 위해 정현파 진동 운동을 적용합니다.
• 훈련 전략: 모델은 300 개의 성공적인 탐색 데모와 1,500 개의 삽입 데모로 구성된 데이터셋으로 훈련됩니다. 클래스 불균형을 해결하기 위해 균형 잡힌 배치 샘플링 (BBS) 이 사용됩니다.

주요 기여

1. 통합 프레임워크: 모델 전환의 필요성을 없애고 단일 힘 영역 확산 정책을 사용하여 탐색과 고정밀 삽입을 모두 학습하는 새로운 프레임워크 (SI-Diff) 개발.
2. 모드 조건부: 모드 프롬프트에 기반하여 모델이 서로 다른 동작 패턴 (탐색적 탐색 대 고정밀 진동) 을 수행할 수 있도록 하는 새로운 조건부 메커니즘 설계로, 두 작업의 동시 학습 가능.
3. 다양한 탐색 교사: 효율적인 데이터 수집과 웬치 - 동작 매핑의 견고한 학습을 촉진하는 다양한 무작위 궤적을 생성하는 효과적인 탐색 교사 정책 생성.

실험 결과
실험은 훈련을 위해 0.1 mm 간극의 정육면체 페그를 갖춘 7-DoF Franka Emika 로봇을 사용하여 수행되었습니다. 이 방법은 TacDiffusion [1], 규칙 기반 변형 (Teacher-D, Teacher-R), FORGE [3] 와 비교하여 9 가지 모양 (육각형/프리즘, 원통, USB-A 커넥터와 같은 보지 못한 기하학적 구조 포함) 과 2 mm 에서 5 mm 까지 다양한 오정렬 수준에 대해 평가되었습니다.

• 오정렬 허용 범위: SI-Diff 는 TacDiffusion 의 한계인 2 mm 에서 5 mm 로 x-y 오정렬 허용 범위를 확장했습니다.
• 성공률: 훈련용 정육면체 모양에서 SI-Diff 는 모든 오정렬 수준에서 95.8% 의 성공률을 달성하여 TacDiffusion (29.1%) 및 기타 베이스라인을 크게 능가했습니다. 삼각형 및 오각형 프리즘과 같은 복잡한 기하학적 구조를 포함한 보지 못한 모양에서도 90%~97% 의 높은 성공률을 유지했습니다.
• 효율성: SI-Diff 는 실패 포함 및 성공 전용 모두에서 경쟁사 대비 가장 낮은 평균 실행 시간을 보여주며 우수한 효율성을 입증했습니다.
• 제로샷 전이: 단일 정육면체 모양으로 훈련된 모델은 재훈련 없이 보지 못한 모양으로 강력한 제로샷 전이 능력을 보여주었습니다.
• 정성적 행동: 이 모델은 교사 정책의 고정된 패턴과 달리 정렬이 개선됨에 따라 진폭과 주파수가 감소하는 등 탐색 전략을 역동적으로 적응시키는 법을 학습했습니다.

의의 및 주장
이 논문은 SI-Diff 가 탐색 및 삽입 전략 간의 기술적 격차를 해소하여 지능형 조립 시스템을 위한 더 통합된 솔루션을 제공한다고 주장합니다. 새로운 교사 정책이 제공하는 성공적이고 효율적인 데모를 학습함으로써, 이 모델은 성공률과 효율성 측면에서 교사 정책과 최첨단 베이스라인 (TacDiffusion) 을 모두 능가합니다. 주요 의의는 단일 프레임워크 내에서 고정밀 삽입 능력을 유지하면서 더 큰 초기 오정렬 (최대 5 mm) 을 처리할 수 있는 능력에 있으며, 이를 통해 엔지니어링 복잡성을 줄이고 실제 산업 응용 분야로의 통합을 용이하게 합니다. 저자들은 이 방법이 견고하지만, 현재 모드 전환은 학습된 촉각 단서가 아닌 z-변위에 의해 트리거되며, 범위는 x-y 오정렬 및 작은 간극 삽입으로 제한된다고 지적합니다.