Behavioral Cloning for Robotic Connector Assembly: An Empirical Study

이 논문은 자동차, 전기 캐비닛, 항공기 생산에서 와이어 하네스 어셈블리의 자동화를 위한 행동 복제 (Behavioral Cloning, BC) 기반의 커넥터 조립 기술에 대한 실증 연구입니다. 변형 가능한 케이블과 다양한 커넥터 기하학적 구조, 그리고 손상 방지를 위한 제한된 힘 제어의 어려움으로 인해 기존 산업용 로봇 프로그래밍이 어렵다는 점에 착안하여, 인간의 시각 및 촉각 피드백을 모방하는 데이터 기반 접근법을 제시합니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 문제 정의 (Problem)

• 배경: 와이어 하네스 조립은 변형 가능한 케이블과 다양한 커넥터 형상, 그리고 엄격한 공차 (tolerance) 로 인해 자동화가 어렵습니다.
• 기존 접근법의 한계: 기존 규칙 기반 (Rule-based) 검색 전략 (예: 나선형 또는 스텝 검색) 은 인간 전문가가 파라미터를 수동으로 튜닝해야 하며, 공차가 큰 환경 (±2mm 이상) 에서는 적용이 어렵고 전이성이 떨어집니다.
• 목표: 인간의 시 demonstrations(시연) 을 학습하여 비정형적인 커넥터 삽입 작업을 수행할 수 있는 행동 복제 (BC) 모델을 개발하고, 힘 - 토크 센서와 고정 카메라를 융합하여 공차 내에서의 성공적인 삽입을 달성하는 것입니다.

2. 방법론 (Methodology)

• 학습 프레임워크:
  • 행동 복제 (BC): 인간의 시연을 지도 학습 (Supervised Learning) 으로 모델링합니다. 과거 $k$단계의 관측치 (이미지 및 힘 - 토크 데이터) 를 입력받아 다음 시간 단계의 목표 힘 - 토크 (Target Wrench) 를 예측합니다.
  • 입력 데이터: 고정된 카메라 (VGA 해상도, 회색조) 로부터의 이미지와 로봇 플랜지에 장착된 힘 - 토크 센서 (Force-Torque Sensor) 의 데이터.
  • 제어: 예측된 목표 힘 - 토크는 UR5e 로봇의 힘 제어기 (Force Controller) 에 입력되어 실제 동작을 생성합니다.
• 모델 아키텍처:
  • 비전 백본 (Vision Backbone): CNN(ResNet, RegNet 등) 과 Transformer 기반 모델들을 비교 평가했습니다. 회색조 이미지를 입력으로 사용하며, ResNet 계열이 가장 우수한 성능을 보였습니다.
  • 센서 백본 (Sensor Backbone): 힘 - 토크 시계열 데이터를 처리하기 위해 Feedforward NN, LSTM, 1D-CNN, ROCKET 모델을 비교했습니다.
  • 액션 헤드 (Action Head): 예측된 힘 - 토크를 출력하는 부분으로, Feedforward 네트워크가 Transformer 기반보다 우수한 성능을 보였습니다.
  • 히스토리 및 예측 범위: 과거 $k$단계의 데이터 (히스토리) 를 사용하여 시간적 맥락을 학습하며, $k=10$일 때 가장 좋은 성능을 보였습니다.
• 데이터 수집:
  • UR5e 로봇과 SpaceMouse 를 이용한 원격 조종 (Teleoperation) 으로 300 개의 성공적인 인간 시연을 수집했습니다.
  • 다양한 커넥터 기하학적 구조와 공차 (위치 ±20mm, 회전 ±10°) 를 포함하도록 시연 시작 위치를 무작위화했습니다.

3. 주요 기여 (Key Contributions)

1. 커넥터 삽입을 위한 BC 적용: 인간의 시연을 기반으로 힘 - 토크 센서와 단일 카메라를 융합하여 커넥터 삽입 전략을 학습하는 BC 모델의 적용 사례를 제시했습니다.
2. 센서 구성의 충분성 입증: 고해상도 3D 센서나 정밀한 포즈 추정 없이도, 회색조 카메라와 힘 - 토크 센서만으로도 90% 이상의 성공률을 달성할 수 있음을 실증했습니다.
3. 아키텍처 비교 연구: 다양한 멀티모달 신경망 아키텍처 (ResNet, RegNet, Transformer 등) 에 대한 애벌레이션 (Ablation) 연구를 수행하여, 이 작업에는 CNN 기반 비전 백본과 간단한 피드포워드 네트워크가 가장 적합함을 규명했습니다.
4. 광범위한 실험적 검증: 5 가지 서로 다른 자동차 커넥터 기하학적 구조와 최대 20mm 의 위치 공차, 10 도의 회전 공차 환경에서 시스템을 검증했습니다.

4. 실험 결과 (Results)

• 성공률: 5 가지 다른 커넥터 기하학적 구조에서 평균 **92.8%**의 삽입 성공률을 달성했습니다.
• 최적 아키텍처: 비전 백본으로 RegNetx3 2GF, 센서 백본 및 액션 헤드로 Feedforward 네트워크를 사용한 조합이 가장 높은 성공률 (93.3% 이상) 과 안정성을 보였습니다.
  • Transformer 기반 모델 (ViT, Swin 등) 은 데이터 양이 부족하여 이 작업에서 매우 낮은 성능 (최대 13.3%) 을 보였습니다.
• 데이터 양의 영향: 시연 데이터의 수가 증가함에 따라 성공률이 향상되었으며, 약 100 개 이상의 시연에서 성능이 수렴하는 경향을 보였습니다. 300 개의 시연 데이터로 학습한 모델은 평가 시 100% 성공률을 기록했습니다.
• 규칙 기반 대비 우위: 200 개 이상의 시연 데이터를 학습한 BC 모델은 기존 규칙 기반 검색 전략 (약 76.7% 성공률) 보다 높은 성능을 보였습니다.
• 실시간성: 모든 네트워크는 20Hz 제어 주기를 만족하며 실시간 추론이 가능했습니다.
• 오류 분석: 낮은 MSE(평균 제곱 오차) 가 반드시 높은 작업 성공률을 의미하지는 않음을 발견했습니다. 이는 실패가 드물지만 치명적인 상태 (예: 끼임) 에서 발생하기 때문입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용성: 이 접근법은 고비용의 고정밀 포즈 추정 시스템 없이도 넓은 공차 범위 (기존 연구 대비 10 배 이상) 에서 작동할 수 있어 산업 현장 적용 가능성이 높습니다.
• 효율성: RT-1 이나 ALOHA 와 같은 대규모 모델 (수만~수십만 개의 시연 필요) 에 비해 300 개의 시연만으로 90% 이상의 성공률을 달성하여, 엣지 디바이스 배포에 적합하고 데이터 수집 비용이 적게 듭니다.
• 한계 및 향후 과제:
  • 현재 100% 에 가까운 성공률은 산업 자동화의 요구 수준 (무결점) 에 미치지 못하므로, RL(강화학습) 을 통한 미세 조정 (Fine-tuning) 이 필요한 전처리 단계로 간주됩니다.
  • 새로운 커넥터에 대한 제로샷 (Zero-shot) 일반화 능력은 제한적이며, 각 커넥터 형상에 맞는 별도의 시연 데이터 수집이 필요합니다.
  • 향후 연구에서는 RL 을 통한 성능 향상 및 다양한 커넥터 형상에 대한 범용 학습 (Multi-connector training) 을 탐구할 예정입니다.

이 논문은 복잡한 접촉 기반 조립 작업에서 인간의 직관적인 조작을 모방하는 데이터 기반 로봇 제어의 유효성을 입증하며, 특히 제한된 센서 환경에서도 높은 적응력을 가지는 BC 모델의 가능성을 제시했습니다.