A robust and compliant robotic assembly control strategy for batch precision assembly task with uncertain fit types and fit amounts

이 논문은 불확실한 끼워맞춤 유형과 양을 가진 대량 정밀 조립 작업을 위해 힘과 비전을 융합한 강화학습 및 다중 작업 학습 프레임워크를 통해 강인하고 순응적인 로봇 제어 전략을 구축하는 효율적인 방법론을 제안하고 실험을 통해 그 유효성을 입증합니다.

핵심

🏭 배경: 로봇이 겪는 '조금씩 다른' 문제

공장에서 스마트폰 렌즈나 정밀 부품을 조립할 때, 로봇은 수천 개의 부품들을 나란히 끼워 넣어야 합니다. 하지만 아무리 정밀하게 만들더라도, 부품마다 미세한 오차가 생깁니다.

• 어떤 부품은 구멍이 살짝 커서 (여유 fit) 헐겁게 끼워집니다.
• 어떤 부품은 구멍이 살짝 작아서 (간섭 fit) 꽉 끼워집니다.
• 또 어떤 것은 딱 맞습니다.

기존의 로봇은 "이 부품은 A 타입이니까 이렇게 힘을 주고, B 타입이니까 저렇게 힘을 줘"라고 사람이 일일이 프로그래밍해야 했습니다. 하지만 부품이 수천 개나 되고, 어떤 게 A 타입인지 B 타입인지 조립하기 전에는 알 수 없다면? 로봇은 당황해서 부품을 깨뜨리거나 조립에 실패하게 됩니다.

💡 이 논문의 핵심 아이디어: "3 단계 학습법"

이 연구팀은 로봇이 모든 상황을 스스로 배우고, 하나의 두뇌로 모든 문제를 해결하게 하는 3 단계 전략을 개발했습니다.

1 단계: 문제를 잘게 쪼개기 (Task Decomposition)

비유: 요리 레시피를 4 가지 버전으로 나누기

모든 부품을 한 번에 다 익히려고 하면 너무 어렵습니다. 그래서 연구팀은 조립 상황을 4 가지로 나누었습니다.

1. 꽉 끼는 경우 (큰 간섭)
2. 조금 꽉 끼는 경우 (작은 간섭)
3. 조금 헐거운 경우 (작은 여유)
4. 많이 헐거운 경우 (큰 여유)

이렇게 4 가지 시나리오를 따로 만들어서, 로봇이 각 상황에 맞는 '초급~중급' 조립 기술을 하나씩 배우게 합니다.

2 단계: 동시에 배우기 (Multi-Task Reinforcement Learning)

비유: 4 과목 동시 수강하는 천재 학생

기존 방식은 4 가지 상황을 하나씩 따로따로 공부하게 했습니다 (비효율적). 하지만 이 연구팀은 4 가지 상황을 동시에 공부하게 했습니다.

• 로봇은 "아, 꽉 끼는 상황과 헐거운 상황은 비슷하게 힘을 조절해야 하는구나"라는 공통된 원리를 스스로 발견합니다.
• 이렇게 하면 공부 시간이 50% 이상 단축되고, 각 상황에 대한 실력이 훨씬 빨라집니다.

3 단계: 모든 지식을 하나로 합치기 (Policy Distillation)

비유: 4 명의 선생님에게 배운 지식을 한 명의 '수석 학생'에게 전수

이제 4 가지 상황에 각각 맞는 4 개의 '전문가' 로봇이 생겼습니다. 하지만 실제 공장에서는 "지금 어떤 부품이 들어올지" 모릅니다.

• 그래서 연구팀은 이 4 명의 전문가가 가진 지식과 경험을 모두 모아, **새로운 '수석 학생' 로봇 (하나의 네트워크)**에게 가르쳤습니다.
• 이 수석 로봇은 "아, 이 부품은 꽉 끼는 것 같네? 그럼 전문가 1 번의 기술을, 저 부품은 헐거운 것 같네? 전문가 3 번의 기술을 섞어서 써야지!"라고 상황을 감지해서 즉석에서 대응할 수 있게 됩니다.

🤖 로봇의 '감각'과 '손기술'

이 로봇은 단순히 눈 (카메라) 만 보는 게 아니라, 손 (힘 센서) 과 눈 (카메라) 을 동시에 사용합니다.

• 눈 (Vision): 부품이 얼마나 비틀어져 있는지, 구멍이 어디 있는지 봅니다.
• 손 (Force): 끼워 넣을 때 저항이 얼마나 느껴지는지 느낍니다.

이 두 가지 정보를 합쳐서, 로봇은 부품을 깨뜨리지 않으면서도 가장 부드러운 힘으로 조립합니다. 마치 유연한 손가락으로 달걀을 깨지 않고 껍질을 벗기듯 조립하는 것입니다.

🏆 실제 실험 결과

이 방법을 실제 실험에 적용해 보니 놀라운 결과가 나왔습니다.

• 성공률: 기존 방법들은 30~60% 정도 성공했지만, 이 방법은 **98.5%**의 높은 성공률을 기록했습니다.
• 부드러움: 부품을 조립할 때 가해지는 힘 (충격) 이 기존 방법보다 훨씬 작아져서 부품이 손상될 확률이 줄었습니다.
• 범용성: 훈련할 때 보지 못했던 '예상치 못한' 부품 조합이 와도, 이 로봇은 잘 대처했습니다.

📝 한 줄 요약

이 논문은 **"로봇에게 4 가지 다른 조립 상황을 동시에 가르치고, 그 지식을 하나로 통합시켜, 어떤 부품이 와도 실패 없이 부드럽게 조립할 수 있는 '만능 로봇'을 만드는 방법"**을 제시한 것입니다.

이는 3C(컴퓨터, 통신, 가전) 제품처럼 정밀하고 대량 생산이 필요한 산업 현장에서 로봇 자동화의 핵심 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 정밀 산업 환경 (예: 스마트폰 렌즈 조립) 에서 피그 (peg) 와 홀 (hole) 은 종종 '과도 끼워맞춤 (transition fit)'으로 설계됩니다.
• 핵심 문제: 가공 오차로 인해 동일한 배치 (batch) 내에서도 특정 부품 쌍의 끼워맞춤 상태가 **간극 (clearance)**일 수도 있고 **간섭 (interference)**일 수도 있으며, 그 정도 (fit amount) 도 불확실합니다.
• 기존 방법의 한계:
  • 모델 기반 제어: 수학적 모델에 의존하지만, 복잡한 형상이나 불확실한 끼워맞춤 조건에서는 모델링이 단순화되어 성능이 저하되며, 조건이 변할 때마다 파라미터를 수동으로 재설계해야 합니다.
  • 학습 기반 제어 (RL): 기존 강화학습은 특정 훈련 데이터에 과적합되어 조건 (형상, 끼워맞춤량) 이 조금만 변해도 성능이 급격히 떨어집니다. 또한, 시뮬레이션과 실제 환경 간의 차이 (Sim-to-Real gap), 특히 접촉 역학의 차이로 인해 대량 조립의 불확실성을 처리하기 어렵습니다.
• 목표: 다양한 끼워맞춤 유형과 불확실한 끼워맞춤량에 대해 성공률과 **접촉력 순응도 (force compliance)**를 모두 만족시키는 단일 강건한 제어 전략을 구축하는 것.

2. 제안된 방법론 (Methodology)

제안된 프레임워크는 작업 분해 (Task Decomposition), 하위 작업 전략 학습, **전략 통합 (Integration)**의 3 단계로 구성됩니다.

2.1. 작업 분해 (Task Decomposition)

• 전체 대량 조립 작업의 불확실한 끼워맞춤량 범위를 여러 개의 **결정론적 하위 작업 (deterministic subtasks)**으로 분할합니다.
• 예: 큰 간섭, 작은 간섭, 작은 간극, 큰 간극 등 4 가지 하위 작업 ($T_1 \sim T_4$) 으로 나누어, 각 하위 작업은 특정 끼워맞춤 범위 내에서 고정된 조건으로 정의됩니다.

2.2. 힘 - 비전 융합 제어기 기반 강화학습 (FVFC-MTRL)

• 힘 - 비전 융합 제어기 (FVFC): 로봇의 6 자유도 (6-DOF) 포즈를 직접 출력하는 대신, **힘 (Force)**과 비전 (Vision) 정보를 융합하여 제어 파라미터를 조정하는 기본 제어기를 설계합니다.
  • 힘: F/M 센서를 통해 접촉 힘과 모멘트를 측정.
  • 비전: 이진 분할 및 에지 검출을 통해 흡착 컵의 변형을 고려한 피그와 홀의 상대적 포즈 오차를 추정.
• 강화학습 (RL) 역할: RL 에이전트는 FVFC 의 제어 파라미터 (강성, 이득 등) 를 환경 상태 (로봇 포즈, 힘, 비전 특징) 에 따라 적응적으로 조정합니다.
• 다중 작업 강화학습 (MTRL):
  • 각 하위 작업을 독립적으로 학습하는 대신, 공유된 Actor-Critic 네트워크를 사용하여 여러 하위 작업을 동시에 학습합니다.
  • PCGrad (Projecting Conflicting Gradients) 알고리즘을 적용하여 하위 작업 간 그래디언트 충돌을 완화하고 학습 안정성을 높입니다.
  • 이를 통해 학습 효율성을 50% 이상 향상시키고, 하위 작업 간의 공통 특징을 학습합니다.

2.3. 정책 증류 (Policy Distillation)

• 다중 교사 - 단일 학생 (Multi-teacher to Student): MTRL 로 학습된 여러 하위 작업별 전략 (교사 모델) 의 지식을 하나의 단일 학생 네트워크로 증류합니다.
• 학습 과정: 하위 작업 인코딩 (task encoding) 을 제거한 상태 (state) 를 입력으로 사용하여, 모든 하위 작업의 경험을 통합한 강건한 단일 전략을 학습합니다.
• 결과: 학습된 학생 네트워크는 특정 하위 작업에 의존하지 않고, 훈련 범위 내의 모든 불확실한 끼워맞춤 조건에 대해 일반화되어 작동합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 제어 프레임워크: 대량 정밀 조립의 불확실성을 해결하기 위한 '작업 분해 - MTRL 학습 - 정책 증류'의 효율적인 아키텍처를 제안했습니다.
2. FVFC-MTRL 방법론: 힘과 비전 정보를 융합한 제어기를 RL 과 결합하고, 다중 작업 학습을 통해 학습 효율성과 전략의 일반화 능력을 동시에 개선했습니다.
3. 강건한 단일 전략 구축: 여러 하위 작업의 경험을 통합하여, 특정 끼워맞춤 조건을 알지 못하더라도 성공적으로 조립할 수 있는 단일 제어기를 구현했습니다.
4. 실제 환경 검증: 실제 로봇 (UR10) 과 다양한 끼워맞춤 조건 (간섭/간극, 다양한 오차) 을 가진 부품에 대한 실험을 통해 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 실험 설정: 불규칙한 육각형 피그와 홀을 사용하여, -0.04mm(간섭) 에서 +0.04mm(간극) 까지의 다양한 끼워맞춤량을 가진 대량 부품에 대해 테스트 수행.
• 성능 비교:
  • 성공률: 제안된 방법 (FVFC-MTRL-PD) 은 **98.5%**의 평균 성공률을 기록하여, 기존 방법 (FBCC: 42%, MDRL: 54%, FVFC-CP: 61%) 보다 월등히 높았습니다.
  • 접촉력 순응도: 간섭 끼워맞춤 시에도 접촉 힘 (Force) 과 모멘트 (Moment) 를 최소화했습니다. (예: T2 하위 작업에서 최대 힘 0.207N, 기존 방법 대비 현저히 낮음).
  • 학습 효율성: MTRL 프레임워크는 단일 작업 학습 (STRL) 대비 학습 수렴 속도를 약 50% 이상 단축시켰습니다.
  • 일반화 능력: 훈련 데이터 범위를 벗어난 새로운 끼워맞춤량 (예: 5.18N 의 간섭력) 이나 변형된 부품 (G7, G8 그룹) 에 대해서도 90% 이상의 성공률을 보이며 뛰어난 강건성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 산업적 적용성: 이 연구는 3C 제품 등 대량 생산 환경에서 발생하는 가공 오차와 불확실한 끼워맞춤 조건을 자동으로 처리할 수 있는 실용적인 로봇 조립 솔루션을 제공합니다.
• 기술적 혁신: 단순한 시뮬레이션 전이가 아닌, 실제 물리적 상호작용과 불확실성을 고려한 강건한 제어 전략을 구축하는 새로운 패러다임을 제시했습니다.
• 확장성: 제안된 프레임워크는 끼워맞춤량의 불확실성뿐만 아니라, 부품 형상의 다양성이 있는 조립 작업에도 적용 가능하여 향후 지능형 제조 시스템의 핵심 기술로 기대됩니다.

요약하자면, 이 논문은 다중 작업 강화학습과 정책 증류를 활용하여, 다양한 조립 조건에서도 높은 성공률과 낮은 접촉력을 유지하는 단일 로봇 제어 전략을 성공적으로 개발하고 검증했습니다.