기술 요약: VE2VF – 비전 기반에서 비전 없는 증류

문제 제기

로봇 조립 및 접촉이 풍부한 조작은 다양한 부품과 환경에 대한 높은 정밀도와 적응성을 요구합니다. 전통적인 모델 기반 접근법은 접촉 역학, 마찰, 변형을 정확하게 모델링하기 어렵기 때문에 어려움을 겪습니다. 반면 강화 학습 (RL) 과 같은 학습 기반 접근법은 유망하지만 다음과 같은 중대한 장애물에 직면해 있습니다:

• 시뮬레이션-현실 간극 (Sim-to-Real Gap): 시뮬레이터는 종종 복잡한 접촉 상호작용을 포착하지 못하여 실제 세계로의 정책 이전을 어렵게 만듭니다.
• 샘플 비효율성: 하드웨어에서 직접 수행하는 모델 없는 RL 은 과도한 상호작용 시간과 안전한 탐색 전략을 필요로 합니다.
• 시각적 과적합 (Visual Overfitting): 비전 기반 정책은 훈련 중에는 효과적이지만, 특정 시각적 조건 (조명, 질감, 배경) 에 과적합되는 경향이 있습니다. 이는 분포 밖 (OOD) 작업이나 보이지 않는 환경으로의 견고성과 일반화를 제한합니다.
• 부분 관측 가능성: 시각적 안내 없이 고유 감각 (자세, 트위스트, 렌치) 만을 사용하여 비전 없는 정책을 처음부터 직접 훈련하는 것은 탐색을 위한 시각적 안내가 부족하기 때문에 어렵습니다.

방법론: VE2VF 프레임워크

저자들은 견고한 비전 없는 조작을 달성하기 위해 교사 - 학생 증류 방식을 채택한 인간 - 루프 (HIL) RL 프레임워크인 VE2VF(Vision-Enabled to Vision-Free) 를 제안합니다. 이 과정은 세 가지 주요 단계로 구성됩니다:

1. 인간 - 루프 RL 설정

시스템은 RLPD(Prior Data 를 활용한 강화 학습) 와 함께 **Soft Actor-Critic (SAC)**을 활용합니다. 학습 루프는 다음을 통합합니다:

• 자율적 탐색: 에이전트가 자체적으로 전이를 생성합니다.
• 인간 안내: 인간 운영자는 오프라인 데모와 온라인 원격 조작 개입 (에이전트 동작 덮어쓰기) 을 제공하여 탐색을 안내하고 보상 신호를 제공합니다.
• 보상 구조: 복잡한 보상 형성을 피하기 위해 희소 이진 보상 (작업 성공 시 1, 그렇지 않으면 0) 을 사용합니다.

2. 1 단계: 비전 기반 교사 훈련

"교사"정책 ($\pi_t$) 은 전체 다중 모달 입력을 사용하여 일련의 대표 작업에 대해 훈련됩니다:

• 관측값: 카메라 이미지 ($I$), 엔드 이펙터 자세 ($p$), 속도 ($v$), 힘 ($f$), 토크 ($\tau$).
• 표현: 반응형 시각 서보링을 용이하게 하기 위해 자세는 에피소드의 초기 상태에 상대적으로 표현됩니다.
• 목표: 교사는 풍부한 시각적 피드백을 활용하여 작업을 마스터하도록 학습하여 높은 성공률을 달성합니다. 그러나 이는 여전히 시각적 조건에 의존합니다.

3. 2 단계: 비전 없는 학생 증류

"학생"정책 ($\pi_s$) 은 교사의 행동을 복제하도록 훈련되지만, 시각 데이터를 폐기하고 오직 고유 감각 입력(자세, 트위스트, 렌치) 만을 의존합니다.

• 증류 메커니즘: 학생은 교사와 정렬하기 위한 추가 손실 항을 포함하여 동일한 HIL-RL 프레임워크를 사용하여 훈련됩니다:
  • 비평가 증류 (Critic Distillation): 평균 제곱 오차 (MSE) 항이 학생의 Q 함수 ($Q_s$) 를 교사의 Q 함수 ($Q_t$) 와 일치시킵니다.
  • 작동자 증류 (Actor Distillation): 쿨백 - 라이블러 (KL) 발산 항이 학생의 정책 ($\pi_s$) 을 교사의 동작 분포 ($\pi_t$) 와 일치하도록 정규화합니다.
• 상태 표현: 학생은 절대적 공간 위치 변화에 불변성을 보장하기 위해 작업 상대 좌표계 ($T_z$) 를 사용합니다.
• 결과: 학생은 교사가 학습한 "기술"과 탐색 전략을 계승하지만 시각적 변화에는 불변이 됩니다.

4. 3 단계: 미세 조정 (선택 사항)

매우 어렵거나 보이지 않는 작업의 경우, 비전 없는 학생을 미세 조정할 수 있습니다. 이는 학생을 처음부터 훈련하는 대신, 특정 작업에 특화된 새로운 비전 기반 교사를 훈련하고 그 지식을 학생에게 증류하는 것을 포함합니다.

주요 기여

1. 교차 모달 증류 프레임워크: 비전 기반 교사의 지식을 비전 없는 학생에게 증류하는 새로운 방법입니다. 이는 훈련 단계 동안 시각적 학습의 샘플 효율성을 유지하면서 시각적 조건에 불변인 배포 정책을 생성합니다.
2. 효율적인 기술 일반화: 이 접근법은 소수의 대표 작업에 대한 공동 훈련이 보이지 않는 삽입 시나리오로 강력한 제로샷 이전을 가능하게 함을 보여줍니다.
3. 실제 세계 검증: 이 방법은 도메인 무작위화나 데이터 증강 없이 Franka FR3 와 같은 실제 하드웨어에서 완전히 검증되었으며, 총 로봇 상호작용 시간 약 50 분 내에 높은 성공률을 달성했습니다.

실험 결과

실험은 다양한 핀, 기어, 커넥터 삽입 작업을 포함하는 NIST 조립 보드 I 벤치마크에서 수행되었습니다.

• 성능: VE2VF 방법은 훈련, 교란, 분포 밖 작업 전반에 걸쳐 95% 의 전체 성공률을 달성했습니다.
• 기저 모델 비교:
  • 비전 기반 RL (HIL-SERL VPTW): 훈련 작업에서는 거의 완벽한 성공률을 보였으나, 분포 밖 작업에서는 붕괴 (0% 성공) 했으며 시각적 교란 하에서 크게 저하되었습니다.
  • 처음부터의 비전 없는 RL (HIL-SERL PTW): 중간 정도의 성능 (47.1%) 을 보였으나 시각적 안내 없이 효과적인 삽입 전략을 학습하는 데 어려움을 겪어 완전한 성공에 도달하지 못했습니다.
  • 동적 운동 원시 (DMP): 성능이 낮았으며 (35.7%), 적응형 학습 행동의 필요성을 확인시켜 주었습니다.
  • 잔차 RL: 잘 수행되었으나 (85.7%), 특히 미끄러짐 후 재시도 (예: 소켓에서 미끄러져 다시 시도) 와 같은 복구 행동에서 VE2VF 에 비해 뒤처졌습니다.
• 절대성 연구 (Ablation Studies):
  • 증류가 필수임이 입증되었습니다. 시각적 학생을 처음부터 훈련하면 (최대 75 분까지 시간을 늘려도) 단순 작업에 과적합되고 복잡한 작업에서는 실패했습니다.
  • 자세, 트위스트, 렌치 입력을 결합하는 것이 이러한 모달리티의 부분 집합을 사용하는 것보다 가장 좋은 견고성을 제공했습니다.
• 미세 조정: 어려운 DSUB 삽입 작업 (제로샷 성공률 50%) 의 경우, 작업별 교사를 통한 증류로 학생을 미세 조정하여 단 10 분 만에 100% 성공을 달성했습니다.

중요성 및 주장

이 논문은 VE2VF 가 시각 안내 학습의 샘플 효율성과 실제 세계 배포에 필요한 견고성 사이의 중요한 트레이드오프를 해결한다고 주장합니다. 시각을 탐색을 안내하는 "교사"로만 사용한 후 그 지식을 고유 감각 "학생"으로 증류함으로써, 시스템은 다음을 달성합니다:

• 견고성: 다양한 조명, 질감, 목표 자세에서 일반화되는 정책.
• 적응성: 교사에서 학습한 반응형 행동을 통해 실패 (예: 미끄러짐) 에서 복구하는 능력.
• 효율성: 광범위한 시뮬레이션이나 수동 보상 형성 없이 복잡한 접촉이 풍부한 기술 (약 50 분) 을 빠르게 습득.

저자들은 이 접근법이 시각적 조건이 예측 불가능한 고혼합 저생산량 조립 환경에서 견고한 접촉이 풍부한 조작 기술을 배포하기 위한 실용적인 경로라고 결론지었습니다.