기술 요약: CoRMA (대조적 로봇 모터 적응)

문제 정의

접촉이 풍부한 로봇 조립 (예: PegInsert, NutThread, GearMesh) 은 기하학적 불일치, 마찰, 순응성, 그리고 센서 노이즈에 대한 이러한 작업의 민감성으로 인해 여전히 중요한 과제로 남아 있습니다. 자유 공간 조작과 달리, 사소한 편차도 끼임 (jamming) 이나 되돌릴 수 없는 실패로 이어질 수 있습니다. FORGE 와 같은 최근의 시뮬레이션 - 현실 (sim-to-real) 시스템은 시뮬레이션에서 강건성을 입증하지만, 하드웨어에 배포될 때 종종 크게 저하됩니다. 기존 접근 방식은 일반적으로 작업별 훈련, 시연에 의존하는 파이프라인 (모방 학습), 또는 새로운 설정에 대해 반복적인 보정이 필요한 고전적 적응 제어에 의존합니다. 또한, 빠른 모터 적응 (Rapid Motor Adaptation, RMA) 과 같은 표준 메타러닝 프레임워크는 종종 시각적 또는 객체 중심 단서에 맞춰 설계된 반면, 접촉이 풍부한 조립은 상호작용 상태 (예: 자유 운동 대 끼임) 를 이해하기 위해 힘과 고유 감각 (proprioceptive) 히스토리를 해석해야 합니다.

방법론

CoRMA(대조적 로봇 모터 적응) 는 힘 중심 조립에 맞춘 컨텍스트 기반 메타적응 프레임워크를 제안합니다. 이는 원시 시뮬레이션 파라미터 적응을 컴팩트한 의미론적 접촉 컨텍스트로 대체함으로써 표준 RMA 패러다임을 수정합니다. 이 프레임워크는 세 단계로 운영됩니다:

1. 의미론적 접촉 컨텍스트 정의

원시 시뮬레이션 파라미터를 특권 정보로 사용하는 대신, CoRMA 는 접촉 역학의 의미론적 해석을 나타내는 6 차원 특권 $Z$ 잠재 변수 ($z_t$) 를 정의합니다. 이 벡터는 다음을 포함합니다:

• 접촉 시작
• 측면 체결
• 유도된 접촉 전환
• 접촉 방향 (두 축을 따라)
• 끼임 또는 스틱 - 슬립 (stick–slip) 경향

이러한 점수는 시뮬레이션 접촉 및 힘 역학에서 계산되며 훈련 중에는 지도 학습 타겟으로 사용되지만 배포 시에는 사용할 수 없습니다.

2. 훈련 파이프라인

• 1 단계 (특권 교사): 접촉 인식 정책이 PPO 를 사용하여 시뮬레이션 (Isaac Lab) 에서 훈련됩니다. 관찰 공간은 오라클 특권 $Z$로 확장되어, 교사가 접촉 상태에 대한 완벽한 의미론적 지식에 조건부인 최적의 행동을 학습할 수 있게 합니다.
• 2 단계 (어댑터 훈련): 인과적 Transformer 어댑터가 배포 가능한 센서 히스토리 (힘, 고유 감각, 동작) 에서만 특권 $Z$($\hat{z}_t$) 를 추론하도록 훈련됩니다. 어댑터 아키텍처는 다음을 포함합니다:
  • 의미론적 헤드: 6 차원 $Z$ 벡터를 예측하는 회귀를 수행합니다 ($L_{sem}$).
  • 대조 헤드: 보조 InfoNCE 목적 함수 ($L_{nce}$) 를 사용하여 **힘 영역 (free motion, first contact, guided sliding, jamming)**에 기반한 히스토리 임베딩을 조직화합니다. 이는 의미론적 정규화제로 작용하여, 서로 다른 작업 간에도 유사한 상호작용 의미론을 가진 히스토리가 함께 군집화되도록 보장합니다.
• 3 단계 (배포): 정책에서 오라클 $Z$가 제거됩니다. 고정된 어댑터가 센서 히스토리에서 $\hat{z}_t$를 온라인으로 예측하여 정책에 주입합니다. 이는 시연, 특권 입력, 또는 테스트 시간 기울기 업데이트 없이 적응을 가능하게 합니다.

3. 아키텍처

CoRMA 의 핵심은 힘, 고유 감각, 동작의 히스토리 윈도우를 처리하는 인과적 Transformer 인코더입니다. 이는 컨텍스트 표현을 생성하기 위해 학습된 리드아웃 토큰을 활용합니다. Transformer 의 사용은 이전 RMA 변형에서 사용된 표준 Conv1D 인코더보다 우세한 요인으로 강조되며, 이를 통해 모델은 장기 의존성과 희박한 힘 과도 현상을 포착할 수 있습니다.

주요 기여

1. 의미론적 접촉 적응: CoRMA 는 적응 타겟을 원시 시뮬레이션 파라미터에서 상호작용 영역을 특정 작업 기하학이 아닌 재사용 가능한 컴팩트한 의미론적 접촉 어휘 (6 차원 $Z$) 로 전환합니다.
2. 힘 영역 대조 학습: 힘 영역 (자유, 접촉, 슬라이딩, 끼임) 에 기반한 대조 목적 함수의 도입은 약한 의미론적 정규화제로 작용합니다. 이는 잠재 공간을 상호작용 유형을 구분하도록 구조화하여 컨텍스트 추론의 강건성을 향상시킵니다.
3. 비-사기성 배포 인터페이스: 시스템은 특권 정보가 훈련 감독에만 사용된다는 RMA 원칙을 준수합니다. 배포 시 로봇은 온보드 힘 및 고유 감각 데이터만 사용하여 온라인으로 적응하며, 실제 세계의 불확실성을 처리하기 위해 필요한 접촉 컨텍스트를 추론합니다.
4. 인과적 Transformer 어댑터: 구현은 장기 힘 히스토리에서 접촉 의미론을 추론하는 데 있어 합성곱 인코더보다 인과적 Transformer 가 우수함을 입증합니다.

실험 결과

저자들은 Isaac Lab/Isaac Sim 5.0 과 실제 7-DoF Marvin 암에서 세 가지 작업 (PegInsert, GearMesh, NutThread) 에 대해 CoRMA 를 평가했습니다.

• 시뮬레이션 대 현실 격차: 강력한 베이스라인 (FORGE) 은 거의 완벽한 시뮬레이션 성공률 (98–100%) 을 달성했지만, 실제 세계 배포에서는 극심한 성능 저하를 겪었습니다 (예: FORGE 는 PegInsert 에서 12.5%, NutThread 에서 0% 로 하락).
• CoRMA 성능: CoRMA 의 시뮬레이션 성공률은 일부 경우 FORGE 보다 약간 낮았지만, 검증된 실제 성공률은 훨씬 더 높게 유지되었습니다:
  • GearMesh: CoRMA 65.0% 대 FORGE 25.0%.
  • PegInsert: CoRMA 50.0% 대 FORGE 12.5%.
  • NutThread: CoRMA 59.3% 대 FORGE 0.0%.
• 어댑터 분석: 제거 실험 (ablation studies) 은 인과적 Transformer 가 Conv1D 에 비해 가장 큰 성능 향상을 제공했음을 확인했습니다 ($R^2$를 약 0.43 에서 약 0.88 로 증가). 대조 목적 함수는 작지만 일관된 정규화 이점을 제공하여 수치 예측 정확도를 희생하지 않으면서 표현 품질을 향상시켰습니다.

중요성 및 주장

이 논문은 의미론적 접촉 추론이 관련 조립 작업 군 내에서 재사용 가능한 적응 인터페이스로 작용한다고 주장합니다. 힘 히스토리에서 컴팩트한 접촉 컨텍스트를 추론함으로써 CoRMA 는 강력한 작업별 베이스라인에서 관찰되는 시뮬레이션 - 현실 저하를 줄입니다.

저자들은 범위를 겸손하게 다음과 같이 명시합니다:

• 결과는 무제한의 임의의 보이지 않는 작업으로의 일반화가 아닌 작업 군 수준의 메타적응을 지지합니다.
• 현재 평가는 PegInsert, GearMesh, NutThread 와 같은 관련 작업 내에서의 재사용에 초점을 맞추고 있으며 광범위한 일반화보다는 관련 작업 내 재사용에 중점을 둡니다.
• 실제 - 시뮬레이션 (Real2Sim) 보정은 미래 작업 항목으로 남아 있으며, 남아 있는 시뮬레이션 - 현실 격차는 역학, 마찰, 센서 지연의 불일치에서 비롯될 가능성이 높습니다.
• 실제 로봇 결과는 제한된 수의 시도 (작업당 수십 회) 로 인해 완전한 신뢰성 인증보다는 통제된 배포 증거로 제시됩니다.

결론적으로, CoRMA 는 원시 파라미터 적응을 대조 학습으로 구조화된 의미론적 접촉 컨텍스트 추론으로 대체하는 것이 힘 중심 시나리오에서 강력한 시뮬레이션 - 현실 조립을 위한 유망한 방향임을 보여줍니다.