기술 요약: DexSim2Real

문제 제기

다중 손가락을 가진 손으로 물체를 잡거나, 방향을 바꾸거나, 정밀하게 제어하는 정교한 로봇 조작은 여전히 큰 과제로 남아 있습니다. 강화 학습 (RL) 은 시뮬레이션 환경에서 성공을 거두었지만, 이러한 정책들을 실제 로봇으로 이전하는 것은'시뮬레이션 - 현실 간극 (sim-to-real gap)'에 의해 방해받고 있습니다. 이 간극은 시뮬레이션 환경과 실제 환경 간의 외관, 물리 역학, 센서 특성의 차이에서 비롯됩니다.

기존 솔루션인 주로 도메인 무작위화 (Domain Randomization, DR) 는 두 가지 주요 한계를 겪고 있습니다:

1. 수동 튜닝: 무작위화 범위는 일반적으로 수동으로 설정되거나 비용이 많이 드는 시행착오를 통해 결정됩니다.
2. 비현실적인 구성: 넓은 매개변수 공간에 대한 균일한 무작위화는 종종 비현실적인 시나리오에서 정책을 학습시켜 성능을 저하시킵니다.

최근 연구들은 보상 설계나 텍스트 기반 도메인 무작위화 (예: DrEureka) 에 대형 언어 모델 (LLM) 을 활용했지만, 기초 모델 기반 도메인 무작위화, 멀티모달 정책 학습, 자동 커리큘럼 생성을 제로샷 정교한 조작을 위한 통합 파이프라인으로 결합하는 기존 프레임워크는 존재하지 않습니다.

방법론: DexSim2Real 프레임워크

저자들은 비전 - 언어 모델 (VLM) 과 멀티모달 학습을 활용하여 시뮬레이션 - 현실 간극을 해소하기 위해 설계된 통합 3 단계 프레임워크인 DexSim2Real을 제안합니다.

1. 기초 모델 기반 도메인 무작위화 (FM-DR)

수동 튜닝 대신, FM-DR 은 VLM 을'시각적 현실성 비평가'로 사용하여 시뮬레이션 매개변수를 최적화합니다.

• 현실성 점수 매기기: 렌더링된 시뮬레이션 이미지 ($I_s$) 와 실제 세계 참조 이미지 ($I_r$) 가 주어지면, VLM(특히 GPT-4V) 은 조명, 질감, 기하학, 물리적 타당성을 고려하여 1~10 척도로 시각적 충실도를 평가합니다.
• 최적화: 시스템은 시뮬레이션 매개변수 ($\xi$) 의 분포를 가우시안 혼합으로 매개변수화합니다. 그리고 VLM 현실성 점수와 분포의 엔트로피 (단일 구성으로 수렴하는 것을 방지하기 위해) 를 결합한 보상 함수를 최대화하기 위해 폐루프 CMA-ES 를 사용하여 분포 매개변수 ($\theta$) 를 최적화합니다.
• 프로세스: 이 과정은 VLM 이 렌더링된 이미지에 대한 피드백을 제공하는 반복 라운드로 진행되며, 마찰, 질량, 조명과 같은 현실적이면서도 다양한 매개변수 범위를 향한 탐색을 안내합니다.

2. 촉각 - 시각 교차 어텐션 정책 (TVCAP)

실제 세계의 데모 없이 제로샷 이전을 처리하기 위해 시스템은 멀티모달 정책 아키텍처를 사용합니다.

• 입력: 정책은 RGB 이미지, 손가락 끝 센서의 촉각 판독값, 그리고 고유감각 상태 (관절 각도, 속도) 를 처리합니다.
• 아키텍처:
  • 인코더: 시각적 특징은 DINOv2 에서 초기화된 ViT 기반 인코더를 통해 추출되고, 촉각 데이터는 1D-CNN 을 통해, 고유감각은 MLP 를 통해 추출됩니다.
  • 융합: 단순한 연결 (concatenation) 과 달리 TVCAP 은 동적 정보 교환을 가능하게 하는 양방향 교차 어텐션을 사용합니다. 이를 통해 시각 스트림은 접촉이 풍부한 단계 동안 촉각 신호에 주의를 기울일 수 있고 그 반대의 경우도 가능합니다.
  • 출력: 트랜스포머 디코더는 액션 청킹 패러다임을 따르는 액션 시퀀스를 출력하며, PPO 를 통해 학습됩니다.

3. 점진적 기술 커리큘럼 (PSC)

복잡한 접촉이 풍부한 작업을 처음부터 학습하는 어려움을 해결하기 위해 PSC 는 작업 분해와 난이도 스케줄링을 자동화합니다.

• 분해: LLM 은 자연어 작업 설명을 성공 기준이 있는 순차적인 하위 기술 시퀀스로 분해합니다.
• 스케줄링: 난이도 매개변수 ($\delta$) 는 초기 상태 분포와 허용 오차 임계값을 제어합니다. 학습은 가장 쉬운 수준 ($\delta=0$) 에서 시작하여 성공률 임계값에 따라 진행됩니다.
• 연결: 하위 기술들이 숙련도에 도달하면, 이전 기술의 종단 상태로부터 후속 기술을 초기화하고 전체 시퀀스를 엔드 - 투 - 엔드로 미세 조정하여 연결됩니다.

주요 기여

이 논문은 다음과 같은 기여를 주장합니다:

1. 통합 시스템: 기초 모델 기반 도메인 무작위화, 멀티모달 정책 학습, 자동 커리큘럼 생성을 결합한 정교한 조작을 위한 최초의 통합 시뮬레이션 - 현실 파이프라인.
2. FM-DR: 폐루프 CMA-ES 최적화를 갖춘 시각적 현실성 비평가로서 VLM 을 사용하는 새로운 접근 방식으로, DrEureka 와 같은 텍스트 기반 LLM 접근법을 보완하는 직접적인 시각적 피드백을 제공합니다.
3. TVCAP: 실제 세계 데모의 필요성을 제거하고 제로샷 시뮬레이션 - 현실 RL 에 특화된 교차 어텐션 비전 - 촉각 융합을 적용한 정책 아키텍처.
4. PSC: 접촉이 풍부한 작업을 위해 설계된 $\delta$ 기반 난이도 스케줄러와 성공률 임계값 기반 기술 연결을 특징으로 하는 커리큘럼 설계.
5. 실증적 검증: 최첨단 성능을 입증하는 광범위한 실제 세계 실험.

실험 결과

이 시스템은 Franka Emika Panda 암과 Allegro Hand, XELA 촉각 센서를 사용하여 6 가지 까다로운 조작 작업 (픽 - 플레이스, 적층, 핀 삽입, 손 안 회전, 도구 사용, 따르기) 에서 평가되었습니다.

• 성능: DexSim2Real 은 평균 실제 세계 성공률 **78.2%**를 달성하여, 100 개의 실제 데모로 학습된 최상의 베이스라인 (Act3D) 보다 13.1% 포인트, 그리고 최상의 제로샷 베이스라인 (DrEureka) 보다 13.1% 더 높은 성능을 보였습니다.
• 시뮬레이션 - 현실 간극: 이 방법은 시뮬레이션과 현실 간의 성능 간극을 Vanilla DR 의 28.5% 와 ADR 의 19.2% 와 비교하여 **8.3%**로만 줄였습니다.
• 일반화: 시스템은 보이지 않는 물체에서도 강력한 성능을 유지했습니다 (예: 픽 - 플레이스 작업에서 새로운 물체에 대한 85.4% 성공률). 이는 베이스라인 방법들보다 더 작은 일반화 간극을 보여줍니다.
• 애블레이션 연구:
  • FM-DR 을 제거하고 Vanilla DR 로 되돌리는 경우 가장 큰 성능 저하 (-12.4%) 가 발생했습니다.
  • 촉각 입력을 제거하면 성능이 8.1% 감소했으며, 손 안 회전과 같은 접촉이 많은 작업에서는 유의미한 감소 (-14.3%) 가 있었습니다.
  • 교차 어텐션을 연결로 대체하면 성능이 5.8% 감소했습니다.
  • PSC 를 제거하면 수렴 속도가 느려지고 최종 성능이 저하되었습니다 (-9.3%).

중요성과 주장

저자들은 DexSim2Real 을 비용이 많이 드는 실제 세계 데이터 수집이나 수동 튜닝 없이 견고한 정교한 조작 정책을 배포하기 위한 중요한 단계로 위치시킵니다.

• 상호 보완성: 이 연구는 VLM 이 효과적인 시각적 비평가로 작용할 수 있음을 보여주며, 텍스트 기반 추론 (DrEureka) 과 전통적인 자동화 방법 (ADR) 을 보완하는 피드백을 제공합니다.
• 제로샷 능력: 시스템은 실제 세계 데모로 학습된 방법들보다 우수한 성능을 달성하여, 기초 모델이 현실 간극을 해소할 수 있는 잠재력을 강조합니다.
• 효율성: FM-DR 의 계산 오버헤드 (VLM 쿼리에 약 2 GPU 시간) 는 RL 학습 비용 (48 GPU 시간) 에 비해 무시할 수준입니다.

인정된 한계:
저자들은 현재 FM-DR 최적화는 시각 및 물리 매개변수에 초점을 맞추고 있으며, 촉각 이전은 여전히 VLM 기반 최적화 대신 노이즈 무작위화에 의존한다고 지적합니다. 또한, 프레임워크는 현재 강체 물체만 처리하며, VLM 점수 매기기는 학습 데이터에 편향되거나 쿼리 비용이 발생할 수 있지만, 이는 관리 가능한 수준으로 간주됩니다. 향후 연구로는 촉각 인식 비평가, 변형 가능한 물체, 양손 시나리오에 대한 제안이 있습니다.