기술 요약: 로봇 조작을 위한 결합된 제약 기반 샘플링 및 강화 학습

문제 정의

접촉이 빈번한 환경에서 비파악적(non-prehensile) 조작 정책을 학습시키는 것은 로봇 공학의 핵심 과제로 남아 있습니다. 강화 학습(RL)은 불연속성을 암시적으로 매끄럽게 처리함으로써 접촉이 풍부한 역학 관계를 다루는 데 강점을 보여왔으나, 심각한 탐색(exploration) 문제에 직면하곤 합니다. 관련 있는 상호작용 모드들은 종종 유의미한 보상을 받기 전까지 희귀한 접촉 상태에 도달해야 하는 과정을 필요로 합니다.

핵적인 병목 현상은 리셋 및 목표 분포($p(s_0)$ 및 $p(g)$)의 설계에 있습니다. 기존 전략들은 휴리스틱, 무작위 장면 생성, 또는 작업 특화형 샘플러(예: 파지 특화형)에 의존하는 경우가 많습니다. 이러한 방법들은 물체를 균형 잡는 것과 같이 복잡한 접촉 역학 및 상보성 구조(complementarity structures)에 의해 상태 공간이 제약되는 비파라적 작업에 필요한 다양한 접촉 구성을 지정하는 일반적인 메커니즘을 제공하지 못합니다.

방법론

저자들은 물리 기반 상태 샘플러와 목표 조건부 강화 학습을 통합한 프레임워크인 **CSRL (Combined Constrained Sampling and Reinforcement Learning)**을 제안합니다. 이 접근 방식은 세 가지 주요 구성 요소로 이루어집니다.

1. 제약 기반 상태 샘플러 (Constrained State Sampler)

물리 시뮬레이터가 역학을 순방향으로 샘플링하는 것과 달리, 이 샘플러는 비선형 제약 문제를 해결하여 유효한 시작 및 목표 상태를 생성합니다. 이 샘플러는 접촉 모드의 다양성을 확보하기 위해 접촉 구조를 명시적으로 모델링합니다.

• 정식화: 샘플러는 강체 역학, 충돌 제약, 접촉력 제약(Coulomb 마찰 원뿔)을 사용하여 제약 공간 $S_c$를 정의합니다. 또한 목표가 준정적 평형(quasi-static equilibrium) 상태에서 유지될 수 있다고 가정합니다.
• 변수: 결정 변수에는 이산적 접촉 모드($c_{ij} \in \{0, 1\}$), 연속적 상태 변수($s$), 그리고 공격 지점(points of attack) 및 활성 접촉에 대한 선형 힘이 포함됩니다.
• 샘플링 전략: 계층적 접근 방식이 사용됩니다. 먼저, 접촉 모드 구성(예: 1, 2, 또는 3개의 지지 접촉 선택)을 샘플링합니다. 그 다음, 증강 라그랑주 방법(Augmented Lagrangian method)을 사용하여 무작위 박스 제약 샘플 $\bar{s}$를 가용 매니폴드 $S_c$로 투영하는 근사 최적화 문제를 해결합니다. 이 과정은 데이터셋 $D$가 생성될 때까지 반복됩니다.

2. 리셋 및 커리큘럼 전략

고차원 공간에서 무작위 시작과 목표가 서로 멀리 떨어져 있어 발생하는 탐색 문제를 해결하기 위해, CSRL은 두 가지 추가 전략을 채택합니다.

• 투영 보간 (Projected Interpolation): 시스템은 단순히 무작위 상태로 리셋하는 대신, 제약 데이터셋 $D$에서 시작점 $a$와 목표점 $g$를 샘플링합니다. 임베디드 상태 공간 $\phi$ 내에서 이들 사이의 볼록 보간(convex interpolation)을 계산한 후, 이 보간된 점을 $D$에서 가장 가까운 이웃을 찾는 방식으로 제약 매니폴드 $S_c$로 다시 투영합니다. 이를 통해 중간 상태들이 물리적으로 유효하게 유지되도록 보장합니다.
• 커리큘럼 학습 (Curriculum Learning): 위상 변수 $\alpha$가 0 근처에서 1로 스케줄링됩니다. 초기에는 보간 시 $t \sim U[0, \alpha]$를 사용하여 에이전트를 목표에 더 가깝게 리셋합니다. 또한 MDP 절단 시간(truncation time)도 $\alpha$에 따라 스케일링되어, 에이전트가 더 길고 복잡한 궤적을 다루기 전에 목표 근처에서 짧은 롤아웃(rollout)을 수집할 수 있도록 합니다.

3. 강화 학습과의 통합

제약 샘플러는 목표 조건부 MDP를 위한 분포 $p_0$를 제공합니다. RL 에이전트(기본값으로 TD7을 사용하며, TD3 및 HER 변형 모델을 평가함)는 임의의 시작 상태를 $D$ 내의 임의의 목표 상태로 연결하는 범용 정책 $\pi: s, g \mapsto a$를 학습합니다.

주요 기여

1. 새로운 제약 기반 상태 샘플러: 접촉 구조를 명시적으로 고려하여, 특정 상호작용 프리미티브에 국한되지 않고 다양한 접촉 모드를 풍부하게 커버하는 리셋 및 목표 분포를 생성하는 방법입니다.
2. 투영 보간 및 커리큘럼: 제약 투영 보간법과 난이도를 점진적으로 높이는 커리큘럼을 사용하여 제약된 상태 사이의 간극을 메우고, 희소한 보상(sparse reward) 문제를 완화합니다.
3. 실험적 검증: 이 접근 방식이 네 가지 단계별 난이도의 도메인에 걸쳐 표준 RL(무작위 리셋 사용) 및 다른 리셋 방법보다 우수한 성능을 보임을 입증했습니다.

실험 결과

저자들은 네 가지 도메인에서 CSRL을 평가했습니다:

1. Double-sphere: 준정적 상태 간의 범용 조작을 위한 기초 테스트.
2. Panda-sphere: Panda 로봇 팔을 이용한 전신 접촉 기술 테스트.
3. Sphere-cube: 회전 및 방향 제어를 테스트하며, 모서리나 꼭짓점에서의 균형 잡기를 포함합니다.
4. Panda-cube: 엔드 이펙터 및 손가락 접촉을 통한 큐브 제어 테스트.

주요 결과:

• 제약 샘플링의 우수성: Double-sphere 및 Panda-sphere 도메인에서 시작과 목표 모두에 제약 샘플링을 사용하는 것이 무작위 샘플링보다 성능이 훨씬 뛰어났습니다. 무작위 샘플링은 특히 Panda-sphere 작업에서 유효한 정적 유지 상태를 생성하지 못해 매우 낮은 성능을 보였습니다.
• 보간 및 커리큘럼의 영향: 투영 보간과 커리큘럼 학습을 추가하면 모든 도메인과 모든 RL 알고리즘(HER 변형 포함)에서 성공률과 수렴 속도가 더욱 향면되었습니다.
• 역 커리큘럼(Reverse Curriculum)과의 비교: 제안된 보간 전략은 역 커리큘럼 생성(목표로부터 역방향으로 시뮬레이션하는 방식)보다 계산 효율성과 성공률 측면에서 우수했습니다.
• 실세계 전이 (Real-World Transfer): 시뮬레이션에서 학습된 Sphere-cube 정책이 엔드 이펙터 부착 볼(ball)과 OptiTrack 트래킹을 사용하여 실제 환경으로 성공적으로 전이되었으며, 이는 기초적인 조작 기술의 Sim-to-Real 전이 가능성을 입증합니다.

의의 및 주장

본 논문은 물리 기반 역학 샘플링을 물리 정보 기반의 제약 상태 샘플러로 보완함으로써, 접촉이 풍부한 설정에서 범용적이고 비파적이며 동적인 조작 정책을 학습할 수 있음을 주장합니다. 이 접근 방식은 에이전트가 초기부터 다양하고 물리적으로 유효한 접촉 구성을 접할 수 있도록 함으로써 RL의 탐색 병목 현상을 효과적으로 해결합니다.

저자들은 이 연구를 일반적인 비파적 조작을 향한 단계로 규정합니다. 현재 방식이 "특권 학습(privileged training, 정책이 전체 상태에 접근 가능한 경우)"을 대상으로 하고 있음을 언급하면서도, 이것이 향-학생(teacher-student) 패러다임을 위한 토대를 마련한다고 밝힙니다. 또한 단일 CPU NLP 솔버 사용으로 인한 복잡한 물체의 계산 비용 문제와 센서 기반 전이의 어려움을 한계점으로 인정하며, 향후 병렬화 및 전용 솔버에 대한 연구를 제안합니다.