Constraint-Enhanced Reinforcement Learning Based on Dynamic Decoupled Spherical Radial Squashing

본 논문은 이질적인 구동기 속도 한계와 등방성 제약 간의 기하학적 불일치를 각 관절별 위치 적응형 반경을 계산함으로써 해결하고, 이를 통해 시뮬레이션 및 고충실도 휴머노이드 로봇 배포 환경에서 제약 위반을 완전히 제거하고 정확한 기울기 역전파를 실현하며 우수한 작업 수행 능력을 달성하는 제약 강화 강화 학습 방법인 동적 분리 구형 방사형 squashing(DD-SRad)을 소개한다.

핵심

로봇을 비디오 게임 컨트롤러를 사용하여 걷거나 춤추거나 뛰는 법을 가르친다고 상상해 보세요. 실제 세계에서는 로봇의 관절 (무릎, 엉덩이, 발목 등) 이 움직일 수 있는 속도에 물리적인 한계가 있습니다. 로봇의 무릎을 한 위치에서 다른 위치로 너무 빠르게 꺾으라고 지시하면 모터가 타버리거나 로봇이 넘어져 쓰러질 수 있습니다.

문제는 모든 관절마다 다른 속도 제한이 존재한다는 점입니다. 로봇의 엉덩이는 강력하고 빨라 빠르게 움직일 수 있는 반면, 발목은 섬세하고 느립니다. 이는 엔진은 고회전을 할 수 있지만 바퀴는 진흙에 빠져 천천히만 회전할 수 있는 자동차와 같습니다.

문제: "일률적 접근"의 실수

로봇을 가르치는 이전 방법들은 이러한 속도 제한을 처리하기 위해 로봇 전체에 "전역 속도 상한선"을 적용했습니다. 스프린터, 마라토너, 그리고 유아로 구성된 주자 그룹이 있다고 상상해 보세요. 만약 그들에게 모두 "유아만큼만 빨리 달릴 수 있다"고 말하면, 스프린터는 불필요하게 제약을 받게 됩니다. "최대한 빨리 달려라"고 말하면 유아는 뒤처지거나 (로봇의 경우) 고장 납니다.

수학적으로 말해, 이 논문은 이전 방법들이 허용된 움직임의 직사각형 상자 안에 **완전한 원 (구)**을 맞추려고 시도했다고 말합니다.

• 상자: 엉덩이는 많이 움직일 수 있지만 발목은 조금만 움직일 수 있는 실제 세계를 나타냅니다.
• 원: 이전의 AI 방법을 나타냅니다. 이 원은 그 상자 안에 들어맞으려 합니다.
• 결과: 원은 상자 안에 거대한 빈 구석들을 남겨둡니다. 로봇은 "원"을 안전하게 유지하기 위해 물리적으로 가능했던 것보다 엉덩이를 덜 빠르게 움직이도록 지시받습니다. 이는 로봇의 잠재력을 낭비합니다.

해결책: DD-SRad (동적 분리 구형 방사형 압축)

저자들은 DD-SRad라는 새로운 방법을 개발했습니다. 이는 각 손가락 (관절) 마다 스마트하고 조절 가능한 장갑을 제공하는 것과 같습니다.

손 전체에 적용하는 하나의 큰 규칙 대신, DD-SRad 는 각 손가락에 대한 구체적인 "속도 제한"을 다음을 기반으로 계산합니다:

1. 해당 특정 손가락이 움직일 수 있는 속도.
2. 해당 손가락이 현재 위치한 곳.

로봇의 엉덩이가 안전하게 빠르게 움직일 수 있는 위치에 있으면, "장갑"이 이를 허용합니다. 발목이 한계에 근접해 있으면, "장갑"은 그 발목만을 위해 조여집니다.

비유:
매우 민감한 가속 페달과 무거운 브레이크가 있는 자동차를 운전한다고 상상해 보세요.

• 기존 방법: 가속 페달 아래에 1 인치 이상 누르지 못하게 나무 블록을 받칩니다. 이는 안전을 유지하지만, 길이 비어 있을 때도 속도를 낼 수 없게 합니다.
• DD-SRad: 현재 속도와 도로 조건에 따라 얼마나 강하게 밟을 수 있는지 정확히 아는 스마트 페달을 가지고 있습니다. 안전할 때는 바닥까지 밟게 하지만, 벽에 가까워지면 부드럽게 떼어냅니다.

중요성 (결과)

이 논문은 디지털 로봇 (MuJoCo 라는 시뮬레이터 내) 과 실제 휴머노이드 (Unitree H1 및 G1) 의 고정밀 시뮬레이션에서 이 방법을 테스트했습니다.

1. 부상된 관절 제로: 이 방법은 로봇이 절대 관절의 한계를 초과하여 움직이도록 요구하지 않음을 보장합니다. 이는 100% 안전 보장입니다.
2. 최대 성능: 빠른 관절을 억제하지 않기 때문에, 로봇들은 이전 방법들보다 더 잘 그리고 빠르게 움직이는 법을 학습했습니다. 테스트에서 규칙을 위반한 적 없이 가능한 최고 점수를 달성했습니다.
3. 더 나은 커버리지: 이 논문은 이 방법이 이전의 "원" 방법들보다 가능한 움직임의 30% 에서 50% 더 많은 부분을 커버한다고 주장합니다. 이는 이전에 비어 있던 상자의 "구석"들을 채워줍니다.
4. 지연 없음: 매 단계마다 안전을 확인하기 위해 복잡한 수학 계산 (방정식 풀이) 이 필요한 다른 방법들과 달리, DD-SRad 는 간단한 공식으로 이를 즉시 수행합니다. 이는 실시간 제어에 충분히 빠릅니다.

결론

이 논문은 로봇이 실제 세계에서 안전하고 민첩해지기 위해서는 모든 관절을 동일하게 취급하는 것을 멈춰야 한다고 주장합니다. 로봇이 움직임에 따라 동적으로 변화하는 각 관절만의 맞춤형 "속도 제한"을 부여함으로써, 우리는 로봇이 손상 위험 없이 그 완전한 잠재력을 발휘할 수 있게 할 수 있습니다. 저자들은 시뮬레이션된 휴머노이드에서 이를 성공적으로 입증하여, 로봇의 기술 매뉴얼 (데이터시트) 에서 안전하게 배포되고 고성능을 발휘하는 기계로 가는 명확한 경로를 보여주었습니다.

기술 요약

기술 요약: 동적 비연결 구형 방사형 압축 (DD-SRad)

1. 문제 제기

물리적 로봇에 강화 학습 (RL) 정책을 배포하려면 구동기 속도 제약을 충족해야 합니다. 이는 각 관절의 위치 명령이 제어 단계당 얼마나 빠르게 변경될 수 있는지에 대한 엄격한 제한 ($|a^i_t - a^i_{t-1}| \le \delta^i$) 입니다. 이러한 제한은 구조적으로 이질적입니다. 모터 관성과 전달 강성의 차이로 인해 속도 제한 $\delta^i$는 관절 간에 크게 달라집니다 (예: 고관절은 종종 발목 관절보다 훨씬 높은 속도를 허용합니다).

기존 방법들은 이러한 이질성을 기하학적으로 처리하지 못합니다:

• MPC/QP 접근법은 런타임 솔버 오버헤드를 발생시키고 훈련 - 배포 불일치를 겪어 엔드투엔드 최적화를 방해합니다.
• 제약 MDP (CMDP) 방법(예: CPO, FOCOPS)은 기대값 형태의 보장만 제공하여 하드웨어를 손상시킬 수 있는 과도기적 단계별 위반을 허용합니다.
• 동작 매개변수화 방법은 일반적으로 등방성 $\ell_2$-볼 제약 (예: 구형 방사형 압축, SRad) 을 부과합니다. 이질적 제약 하에서 반지름 $R = \min_i \delta^i$인 $\ell_2$ 볼은 실제 가능 집합 (an $\ell_\infty$ 초직사각형) 을 심각하게 과소 커버합니다. $\ell_2$ 볼과 실제 가능 집합 간의 부피 비율은 차원과 이질성이 증가함에 따라 지수적으로 감소하여 고예산 관절의 탐색 공간을 효과적으로 압축합니다.
• $\ell_\infty$ 클리핑 방법(예: BoxPre+) 은 올바른 기하학을 커버하지만 경계에서 기울기를 잘라내어 정책 업데이트 중 방향 정보를 잃습니다.

핵심 과제는 런타임 솔버 오버헤드 없이 엄격한 단계별 제약 충족, 가능 집합의 정확한 $\ell_\infty$ 커버리지, 그리고 엔드투엔드 기울기 역전파를 달성하는 것입니다.

2. 방법론: DD-SRad

이 논문은 정책 출력과 이질적 속도 제약 간의 기하학적 불일치를 해결하는 매끄러운 분석적 동작 매개변수화인 **동적 비연결 구형 방사형 압축 (DD-SRad)**을 제안합니다.

핵심 메커니즘

단일 전역 반지름 $R$을 사용하는 SRad 와 달리, DD-SRad 는 각 동작 차원 $i$에 대해 독립적으로 위치 적응형 유효 반지름 $R^i_{\text{eff}}$를 계산합니다:
$$R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) = \begin{cases} \min(\delta^i, a^i_{\max} - a^i_{\text{prev}}) & \text{if } u^i > 0 \\ \min(\delta^i, a^i_{\text{prev}} - a^i_{\min}) & \text{if } u^i < 0 \\ \delta^i & \text{if } u^i = 0 \end{cases}$$

이 매핑은 잠재 동작 $u \in \mathbb{R}^d$를 물리적 동작 $a$로 변환하며, 차원별 독립적인 구형 압축을 통해 수행됩니다:
$$a^i = a^i_{\text{prev}} + R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) \cdot \frac{u^i}{\sqrt{1 + (u^i)^2}}$$

주요 특성

1. 기하학적 정렬: DD-SRad 의 도달 가능 집합은 속도 제한과 위치 경계로 정의된 정확한 $\ell_\infty$ 초직사각형이며, 이질적 제약 하에서 등방성 $\ell_2$ 기준이 잃어버린 부피를 복원합니다.
2. 엄격한 제약 충족: 이 매핑은 임의의 잠재 동작 $u$에 대해 확률 1 로 $|a^i - a^i_{\text{prev}}| \le \delta^i$ 및 $a^i \in [a^i_{\min}, a^i_{\max}]$를 보장합니다.
3. 기울기 보존: 이 매핑은 매끄럽고 분석적입니다 ($u=0$은 측도 0 사건). 야코비안은 대각 양정부호 행렬이므로, 크리티크로부터의 완전한 방향 기울기 정보가 잘림 없이 정책으로 전파됩니다.
4. 제로 오버헤드: 플러그 앤 플레이 레이어로서 QP/MPC 와 같은 런타임 솔버가 필요 없으며 SAC 및 TD3 와 같은 오프-폴리백본에 직접 통합됩니다.

3. 주요 기여

• 기하학적 정렬: DD-SRad 는 차원별 적응형 반지름을 통해 가능 집합의 정확한 $\ell_\infty$ 커버리지를 달성하여 이질적 제약 하에서 $\ell_2$ 기준이 잃어버린 부피를 체계적으로 복원합니다.
• 이론적 보장: 논문은 확률 1 로 단계별 엄격한 제약 충족을 증명하고 야코비안 조건수 조건에 대한 경계를 설정하여 잘 조건화된 기울기를 보장합니다.
• 엔드투엔드 호환성: 매끄러운 분석적 형태는 제로 런타임 솔버 오버헤드로 정확한 정책 기울기 역전파를 지원하며 표준 오프-폴리 알고리즘과 호환됩니다.
• 실증적 검증: 광범위한 실험은 DD-SRad 가 제약 위반 없이 가장 높은 작업 반환을 달성하며, MuJoCo 벤치마크와 고정밀 IsaacLab 시뮬레이션 모두에서 기준 방법들을 능가함을 입증합니다.

4. 실험 결과

저자들은 MuJoCo(Ant, Humanoid, HalfCheetah, Hopper)와 IsaacLab(Unitree H1 및 G1 휴머노이드 로봇) 에서 DD-SRad 를 평가했습니다.

MuJoCo 벤치마크

• 성능: 엄격한 이질적 제약 하에서 DD-SRad 는 모든 8 가지 환경 - 백본 구성 (SAC 및 TD3) 에서 가장 높은 반환을 달성했으며, 종종 제약 없는 상한선과 일치하거나 초과했습니다.
• 제약 활용: DD-SRad 는 구형 기준 방법 대비 제약 공간 커버리지에서 30%~50% 개선을 보여주었습니다. 구조적 붕괴 (예: Ant-SAC 에서 68.8% 제약 위반) 를 겪은 SRad-Strict 와 달리 DD-SRad 는 위반을 0% 로 유지했습니다.
• 비교: DD-SRad 는 $\ell_\infty$ 클리핑 (BoxPre+) 보다 반환에서 5%~14% 더 우수한 성능을 보여, 경계에서의 기울기 잘림보다 매끄러운 기울기 전파가 우월함을 확인했습니다.

고정밀 시뮬레이션 (IsaacLab)

• 강건성: 공식 관절 사양 (Unitree H1: 험지, G1: 평지) 을 사용하여 DD-SRad 는 최적의 보행을 달성했습니다.
  • H1 (험지): DD-SRad 는 37.14 의 반환과 48.7% 의 낙상률을 달성하여 BoxPre+(23.11 반환, 70.2% 낙상) 과 SRad-Strict(0.83 반환, 100% 낙상) 를 크게 능가했습니다.
  • G1 (평지): DD-SRad 는 5473 의 반환과 0.3% 의 낙상률, 그리고 가장 낮은 속도 추적 오차 (0.138 m/s) 를 달성했습니다.
• 적응적 할당: 레이더 차트와 산점도는 DD-SRad 가 작업 적응적 속도 예산 할당을 가능하게 함을 확인했습니다 (예: 평지에서는 발목 움직임을 최소화하면서 추진을 위해 고관절을 활용). 이는 클리핑 방법의 균일한 활성화나 구형 방법의 기하학적 압축으로 인해 차단된 기능입니다.

5. 중요성 및 주장

이 논문은 하드웨어 데이터시트에서 안전한 배포까지의 체계적 경로를 제공한다고 주장합니다. 공식 관절 속도 사양에서 직접 동작 공간을 매개변수화함으로써 DD-SRad 는 보상 엔지니어링이나 사후 안전 필터 없이 물리적 한계를 준수하는 최적 정책을 학습할 수 있게 합니다.

저자들은 DD-SRad 가 속도 제약의 $\ell_\infty$ 특성과 표준 구형 매개변수화의 $\ell_2$ 특성 간의 근본적인 기하학적 불일치를 해결한다고 강조합니다. 이를 통해 다음이 가능해집니다:

1. 안전한 배포: 구동기 한계에 대한 엄격한 보장은 침묵하는 명령 폐기나 하드웨어 손상을 방지합니다.
2. 효율적인 학습: 가능 집합의 전체 기하학을 보존함으로써 에이전트는 물리적으로 가능한 동작의 전체 범위를 탐색하여 더 빠른 수렴과 더 높은 성능을 달성합니다.
3. 확장성: 이 방법은 QP 솔버의 계산 부담 없이 17 개 이상의 관절을 가진 고차원 휴머노이드 로봇으로 확장됩니다.

이 연구는 기존 방법들이 안전성, 기하학적 커버리지, 또는 훈련 효율성 중 하나를 희생하는 반면, DD-SRad 는 세 가지를 동시에 달성하여 실제 로봇 제어에 대한 유용성을 검증했다고 결론지었습니다.