💻 computer science

Safe Execution of RL Policies Via Acceleration-Based CBF-QP Constraint Enforcement for Real-World Robotic Deployments

이 논문은 강화 학습 정책의 훈련을 수정하지 않고도 Unitree H1 및 Kinova Gen3와 같은 실제 로봇 배치 환경에서 관절 위치, 속도, 토크 및 충돌 제약 조건을 강제함으로써 작업 성능을 유지하면서 안전 위반을 크게 줄이는 가속 기반 이차 계획법(Quadratic Program) 안전 필터인 Acc-CBF-QP를 소개한다.

원저자: Bastien Muraccioli, Alice Cariou, Pierre-Alexandre Leziart, Mathieu Celerier, Arnaud Demont, Gentiane Venture, Mehdi Benallegue

게시일 2026-07-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bastien Muraccioli, Alice Cariou, Pierre-Alexandre Leziart, Mathieu Celerier, Arnaud Demont, Gentiane Venture, Mehdi Benallegue

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 경직된 규칙을 프로그래밍받는 것이 아니라, 마치 걸음마를 배우는 유아처럼 시행착오를 통한 게임을 통해 움직임을 배우는 세상을 상상해 보십시오. 이것이 바로 **강화 학습(Reinforcement Learning, RL)**의 영역입니다. 이 디지털 놀이터에서 로봇은 수백만 번의 행동을 시도하며, 성공에는 '점수'를 얻고 실패에는 '벌금'을 받으며, 결국 놀라운 민첩성으로 달리고, 점프하고, 물체를 잡는 법을 터득하게 됩니다. 하지만 여기에는 함정이 있습니다. 이 AI 두뇌들은 새로운 기술을 배우는 데는 천재적이지만, 자신의 한계를 아는 데는 젬병이라는 점입니다. 만약 학습 중인 로봇에게 너무 빨리 달리거나 너무 멀리 손을 뻗으라고 요구한다면, 로봇은 아직 결과에 대한 두려움을 배우지 못했기 때문에 자신의 팔을 비틀어 뽑아버리거나 벽에 충돌할 수도 있습니다.

이러한 로봇들을 안전하게 유지하기 위해, 엔지니어들은 종로종종 **제어 장벽 함수(Control Barrier Functions, CBFs)**를 사용합니다. 이것을 로봇이 위험한 행동을 하려는 찰나를 끊임없이 확인하는 보이지 않는, 깨지지 않는 포스 필드나 '수호천사' 알고리즘이라고 생각하십시오. 만약 로봇이 선을 넘으려 하면, 수호천사가 개입하여 부드럽게(혹은 그리 부드럽지 않게) 로봇을 안전한 곳으로 다시 밀어 넣습니다. 큰 과제는 항상 학습하는 로봇의 거친 창의성과 안전 수호자의 엄격한 규칙을 로봇의 속도를 늦추거나 두뇌를 망가뜨리지 않으면서 결합하는 것이었습니다.

이 논문은 로봇 학습을 위한 실시간 심판 역할을 하는 Acc-CBF-QP라는 영리한 솔루션을 소개합니다. 연구진은 로봇의 '두뇌'(RL 정책)와 '근육'(모터) 사이에 위치하는 시스템을 구축했습니다. 로봇의 두뇌가 관절을 너무 빠르게 움직이거나 벽에 부딪히는 것과 같이 규칙을 위반할 것 같은 명령을 보내면, 안전 필터가 즉각적으로 그 명령을 재계산합니다. 이 필터는 로봇을 멈추는 것이 아니라, 로봇이 의도했던 바와 가장 유사하면서도 안전한 움직임을 찾아냅니다.

연구팀은 이 기술을 두 가지 매우 다른 로봇, 즉 7개의 팔을 가진 기계 팔(Kinova Gen3)과 19개의 관절을 가진 휴머노이드 로봇(Unitree H1)에 테스트했습니다. 그들은 이 필터가 없다면 로봇들이 끊임없이 안전 규칙을 위반할 것이라는 점을 발견했습니다. 실제 휴머노이드 로봇의 경우, 필터링 되지 않은 AI는 초당 약 10번의 안전 위반을 일으켰습니다. 하지만 Acc-CBF-QP 필터를 추가하자, 이러한 위반은 초당 1회 미만으로 92% 감소했습니다. 기계 팔의 경우, 필터는 매우 효과적이어서 모든 위반을 완전히 제거했습니다.

결정적으로, 연구진은 이 안전망이 로봇을 서투르게 만들지 않는다는 것을 발견했습니다. 로봇이 위험 구역에 부딪히지 않고 일반적인 작업을 수행할 때는 필터가 AI가 의도한 대로 정확하게 움직이도록 허용하여 성능 저하가 전혀 없었습니다. 심지로 로봇이 공격적인 속도 명령으로 한계까지 몰아붙여졌을 때도, 필터는 충돌이나 시스템 종료를 방지하여 로봇이 스스로 작동할 때보다 훨씬 더 오래 생존할 수 있게 해주었습니다. 이 논문은 로봇이 외부 힘에 의해 어떻게 밀리는지를 추측하는 특수한 '외란 관측기(disturbance observer)' 덕분에, 로봇의 내부 신체 모델이 완벽하지 않더라도 이 방법이 작동한다는 것을 시사합니다.

또한 저자들은 필터가 로봇의 명령을 해석하는 두 가지 방식, 즉 로봇이 사용하고자 하는 정확한 힘(토크)을 맞추는 데 집중하는 방식과 정확한 움직임의 속도(가속도)를 맞추는 데 집중하는 방식을 비교했습니다. 그들은 로봇의 물리적 모델이 약간 어긋나 있을 때는 '힘 매칭' 버전이 더 견고한 반면, 모델이 완벽할 때는 '속도 매칭' 버전이 약간 더 나은 결과를 보인다는 것을 발견했습니다. 그러나 모델이 결코 완벽할 수 없는 실제 환경에서는 '힘 매칭' 접근 방식이 더 신뢰할 수 있는 선택임이 입증되었습니다.

요약하자면, 이 논문은 로봇의 모든 안전 문제를 해결했다고 주장하거나, 처음부터 로봇을 안전하게 학습시키는 것이 나쁘다고 말하는 것이 아닙니다. 대신, 기존의 모든 로봇 AI에 둘러쌀 수 있는 실용적인 '플러그 앤 플레이' 도구를 제공하여, AI를 처음부터 다시 학습시킬 필요 없이 실제 하드웨어에 안전하게 배포할 수 있게 해줍니다. 이는 학습하는 로봇의 거칠고 유연한 세계와 엄격하고 냉혹한 물리적 현실 사이의 간극을 메우며, 높은 성능과 엄격한 안전을 동시에 가질 수 있음을 증명합니다.

기술 요약: 가속도 기반 CBF-QP를 통한 RL 정책의 안전한 실행

문제 정의

강화 학습(RL)은 민첩한 보행이나 정교한 조작과 같은 복잡한 로봇 제어 작업을 해결하는 데 있어 상당한 잠재력을 보여주었다. 그러나 물리적 하드웨어에 RL 정책을 배포하는 것은 안전 보장의 결여로 인해 심각하게 제한된다. 제약 조건을 학습 과정 중에 내장하는 Safe RL 방법들(예: 제약된 마르코프 결정 과정 또는 제어 장벽 함수 활용)이 존재하지만, 이들은 분포 변화(distributional shifts) 상황에서 성능이 저하되는 통계적 보장에 의존하는 경우가 많다. 또한, 학습 중 엄격한 안전 제약 조건은 과도하게 보수적일 수 있어 탐색을 제한하고 수렴을 늦춘다. 결정적으로, 기존 방법들은 실제 환경 배포 중에 마주치는 분포 외(Out-of-Distribution, OoD) 상태에 대해 일관된 제약 조건 준수를 보장하지 못하는 경우가 많으며, 이는 하드웨어 손상이나 시스템 셧다운으로 이어진다.

해결하고자 하는 핵심 과제는 사전 학습된 RL 정책을 재학습하거나 학습된 정책 자체를 수정하지 않고도, 런타임에 명시적인 안전 제약 조건(관절 위치, 속도, 토크 및 충돌 제한)을 강제하는 방법이다.

방법론: Acc-CBF-QP

저자들은 임의의 사전 학습된 RL 정책 주변에서 후처리 레이어로 작동하는 가속도 기반 이차 계획법(Quadratic Program, QP) 안전 필터인 Acc-CBF-QP를 제안한다. 이 프레임워크는 제어 장벽 함수(Control Barrier Functions, CBFs)로 정의된 안전 집합을 준수하도록 실시간으로 RL 명령을 필터링함으로써 작동한다.

핵심 구성 요소

가속도 기반 QP 정식화:
제어 문제는 결정 변수가 일반화된 가속도( $\ddot{q}$ )인 QP로 정식화된다. 이를 통해 2차 성격을 띠는 경우가 많은 동역학 및 기구학적 제약을 동시에 만족할 수 있다. QP는 선형화된 제약 조건 하에서 작업 오차의 가중 합을 최소화한다:
$\ddot{q}^* = \arg\min_{\ddot{q}} \sum_k \|W_k(A_k \ddot{q} - b_k)\|^2 \quad \text{s.t.} \quad A_c \ddot{q} \leq b_c$
제약 조건 강제 (CBFs):
안전은 닫힌 집합 $\mathcal{C}$ 의 전방 불변성(forward invariance)으로 정의된다. 저자들은 다음을 위한 제약 조건을 정식화하였다:
- 토크 제한: 역동역학(inverse dynamics)을 통해 강제됨.
- 관절 속도 및 위치 제한: 속도(상대 차수 1)를 위한 표준 CBF와 위치(상대 차수 2)를 위한 지수적 CBF(ECBF)를 사용하여 강제됨.
- 자기 충돌 회피: 모니터링되는 신체 쌍 사이의 거리에 대한 ECBF를 사용하여 강제됨.
RL 통합 및 작업 정식화:
RL 정책은 일반적으로 원하는 관절 변위(저수준 PD 제어기를 통해 토크로 변환됨)로 해석되는 행동을 출력하므로, QP는 유효한 RL 토크 명령으로부터의 편차를 최소화해야 한다. 논문은 이를 달성하기 위해 두 가지 구체적인 작업 정식화를 도입한다:
- TorqueTask: QP가 계산한 토크와 원하는 RL 토크( $\tau_{RL}$ ) 사이의 편차를 최소화한다. 이 정식화는 역동역학에 의존하므로 모델링 오차에 강건하다.
- Forward Dynamics Task (FDTask): QP가 계산한 가속도와 원하는 토크에 의해 유도된 가속도 사이의 편차를 최소화한다. 이 정식화는 모델 부정확성에 더 민밀하지만, 모델이 완벽할 때 가속도 편차를 이론적으로 최소화한다.
강건성 및 외란 추정:
모델링 오차와 외부 외란(floating-base 로봇에게 치명적인)을 처리하기 위해, 시스템은 일반화 운동량 관측기(Generalized Momentum Observer, GMO)를 사용하여 외부 토크( $\hat{\tau}_{ext}$ )를 추정한다. 이 추정치는 미모델링된 동역학을 보상하기 위해 역동역학 계산에 사용된다. 저자들은 유계된 외란 하에서 시스템이 안전 집합의 근방 내에 궤적을 유지하며 입력-상태 안전성(input-to-state safety)을 유지함을 보여주는 강건성 분석을 제공한다.
불가능성(Infeasibility) 처리:
제약 조건이 충돌하거나 심각한 섭동으로 인해 QP가 불가능해지는 경우, 시스템은 댐핑 모드로 전환하거나 토크 포화된 RL 명령으로 롤백하는 폴백 메커니즘을 사용한다.

주요 기여

오픈 소스 프레임워크: 저자들은 CBF 제약 조건을 가진 가속도 기반 QP를 통해 로보틱스 RL 정책에 대한 안전을 강제하는 오픈 소스 파이프라인(Acc-CBF-QP)을 공개한다.
이중 작업 정식화: TorqueTask와 FDTask의 도입은 토크 편차를 최소화할지 또는 가속도 편차를 최소화할지에 따라 제어할 수 있는 원칙적인 안전-성능 트레이드오프를 제공하여, 사용자가 애플리케이션과 모델 충실도에 따라 선택할 수 있게 한다.
상태 추정의 통합: 프레임워크는 상태 추정과 외력 회복을 위한 외란 관측기를 통합하며, 이는 토크 제어 및 floating-base 시스템에서 일관된 CBF 강제를 위해 필수적이다.
재학습 없는 런타임 안전: 이 방법은 임의의 RL 정책을 감싸는 모듈형 인터페이스로서 작동하며, 추가적인 정책 재학습이나 학습 과정의 수정 없이 런타임에 제약 조건을 강제한다.

실험 결과

프레임워크는 시뮬레이션과 실제 하드웨어 모두에서 7-DoF Kinova Gen3 매니퓰레이터와 19-DoF Unitree H1 휴머노이드 로봇이라는 두 가지 서로 다른 플랫폼을 통해 검증되었다.

Kinova Gen3 (매니퓰레이터):
- 안전 제약 조건 없이 학습된 기성 RL 정책을 사용했을 때, Acc-CBF-QP는 시뮬레이션과 하드웨어 모두에서 제약 위반(관절 위치, 속도, 토크 및 충돌)을 완전히 제거했다.
- 명목상 작업 성능(카테시안 궤적 추적)은 RL 정책 고유의 반복 정밀도와 통계적으로 구별할 수 없는 수준으로 유지되었다.
Unitree H1 (휴머노이드):
- "종료로서의 제약 조건(Constraints as Terminations, CaT)" 방식으로 학습된 Safe-RL 베이스라인과 비교하였다.
- 위반 감소: 실제 하드웨어에서 Safe-RL 정책만 사용했을 때는 초당 10.04회의 위반이 발생했다. 여기에 Acc-CBF-QP를 적용하면 (TorqueTask 기준) 위반이 92% 감소하여 초당 0.80회가 되었다.
- 생존 시간: 공격적인 속도 명령 하에서, Acc-CBF-QP는 제약 조건으로 인한 셧다운을 방지하여 베이스라인보다 더 긴 생존 시간을 기록했다.
- 강건성: 고르지 않은 지형에서, QP 레이어는 실패 모드를 "제약 위반"(예: 관절 한계)에서 "물리적으로 가능한 넘어짐"으로 전환시켰으며, 베이스라인과 비교하여 생존 기간에 통계적으로 유의미한 저하 없이 수행되었다.
- 작업 정식화 비교: TorqueTask는 하드웨어에서 모델링 오차에 대해 더 높은 강건성을 보였고, FDTask는 시뮬레이션에서 약간 더 나은 가속도 추적 성능을 보였다.

의의 및 주장

본 논문은 Acc-CBF-QP가 학습된 로봇 행동의 신뢰할 수 있는 실세계 배포를 향한 실질적인 단계를 구성한다고 주장한다. 이 연구의 주요 의의는 RL의 유연성과 물리적 시스템의 엄격한 안전 요구 사항 사이의 간극을 메우는 데 있다.

모듈성: 가속도 수준의 안전 필터링을 통해 학습된 제어와 모듈형 인터페이스를 제공하여, 재학습 없이 배포 시 안전 제약 조건을 동적으로 수정할 수 있게 한다.
안전 대 성능: 제약 조건이 활성화되지 않을 때 명목상 작업 성능의 측정 가능한 저하 없이 안전 강제가 이루어질 수 있음을 실험을 통해 입증하였다.
실제 적용 가능성: 불완전한 동역학 모델을 가진 복잡한 floating-base 휴머노이드(Unitree H1)에 성공적으로 배포함으로써, 최적화 기반 안전 레이어가 실제 하드웨어에서 OoD 상태 및 모델 부정확성과 관련된 위험을 효과적으로 완화할 수 있음을 검증하였다.

저자들은 현재 프로그래밍 방식(댐핑 또는 롤백)으로 QP 불가능성을 처리하고 있으며, 폐루프 투영 시스템에 대한 공식적인 안정성 보장은 아직 이루어지지 않았음을 언급하며 한계점에 대해 겸허한 태도를 유지하였고, 다른 Safe-RL 학습 방법과의 광범위한 비교는 향후 과제로 남겨두었다.