기술 요약: 접촉이 빈번한 로봇 작업을 위한 수동성 중심의 안전한 강화 학습

문제 정의

강화 학습(RL)은 로봇 제어 분야에서 상당한 성공을 거두었으나, 실제 환경의 접촉이 빈번한(contact-rich) 상황에 배치될 때 결정적인 장벽에 부딪힙니다. 전통적인 RL 정책은 종종 시스템의 안정성과 안전성을 간과한 채 작업 완수와 학습 효율성을 우선시합니다. 벽 추적(wall-following)이나 힘 조절 매니퓰레이션과 같이 접촉이 빈번한 시나리오에서, 수동성 보장(passivity guarantees)이 결여된 정책은 시스템 불안정, 무한한 에너지 축적, 고주파 진동을 초0 유발할 수 있습니다. 이러한 동작은 로봇, 환경 및 인간 작업자에게 위험을 초래합니다.

수동성 기반 제어(Passivity-Based Control, PBC)는 물리적 상호작용에서 안정성을 보장하는 확립된 방법이지만, 이를 RL과 통합하는 연구는 여전히 미진합니다. 기존 문헌은 주로 클래식 제어를 위한 에너지 탱크나 파라미터 설계에 집중하며, 학습 기반의 수동적 시스템 설계에 대한 조사는 제한적입니다. 또한, 단순히 총 에너지를 제한하는 것만으로는 불충분하며, 수동성을 보장하기 위해서는 컨트롤러와 로봇 사이의 에너지 '흐름(flow)' 또한 제한되어야 합니다. 본 논문은 안전성, 안정성 및 에너지 효율성을 동시에 해결하기 위해 RL과 PBC를 결합하는 과정에서의 공백을 식별합니다.

방법론

저자들은 학습 및 배포 단계 모두에 에너지 기반 제약 조건을 통합하는 수동성 보장 안전 RL(Passivity-Ensured Safe RL) 프레임워크를 제안합니다. 이 접근 방식은 가변 임피던스 제어(Variable Impedance Control, VIC)와 안전 비평가(safety critic)를 활용하는 Safe RL 베이스라인을 기반으로 구축되었습니다. 방법론은 다음 네 가지 접근 방식을 구분합니다:

1. 수동성 무관(Passivity-Agnostic): 수동성 고려 사항이 없는 표준 RL.
2. 수동성 필터링(Passivity-Filtered): 전통적으로 학습된 후, 배포 시에 수동성 필터가 적용되는 RL.
3. 수동성 인지(Passivity-Aware): 수동적 동작을 학습하기 위해 명시적인 에너지 제약 조건으로 학습되는 RL.
4. 수동성 보장(Passivity-Ensured): 수동성 인지 학습과 배포 시 수동성 필터를 결합한 방식.

핵심 구성 요소

• 확장된 에너지 탱크(Augmented Energy Tank): 시스템은 에너지를 저장하고 제한하기 위해 에너지 탱크($E_T$)를 사용합니다. 총 에너지만을 제한하는 기존 연구들과 달리, 이 방법은 에너지 주입 속도를 제한하기 위해 **흐름 제한(flow limit, $\dot{E}_T$)**을 도입하여, 총 에너지 제한만으로는 불충분했던 문제를 해결합니다.
• 수동성 인지 학습(Sec. 2.4): 제약된 마르코프 결정 과정(CMDP)은 두 가지 새로운 제약 조건을 포함하도록 확장됩니다:
  • 예산 제약($c_{eb}$): 에너지 탱크가 하한선 아래로 떨어질 때($E_T \leq \underline{E}_T$) 트리거됩니다.
  • 흐름 제약($c_{ef}$): 에너지 소모율이 임계값을 초과할 때($\dot{E}_T < \underline{\dot{E}}_T$) 트리거됩니다.
    이러한 제약 조건은 안전 비평가를 학습시키는 데 사용되며, 이를 통해 에이전트가 상태 공간을 탱크 변수로 확장하지 않고도(상태를 압축적으로 유지하면서) 에너지 효율적인 정책을 학습할 수 있게 합니다.
• 수동성 보장 제어(Sec. 2.5): 배포 중 RL 에이전트의 출력에 수동성 레이어가 적용됩니다. 이 레이어는 필터 역할을 수행합니다:
  • 허용된 에너지 흐름과 실제 흐름의 비율을 기반으로 스케일링 계수 $\alpha$를 계산합니다.
  • 카테시안 강성(Cartesian stiffness)과 제어 토크($\tau_{IC}$)를 수정하여 에너지 흐름 조건이 충족되도록 합니다.
  • 에너지 탱크가 고갈되면, 추가적인 에너지 주입을 방지하기 위해 강성 업데이트를 중단하거나 수정하여 시스템이 수동성을 유지하도록 합니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 체계적 비교: 다양한 RL 기반 수동 제어 학습 접근 방식(수동성 무관, 필터링, 인지, 보장)을 비교하여 학습, 배포, 안전성, 안정성 및 에너지 효율성에 미치는 영향을 광범로하게 평가했습니다.
2. 확장된 수동성 정식화: 다양한 에너지 탱크 크기를 포함하고, 결정적으로 에너지 흐름 제약을 명시적으로 통합한 에너지 탱크 기반의 확장된 수동성 정식화를 설계하고 평가했습니다.
3. 수동성 보장 프레임워크: 수동성 인지 학습과 배포 시 수동성 필터를 결합하여 제어 수동성과 접촉 빈번 작업의 안전성을 동시에 해결하는 프레임워크를 도입했습니다.

실험 결과

제안된 방법은 로봇이 벽을 감지하며 미지의 미로를 탐색해야 하고 정밀한 힘 조절이 필요한 접촉 빈번 미로 탐색 작업에서 평가되었습니다. 실험은 MuJoCo 시뮬레이션과 실제 Franka Panda 로봇 팔에서 수행되었습니다.

학습 단계

• 제약 조건의 영향: 수동성 제약($c_{eb}$ 및 $c_{ef}$)을 도입하는 것은 학습 중 작업 성공률에 직접적인 영향을 미쳤습니다. 지나치게 엄격한 제약(예: 타이트한 흐름 제한)은 초기 탐색과 성공을 저해하기도 했으나, 에이전트가 더 보수적이고 에너지 효율적인 동작을 학습하도록 강제했습니다.
• 학습 역학: 에너지 제약 조건으로 학습된 에이전트(예: $E_b4$)는 강성을 더 경제적으로 조절하는 법을 배웠으며, 그 결과 수동성 무관 에이전트에 비해 에너지 소비가 감소하고 더 균등하게 분포되었습니다.

배포 단계 (시뮬레이션 및 실세계)

• 안정성 보장: 수동성 보장(passivity-ensured) 방식(수동성 인지 학습 + 수동성 필터)만이 시스템 수동성을 보장할 수 있는 유일한 방법이었습니다. 수동성 무관 정책은 작업 완수에는 성공하더라도 빈번하게 에너지 제약을 위반하고 공격적인 에너지 사용을 보였습니다.
• 성능 대 효율성:
  • 수동성 무관(Passivity-Agnostic): 단독으로는 높은 작업 성공률을 달로했으나, 에너지 예산을 빠르게 고갈시키고 공격적인 힘 적용으로 인해 실제 환경 테스트에서 실패했습니다.
  • 수동성 보장(Passivity-Ensured): 실제 환경 테스트에서 제약 위반 없이 100% 성공률을 달성했습니다. 일부 제약 조건이 있는 정책(예: $E_b4$)은 학습 시 수렴 속도가 느렸지만, 배포 시 탁월한 에너지 효율성과 견고함을 보여주었습니다.
• 실세계 검증: 실제 실험에서 수동성 무관 베이스라인은 회전 지점에서의 과도한 힘 적용으로 인해 3번의 시도 중 1번 실패했습니다. 모든 수동성 보장 구성은 힘 또는 에너지 제약을 위반하지 않고 성공했습니다. 에너지 소비 분석 결과, 수동성 인지 정책이 무관 베이스라인보다 낮은 에너지 사용률을 유지함을 확인했습니다.

의의 및 주장

본 논문은 전통적인 RL 정책이 내재적인 안정성 보장이 부족하기 때문에 접촉 빈번 작업에 불충분하다고 주장합니다. 제안된 수동성 보장 안전 RL 프레 framework는 다음과 같은 방식으로 이를 해결합니다:

1. 안정성 보장: 배포 시점의 수동성 필터는 RL 에이전트의 출력과 관계없이 시스템이 수동성을 유지하도록 하여, 불안정성과 안전하지 않은 동작을 방지합니다.
2. 에너지 효율 개선: 에너지 제약 조건으로 에이전트를 명시적으로 학습시킴으로써, 시스템이 에너지를 더 경제적으로 사용하도록 하여 복잡하고 장기적인 작업에서 더 나은 성능을 내도록 합니다.
3. 간극 해소: 본 연구는 학습 기반 정책 최적화와 클래식 수동성 정식화를 결합하는 것이 구조화되지 않은 접촉 빈번 환경에서 안전하고 안정하며 효율적인 로봇 배치를 향한 실행 가능한 경로임을 입증합니다.

저자들은 수동성 인지 학습이 에너지 효율을 높이지만, RL의 확률적 특성과 데이터 불완전성으로 인해 학습만으로는 엄격한 수동성을 보장할 수 없으므로 수동성 필터가 필수적이라고 결론지었습니다.