Constrained Performance Boosting Control for Nonlinear Systems

로봇에게 춤을 가르친다고 상상해 보세요. 당신은 로봇이 놀라운 매력과 속도로 움직이기를 원하지만, 엄격한 규칙이 하나 있습니다. 바로 관객의 발가락을 밟거나 무대 조명에 걸려 넘어지면 안 된다는 것입니다. 로보틱스와 공학의 세계에서 이것은 성능(기계가 얼마나 빠르고 잘 임무를 수행하는가)과 안전(무언가를 부수거나 누군가를 다치게 하지 않는 것) 사이의 영원한 투쟁입니다.

오랫동안 엔지니어들은 로봇에게 복잡한 동작을 가르치기 위해 인간의 뇌에서 영감을 얻은 컴퓨터 프로그램인 "신경망(neural networks)"을 사용해 왔습니다. 이 네트워크는 매우 유연한 무용수와 같아서, 거의 모든 루틴을 배울 수 있습니다. 하지만 여기에는 함정이 있습니다. 너무 유연하기 때문에 실수로 발가락을 밟지 않을 것이라고 보장하기가 어렵다는 점입니다. 보통 엔지니어들은 훈련 과정에 "벌칙"을 추가하여 이를 해결하려 합니다. 예를 들어 로봇에게 "발가락을 밟으면 점수를 깎겠다"라고 말하는 식입니다. 하지만 이는 마치 무용수가 실수를 할 때마다 "아얏!"이라고 소리치는 방식으로 가르치는 것과 같습니다. 이는 결국 로봇이 너무 겁을 먹어 움직임이 둔해지거나(지루한 결과), 혹은 점수를 얻으려고 너무 열심히 움직이다가 여전히 발가락을 밟게 되는 결과를 초래합니다.

핵나 큰 질문은 이것입니다. 우리는 로봇이 성능도 뛰어나면서 동시에 안전 전문가가 되도록, 훈련 과정을 엉망으로 만들지 않고 가르칠 수 있을까요? 이것이 바로 에인트호번 공과대학교와 스위스 EPFL의 연구팀이 해결하고자 했던 문제입니다. 그들은 로봇이 안전하도록 설계된 상태를 유지하면서도 완벽하게 춤을 출 수 있도록 학습시키는 새로운 방식의 "신경" 제어기 훈련법을 개발했습니다.

"아얏!" 훈련의 문제점

과거에 연구자들이 한계(속도나 위치 등)를 준수하면서 시스템(로봇이나 화학 공장 등)을 제어하도록 신경망을 훈련시키고 싶을 때, 그들은 **성능 향상(Performance Boosting, PB)**이라는 방법을 사용했습니다. PB를 코치가 로봇에게 "너의 신체 구조 덕분에 이미 안전하니, 이제 더 빠르게 움직여 보자"라고 말하는 것으로 생각하십시오. 코치는 로봇의 내부 "가중치(weights, 뇌 설정)"를 조정하여 동작을 개선합니다.

하지만 기존의 PB 방식에는 사각지대가 있었습니다. 그것은 "초당 0.5미터보다 빠르게 이동하지 마시오"와 같은 엄격한 제한을 처리하는 법을 몰랐습니다. 이를 해결하기 위해 이전의 시도들은 단순히 훈련 점수에 "부드러운 벌칙(soft penalty)"을 추가했습니다. 만약 로봇이 규칙을 어기면 큰 "아얏!(벌점)"을 주는 식이었습니다. 이 접근 방식의 문제는 그것이 일종의 추측 게임이라는 점입니다. "아얏!" 벌칙이 너무 약하면 로봇은 규칙을 무시합니다. 반대로 벌칙이 너무 강하면 로봇은 소심해져서 느릿느릿 움직이게 되고, 결국 성능을 망치게 됩니다. 이는 아이에게 자전거 타기를 가르칠 때, 사고가 나도록 내버려 두거나 벽에 묶어 두는 것과 같습니다. 둘 다 잘 타도록 배우는 데는 도움이 되지 않습니다.

새로운 해결책: ADMM-PB

이 논문의 저자들은 ADMM-PB라는 영리한 새로운 훈련 루틴을 제안합니다. 단순히 로봇이 규칙을 어길 때마다 "아얏!"이라고 소리치는 대신, 그들은 **교대 방향 승수법(Alternating Direction Method of Multipliers, ADMM)**이라는 수학적 전략을 사용합니다.

이것이 어떻게 작동하는지 이해하기 위해, 두 가지 뚜렷한 역할이 있는 댄스 리허설을 상상해 보세요.

1. 무용수 (제어기): 이것은 로봇의 뇌입니다. 무용수의 유일한 임무는 춤을 멋지고 빠르게 추는 것입니다. 무용수는 규칙을 걱정하지 않고 오직 퍼포먼스에만 집중합니다.
2. 안전 코치 (투영 단계): 이것은 무용수가 동작을 시도한 후에 일어나는 별도의 단계입니다. 코치는 무용수의 동작을 살펴보고 말합니다. "좋아, 그 동작은 멋졌지만 발가락을 밟았구나. 발을 다시 안전한 위치로 살짝 밀어 넣어보자."

ADMM-PB 방식에서 이 두 역할은 번갈아 가며 역할을 수행합니다. 먼저 "무용수"가 성능을 높이기 위해 자신의 뇌를 업데이트합니다. 그다음 "안전 코치"가 개입하여 로봇의 경로를 "안전 구역"으로 수학적으로 투영하여, 로봇의 실제 뇌 구조를 바꾸지 않고도 위반 사항을 수정합니다. 이들은 이 주고받는 과정을 계속해서 반복합니다.

이것은 두 목표를 분리하기 때문에 혁신적인 변화를 가져옵니다. 로봇의 뇌는 "설계에 의한 안전(safe-by-design)" 형태를 유지합니다(즉, 어떤 상황에서도 불안정해지거나 위험해지지 않습니다). 안전 코치가 규칙을 처리하는 것입니다. 즉, 로봇은 얼마나 무서워해야 할지 추측할 필요가 없습니다. 그저 빠르면서도 안전하게 학습할 뿐입니다.

실험 결과

연구진은 이 새로운 방법이 실제로 작동하는지 확인하기 위해 두 가지 다른 시나리오에서 테스트를 진행했습니다.

로봇 러너(Robot Runner):
먼저, 2D 평면에서 장애물을 피하며 목표 지점에 도달하려는 점질량(point-mass) 로봇을 시뮬레이션했습니다. 그들은 새로운 ADMM-PB 방식을 기존의 "부드러운 벌칙" 방식과 비교했습니다.

• 결과: 기존 방식은 롤러코스터 같았습니다. "아얏!" 벌칙을 얼마나 강하게 설정하느냐에 따라 로봇은 장애물에 충돌하거나 너무 느리게 움직였습니다. 새로운 ADMM-PB 방식은 훨씬 더 일관적이었습니다. 더 매끄러운 훈련을 만들어냈으며, 결정적으로 규칙 위반이 훨씬 적었습니다. 로봇은 단순히 장애물을 피하는 것을 넘어, 소심한 거북이가 되지 않고도 이를 수행했습니다. 연구진은 새 방식이 약간 더 보수적(조금 더 조심스러움)이긴 했지만, 기존의 추측 게임 방식보다 속도와 안전 사이의 균합을 훨씬 더 잘 해낸다는 것을 발견했습니다.

3개 탱크 시스템(Three-Tank System):
다음으로, 그들은 더 복잡한 시스템인 세 개의 액체 탱크가 파이프로 연결된 시스템을 테스트했습니다. 목표는 액체가 넘치거나 바닥나지 않도록 흐름을 제어하는 것이었습니다.

• 결과: 여기서 연구진은 이미 기존의 "부드운 벌칙" 방식으로 훈련된 로봇을 가지고 시작했습니다. 그런 다음 ADMM-PB를 "정교화(refinement)" 단계로 사용했습니다. 이것은 훌륭한 무용수에게 마지막 광택을 내주는 작업과 같습니다. 새 방식은 (밸브가 변할 수 있는 속도와 같은) 한계를 준수하는 로봇의 능력을 로봇을 더 느리게 만들거나 불안정하게 만들지 않고도 약 20% 개선했습니다. 이는 기존의 제어기를 처음부터 다시 만들지 않고도 더 안전하게 만들 수 있음을 입증했습니다.

결론

이 논문은 세상의 모든 문제를 해결했다고 주장하지 않습니다. 연구진은 이 방법이 로봇이 안정성을 유지하도록(미쳐 날뛰지 않도록) 보장하지만, 세상이 매우 혼란스러운 경우 모든 가능한 미래 시나리오에서 규칙을 절대 어기지 않을 것이라고 보장하는 것은 아니라는 점을 명시하고 있습니다. 그러나 시뮬레이션에서 새 방식은 기존의 "벌칙" 접근 방식보다 일관되게 우수한 성과를 보였습니다.

핵심 요점은, 이 "무용수와 코치"의 분리(ADMM-PB)를 사용함으로써 엔지니어들이 벌칙 가중치를 조절하는 좌충우돌의 시행착오 없이도, 높은 성능을 내면서도 안전 제한을 준수하는 신경 제어기를 훈련할 수 있다는 것입니다. 이는 로봇이 단지 똑똑할 뿐만 아니라, 우리 세상에서 믿을 수 있고 안전한 파트너가 되는 길을 향한 한 걸음입니다.