당신이 로봇 개에게 공원에서 달리는 법을 가르치고 있다고 상상해 보세요. 당신은 완벽한 비디오 게임 시뮬레이션 속에서 로봇을 훈련시킵니다. 그곳의 풀은 항상 일정하고, 공기는 늘 정지해 있으며, 로봇의 다리는 절대 지치지 않습니다. 하지만 당신이 실제 로봇을 밖으로 보냈을 때, 바람이 불고, 땅은 진흙탕이며, 로봇의 다리는 당신이 생각했던 것보다 약간 더 무거울 수도 있습니다. 이것이 바로 "심 투 리얼(sim-to-real)" 격차입니다. 현실 세계는 엉망진창이며, 로봇은 완벽한 무대 위에서 춤추는 법만 배웠기 때문에 종종 넘어지곤 합니다.

당신이 읽고 있는 논문인 PPO-PGDLC는 로봇이 세상이 엉망이 되었을 때도 넘어지지 않도록 훈련하는 새로운 방법을 제안합니다. 이 방식이 어떻게 작동하는지 몇 가지 재미있는 비유를 통해 설명하겠습니다.

문제점: 로봇의 "패닉 버튼"

표준적인 로봇 훈련에서 로봇은 다음에 무엇을 할지 추측하며 배웁니다. 만약 지면이 갑자기 미끄러워진다면(전이 역학(transition dynamics)의 변화), 로봇은 당황하여 다리를 격렬하게 휘두르며 넘어질 수 있습니다.

이전의 방법들은 로봇의 "두뇌"(정책)를 더 부드럽게 만들거나, 최악의 시나리오를 예상하도록 가르치는 방법을 시도했습니다. 하지만 저자들은 하나의 간극을 발견했습니다. 우리는 흔다면 로봇의 *행동(actions)*을 부드럽게 만드는 데는 집중하지만, 세상이 어떻게 변할지에 대한 로봇의 *예측(predictions)*을 부드럽게 만드는 데는 거의 신경 쓰지 않는다는 점을 깨달았습니다.

로봇의 두뇌를 두 부분으로 나누어 생각해 보세요:

1. 액터(Actor, 행위자): "왼쪽으로 다리를 차야겠다"라고 결정하는 부분.
2. 크리틱(Critic, 비평가): "이봐, 여기서 왼쪽으로 다리를 차면 지면이 미끄러워서 넘어질 수도 있어"라고 속삭이는 부분.

저자들은 만약 크리틱이 너무 민감하게 반응하여 아주 작은 환경 변화에도 격렬하게 요동친다면, 액터가 혼란을 느껴 움직임이 거칠고 위험해진다는 것을 발견했습니다.

해결책: "부드럽게 말하는" 크리틱

연구팀은 PPO-PGDLC라는 새로운 훈련법을 구축했습니다. 이는 두 가지 영리한 기법을 결합한 것입니다.

1. "최악의 상황" 시뮬레이터 (PGD)
로봇이 비디오 게임 속에서 훈련하고 있는데, 게임이 매번 로봇이 움직이려고 할 때마다 몰래 로봇을 골탕 먹이려 한다고 상상해 보세요. 게임 엔진(이를 **투영 경사 하강법(Projected Gradient Descent, PGD)**이라 부릅니다)은 작은 범위 내에서 가장 미끄러운 지점이나 가장 강한 바람을 찾아내어 로봇이 그곳에서 걷도록 강제합니다.

• 역할: 이것은 환경이 로봇의 최악의 적이 되려 할 때도 로봇이 중심을 잡는 법을 배우도록 강제합니다.
• 주의점: 논문에서는 이 "장난꾸러기" 시뮬레이터가 완벽하지는 않다고 언급합니다. 만약 로봇의 두뇌가 너무 민감하다면, 장난꾸러기 시뮬레이터가 혼란을 느껴 잘못된 조언을 줄 수도 있습니다.

2. "부드럽게 말하는" 크리틱 (립시츠 정규화/Lipschitz Regularization)
이것이 이 논문의 핵심 혁신입니다. 그들은 크리틱의 두뇌에 다음과 같은 규칙을 추가했습니다: "너는 부드러워야 한다."
수학적으로, 그들은 **립시츠 정규화(Lipschitz regularization)**를 적용했습니다. 쉬운 말로 풀이하자면, 크리키의 예측이 점진적으로 변하도록 강제했다는 뜻입니다. 만약 지면이 1% 더 미끄러워졌다면, 크리틱은 "위험해!"라고 소리치며 조언을 100% 바꾸는 것이 아니라, "알았어, 조금 더 조심하자"라고 말해야 합니다.

• 결과: 크리틱을 차분하고 부드럽게 유지함으로써, 액터(다리를 움직이는 부분)는 안정적이고 신뢰할 수 있는 조언을 받게 됩니다. 로봇은 바람이나 진흙 같은 사소한 변화에 겁먹지 않습니다.

실험 결과

저자들은 세 가지 과제를 통해 이를 테스트했습니다:

1. 카트폴(Cartpole): 카트 위의 막대 균형을 잡는 고전적인 게임.
2. 앤트(Ant): 네 다리가 있는 시뮬레이션 로봇.
3. 유니트리 Go2(Unitree Go2): 실제 물리적인 4족 보행 로봇.

시뮬레이션에서의 결과 (Cartpole 및 Ant):
그들은 로봇의 무게와 바닥의 미끄러움 정도를 변경하여 121개의 서로 다른 환경 그리드를 만들었습니다. 그리고 "최악"의 시나리오에서 로봇이 얼마나 잘 수행하는지를 측정했습니다(이를 **$\rho$-강건성($\rho$-robustness)**이라는 지표로 측정함).

• 발견: 새로운 방법(PPO-PGDLC)이 챔피언이었습니다. 앤트 로봇의 경우, 테스트된 6개의 모든 난이도 반경에서 가장 높은 강건성 점수를 기록했습니다. 카트폴에서도 6개 중 3개의 시나리오에서 승리했습니다.
• 수치: 표준 방식(PPO)과 비교했을 때, 새로운 방법은 특정 까다로운 시나리오에서 강건성 점수를 65.55% 및 59.93% 향상시켰습니다. 앤트 로봇의 경우, 모든 테스트에 걸쳐 평균적으로 9.87% 더 뛰어났습니다.
• 트레이드오프(Trade-off): 논문은 만약 "장난꾸러기" 시뮬레이터가 너무 무섭게 설정된다면(불확실성 집합 $\epsilon = 0.007$ 또는 $0.01$처럼 매우 크게 설정할 경우), 로봇의 성능이 오히려 떨어진다고 지적합니다. 하지만 부드러운 크리틱이 이 문제를 해결하여, 기술을 잃지 않으면서도 강건함을 갖추게 도와주었습니다.

실제 로봇에서의 결과 (Unitree Go2):
이 부분이 흥кси팅한 대목입니다. 그들은 시뮬레이션에서 훈련된 로봇을 가져와 등에 추가 무게(2kg 및 4kg)를 얹은 실제 하드웨어에 배치했습니다. 이 과정에서 로봇을 다시 훈련시키지 않았으며, 이는 "제로 샷(zero-shot)" 전이입니다.

• 결과: PPO-PGDLC로 훈련된 로봇은 표준 방식으로 훈련된 로봇보다 훨씬 부드럽게 움직였습니다.
• 지표: 그들은 "동작 부드러움(Action Smoothness)"과 "속도 추적 오차(Velocity Tracking Error)"를 측정했습니다.
  • 2kg 하중을 실었을 때, 새로운 로봇의 동작 부드러움 점수는 4.306으로, 표준 로봇의 4.501보다 좋았습니다.
  • 4kg 하중을 실었을 때, 4.498 대 4.841이었습니다.
  • 6번의 테스트 중 5번에서 새로운 로봇이 더 적은 "떨림(jitter)"(낮은 2차 변동 비율)을 보였습니다.
• 부드러움 검증: 그들은 또한 "립시츠 상수(Lipschitz Constant, 두뇌가 얼마나 민감한지를 나타내는 수치)"를 측정했습니다. 새로운 방식은 얼마나 많은 평활화(smoothing)를 적용하느냐에 따라 크리틱의 민감도를 57.7%에서 96.6%까지 줄였습니다.

명시적으로 제외한 사항들

이 논문은 무엇이 효과가 없거나 초점이 아닌지에 대해서도 매우 명확히 밝히고 있습니다:

• 단순히 액터(Actor)만의 문제가 아님: 저자들은 이전 연구들이 움직임을 만드는 '액터'를 부드럽게 만드는 데 집중했지만, 자신들은 **크리틱(Critic, 예측자)**을 부드럽게 만드는 것이 강건함의 누락된 열쇠라는 것을 발견했다고 명시합니다.
• 모든 것을 해결하는 마법의 탄환이 아님: 단순히 불확실성 집합을 엄청나게 키우는 것(모든 재앙에 대해 훈련하는 것)은 오히려 성능을 해친다고 주장합니다. 적절한 균형을 찾아야 합니다.
• "완벽한" 역학에 관한 것이 아님: 로봇이 세상이 정확히 어떤 상태인지 완벽하게 알게 하는 문제를 해결하려는 것이 아닙니다. 대신, 로봇이 불확실성을 우아하게 다루는 법을 가르칩니다.

얼마나 확신하는가?

저자들은 결과에 자신감을 보이면서도 신중한 언어를 사용합니다.

• 시뮬레이션: 카트폴과 앤트에 대한 결과는 시뮬레이션을 기반으로 합니다. 이는 통제된 디지털 세계에서 이 방법이 작동한다는 강력한 증거를 보여줍니다.
• 실제 세계: Unitree Go2에 대한 결과는 실제 하드웨어 실험에 기반합니다. 그들은 로봇의 실제 움직임과 속도를 측정했습니다. 그들은 이 로봇이 "일관되게 부드러운 동작을 달성"하며 "더 나은 전이 안정성을 보여준다"고 기술했습니다.
• 향-후 연구: 그들은 이것이 한 단계 진전된 성과이지만, 미래 연구에서 더욱 일반적인 방식으로 복잡한 현실 세계를 다루는 방법을 탐구할 수 있다고 제안합니다. 그들은 이 문제가 영원히 해결되었다고 주장하는 것이 아니라, 매우 유망한 경로를 보여준 것입니다.

핵심 요약

PPO-PGDLC를 로봇 개에게 단순히 달리는 법을 가르치는 것이 아니라, 세상이 이상해질 때 자신의 내부 목소리에 차분하게 귀를 기울이는 법을 가르치는 것이라고 생각하세요. 내부의 "예측자"를 부드럽고 안정적이게 만듦으로써, 로봇은 바람이 불거나 지면이 미끄러워져도 당황하지 않습니다. 로봇은 냉정함을 유지하고, 부드럽게 움직이며, 명시적으로 훈련받지 않은 무거운 짐을 지고 있을 때도 중심을 잘 잡습니다.