🤖 machine learning

Where Entropy Is Measured Matters: Policy Geometry in Bounded Continuous-Control PPO

이 논문은 유계 연속 제어(bounded continuous-control) PPO에서 엔트로피를 측정하는 위치(잠재 공간 대 실행된 행동 공간)의 선택이 뚜렷한 평균-분산 결합을 도입함으로써 학습된 정책의 기하학적 구조를 근본적으로 변화시키며, 이로 인해 행동이 경계 근처에 군집화되는 빈도에 유의미한 영향을 미치고 궁극적으로 작업 성능에 영향을 미친다는 점을 입증한다.

원저자: Yiyang He, Zhichun Zhou, Ziwei Wang, Tao Xue, Haolin Fei

게시일 2026-08-26

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yiyang He, Zhichun Zhou, Ziwei Wang, Tao Xue, Haolin Fei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에는 기계가 물리적 세계와 어떻게 움직이고 상호작용하는지를 가르치는 데 전념하는 한 분야가 있습니다. 연속 제어(continuous control)라고 알려진 이 분야는 컴퓨터가 마치 어린아이가 균형을 잡는 법을 배우는 것처럼, 시행착오를 통해 걷거나 달리고 일어서는 법을 배우도록 요구합니다. 이를 위해 컴퓨터는 '정책(policy)'이라 불리는 수학적 가이드를 사용하여, 자신이 보는 것에 기반하여 다음에 어떤 행동을 취할지 제안합니다. 수십 년 동안 이 가이드의 표준 도구는 종 모양의 곡선, 즉 가장 가능성 높은 행동을 제시하면서도 약간의 무작위적인 변동을 허용하는 통계적 형태였습니다. 그러나 현실 세계에는 한계가 있습니다. 로봇의 다리는 특정 지점 이상으로 뒤로 꺾일 수 없으며, 근육은 무한한 힘으로 수축할 수 없습니다. 컴퓨터의 매끄럽고 경계가 없는 제안이 이러한 단단한 벽에 부딪힐 때, 그 제안들은 잘려 나가거나 형태를 맞추기 위해 찌그러지게 됩니다. 오랫동안 연구자들은 로봇이 성능을 잘 발휘한다면, 그 한계를 어떻게 처리하는지에 대한 세부 사항은 중요하지 않다고 가정해 왔습니다. 그들은 오직 최종 점수에만 관심을 두었습니다. 로봇이 빠르게 걷는가? 로봇이 똑바로 서 있는가?

새로운 연구는 컴퓨터가 80개의 근육을 가진 시뮬레이션된 다리로 걷는 법을 배울 때 컴퓨터의 마음속에서 어떤 일이 일어나는지를 면밀히 조사함으로써 이 가정을 반박합니다. 연구진은 로봇이 자신의 불확실성을 측정하는 방식이 학습하는 경로의 형태를 변화시킨다는 것을 발견했습니다. 그들은 컴퓨터가 물리적 한계를 무시하는 방식으로 불확실성을 허용할 때, 허용된 범위의 벽 바로 앞까지 자신의 행동을 밀어붙이는 법을 배운다는 것을 발견했습니다. 이는 마치 로봇이 가운데에 편하게 서 있을 수 있음에도 불구하고 끊임없이 상자의 가장자리에 손을 대고 있는 것과 같습니다. 이러한 행동은 로봇의 근육이 느리거나 한계가 너무 타이트해서 발생하는 것이 아닙니다. 대신, 이것은 학습 알고리즘이 자신의 '호기심' 또는 무작위성을 계산하는 방식에서 비롯된 직접적인 결과입니다. 이 연구는 만약 컴퓨터의 내부적인, 경계가 없는 생각으로부터가 아니라 실제 로봇이 취하는 물리적인 행동으로부터 이 호기심을 측정하도록 변경한다면, 로봇이 완전히 다른 기하학적 구조를 학습하게 된다는 것을 보여줍니다. 로봇은 벽을 밀어내는 것을 멈추고, 유사하거나 심지어 더 나은 성능을 달성하면서도 범위의 중심에 편안하게 머무는 법을 배웁니다.

조사는 인간과 유사한 다리를 가진 복잡한 시뮬레이션에서 시작되었으며, 이 다리는 80개의 별개 근육을 갖추고 걷는 과제를 수행했습니다. 연구진은 이 다리를 움직이게 하기 위해 대중적인 학습 방법을 사용하여 인공지능을 훈련시켰습니다. 그들은 기이한 현상을 관찰했습니다. 컴퓨터는 성공적으로 걷는 법을 배우고 있었지만, 근육이 할 수 있는 최대 또는 최소치의 거의 끝단에 해당하는 명령을 거의 항상 보내고 있었습니다. 약 89%의 시간 동안 근육 명령은 최대 또는 최소 한계치의 5% 이내에 있었습니다. 마치 보행자가 자신의 구속에 끊임없이 저항하고 있는 것 같았습니다. 연구팀은 처음에 이것이 물리적인 문제, 즉 근육이 자연스럽게 활성화되고 비활성화되는 방식이나 시뮬레이션이 신호를 필터링하는 특정 방식 때문일 것이라고 의심했습니다. 그들은 근육의 활성화 시간을 대칭적으로 만들고 필터를 제거함으로써 시뮬레이션의 물리학을 변경하여 이 아이디어들을 테스트했습니다. 이러한 변화 중 어느 것도 문제를 해결하지 못했습니다. 로봇은 여전히 벽을 밀어냈습니다. 이는 물리적 세계가 원인이 아님을 입증했으며, 학습 알고리즘 자체를 지목했습니다.

로봇이 왜 이렇게 행동하는지 이해하기 위해, 연구진은 문제를 두 부분, 즉 로봇이 가고자 하는 평균적인 방향과 그 방향에 더해지는 무작위성 또는 변동성으로 나누었습니다. 그들은 간단한 질문을 던졌습니다. 로봇이 벽 근처에 있는 이유는 무모하게 추측하고 있기 때문인가, 아니면 의도적으로 벽을 향하고 있기 때문인가? 정확히 동일한 시점에 대해 반사실적 테스트(counterfactual test)를 실행한 결과, 무작위성을 모두 제거하고 로봇이 평균적인 계획을 완벽하게 따르도록 강제하더라도 여전히 벽 근처에 있고 싶어 한다는 것을 발견했습니다. 사실, 평균적인 계획 자체가 종종 가능한 동작 범위를 벗어나 가리키고 있었고, 이로 인해 컴퓨터는 행동을 가장 가까운 한계치로 절단(clip)해야 했습니다. 로봇의 '마음'은 외부로 돌출되어 의도된 행동을 경계 너머로 밀어냈고, 물리적 한계가 그것들을 붙잡고 있었던 것입니다. 이는 단순히 로봇에게 덜 무작위적이 되라고 말하는 것만으로는 문제를 해결할 수 없음을 의미했습니다. 로봇은 애초에 중심을 향하도록 배워야 했습니다.

이 문제를 해결하는 핵심은 컴퓨터가 자신의 불확실성을 측정하는 방식에 있었습니다. 표준 설정에서 컴퓨터는 물리적 행동으로 번역되기 전의 내부적이고 경계가 없는 생각들을 바탕으로 무작위성을 계산합니다. 이 내부 공간에서 수학은 중심과 가장자리를 동일하게 취급하며, 벽에서 떨어져 있어야 할 이유를 제공하지 않습니다. 그러나 연구진은 만약 컴퓨터가 행동이 물리적 세계로 번역된 후에 불확실성을 측정한다면 수학이 변할 것이라는 점을 깨달았습니다. 물리적 세계는 단단한 한계를 가지고 있기 때문에, 공간의 가장자리는 중심과는 다르게 보입니다. 컴퓨터가 이 물리적 공간에서 불확실성을 계산할 때, 수학은 자연스럽게 평균적인 행동을 벽에서 멀어지게 하고 중간으로 끌어당기는 힘을 만들어냅니다. 이것은 관점의 미묘한 변화입니다. 즉, 무작위성이 생성되는 곳이 아니라 그것이 중요한 곳에서 무작위성을 측정하는 것입니다.

이를 테스트하기 위해 연구진은 동일한 걷기 과제에 대해 세 가지 다른 버전의 학습 알고리즘을 실행했습니다. 첫 번째 버전에서 컴퓨터는 자신의 내부적인 생각 속에서 불확실성을 측정했습니다. 두 번째 버전에서는 불확실성을 전혀 측정하지 않았습니다. 세 번째 버전에서는 물리적 행동 속에서 불확실성을 측정했습니다. 결과는 놀라웠습니다. 내부적인 생각 속에서 불확실성을 측정한 버전은 매우 무작위하게 학습하여 행동을 벽 쪽으로 밀어붙였습니다. 불확실성을 측정하지 않은 버전은 매우 정밀하게 학습했지만 여전히 벽 근처를 목표로 삼았습니다. 오직 물리적 행동 속에서 불확실성을 측정한 버전만이 평균적인 행동을 허용 범위의 중심에 편안하게 유지하는 법을 배웠습니다. 이 버전은 가장 "내부적인" 기하학적 구조를 가졌으며, 이는 로봇이 자신의 한계에 저항하지 않고 있음을 의미했습니다.

연구팀은 완전히 다른 과제인 시뮬레이션된 개가 일어서는 법을 가르치는 실험을 반복했습니다. 이 과제는 38개의 서로 다른 관절을 포함하며, 첫 번째 시뮬레이션의 결과가 우연이 아님을 확인하기 위해 다른 소프트웨어 코드베이스를 사용했습니다. 동일한 패턴이 나타났습니다. 물리적 행동에서 불확실성을 측정한 버전은 움직임을 중심에 유지하는 법을 배웠지만, 다른 버전들은 가장자리로 치우쳤습니다. 이는 발견된 내용이 걷는 다리나 첫 번째 소프트웨어에 국한된 것이 아님을 확인해주었습니다. 연구진은 또한 컴퓨터에게 직접적인 페널티를 주어 중심을 향하도록 명령하는 것이 효과가 있는지 테스트했습니다. 그들은 직접적인 페널티가 로봇을 중심으로 밀어낼 수는 있지만, 무작위성과 전반적인 성능 측면에서 다른 종류의 행동을 만들어낸다는 것을 발견했습니다. 이는 물리적 공간에서 불확실성을 측정하는 것이 문제를 해결하는 하나의 효과적인 방법이지만 유일한 방법은 아니라는 것을 보여주었습니다. 이는 자연스럽게 로봇의 목표와 변동성을 결합하지만, 그 결과로 나타나는 무작위성과 성능의 균형은 동일한 목적을 달성하는 다른 방법들과 상당히 다를 수 있습니다.

연구는 로봇이 현실 세계에서 움직이는 법을 배울 때, 불확실성을 어디에서 측정할 것인가가 결정적인 설계 결정이라는 결론을 내립니다. 단순히 과제에서 높은 점수를 얻는 것만으로는 충분하지 않습니다. 로봇이 움직이는 방식을 배우는 과정은 그 안정성과 안전성에 매우 중요합니다. 만약 로봇이 끊임없이 자신의 한계에 부딪히며 배우게 된다면, 환경이 미세하게 변할 때 취약하거나 실패하기 쉽습니다. 물리적 공간에서 불확실성을 측정함으로써, 로봇은 자신을 안전하고 중심에 있게 만드는 기하학적 구조를 학습합니다. 이러한 통찰은 로봇을 가르치는 표준적인 방식이 업데이트되어야 할 수도 있음을 시사합니다. 학습 과정 중에 물리적 한계를 무시하는 대신, 알고리즘은 물리적 한계를 고려하여 로봇이 끊임없이 벽을 밀어내는 것이 아니라 자연스럽고 중심 잡힌 우아함으로 움직이도록 보장해야 합니다.

기술 요약: 엔트로피를 측정하는 위치가 중요하다: 유계 연속 제어 PPO에서의 정책 기하학

1. 문제 정의

연속 제어 강화 학습, 특히 근사 정책 최적화(PPO)에서 정책은 일반적으로 잠재 공간( $u$ )에서의 무계 경계 대각 가우시안(unbounded diagonal Gaussian)으로 모델링된 후, 클리핑(clipping) 또는 매끄러운 변환(예: $\tanh$ )을 통해 유계 액션 공간( $a$ )으로 매핑됩니다. 이러한 방식이 표준적이지만, 본 논문은 엔트로피 보너스가 측정되는 공간이 학습된 정책의 기하학적 구조를 크게 변화시킨다는 결정적인 기하학적 불일치를 식별했습니다.

저자들은 80개의 근육을 가진 MyoLeg 보행 태스크에서 이 현상을 관찰했습니다. 높은 리턴(return)을 달래냈음에도 불구하고, 표준 PPO 설정은 실행된 근육 명령의 약 89%가 액션 경계(0 또는 1)의 5% 이내에 위치하는 "경계 지배적(boundary-dominated)" 레짐을 나타냈습니다. 초기 가설은 이를 근육 활성화 필터링이나 비대칭 시간 상수와 같은 물리적 제약 때문이라고 추측했으나, 반사실적 실험(counterfactual experiments) 결과 이러한 물리적 요인이 주요 원인이 아님을 확인했습니다. 대신, 이는 통계적 문제였습니다. 즉, 정책의 상태 조건부 평균(state-conditioned mean)이 "압출(extruded)"되어 실행 가능한 구간 밖으로 밀려나 있었고, 분산이 높았습니다. 핵심 질문은 이러한 경계 지배성이 큰 분산 때문인지, 압출된 평균 때문인지, 아니면 엔트로피 측정 공간(잠재 공간 vs 실행 공간)의 특정 선택 때문인지에 관한 것입니다.

2. 방법론

본 연구는 두 가지 뚜렷한 태스크에 대해 반사실적 분해, 해석적 그래디언트 분석, 제어된 절제 실험(ablation experiments)의 조합을 사용합니다:

MyoLeg (80근육, 14모터): Stable-Baselines3를 사용한 고차원 근골격 보행 태스크.
Dog-Stand (38차원): 재현을 위해 독립적인 CleanRL 기반 PPO 구현을 사용한 DeepMind Control Suite 태스크.

주요 실험적 개입:

반사실적 분해 (Counterfactual Decomposition): 동일하게 방문된 상태에서, 저자들은 경계 근접 점유율( $P_{11}$ )을 평균의 기여( $P_{10}$ , 분산을 0으로 설정)와 분산의 기여( $P_{01}$ , 평균을 중앙으로 설정)로 분해합니다. 이를 통해 경계 근접성이 평균의 위치 때문인지 분포의 확산 때문인지를 격리하여 파악합니다.
엔트로피 공간 절제 (Entropy Space Ablation): 동일한 아키텍처와 하이퍼파라미터를 가지며 오직 엔트로피 목적 함수만 다른 세 가지 매칭된 정책을 학습시킵니다:
- 잠재 엔트로피 ( $H(u)$ ): 엔트로피를 무계 가우시안 $u$ 상에서 계산합니다.
- 엔트로피 없음 (No Entropy): 엔트로피 보너스를 제거합니다.
- 실행 액션 엔트로피 ( $H(a)$ ): 변수 변환 자코비안(change-of-variables Jacobian)을 포함하여 변환된 액션 $a = f(u)$ 상에서 엔트로피를 계산합니다.
직접 평균 정규화 제어 (Direct Mean Regularization Controls): $H(a)$ 가 단순히 평균을 중앙으로 모으기 위한 복잡한 방법인지 테스트하기 위해, 엔트로피 보너스 없이 명시적인 평균 페널티( $\tanh^2(\mu)$ 및 $L_2(\mu)$ )를 도입합니다.
강건성 검사 (Robustness Checks): 상태 방문 차이(state visitation differences)를 배제하기 위해 공유 상태 버퍼를 통한 평가와, 경계 마진을 1%에서 10%까지 스윕(sweep)하는 실험을 포함합니다.

3. 주요 기여

본 논문의 기여는 알고리즘적인 것이 아니라, 구현 선택의 기하학적 결과에 초점을 맞춘 메커니즘적 분석입니다:

반사실적 분해: 학습된 PPO 정책에서, 평균의 압출과 높은 분산 모두 경계 점유율을 높이는 데 충분하다는 것을 입증합니다. 결정적으로, 평균 자체도 분산을 고려하기 전부터 이미 압출되어(실행 가능한 구간 밖에 위치) 있음이 밝혀졌습니다.
엔트로피 측정 기하학: 잠재 공간에서 엔트로피를 측정하는 것( $H(u)$ )은 일정한 분산 증가 그래디언트를 제공하지만 평균에 대한 직접적인 힘은 행사하지 못함을 입증했습니다. 반면, 실행 공간에서 엔트로피를 측정하는 것( $H(a)$ )은 자코비안 항을 도입하여 평균에 직접적인 안쪽 방향 그래디언트( $\propto E[\tanh u]$ )를 더함으로써, 평균을 액션 공간의 중앙으로 효과적으로 정규화합니다.
결합된 평균-분산 설계: $H(a)$ 가 결합된 평균-분산 정규화 도구임을 보여줍니다. $H(a)$ 는 가장 내부적인 평균 기하학을 생성하지만, 이것이 반드시 가장 높은 태스크 리턴을 보장하는 것은 아니며, 내부 평균을 달성하는 유일한 방법도 아닙니다 (직접적인 평균 페널티가 유사한 중앙 집중화를 달달성할 수 있음).
리턴과 기하학의 독립성: 본 연구는 태스크 리턴과 정책 기하학을 분리합니다. 가장 낮은 경계 점유율(내부 평균)을 가진 정책이 반드시 가장 높은 리턴을 내는 것은 아니며, 높은 리턴을 가진 정책도 극단적인 경계 지배성을 보일 수 있습니다.

4. 결과

MyoLeg 결과:

경계 지배성: 표준 클립된 가우시안 정책은 약 89%의 경계 근접 점유율을 보였습니다. 분해 결과, 분산을 0으로 설정해도 여전히 약 83.8%의 액션이 경계 근처에 머물렀으며, 이는 평균이 강력하게 압출되었음을 확인시켜 줍니다.
엔트로피 효과:
- $H(u)$ : 가장 높은 분산과 가장 압출된 평균을 생성했습니다.
- 엔트로피 없음: 분산을 급격히 줄였으나, 평균을 $H(a)$ 보다 경계에 훨씬 더 가깝게 남겨두었습니다.
- $H(a)$ : 가장 내부적인 평균 기하학(가장 낮은 총 경계 근접 점유율)과 엔트로피 조건 중 가장 낮은 분산을 생성했으나, 가장 높은 리턴을 기록하지는 못했습니다 (No Entropy가 가장 높은 리턴을 기록).
그래디언트 분석: 고정된 버퍼에서의 그래디忽略트 분해를 통해, $H(a)$ 하에서는 엔트로피 손실의 평균에 대한 그래디언트가 0이 아니며 일관되게 안쪽을 향하는 반면, $H(u)$ 하에서는 정확히 0임을 확인했습니다.

Dog-Stand 재현:

기하학적 순서( $H(u) > \text{No Entropy} > H(a)$ 순의 평균 압출 정도)가 세 개의 시드와 여러 체크포인트에 걸쳐 재현되었습니다.
직접 페널티: 직접적인 평균 페널티( $\tanh^2$ 및 $L_2$ )를 가진 정책은 $H(a)$ 와 비슷하거나 더 나은 평균 기하학을 달성했습니다. 그러나 이러한 정책들은 $H(a)$ 와 비교했을 때 서로 다른 분산 및 리턴 레짐에서 종료되었으며, 이는 평균 기하학과 분산/성능이 별개의 속성임을 증명합니다.
강건성: 기하학적 순서는 공유 상태 버퍼와 1%에서 10% 사이의 경계 마진에 대해서도 유지되었으며, 이는 이 효과가 특정 상태 방문이나 임계값 선택에 의한 인위적 결과가 아님을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 유계 PPO 정책의 기하학을 결정하는 엔트로피 측정 공간의 선택을 재현 가능한 현상으로 식별했다는 점을 겸허히 주장합니다.

메커니즘, 새로운 공식이 아님: 저자들은 $H(a)$ 를 위한 변수 변환 항이 표준적(SAC에서 사용됨)이지만, 이것이 PPO의 평균 배치에 미치는 영향은 간과되어 왔음을 강조합니다.
설계 선택: 엔트로피 공간의 선택은 결합된 평균-분산 설계 선택입니다. 잠재 공간에서 엔트로피를 측정하면 평균이 제어되지 않은 채 경계로 표류하게 두는 반면, 실행 공간에서 측정하면 평균을 구속합니다.
리턴은 충분하지 않음: 태스크 리턴 단독으로는 유계 정책을 특징짓기에 불완전한 지표입니다. 정책은 매우 효과적(높은 리턴)이면서도 동시에 기하학적으로 "경계 지배적"일 수 있으며, 이는 보상 함수에 포착되지 않는 하드웨어 안전성이나 매끄러움(smoothness)에 영향을 미칠 수 있습니다.
진단적 유용성: 저자들은 네 개의 셀 분해( $P_{10}, P_{01}$ )를 실용적인 진단 도구로 제안합니다. 만약 $P_{10}$ 이 크다면, 분산만을 줄이는 것은 불충분하며, 내부 솔루션을 얻기 위해서는 기하학적 항(예: $H(a)$ )이나 명시적인 평균 정규화가 필요합니다.

본 연구는 유계 액션 PPO를 사용하는 실무자들에게 리턴만을 최적화하는 것이 물리적 제약이나 매끄러움 요구 사항에 부적합한 경계 지배적 기하학을 의도치 않게 초래할 수 있으므로, 평균 배치, 분산, 그리고 리턴을 명시적으로 측정해야 한다고 결론짓습니다.