🤖 machine learning

Performance Variation in Deep Reinforcement Learning

이 논문은 기존의 불확실성 추정치를 비판하고 성능 변동을 더 잘 특성화하기 위한 백분위 기반 도구(min-max IPR 및 run-wise percentile highlighting)를 제안함으로써 심층 강화 학습의 낮은 런 투 런(run-to-run) 강건성 문제를 다루며, 이를 통해 특정 아키텍처 선택과 알고리즘 설계가 PPO, SAC, TD-MPC, 그리고 DQN 변형 모델들 사이에서 안정성에 어떻게 차별적으로 영향을 미치는지 입증한다.

원저자: Haruto Tanaka, A. Rupam Mahmood

게시일 2026-06-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haruto Tanaka, A. Rupam Mahmood

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 팀의 코치로서 선수들(AI 알고리즘)에게 특정 장애물 코스(비디오 게임 또는 로봇 작업)를 달리는 법을 훈련시킨다고 상상해 보십시오. 당신은 그들에게 이렇게 말합니다. "이 코스를 100번 달려봐라, 그러면 너희가 얼마나 잘하는지 알려주겠다."

**심층 강화 학습(Deep Reinforcement Learning, RL)**의 세계에는 좌절스러운 문제가 하나 있습니다. 설령 동일한 지침을 가진 100명의 똑같은 선수들에게 주더라도, 그들의 결과는 매우 다를 수 있다는 점입니다. 어떤 선수는 완벽한 경기를 펼치지만, 다른 선수는 자기 발에 걸려 넘어지기도 합니다. 이것을 **성능 변동(performance variation)**이라고 부릅니다.

이 논문은 과학자들이 이 불일치성을 측정하기 위해 잘못된 도구를 사용해 왔다고 주장하며, 실제로 무슨 일이 일어나고 있는지 파악할 수 있는 두 가지 더 단순한 새로운 도구를 제안합니다.

문제점: "평균"의 거짓말

오랫동안 연구자들은 알고리즘이 얼마나 일관적인지 측정하기 위해 평균 결과값을 보고 그 주변에 "음영 띠(shaded band)"(오차 범위와 같은 것)를 그리는 방식을 사용해 왔습니다.

저자들은 이것이 "이번 주 평균 기온은 섭씨 21도이며, 오차 범위는 매우 작습니다"라고 말하는 일기 예보와 같다고 말합니다. 듣기에는 좋아 보이지만, 월요일은 영하 10도의 혹한이었고 금요일은 영상 38도의 폭염이었다는 사실은 숨겨버립니다.

결함: 이러한 "음영 띠"(통계적 불확실성)는 실험을 더 많이 수행할수록 줄어들며, 이는 알고리즘이 실제보다 더 일관적인 것처럼 보이게 만듭니다. 또한, AI가 완전히 실패하는 경우인 "이상치(outliers)"를 포착하지 못합니다.
비유: 다트판을 상상해 보십시오. 만약 당신이 100발의 다트를 던졌는데, 90발은 과녁 중앙에 맞았지만 10발은 천장에 맞았다면, "평균"은 매우 훌륭해 보일 수 있습니다. 하지만 당신이 안전 검사관이라면, 천장에 맞은 그 10발에 주목할 것입니다. 기존 방식은 천장에 맞은 경우를 무시합니다.

해결책: 두 가지 새로운 도구

저자들은 이 혼돈을 시각화하고 측정하기 위한 두 가지 새로운 방법을 제안합니다.

1. "Min-Max IPR-90" (90% 안전망)

평균을 보는 대신, 이 도구는 결과의 **중간 90%**를 살펴봅니다.

작동 방식: 100명의 선수를 가장 못하는 순서부터 가장 잘하는 순서대로 줄을 세운다고 상상해 보십시오. 하위 5%(완전한 재앙)와 상위 5%(운 좋은 기적)를 잘라냅니다. 그런 다음 "괜찮은" 러너들 중 가장 못하는 사람과 "괜찮은" 러너들 중 가장 잘하는 사람 사이의 거리를 측정합니다.
왜 더 나은가: 이 수치는 성과의 "퍼짐(spread)"을 알려줍니다. 이 숫자가 작으면 선수들이 모두 비슷한 속도로 달리고 있다는 뜻입니다. 숫자가 매우 크면 팀이 예측 불가능하다는 뜻입니다. 이는 이상한 수학적 트릭에 속지 않는 단순한 백분율입니다.

2. RPH (Run-Wise Percentile Highlighting, 실행별 백분위 강조) (The "Highlight Reel")

지저지고 흐릿한 음영 띠나 선들을 그리는 대신, 이 방법은 그래프 위에 세 개의 특정 선만을 강조합니다.

5번째 백분위수 (신뢰할 수 있는 실행 중 "최악"의 결과)
50번째 백분위수 (중간값 또는 전형적인 실행)
95번째 백분위수 (신뢰할 수 있는 실행 중 "최고"의 결과)
시각적 요소: 경주 트랙을 상상해 보십시오. 모든 러너의 경로를 흐릿한 회색 얼룩으로 보여주는 대신, 가장 느린 신뢰할 수 있는 러너, 평균적인 러너, 그리고 가장 빠른 신뢰할 수 있는 러너를 밝은 색으로 강조합니다. 그러면 그들 사이의 간격이 얼마나 넓은지 즉시 알 수 있습니다. 간격이 크다면 알고리즘이 불안정한 것입니다.

발견한 내용 (사례 연구)

저자들은 이 새로운 도구들이 무엇을 밝혀내는지 확인하기 위해 세 가지 서로 다른 시나리오에서 테스트를 진행했습니다.

1. "정규화" 실험 (엔진 수정하기)
그들은 두 가지 인기 있는 알고리즘인 PPO와 SAC에 "LayerNorm"(AI의 내부 수학을 안정화하는 기술)을 추가하는 실험을 했습니다.

결과: PPO의 경우, 새로운 도구들은 이러한 안정화 장치를 추가했을 때 러너들이 훨씬 더 일관되게 되었다(5번째와 95번째 백분위수 사이의 간격이 좁아졌다)는 것을 보여주었습니다. 반면 SAC의 경우, 이 도구들은 안정화 장치가 거의 아무런 역할도 하지 못했으며 러너들이 여전히 제각각이라는 것을 보여주었습니다.
시사점: 한 엔진에 효과적인 것이 다른 엔진을 고치는 데 반드시 효과적인 것은 아닙니다.

2. "슈퍼스타" 비교 (PPO, SAC, TD-MPC, TD-MPC2)
그들은 48가지의 서로 다른 로봇 작업에서 네 가지 알고리즘을 비교했습니다.

결과: 한 알고리즘인 TD-MPC가 명백한 승자였습니다. 이 알고리즘은 단순히 경주에서 이긴 것(높은 점수 획득)뿐만 아니라, 가장 일관적이기도 했습니다. 그 "퍼짐"이 매우 작았습니다. 다른 알고리즘들은 성적이 낮거나 매우 예측 불가능했습니다.
시사점: 최첨단 AI조차도 여전히 높은 "실패율"(상위 5%의 실행 중 약 35%가 여전히 적절한 점수에 도달하지 못함)을 가지고 있지만, TD-MPC가 그중 가장 신뢰할 수 있었습니다.

3. "아타리(Atari)" 대결 (DQN vs. Rainbow)
그들은 고전적인 비디오 게임(BattleZone, Qbert* 등)을 플레이하는 두 가지 클래식 알고리즘을 비교했습니다.

결과: Rainbow는 DQN보다 훨씬 더 승리를 잘 쟁취했습니다. 그러나 새로운 도구들은 놀라운 사실을 드러냈습니다. 두 알고리즘 모두 서로만큼이나 "지터링(jittery, 떨림/불안정)"하고 예측 불가능했다는 점입니다. Rainbow는 단지 "지터링"하면서도 승리하는 쪽이었고, DQN은 "지터링"하면서 지는 쪽이었을 뿐입니다.
시사점: 더 자주 이긴다고 해서 더 안정적인 것은 아닙니다.

결론

이 논문은 우리가 AI를 실제보다 더 안정적으로 보이게 만드는 "평균" 수치와 "음영 띠" 뒤에 숨는 것을 멈춰야 한다고 결론짓습니다. Min-Max IPR-90(퍼짐을 측정하기 위해)과 RPH(최선의/최악의 신뢰할 수 있는 실행을 시각화하기 위해)를 사용함으로써, 연구자들은 마침내 자신들의 AI가 가진 진정한 "취약성(brittleness)"을 볼 수 있습니다.

이는 마치 평균 기온만을 알려주는 기상 보고서에서 벗어나, "날씨가 완벽할 수도 있고, 재앙이 될 수도 있습니다. 예상 가능한 범위는 다음과 같습니다"라고 명확하게 보여주는 보고서로 넘어가는 것과 같습니다.

기술 요약: 심층 강화학습의 성능 변동성

문제 정의

심층 강화학습(Deep Reinforcement Learning, DRL) 알고리즘은 복잡한 행동을 학습하는 능력으로 잘 알려져 있지만, 동일하게 구성된 에이전트의 독립적인 실행 간에 발생하는 "로또와 같은" 성능 민감도로 악명이 높습니다. 이러한 실행 간 성능 변동은 결과의 재현성을 어렵게 만들어, 결과적으로 연구의 엄밀성을 저해하고 공정한 알고리즘 비교 및 하이퍼파라미터 튜닝을 방해합니다. 나아가 실질적인 응용 분야에서 이러한 가변성은 예측 불가능한 비효적 행동을 초래할 수 있어 안전상의 위험을 야기합니다.

이 문제의 중요성에도 불구하고, 경험적인 심층 강화학습 연구들은 종종 집계된 성능 지표를 위해 성능 변동성을 간과하곤 합니다. 현재의 평가 관행은 다음과 같은 요소들에 과도하게 의존합니다:

불확실성 추정치(예: 사분위수 평균의 부트스트랩 신뢰 구간, 표준 오차): 이는 표본 통계량과 실제 모집단 매개변수 사이의 불일치를 측정할 뿐, 성능 분포 자체의 퍼짐(spread)을 측정하지 못합니다. 이러한 지표는 실행 횟수가 증가함에 따라 $O(1/\sqrt{n})$ 의 속도로 소멸하며, 본질적인 데이터 가변성을 포착하지 못합니다.
표준 편차: 이는 가우시안(Gaussian) 분포를 가정합니다. 그러나 심층 강화학습의 성능 분포는 흔히 비가우시안(non-Gaussian) 형태(왜도 또는 이봉 분포)를 띠므로, 표준 편차가 실패한 실행이나 헤비 테일(heavy tails)과 같은 분포의 상당 부분을 커버하지 못하는 "과소 보고(underreporting)" 현상이 발생하여 리스크를 제대로 반영하지 못합니다.

Tolerance Intervals(TI)나 Performance Profiles와 같은 기존의 엄격한 방법들은 단일 작업 분석을 수행하기에 계산 비용이 많이 들거나 해석이 어려울 수 있습니다. 따라서 단일 작업의 성능 변동을 정확하게 포착하면서도 해석 가능하고 확장 가능한 평가 도구가 필요합니다.

방법론

저자들은 정확성과 해석 가능성의 균형을 맞추기 위해 설계된 일련의 정량화 및 시각화 방법을 제안합니다.

1. Min-Max IPR-90 (정량화)

본 논문은 5번째에서 95번째 백분위수 사이의 **Min-Max 간 백분위 범위(Inter-Percentile Range, IPR)**를 도입하며, 이를 과제의 이론적 또는 경험적 최솟값-최댓값 범위로 정규화합니다.

정의: $IPR = \frac{U(95) - U(5)}{M_T - m_T} \times 100\%$ , 여기서 $U(x)$ 는 성능 집합의 $x$ 번째 백분위수이고, $M_T, m_T$ 는 과제의 최대 및 최소 가능한 보상입니다.
근거: 표준 편차와 달리 백분위수는 특정 데이터 분포를 가정하지 않습니다. 5~~95% 범위(90% 커버리지)는 리스크를 평가하기 위해 선택되었으며(대부분의 실행의 퍼짐을 포착), 전체 범위(0~~100%)가 유발할 수 있는 극단적인 이상치(outlier)에 대한 민감도를 피하도록 설계되었습니다.
정규화: Min-max 정규화를 통해 서로 다른 알고리즘과 서로 다른 보상 스케일을 가진 과제 간의 변동을 직접 비교할 수 있습니다.

2. Run-wise Percentile Highlighting (RPH) (시각화)

시간 경과에 따른 집계(예: 평균 $\pm$ 표준 편차 밴드)의 왜곡 위험 없이 학습 곡선을 시각화하기 위해, 저자들은 Run-wise Percentile Highlighting을 제안합니다.

기법: 각 타임스텝에서 통계량을 집계하는 대신, 최종 성능의 5번째, 50번째(중앙값), 95번째 백분위수에 해당하는 특정 학습 곡선을 강조합니다.
구현: 5번째와 95번째 백분위수 곡선은 변동 엔벨로프(envelope)를 강조하기 위해 (예: 점선으로) 표시하며, 50번째 백분위수는 중심 경향성을 나타냅니다. 나머지 곡선들은 투명도를 적용하여 렌더링됩니다.
장점: 이는 개별 학습 곡선의 형태를 보존하며, 일반적인 오차 밴드에서 흔히 나타나는 "과소 보고" 문제를 피합니다. 또한 Functional Boxplots(FB)보다 계산이 간단하고 해석하기 쉽습니다.

주요 기여 및 사례 연구

저자들은 100회의 독립적인 실행을 사용한 세 가지 사례 연구를 통해 이 방법들을 검증합니다.

사례 연구 1: PPO 및 SAC에 대한 정규화의 효과

저자들은 LayerNorm과 penultimate-layer normalization(PNorm)이 PPO와 SAC에 미치는 영향을 분석했습니다.

결과: PPO의 경우, 이러한 정규화 기법(개별적 또는 결합적 적용)을 적용했을 때 성능 변동이 유의미하게 줄어들었으며(Min-Max IPR-90 감소), 종종 중앙값 성능이 향상되었습니다. 반면, SAC의 경우, 이러한 수정 사항들이 일반적으로 성능 변동을 변화시키지 않거나 오히려 증가시켰습니다.
시사점: 정규화의 이점은 알고리즘마다 다릅니다. PPO를 안정화하는 것이 반드시 SAC를 안정화하는 것은 아닙니다.

사례 연구 2: 연속 제어 알고리즘 비교 (PPO, SAC, TD-MPC, TD-MPC2)

48개의 DeepMind Control Suite (DMC) 과제에 걸쳐 체계적인 비교가 수행되었습니다.

결과: TD-MPC와 TD-MPC2는 PPO 및 SAC와 비교하여 모든 지표(평균, 중앙값, 5번째/95번째 백분위수)에서 우수한 성능을 보였습니다. 결정적으로, TD-MPC는 높은 데이터 효율성을 유지하면서도 가장 낮은 성능 변동(평균 Min-Max IPR-90 $\approx$ 10%)을 나타냈습니다.
관찰: TD-MPC의 낮은 변동성에도 불구하고, 평균 IPR-90이 10%라는 점은 지도 학습(supervised learning) 베이스라인에서 관찰되는 약 2%보다 여전히 상당히 높으며, 이는 심층 강화학습이 여전히 일관된 저변동 성능을 달성하는 데 어려움을 겪고 있음을 나타냅니다.

사례 연구 3: 이산 제어 알고리즘 비교 (DQN vs. Rainbow)

다섯 개의 Atari 환경(ALE)에서 DQN과 Rainbow를 비교했습니다.

결과: Rainbow는 중앙값 및 백분위수 성능 측면에서 DQN을 크게 앞질렀습니다. 그러나 두 알고리즘 모두 유사하게 높은 수준의 성능 변동(Min-Max IPR-90 $\approx$ 14–23%)을 보였습니다.
시사점: Rainbow가 DQN에 비해 집계된 성능을 개선하기는 하지만, 높은 실행 간 변동성이라는 근본적인 문제는 해결하지 못합니다.

의의 및 주장

본 논문은 Min-Max IPR-90과 RPH가 심층 강화학습 성능 평가 방식에 필요한 전환을 제공한다고 주장합니다:

불일치 교정: 불확실성 추정치(예: 신뢰 구간)를 변동의 대리 지표로 오용하는 문제를 바로잡습니다.
강건성: 가우시안성을 가정하는 파라미터 기반 방식 대신 백분위수에 의존함으로써, 특히 강화학습에서 흔히 나타나는 비가우시안 분포에 대해 더 정확한 성능 퍼짐을 제공합니다.
해석 가능성: RPH는 Functional Boxplot보다 해석하기 쉬우면서도 일반적인 오차 밴드보다 더 많은 정보를 제공하는 명확한 실행 간 행동 시각화를 제공합니다.
실질적 통찰: 제안된 도구들은 알고리즘의 개선(예: TD-MPC 또는 Rainbow)이 반드시 변동성 감소로 이어지지는 않는다는 점을 드러내며, "강건성"이 심층 강화학습 연구에서 여전히 별개의 도전적인 목표임을 강조합니다.

저자들은 이러한 방법들이 효과적이긴 하지만, 단일 통계량에 의존하는 것은 여전히 오해를 불러일으킬 수 있으므로 다른 통계적 도구들과 함께 보완적으로 사용되어야 한다고 결론짓습니다. 본 연구는 더 엄격한 프레임워크를 제공함으로써 향후 연구자들이 심층 강화학습 에이전트의 신뢰성과 강건성을 평가하는 데 도움을 주는 것을 목표로 합니다.