📊 statistics

Auditing the Risk Claims of Distributional Reinforcement Learning

이 논문은 훈련된 분포 강화 학습 에이전트의 위험 민감도 주장이 환경의 확률적 특성을 정확하게 반영하기보다는 주로 구조적 훈련 결과물임을 입증하는 감사 프레임워크를 제시하며, 이는 그들의 위험 조언이 정보를 제공하지 못하고 종종 의사 결정에 해로울 수 있음을 보여준다.

원저자: Hari Prasad

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hari Prasad

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 단순히 점수를 얼마나 얻을지 추측하는 것이 아니라, 가능한 모든 미래의 범위를 실제로 예측하는 초지능형 로봇 게이머를 만들었다고 상상해 보십시오. 이것은 마치 기상 캐스터가 단순히 "비가 올 수도 있습니다"라고 말하는 것이 아니라, 비가 정확히 어디에 내릴지, 얼마나 세게 내릴지, 그리고 어디로 햇빛이 비칠지를 보여주는 상세한 지도를 그리는 것과 같습니다. 이 로봇은 분포 강화 학습(Distributional Reinforcement Learning) 에이전트라고 불리며, 위험을 감수하는 이들에게 최고의 친구가 되도록 설계되었습니다. 이 로봇은 어떤 움직임이 안전하고 지루한 도박인지, 반대로 어떤 움직임이 평균 점수는 같더라도 무모한 도박인지를 포착하도록 설계되었습니다.

하지만 반전이 있습니다. 이 로봇의 "위험 지도"는 대부분 환각입니다.

위대한 감사

이 논문의 저자들은 탐정 놀이를 하기로 했습니다. 그들은 단순한 질문을 던졌습니다. 이 로봇이 "이 움직임은 위험하고 저 움직임은 안전하다"라고 주장할 때, 그것은 실제로 진실을 말하고 있는가?

이를 알아내기 위해, 그들은 단순히 로봇의 말을 믿지 않았습니다. 그들은 "진실 기계"를 구축했습니다. 그들은 게임 세계의 스냅샷을 찍어 시간을 멈춘 다음, 동일한 순간을 서로 다른 무작위 시드(마치 주사위를 계속 굴리는 것과 같은)를 사용하여 수천 번 재현하여 실제로 어떤 일이 일어나는지 확인했습니다. 그들은 로봇의 화려한 예측과 이 엄청난 양의 실제 데이터(real-world data)를 비교했습니다.

충격적인 결과: "위험"의 40%에서 95%가 가짜다

감사 결과 거대한 문제가 드러났습니다. 그들이 테스트한 게임(고전 아케이드 게임의 축소판인 MinAtar)에서, 로봇이 주장하는 위험에 대한 가장 강력한 진술 중 40%에서 95%가 완전히 거짓이었습니다.

이렇게 생각해 보십시오. 로봇이 복도에 서서 두 개의 문을 가리키고 있습니다. 로봇은 소리칩니다. "A 문은 안전해! B 문은 함정이야!" 하지만 감사관들이 그 문들을 발로 차서 열고 2,000번을 달려갔을 때, 두 문 모두 똑같은 방으로 연결된다는 것을 발견했습니다. 로봇은 차이점을 보고 있었던 것이 아니라, 그냥 만들어내고 있었던 것입니다.

"최고"의 주장이 최악이다: 로봇이 위험의 차이에 대해 확신이 강할수록, 거짓말을 하고 있을 가능성이 더 높았습니다. 가장 "위험한" 순간 상위 2%에서, 무려 **95%**의 주장이 반박되었습니다.
단순한 글리치가 아니다: 이것은 로봇이 피곤하거나 학습 중일 때 발생하는 버그가 아닙니다. 저자들은 로봇의 생애 단계별로 확인했습니다. 가짜 위험 주장은 훈련 단계가 단 50만 스텝에 달했을 때 이미 완전히 형성되었으며, 로봇이 게임에서 두 배로 더 잘하게 된 이후에도 그대로 유지되었습니다.
게임의 잘못이 아니다: 로봇이 까다로운 게임 때문에 혼란을 겪은 것이 아닙니다. 저자들이 위험이 실재하고 명확하게 정의된 특수 제작 게임("RISKYGRID")에서 테스트했을 때, 로봇은 **96~100%**의 확률로 정답을 맞혔습니다. 이는 로봇이 위험을 볼 줄 안다는 것을 증명하지만, 실제 아케이드 게임에서는 유령을 보고 있다는 뜻입니다.

왜 이런 일이 발생하는가?

논문은 사람들이 추측할 법한 몇 가지 가능성을 배제합니다.

로봇이 게임을 "못해서"가 아닙니다. 거의 완벽한 수준의 사전 훈련된 로봇( 1,000만 프레임의 데이터로 훈련됨)조차 똑같은 함정에 빠졌습니다.
로봇이 "미교정(miscalibrated)" 상태인 것도 아닙니다(예: 항상 5도씩 차이가 나는 온도계처럼). 만약 당신이 로봇을 "교정"하여 테스트를 통과하게 만들려고 했다면, 유일한 방법은 로봇이 아무것도 말하지 않게 만드는 것뿐이었습니다. 로봇은 단순히 약간 틀린 것이 아니라, 정보를 제공하지 못하는(uninformative) 상태입니다. 그것은 마치 나침반이 미친 듯이 회전하는 것과 같습니다. 단순히 북쪽을 가리키도록 "조정"할 수 있는 문제가 아니라, 애초에 북쪽을 감지하는 자기적 감각 자체가 없는 것입니다.
데이터의 부족 때문도 아닙니다. 로봇은 수천 개의 사례를 보았지만, 로봇이 학습한 "위험"은 실제 게임의 특징이 아니라, 어떻게 훈련되었는지에 따른 구조적 인공물(structural artifact)이었습니다.

위험성: 거짓말에 기반한 행동

이것이 무서운 부분입니다. 만약 당신이 이 로봇의 조언을 사용하여 결정을 내리는 인간 플레이어라면, 당신은 곤경에 처할 것입니다.

한 게임(Breakout)에서는 로봇의 조언이 실제로 도움이 되었습니다.
또 다른 게임(Seaquest)에서는 로봇의 조언을 따르는 것이 위험을 완전히 무시하는 것보다 세 배나 더 나쁜 결과를 초래했습니다.
세 번째 게임(Asterix)에서는 거의 동전 던지기 수준이었습니다.

더 최악인 것은, 어떤 게임이 어떤 상황인지 구별할 방법이 없다는 것입니다. 로봇은 "위험 점수"를 제공하지만, 그 점수는 그 조언이 생명의 은인인지 아니면 사형 선고인지에 대해 아무것도 알려주지 않습니다. 그것은 마치 어떤 때는 토네이도를 예측하고 어떤 때는 화창한 날씨를 예측하지만, 그 앱이 자신의 예측이 진짜인지 알려주지 않는 기상 앱과 같습니다.

결론

논문은 테스트된 로봇들에게 있어 그들이 보는 "위험"은 훈련의 인공물(training artifact), 즉 기계 속의 유령이라고 결론짓습니다. 그것은 세상이 실제로 위험하기 때문이 아니라, 로봇이 자신의 수학적 계산 때문에 그려낸 패턴입니다.

저자들은 매우 명확하게 말합니다: 로봇의 위험 지도를 액면 그대로 믿지 마십시오. 만약 당신이 이 에이전트들을 자율주행 자동차와 같은 안전이 중요한 작업에 사용하고 싶다면, 먼저 감사를 실시해야 합니다. 그때까지, 로봇의 "위험"은 그저 매우 설득력 있고 매우 자신만만한 거짓말일 뿐입니다.

기술 요약: 분포 강화 학습(Distributional Reinforcement Learning)의 리스크 주장 검증

문제 정의

분포 강화 학습(Distributional RL)은 스칼라 가치 함수를 전체 수익 분포( $Z^\pi(s, a)$ )로 대체한다. 이러한 분포는 최첨단 성능을 견인하고 있으며, 조건부 가치 위험(CVaR) 등을 통한 리스크 민감 제어 및 안전 모니터링 용도로 점점 더 많이 사용되고 있지만, 종종 "액면가 그대로" 받아들여지는 경향이 있다. 핵심 가정은 만약 한 행동의 학습된 분포가 다른 행동과 형태 면에서 다르다면(예: 동일한 평균값을 가지더라도 안전한 작은 수익을 약속하는 경우), 환경에 실제로 그러한 특정 리스크 구조가 존재한다는 것이다.

그러나 이론적 연구에 따르면 이 분포들이 실제 수익 분포와 일치하지 않을 수 있음을 시사한다(예: Quantile TD 학습은 비고유한 고정점으로 수렴할 수 있음). 또한, 분포적 방법론은 평균만을 활용할 때도 성능을 향상시키는 경우가 많은데, 이는 학습된 분포가 사실적으로 정확하지 않더라도 유용한 표현(representation)으로서 기능할 수 있음을 암시한다. 식별된 핵심 공백은 직접적인 측정의 부재이다: 학습된 분포형 에이전트가 내세우는 특정 리스크 주장이 사실인가? 집계된 발산 메트릭(aggregate divergence metrics)은 의사결정에 중요한 오류와 그렇지 않은 오류를 구분하지 못한다. 본 논문은 "학순된 에이전트의 머릿속에 반영된 '리스크'가 실제 환경의 특징인가, 아니면 훈련 과정에서 생긴 인위적인 산물(artifact)인가?"라는 질문을 다룬다.

방법론

저자들은 스크리닝 메트릭, 그라운드 트루스 생성, 그리고 잘못된 결론을 피하기 위한 통계적 장치를 결합한 의사결정 관련 감사 프레임워크를 제안한다.

1. 의사결정 관련 감사 메트릭

감사는 주어진 상태 $s$ 에서 평균 수익에 의해 순위가 매겨진 상위 두 행동 사이의 초과 와서스타인 간극(excess Wasserstein gap, $\Delta_x(s)$ )에 집중한다.
$\Delta_x(s) = W_1(Z(s, a_1), Z(s, a_2)) - |\mu_1(s) - \mu_2(s)|$
여기서 $W_1$ 은 두 행동의 분위수(quantile) 표현 사이의 1-와서스타인 거리이며, $\mu$ 는 각각의 평균 수익을 나타낸다.

의미: $\Delta_x(s) > 0$ 은 어느 한 행동이 다른 행동을 1차 확률적 지배(first-order stochastically dominates)하지 않는 경우에만 발생한다. 이는 리스크 민감 정책이 평균-탐욕(mean-greedy) 정책으로부터 벗어나게 되는 정확한 조건이다. 따라서 $\Delta_x$ 는 의사결정 내용을 담고 있는 주장만을 분리해낸다.

2. 스냅샷-재시작 몬테카를로를 통한 그라운드 트루스 생성

주장을 검증하기 위해 저자들은 다음과 같은 방식으로 그라운드 트루스를 생성한다:

학습된 에이전트로부터 고유한 상태들을 수집한다.
이 상태들에서의 환경 스냅샷(deep copy)을 저장한다.
각 스냅샷에서 행동당 2,000회의 롤아웃(rollout)을 수행하며, 특정 행동을 강제하고 종료 시까지 탐욕적 정책을 따른다.
결정적으로, 각 재시작된 복사본은 **독립적으로 재시딩(reseeded)**되어, 롤아웃이 동일한 미래를 반복 재생하는 것이 아니라 실제 환경의 확률성(aleatoric uncertainty)을 포착하도록 보장한다.

3. 통계적 장치

감사가 잘못된 결론을 도출하는 것을 방지하기 위해 저자들은 다음을 채택한다:

순열 널(Permutation Nulls): 단일 행동의 롤아웃을 분할하여 추정 노이즈에 대한 베이스라인을 설정한다.
부트스트랩 반박(Bootstrap Refutation): 학습된 $\Delta_x(s)$ 가 몬테카를로(MC) 초과 분포의 97.5 백분위수를 초과하면 해당 주장은 반박된 것으로 간다.
FDR 제어: 상태 전반에 걸쳐 허위 발견율(False Discovery Rate)을 제어하기 위해 Benjamini-Hochberg 절차를 사용한다.
앨리어싱 지수(Aliasing Index): 부분 관측성(partial observability)이 실제 환경 상태를 숨길 수 있는 상태를 식별하는 메트릭이다.

4. 잠재적 함정 해결

저자들은 이전에 잘못된 감사를 양산했던 두 가지 구체적인 실패 모드를 기록한다:

P1 (RNG 클로닝): 환경에 대해 deepcopy를 사용하는 것은 종종 내부 난수 생성기(RNG)까지 복제하여, "무작위" 롤아웃이 동일한 미래를 반복하게 만든다. 이는 가짜 결정론적 효과를 만든다.
P2 (경험적 와서스타인 노이즈 플로어): 동일한 분포에서 추출한 유한한 샘플의 경우, 경험적 와서스타인 거리는 0이 아닌 값( $O(n^{-1/2})$ )으로 수렴한다. 단순한 임계값 설정은 순수한 노이즈를 리스크 트레이드오프로 "확인"하는 오류를 범할 수 있다. 본 감사는 상태별 널(null)을 기준으로 교정되어 이를 고려한다.

주요 결과

1. 가장 강력한 주장들이 대부분 거짓이다

MinAtar(Breakout, Seaquest, Asterix)의 QR-DQN, C51, IQN 및 전체 Atari에 대한 사전 학습된 SB3-zoo QR-DQN에 대해 수행한 결과:

반박률: 에이전트 자신의 리스크 순위 중 상위 2%(실무자가 가장 먼저 주목할 상태들)에서, **40–95%**의 주장된 리스크 트레이드오프가 95% 신뢰 수준에서 반박되었다.
확인 사례 전무: 735개의 감사된 MinAtar 상태 전체에서, FDR 교정 후 사실상 확인 가능한 주장이 없었다.
진실을 모르는 무차별성(Truth-Blind Indistinguishability): 가장 강력한 주장의 위치는 "진실을 모르는 헤드"(주장의 크기는 유지하되 상태에는 무작위로 할당된 경우)와 통계적으로 구별할 수 없다. 학습된 초과값과 실제 초과값 사이의 상관관계는 0에 가깝다 ( $r \approx 0.02$ ).

2. 인위적 산물의 구조적 특성

조기 형성: 과잉 주장(overclaiming) 현상은 500k 학습 단계에서 이미 완전히 형성되었으며, 에이전트의 점수가 두 배로 높아져도 지속된다.
시드 특이성(Seed Idiosyncrasy): 특정 거짓 주장은 각 랜덤 시드마다 고유하며, 최종 성능과는 상관관계가 없다.
파멸적인 상태(Doomed States): 공이 회복 불가능하게 손실된 상태(모든 미래가 동일한 수익을 주는 상태)에서도, 에이gent의 헤드는 여전히 높은 $\Delta_x$ 를 가진 넓고 교차하는 분포를 보고한다.

3. 의사결정 수준의 영향

에이전트의 CVaR 조언에 따라 행동하는 것은 혼란스럽고 예측 불가능한 결과를 낳는다:

Breakout: 조언이 실제로 유익하다 (평균-탐욕 대비 81% 더 안전한 선택).
Seaquest: 조언이 **역예측적(anti-predictive)**이다. 실제로 더 안전한 행동을 선택하는 경우가 24–34%에 불과하여(우연보다 낮은 수준), 리스크를 무시했을 때보다 후회(regret)가 세 배 높다.
Asterix: 조언은 사실상 동전 던지기와 같다.
실무자가 자신이 어떤 상황에 처해 있는지 알려줄 수 있는 신호는 관찰되지 않는다.

4. 해결책의 실패

표준적인 보완책들은 이 문제를 해결하지 못한다:

리스크 민감 훈련: CVaR-greedy가 되도록 훈련된 에이전트도 동일한 과잉 주장 패턴을 보인다.
앙상블(Ensembling): 분위수 함수를 평균 내면 인위적 현상이 완화되지만, 상위 주장들을 교정하지는 못한다.
재교정(Recalibration): 재교정은 주장을 무효화(노이즈로 붕괴)함으로써만 감사를 통과하며, 이는 헤드가 단순히 오교정된 것이 아니라 **정보가 없음(uninformative)**을 증명한다.

5. 긍정 대조군(Positive Controls)

감사 자체가 결함이 있는지 확인하기 위해, 저자들은 알려진 리스크 트레이드오프가 존재하는 환경인 RISKYGRID에서 테스트를 수행했다.

감사는 실제 주장을 96–100% 정확하게 확인했으며 높은 상관관계( $r \approx 0.92$ )를 보였다.
이는 감사가 에이전트의 능력을 측정하는 것이 아니라, 에이전트가 리스크를 포착하지 못하는 능력을 측정하고 있음을 입증한다.

의의 및 주장

저자들은 테스트된 에이전트들(QR-DQN, C51, IQN)에 대해, 학습된 "리스크"가 환경의 확률성이 아니라 **구조적인 훈련 인위적 산물(structural training artifact)**을 반영한다고 결론짓는다.

리스크의 "승자의 저주": 에이전트가 리스크 트레이드오프에 대해 가장 확신하는 상태(높은 $\Delta_x$ )가 역설적으로 가장 신뢰할 수 없는 상태이다.
정보가 없는 헤드: 분포형 헤드는 단순히 오교정된 것이 아니라, 리스크 구조에 대해 정보를 제공하지 못한다. 이들은 알레아토리(aleatoric) 불확실성과 에피스테믹(epistemic) 불확실성을 혼동하여 가짜 리스크 신호를 생성한다.
실무적 시사점:
1. 해석 가능성: 시각화된 수익 분포는 그라운드 트루스 검증 없이는 신뢰해서는 안 된다.
2. 안전 및 제어: 원시 분위수 헤드로부터 도출된 리스크 민감 정책은 치명적인 상태에서 가짜 리스크에 반응하여, 평균-탐욕 방식보다 더 나쁜 결과를 초ด 초래할 수 있다.
3. 향러 연구: 불확실성이나 리스크를 추정한다고 주장하는 모든 방법론은 의사결정 수준의 감사를 거쳐야 한다. 저자들은 툴킷과 표준을 공개하며, 감사를 통과하는 헤드는 반드시 상위 주장들을 확인시켜 주어야 한다고 강조한다.

저자들은 겸허한 태도를 유지한다: 이들의 주장은 특정 알고리즘과 환경(MinAtar, 특정 Atari 시드)에 국한된다. 더 큰 규모의 스티키 액션(sticky actions) 등이 적용된 다른 조건의 에이전트에 대해서는 추가 테스트가 필요함을 인정하지만, 현재의 증거는 표준적인 분포 강화 학습의 "리스크"가 상당 부분 학습 과정의 인위적 산물임을 시사한다.