🤖 machine learning

Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis

이 논문은 부분 관측 가능한 선형-이차 강화 학습에서 최적성을 방해하는 주요 장애물이 정책의 표현력이 아니라 설명되지 않은 상태 변화로 인해 발생하는 비평가(critic)의 가치 추정 편향임을 입증하며, 이는 에이전트의 예측 지평(lookahead horizon)을 조정함으로써 정밀하게 규명되고 교정될 수 있다.

원저자: Idil Gözel

게시일 2026-08-10

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Idil Gözel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 걷는 법을 배우려고 노력하는 모습을 상상해 보세요. 로봇에게는 어떤 근육을 수축시킬지 결정하는 뇌(알고리즘)가 있지만, 발밑의 지면이나 자신을 밀치는 바람은 보지 못한 채 오직 자신의 발만을 보는 아주 작은 카메라를 가지고 있습니다. 이것이 바로 **강화 학습(Reinforcement Learning)**의 세계입니다. 여기서 기계는 최적의 점수를 얻기 위해 시행착오를 거치며 배웁니다. 보통 이러한 로봇들이 실패할 때, 우리는 그들이 불가능한 과제를 수행할 수 없도록 만드는 일종의 '맹목성'을 가지고 있다고 가정합니다. 즉, 로봇이 적절한 움직임을 파악할 만큼 충분히 보지 못한다고 생각하는 것이죠. 우리는 이를 "정책 격차(policy gap)"라고 부릅니다. 즉, 로봇의 뇌가 완벽한 해답을 담아내기에 너무 단순하다는 생각입니다.

하지만 여기에는 더 교활한 두 번째 이유가 있습니다. 설령 로봇이 완벽한 움직임을 찾아낼 수 있다 하더라도, 학습하는 방식 자체가 로봇을 속일 수 있다는 것입니다. 로봇은 자신이 보는 것을 바탕으로 상황이 얼마나 좋은지 추측해야 합니다. 만약 전체 그림을 볼 수 없다면, 그들의 추측은 편향될 수 있습니다. 어떤 상황이 실제로는 안전함에도 위험하다고 생각하거나, 그 반대의 경우가 생길 수 있죠. 이것이 바로 "학습 격차(learning-gap)"입니다. 로봇이 똑똑하지 못한 것이 아니라, 스승(학습 알고리즘)이 잘못된 숙제를 주고 있는 것입니다. 이 논문은 아주 간단한 질문을 던집니다. 로봇이 부분적으로 눈이 먼 세상에서, 문제는 로봇이 세상을 이해하기에 너무 멍청해서인가, 아니면 학습 방법이 고장 났기 때문인가?

눈 가린 운전자와 잘못된 지도

울퉁불퉁한 길을 따라 차를 운전하려는 운전자를 떠올려 보세요. 운전자는 차 바로 앞의 도로(관측된 상태)는 볼 수 있지만, 몇 초 후에 닥쳐올 포트홀(관측되지 않은 상태)은 볼 수 없습니다. 자동차의 서스펜션은 이 숨겨진 포트홀에 반응하며 차를 흔들리게 만듭니다.

이 이야기에서 운전자는 액터(Actor)(핸들을 돌리기로 결정하는 부분)이고, **크리틱(Critic)**은 점수판을 들고 운전자가 주행을 얼마나 잘했는지 혹은 못했는지를 알려주는 동승자입니다. 동승자는 흔들리는 차만 볼 뿐, 숨겨진 포트홀은 보지 못합니다.

이 논문은 매우 구체적이고 해결 가능한 버전의 이 문제를 설정합니다. 자동차는 숨겨진 포트홀이 수학적으로 예측 가능한 방식으로 차를 밀어내는 트랙 위에 있습니다. 운전자는 "차가 위로 튀어 오르면 핸들을 아래로 내린다"라는 단순한 규칙을 사용할 수 있습니다. 이 규칙은 매우 단순하여, 만약 운전자가 모든 진실을 알고 있다면 완벽한 조향 각도를 계산할 수 있을 정도입니다. 실제로 완벽한 조향 각도는 모든 것을 볼 수 있는 최고의 운전자보다 약 10.4% 정도만 떨어집니다. 따라서 "정책 격차"(운전자가 표현할 수 있는 한계)는 작습니다. 운전자는 거의 완벽해질 수 있습니다.

하지만 반전이 있습니다. 운전자가 표준적인 "액터-크리틱(Actor-Critic)" 방식을 사용하여 실제로 학습하려고 할 때, 그들은 그 좋은 해답을 찾아내지 못합니다. 대신, 그들은 할 수 있었던 최선의 결과보다 **35%**나 더 나쁜 최악의 결과로 처박히게 됩니다.

왜 동승자는 거짓말을 하는가

왜 학습이 실패할까요? 논문은 그것이 운전자가 멍청해서가 아니라고 설명합니다. 그것은 동승자(크리틱)가 운전자에게 거짓말을 하고 있기 때문인데, 의도적인 것은 아닙니다.

동승자는 차가 흔들리는 것을 봅니다. 그들은 숨겨된 포트홀 때문에 차가 흔들리고 있다는 것을 알지만, 포트홀 자체는 볼 수 없습니다. 그들은 오직 차만 봅니다. 그들에게 흔들림은 마치 통제 불능의 거친 폭풍처럼 보입니다. 동승자는 오직 차의 위치만을 바탕으로 점수판을 작성해야 하므로, 왜 차가 이렇게 많이 흔들리는지를 설명해야 합니다.

그들은 "아, 포트홀 때문이구나"라고 말할 수 없기 때문에, 차의 위치 자체를 탓합니다. 그들은 이렇게 결정합니다. "와, 이 차는 정말 불안정한 곳에 있구나! 여기서 조금만 움직여도 가치가 급격히 떨어질 거야!" 그들은 안전한 영역의 "골짜기"가 믿을 수 없을 정도로 깊고 좁다고 그립니다.

이 지도를 신뢰하는 운전자는 "안 돼! 이 좁고 안전한 곳에 머물려면 핸들을 아주 강하고 빠르게 돌려야 해!"라고 생각합니다. 그래서 운전자는 핸들을 최대한으로 꺾습니다. 결국 그들은 실제로 필요한 것보다 15배나 더 큰 "게인(gain, 조향 민감도)"을 가지고 운전하게 됩니다. 그들은 지도에 나타난 것만큼 무섭지 않은 폭풍에 대해 과잉 대응하며 운전하고 있는 것입니다.

논문은 이를 정확하게 계산합니다. 운전자가 학습을 멈췄어야 할 시점에서, 동승자의 지도는 "곡률(골짜기가 얼마나 가파른지)"이 16.7이라고 말합니다. 하지만 만약 그들이 세상의 전부를 볼 수 있었다면 실제 곡률은 1.11에 불과했을 것입니다. 지도가 15배나 더 가파른 것입니다! 운전자는 이 오류를 따라가다 결국 사고를 냅니다.

앞을 내다보는 것의 마법

그렇다면 잘못된 지도를 가진 동승자에게 속고 있는 운전자를 어떻게 고칠 수 있을까요? 논문은 돌릴 수 있는 매우 구체적인 "노브(knook, 조절 손잡이)"를 찾아냈습니다.

많은 학습 알고리즘에서 동승자는 단순히 다음 단계를 보는 것이 아니라, 점수가 어떻게 변하는지 보기 위해 조금 더 먼 미래를 내다봅니다. 이를 부트스트랩 호라이즌(bootstrap horizon)(또는 $\lambda$ 파라미터)이라고 합니다.

만약 동승자가 단 한 단계 앞만 본다면(짧은 호라이즌), 잘못되고 가파른 지도를 얻게 되어 운전자는 사고를 냅니다.
만약 동승자가 충분히 멀리 내다본다면—구체적으로, 숨겨진 포트홀이 영향을 미치는 시간을 커버할 만큼 충분히 멀리 본다면—지도는 스스로 교정됩니다.

논문은 만약 이 "내다보는 시간"을 숨겨진 포트홀의 "기억" 시간과 일치하도록 설정하면, 운전자가 완벽한 지점에서 멈춘다는 것을 보여줍니다. 이는 동승자에게 이렇게 말하는 것과 같습니다. "지금 차가 왜 흔들리는지 당장 추측하지 말고, 흔들림이 계속되는지 좀 더 지켜봐. 만약 계속된다면 그건 도로 때문이고, 멈춘다면 그냥 일시적인 충격이었던 거야."

딥 러닝의 놀라운 결과

저자는 단순히 종이 위에서 수학적 계산만 한 것이 아니라, 현대적인 딥 강화 학습(비디오 게임을 플레이하는 종류의 AI)을 통해 이를 테스트했습니다. 그들은 AI에게 지난 32프레임을 보여줌으로써 "기억"을 부여했고, 이것이 숨겨진 포트홀을 보는 데 도움이 되기를 바랐습니다.

여기서 놀라운 결과가 나왔습니다: AI에게 기억을 주는 것은 도움이 되지 않았습니다.
비디오 히스토리를 가지고 있더라도, 만약 "내다보는 노브"가 잘못 설정되어 있다면 AI는 여전히 사고를 냈습니다. AI가 화려한 뇌를 가졌든 기억 저장소를 가졌든 상관없었습니다. 학습 규칙(동승자의 지도)이 편향되어 있다면, AI는 그 편향을 따르게 됩니다.
하지만 "내다보는 노브"를 올바른 설정으로 돌렸을 때, AI는 기억 없이도 좋은 해답을 찾아냈습니다.

논문은 또한 다른 몇 가지 아이디어들도 배제했습니다. 혹시 AI가 문제를 해결하기 위해 더 많이 "탐색(explore)"(무작위 동작 시도)해야 하는 것인지 확인했습니다. 무작위 노이즈의 양을 일정하게 유지했음에도 불구하고, 그것은 중요하지 않았습니다. 문제는 여전히 내다보는 설정(look-ahead setting)에 있었습니다. 또한 AI가 학습을 더 일찍 멈춰야 하는지도 확인했지만, 수학적으로 이 문제는 타이밍의 문제가 아니라 구조적인 문제임이 밝혀졌습니다.

결론

이 논문의 핵심 결론은 우리가 AI를 생각하는 일반적인 방식에 다소 충격적입니다. 우리는 흔ert히 부분 관측성(맹목성)의 원인을 AI의 뇌가 과거를 기억하기에 충분히 복잡하지 못하기 때문이라고 돌립니다. 하지만 이 논문은 이렇게 말합니다: 아니요, 뇌는 괜찮습니다. 문제는 학습 알고로리즘이 자신이 보는 노이즈를 신호로 오해하여, AI가 과잉 대응하게 만드는 가짜 위험 신호를 만들어낸다는 것입니다.

해결책은 반드시 AI에게 더 큰 뇌나 더 좋은 기억을 주는 것이 아닙니다. AI가 일시적인 글리치(glitch)와 실제 문제를 구분할 수 있도록 충분히 기다리도록 **내다보는 호라이즌(look-ahead horizon)**을 조정하는 것입니다. 그 하나의 노브를 올바르게 설정한다면, AI는 비록 눈이 멀었더라도 올바른 길을 배울 수 있습니다. 그렇지 않다면, 아무리 똑똑한 AI라도 자신이 세상을 구하고 있다고 확신하며 스스로 절벽 아래로 운전해 내려갈 것입니다.

기술 요약: 부분 관측성 하에서의 학습은 정책 클래스보다 더 큰 고통을 겪는다

문제 정의
부분 관측 가능한 강화 학습(RL)에서 에이전트는 종종 최적의 정책을 찾는 데 실패한다. 통념은 이를 정책 클래스 간극(policy-class gap), 즉 에이전트의 표현 능력(예: 메모리가 없는 정책)이 전체 상태를 관측할 수 없기 때문에 좋은 정책을 포착하지 못하는 능력의 한계로 돌린다. 본 논문은 이러한 관점에 이의를 제기하며, 더 크고 뚜렷한 실패 모드인 **학습 간극(learning gap)**이 존재함을 입증한다. 이는 에이전트가 표현할 수 있는 최선의 정책과 학습 알고리즘이 실제로 수렴하는 정책 사이의 불일치를 의미한다. 저자는 에이전트의 표현 클래스 내에 좋은 정책이 존재하고 가치 함수 근사기가 진정한 가치 함수를 정확하게 표현할 수 있는 이론적 능력을 갖추었더라도, 학습 역학 자체가 편향을 유도하여 에이전트를 차선의 평형점으로 몰아넣는다고 주장한다.

방법론
저자는 해결 가능한 부분 관측 선형-이차 가우시안(LQG) 제어 문제를 분석한다.

환경: 에이전트가 좌표 $v$ 를 관측하고 제어하는 한편, 관측되지 않는 좌표 $z$ 가 $v$ 를 구동하는 2차원 시스템이다. 관측되지 않는 상태는 메모리 커널 역할을 한다.
학습 알고리즘: 표준적인 액터-크리틱(actor-critic) 쌍을 사용한다.
- 크리틱(Critic): 이차 형식 특징량 $(1, v, v^2)$ 을 사용하는 시간차(TD(0)) 또는 최소 제곱 TD(LSTD)를 사용한다. 결정적으로, 이 문제의 진정한 가치 함수는 이차 형식이며, 이는 특징량 클래스가 전체 상태를 관측할 경우 진정한 가치 함수를 정확하게 표현할 수 있을 만큼 충분히 표현력이 높음을 의미한다. 제한 사항은 오직 불완전한 관측값 $v$ 로부터 특징량이 계산된다는 점뿐이다.
- 액터(Actor): 크리틱의 가치 추정치를 베이스라인으로 사용하는 정책 경사(policy gradient)를 따른다.
분석 접근 방식: 저자는 크리틱의 고정점(fixed point)과 액터의 기대 업데이트 방향에 대한 **폐쇄형 식(closed-form expressions)**을 도출한다. 저자는 단순히 확률적 수렴 증명에 의존하기보다, 기대 업데이트의 평형(즉, "평균화된 역학")을 분석하며, 이러한 예측을 수치적 검증 및 딥 RL 실험을 통해 확인한다.

주요 기여 및 결과

실패의 정확한 메커니즘 (Aliased Critic):
핵심 발견은 학습 간극이 정책 클래스 간극보다 지배적이라는 것이다. 기본 설정에서 최선의 메모리리스(memoryless) 정책은 이상적인 전상태(full-state) 제어기보다 비용이 10.4% 더 높을 뿐이다. 그러나 액터-크리틱 학습자는 이 최선의 메모리리스 정책보다 35% 더 나쁜 정책으로 수렴한다.
- 메커니즘: 정체 상태(stationary regime)에서 관측되지 않는 상태 $z$ 는 평균적으로 제어 입력을 상쇄하며, 이로 인해 관측된 좌표 $v$ 는 마치 랜덤 워크처럼 변동하는 것처럼 보인다. 오직 $v$ 에 의해서만 제한되는 크리틱은 이러한 지속성을 숨겨진 상태 때문이라고 귀인할 수 없다. 결과적으로, 크리틱은 설명되지 않는 지속성을 가치 함수의 **곡률(curvature)**로 잘못 귀인한다.
- 결과: 크리틱은 진정한 조건부 곡률보다 약 15배 더 큰 가치 곡률(계수 $v^2$ )을 보고한다. 이 팽창된 곡률을 베이스라인으로 사용하는 액터는, 팽창된 곡률이 제어 비용에 의해 상쇄될 때까지 제어 이득(gain)을 무한히 높이도록 유도되어, 최적보다 훨씬 높은 이득에서 안착하게 된다.
학습 평형에 대한 폐쇄형 법칙:
저자는 기대 업데이트가 0이 되는 지점인 이득 $k_{eq}$ 에 대한 정확한 공식을 도출한다.

평형 이득은 샘플링 주기 $h$ 에 반비례하며, 탐사 노이즈와 메모리 커널의 제로-래그 강도( $\sigma = s_e / \Theta K(0)$ )의 비율에 의존한다.
탐사가 사라짐에 따라, 평형 이득은 샘플링된 제어 시스템의 안정성 경계에 접근한다.
이 위치는 단순한 자기공분산뿐만 아니라, 교란(disturbance)의 분포(구체적으로는 제곱된 교란의 2차 구조)에 의존한다.

배포된 비용에 대한 폐쇄형 법칙:
잘못된 위치의 평형에도 불구하고, 해당 고정점에서 발생하는 **비용(cost)**은 놀라울 정도로 견고하다.

학습 평형에서의 배포된 비용은 $r C(0)$ (여기서 $r$ 은 제어 비용 가중치, $C(0)$ 는 교란의 제로-래그 자기공분산)으로 수렴한다.
이 비용 법칙은 **분포에 무관(distribution-free)**하다. 즉, 교란이 가우시안이든, 헤비 테일(heavy-tailed)이든, 혹은 이산적(예: 텔레그래프 노이즈)이든 관계없이 모든 정상적이고 에르고딕하며 평균 제곱 연속인 교란에 대해 성립한다.
저자는 서로 다른 교란 분포가 평형의 위치(이득)를 3.4배 정도 이동시키더라도, 결과적인 비용은 거의 동일하게 유지됨을 보여준다.

해결책으로서의 부트스트랩 호라이즌 (Bootstrap Horizon):
본 논문은 이러한 병리 현상을 제거하는 단 하나의 설계 선택지를 식별한다: 부트스트랩 호라이즌( $\lambda$ -return의 $\lambda$ 파라미터로 제어됨).

표준 TD(0) ( $\lambda=0$ )는 단 한 단계 앞만 내다보며, 이는 에일리어싱된 평형으로 이어진다.
$\lambda$ 가 증가함에 따라 호라이즌이 확장된다. 저자는 호라이즌이 환경의 메모리와 일치함에 따라 평형이 정책 클래스의 최적점으로 연속적으로 이동함을 보여준다.
이 전이는 급격하다: $\lambda$ 를 0.98에서 0.99로 높이면 초과 비용이 약 30%에서 약 1.5%로 감소한다.

딥 강화 학습 검증:
다층 퍼셉트론(MLP)을 사용하는 근사 정책 최적화(PPO) 실험은 이론적 예측을 확인시켜 준다.

아키텍처 독립성: 프레임 스태킹(과거 3별 32개 프레임 관측)을 통해 메모리를 추가하는 것은 도움이 되지 않는다. 스택된 에이전트는 낮은 $\lambda$ 에서 메모리리스 에이전트와 동일한 에일리어싱된 동작을 보이며, 높은 $\lambda$ 에서도 동일한 회복을 보인다. 이는 입력에 히스토리를 넣는 것만으로는 부족하며, 학습 알고리즘이 부트스트랩 호라이즌을 통해 그 히스토리를 효과적으로 활용해야 함을 시사한다.
사전 등록된 테스트: 저자는 학습된 탐사 노이즈의 붕괴나 탐사 크기의 임계값 효과와 같은 대안적 설명을 배제하기 위해 실험을 사전 등록했다. 이러한 가설들은 거짓으로 판명되었다. 실패는 고정된 탐사 노이즈에서도 지속되며, 탐사 임계값이 이 변위를 방지하지 못했다.

의의 및 주장
본 논문은 부분 관측성이 액터-크리틱 학습을 어떻게 편향시키는지에 대해 표현의 한계와 학습 규칙의 한계를 분리하여, 최초로 정확한 폐쇄형 특성을 제공한다고 주장한다.

제한된 범위: 저자는 확률적 반복 횟수가 고정점으로 수렴한다는 것을 증명하는 것이 아니라, 기대 업데이트가 그곳에서 0이 된다는 것과 확률적 실행이 (지연을 동반하여) 평균화된 궤적을 따른다는 것만을 증명한다.
특정 한계: 위치 법칙은 가우시안 교란에 대해 증명되었으며, 비용 법칙은 분포에 무관하다. 저자는 비가우시안 사례에서 위치 법칙이 제곱된 교한의 2차 구조에 의존할 것이라고 추측하지만, 이를 일반화하여 증명했다고 주장하지는 않는다.
실질적 시사점: 주요 시사점은 부분 관측 가능한 환경에서 단순히 모델 용량을 키우거나 입력 메모리(프레임 스태킹 등)를 추가하는 것만으로는 학습 실패를 해결할 수 없다는 것이다. 대신, 실무자들은 부트스트랩 호라이즌( $\lambda$ )을 환경의 관측되지 않은 역학의 메모리보다 길게 조정해야 한다.

본 논문은 "학습 간극"이 정책 클래스 간극보다 더 크고 별개의 소외 원인이며, 이는 크리틱이 관측되지 않은 상태의 지속성을 가치 함수의 곡률과 구분하지 못하기 때문에 발생한다고 결론짓는다.

눈 가린 운전자와 잘못된 지도

왜 동승자는 거짓말을 하는가

앞을 내다보는 것의 마법

딥 러닝의 놀라운 결과

결론

유사한 논문