🤖 machine learning

K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning

이 논문은 강화학습의 보상 정규화(reward normalization) 대신 1차원 칼만 필터(Kalman filter)를 사용하여 보상의 평균을 실시간으로 추정함으로써, 학습의 분산을 줄이고 수렴 속도를 높이는 효율적인 방법인 'K-Score'를 제안합니다.

원저자: Zixuan Xia, Quanxi Li

게시일 2026-04-28

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zixuan Xia, Quanxi Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "롤러코스터를 타는 초보 운전자"

인공지능(강화학습 에이전트)이 학습하는 과정은 마치 처음 운전을 배우는 초보 운전자와 같습니다.

운전자가 도로를 달릴 때, 어떤 때는 길이 아주 매끄러워서 기분이 최고(높은 보상)였다가, 어떤 때는 갑자기 웅덩이를 만나서 엄청난 충격(낮은 보상)을 받습니다. 이 '보상'은 AI에게 "방금 한 행동이 좋았어!" 혹은 "나빴어!"라고 알려주는 신호입니다.

그런데 문제는 이 신호가 너무 **들쭉날쭉(High Variance)**하다는 것입니다.

방금 운전을 잘해서 기분이 좋았는데, 바로 다음 순간 웅덩이를 만나면 AI는 혼란에 빠집니다.
"어? 방금 내가 잘한 건가? 아니면 운이 좋았던 건가?"
이렇게 신호가 너무 요동치면, AI는 갈팡질팡하며 학습 속도가 느려지고, 심하면 아예 학습을 포기(불안정한 학습)해 버립니다.

2. 기존의 해결책: "단순한 평균 내기"

지금까지 과학자들은 이 문제를 해결하기 위해 **'평균값(Normalization)'**을 사용해 왔습니다.

비유하자면, 초보 운전자가 너무 흥분하거나 좌절하지 않도록 옆에서 **"야, 지금까지 네 점수의 평균은 이 정도니까 너무 일희일비하지 마"**라고 말해주는 것이죠. 하지만 이 방식은 '과거의 데이터'를 단순히 뭉뚱그려 계산하기 때문에, 운전 실력이 갑자기 늘거나 도로 환경이 확 바뀌었을 때(비가 오거나 눈이 오는 등) 빠르게 대처하지 못한다는 단점이 있었습니다.

3. 이 논문의 제안: "K-Score (칼만 필터라는 똑똑한 조수)"

이 논문은 여기서 **'칼만 필터(Kalman Filter)'**라는 아주 똑똑한 조수를 데려옵니다. 이 조수는 단순히 평균을 내는 게 아니라, **'상황을 판단하며 믿음의 정도를 조절하는 능력'**이 있습니다.

이 조수의 특징은 이렇습니다:

"지금은 노이즈(방해 요소)가 심하네?": 만약 갑자기 웅덩이가 너무 많아져서 신호가 요동친다면, 조수는 "지금 들어오는 신호는 좀 믿을 게 못 돼. 너무 휘둘리지 마!"라며 신호를 부드럽게 다듬어줍니다.
"오, 실력이 늘고 있구나!": 만약 운전자의 실력이 꾸준히 좋아지고 있다면, 조수는 "오, 이건 단순한 운이 아니라 진짜 실력이 늘고 있는 거야!"라며 새로운 변화를 빠르게 인정하고 기준점을 높여줍니다.

즉, **'과거의 데이터'**와 '지금 막 들어온 새로운 정보' 사이에서 **"지금 이 정보를 얼마나 믿어야 할까?"**를 수학적으로 아주 정교하게 계산해서 AI에게 전달해 주는 것입니다.

4. 결과: "훨씬 빠르고 차분해진 학습"

연구팀이 이 '똑똑한 조수(K-Score)'를 붙여서 AI를 학습시켜 보니 놀라운 결과가 나왔습니다.

학습 속도가 엄청나게 빨라졌습니다: 기존 방식보다 훨씬 적은 시행착오만으로도 목표치에 도달했습니다. (예: CartPole 게임에서 약 4배나 빨라짐)
학습이 매우 안정적입니다: 그래프가 요동치지 않고 매끄럽게 올라갑니다. AI가 감정 기복(데이터 변동)에 휘둘리지 않고 차분하게 실력을 쌓아간다는 뜻입니다.

요약하자면!

이 논문은 **"AI가 학습할 때 받는 보상 신호가 너무 들쭉날쭉해서 생기는 혼란을, '칼만 필터'라는 똑똑한 수학적 필터를 사용해 '상황에 맞게 부드럽고 똑똑하게' 다듬어줌으로써, AI가 훨씬 빠르고 안정적으로 배울 수 있게 만들었다"**는 내용입니다.

[기술 요약] K-Score: 강화학습의 보상 정규화를 위한 원칙적 대안으로서의 칼만 필터

1. 문제 배경 (Problem Statement)

정책 경사(Policy Gradient) 기반의 강화학습 알고리즘(PPO, REINFORCE 등)은 고차원 및 연속적 행동 공간에서 강력한 성능을 발휘하지만, **보상 신호의 높은 분산(High Variance)**으로 인해 학습이 불안정하고 샘플 효율성이 떨어진다는 고질적인 문제를 안고 있습니다.

이를 해결하기 위해 기존에는 보상 정규화(Reward Normalization), 특히 이동 평균과 표준편차를 이용한 Z-score 정규화를 휴리스틱(Heuristic)하게 사용해 왔습니다. 그러나 기존 방식은 다음과 같은 한계가 있습니다:

비정상성(Non-stationarity) 대응 불가: 학습이 진행됨에 따라 정책이 변하면 보상 분포도 변하는데, 기존 방식은 보상 통계가 일정하다는 가정에 의존합니다.
하이퍼파라미터 민감도: 이동 평균을 위한 감쇠율(Decay rate) 등을 수동으로 튜닝해야 합니다.
불확실성 모델링 부재: 보상 신호에 포함된 노이즈나 불확실성을 통계적으로 고려하지 못합니다.

2. 제안 방법론 (Methodology: K-Score)

본 논문은 보상 정규화를 위해 베이지안 추정 이론인 **1차원 칼만 필터(1D Kalman Filter)**를 도입할 것을 제안합니다.

핵심 아이디어

보상의 평균값을 관찰 가능한 데이터가 아닌, 노이즈가 섞인 관측값을 통해 추정해야 하는 **잠재적 확률 과정(Latent Stochastic Process)**으로 모델링합니다.

수학적 모델링

잠재 보상 역학 (Latent Reward Dynamics): 보상 평균 $x_t$ $x_{t}$ 는 이전 상태에 프로세스 노이즈 $w_t$ $w_{t}$ 가 더해지며 변한다고 가정합니다.
- $x_t = x_{t-1} + w_t, \quad w_t \sim \mathcal{N}(0, Q)$
관측 모델 (Observation Model): 실제 관찰되는 리턴 $G_t$ $G_{t}$ 는 잠재 평균에 관측 노이즈 $v_t$ $v_{t}$ 가 더해진 값입니다.
- $G_t = x_t + v_t, \quad v_t \sim \mathcal{N}(0, R)$

칼만 필터 업데이트 과정

칼만 필터는 예측(Predict) 단계와 업데이트(Update) 단계를 반복하며 최적의 보상 평균( $x_t$ )과 그 불확실성( $P_t$ )을 재귀적으로 계산합니다.

칼만 이득(Kalman Gain, $K_t$ ): 이전 예측값과 새로운 관측값 사이의 신뢰도를 동적으로 결정합니다. 노이즈가 크면 관측값을 덜 믿고, 불확실성이 높으면 관측값을 더 반영합니다.
K-Score 정규화: 계산된 $x_t$ 와 $P_t$ 를 사용하여 리턴을 다음과 같이 정규화합니다.
$\hat{G}_t^{\text{Kalman}} = \frac{G_t - x_t}{\sqrt{P_t} + \epsilon}$

구현 변형

Simple Kalman: 고정된 $Q, R$ 값을 사용.
Adaptive Kalman: 관측 잔차(Residual)의 지수 이동 평균을 사용하여 관측 노이즈 $R_t$ 를 실시간으로 업데이트.

3. 주요 기여 (Key Contributions)

원칙적 대안 제시: 단순 휴리스틱이었던 보상 정규화를 베이지안 필터링 기반의 통계적으로 정당한(Principled) 방법론으로 대체했습니다.
적응형 메커니즘: 비정상적(Non-stationary)인 보상 환경에서도 칼만 이득을 통해 보상 분포의 변화를 스스로 추적합니다.
범용성 및 효율성: 기존 정책 네트워크 구조를 수정할 필요가 없는 Plug-and-play 방식이며, 계산 복잡도가 매우 낮아 기존 알고리즘(PPO, GAE, Actor-Critic 등)에 즉시 적용 가능합니다.

4. 실험 결과 (Results)

OpenAI Gym의 CartPole-v1과 LunarLander-v2 환경에서 실험을 진행했습니다.

수렴 속도 향상: PPO 알고리즘 기준, CartPole에서 Z-score 정규화 대비 약 3.97배 빠른 수렴 속도를 보였습니다.
학습 안정성: Z-score 방식에서 나타나는 초기 학습 단계의 급격한 보상 변동(Spikes and Collapses)이 칼만 필터를 적용했을 때 현저히 줄어들고 매끄러운 학습 곡선을 보였습니다.
적응형 모델의 우수성: 고정된 노이즈를 사용하는 Simple Kalman보다, 노이즈를 실시간 추적하는 Adaptive Kalman이 가장 빠르고 안정적인 성능을 기록했습니다.
Ablation Study: 프로세스 노이즈 $Q$ 가 작을수록(즉, 이전 상태를 더 신뢰할수록) 노이즈에 덜 민감하게 반응하여 수렴이 빨라짐을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 논문은 강화학습의 고질적인 문제인 보상 신호의 노이즈와 비정상성을 해결하기 위해 칼만 필터라는 고전적이고 강력한 도구를 현대적 RL 파이프라인에 성공적으로 결합했습니다.

결론적으로, K-Score는 추가적인 모델 파라미터 학습 없이도 보상 신호의 불확실성을 고려한 정규화를 가능하게 함으로써, 강화학습의 샘플 효율성과 학습 안정성을 동시에 개선할 수 있는 매우 실용적이고 강력한 방법론임을 입증하였습니다.