Generalized Kalman filter based temporal difference reinforcement learning

로봇에게 미로를 탐색하는 법을 가르치려 한다고 상상해 보세요. 하지만 당신에게는 지도가 없습니다. 단지 로봇이 벽에 부딪히면 "아얏"(부정적 보상)을 받고, 출구를 찾으면 "야호"(긍정적 보상)를 받는다는 사실만 알고 있습니다. 이것이 바로 에이전트가 시행착오를 통해 학습하는 **강화 학습(Reinforcement Learning)**의 세계입니다. 핵심 과제는 미로의 모든 지점에 대한 "가치(value)"를 파악하는 것입니다. 즉, 지금 이 자리에 있는 것이 얼마나 좋은가 하는 점이죠. 전통적인 방식은 마치 노트를 적는 학생처럼, 움직일 때마다 자신의 추측을 업데이트합니다. 하지만 이러한 추측은 종종 단순한 숫자 하나에 불과하며, 그 숫자에 대해 자신이 얼마나 확신이 없는지는 무시하곤 합니다.

이제, 단순히 추측을 적는 것에 그치지 않고, 그 추측에 대해 얼마나 확신하는지도 함께 적는다고 상상해 보세요. 만약 왼쪽으로 가는 길에 90% 확신이 있다면 빠르게 움직이고, 확신이 50%뿐이라면 주춤거리며 주변을 더 살피는 식입니다. 이 논문은 **베이지안 강화 학습(Bayesian Reinforcement Learning)**이라는 과학의 한 분야를 다룹니다. 이는 상황의 "가치"를 고정된 사실이 아니라, 중심점(최선의 추측)과 퍼짐 정도(불확실성)를 가진 가능성의 구름으로 취급하려는 시도입니다. 저자들은 물리 및 공학에서 빌려온 도구인 **칼만 필터(Kalman Filter)**를 사용하여 이러한 추측을 더 똑똑하게 업데이트하는 방법을 구축하고 있습니다. 칼만 필터를 아주 똑똑한 항해사라고 생각해보세요. 이 항해사는 예측과 새로운 측정값을 끊임없이 결합하며, 데이터가 얼마나 노이즈가 심한지에 따라 새로운 데이터를 얼마나 신뢰할지 자동으로 결정합니다.

"Generalized Kalman Filter based Temporal Difference Reinforcement Learning"이라는 제목의 이 논문은 GMKF-TD라는 새로운 프레임워크를 제안합니다. 저자들은 학습 과정을 단순한 수학적 업데이트가 아니라 확률적 추론 문제로 볼 수 있다고 주장합니다 가치 함수를 평균과 분산(불확실성)을 가진 확률 변수로 취급함으로써, 세상이 무질서하거나 비선형적이거나 놀라운 일들로 가득 차 있을 때도 더 견고하게 작동하는 학습 알고리즘을 만들 수 있다고 말합니다. 그들은 단순히 이론적으로 작동한다고 주장하는 데 그치지 않고, 매우 다른 두 가지 문제인 '용수철에 매달린 튀는 질량'과 '밀폐된 상자 안의 열 흐름' 문제에 대해 테스트했습니다. 그들의 시뮬레이션은 이 방법이 표준 방식에 비해 더 빠르게 학습하며, AI가 자신의 결정에 대해 얼마나 확신하는지에 대한 훨씬 더 명확한 그림을 제공한다는 것을 보여줍니다.

불확실한 학습자의 이야기

강화 학습의 세계에서 에이전트는 게임의 규칙을 배우려는 호기나 가득한 탐험가와 같습니다. 목표는 시간이 지남에 따라 얻는 총 "점수"(보상)를 극대화하는 것입니다. 이를 위해 에이전트는 **가치 함수(Value Function)**를 알아야 합니다. 이는 에이전트에게 "이 지점에 있다면, 장기적으로 얼마나 좋을 것인가?"를 알려주는 지도와 같습니다.

표준 템포럴 디퍼런스(Temporal Difference, TD) 학습과 같은 기존 방식은 새로운 정보가 들어올 때마다 숫자를 추측하고 조금씩 조정하는 사람과 비슷하게 행동합니다. 이들은 예상했던 것과 실제로 일어난 것 사이의 차이("오차")를 바탕으로 추측을 업데이트합니다. 하지만 함정이 있습니다. 이러한 방식은 대개 숫자 하나만을 제공합니다. 에이전트가 막연하게 추측하고 있는지, 아니면 절대적으로 확신하고 있는지 알려주지 않습니다. 이는 마치 기상 예보가 "기온은 72°F입니다"라고 말하면서도, 그것이 확실한 예측인지 아니면 터무니없는 추측인지는 알려주지 않는 것과 같습니다.

이 논문은 이 추측 게임에 대한 새로운 사고방식을 소개합니다. 저자들은 가치 함수를 단일 숫자가 아니라 가능성의 구름으로 취급할 것을 제안합니다. 그들은 **조건부 기대값(Conditional Expectation)**이라는 수학적 개념을 사용하는데, 이는 "현재 알고 있는 바를 바탕으로 내릴 수 있는 최선의 추측"이라는 뜻의 멋진 표현입니다. 하지만 여기서 반전이 있습니다. 그들은 최선의 추측에서 멈추지 않습니다. 또한 불확실성(구름의 크기)도 계산합니다.

이를 위해 그들은 칼만 필터라는 유명한 도구를 응용합니다. 자율주행 자동차나 우주 임무에서 들어보셨을 수도 있습니다. 칼만 필터는 예측과 새로운 측정값을 결합하는 데 탁와합니다. 자동차가 특정 위치에 있다고 생각하지만 GPS가 다른 곳을 가리킨다면, 필터는 GPS 신호가 얼마나 "노이즈가 심한지"에 따라 GPS를 얼마나 신뢰할지 결정합니다. GPS가 불안정하면 자동차의 예측을 더 신뢰하고, GPS가 선명하면 GPS를 더 신뢰합니다.

저자들은 강화 학습이 본질적으로 이와 동일한 문제라는 점을 깨달았습니다. 에이전트는 가치에 대한 예측을 가지고 있고, 그다음 새로운 데이터(보상)를 받습니다. 단순히 숫자를 맹목적으로 업데이트하는 대신, 그들의 새로운 방법인 GMKF-TD는 "칼만 이득(Kalman Gain)"을 사용하여 추측을 얼마나 바꿀지 자동으로 결정합니다. 에이전트가 현재 지식에 대해 매우 불확실하다면 이득이 높아져서 빠르게 학습합니다. 이미 매우 확신하고 있다면 이득이 낮아져서 느리게 학습합니다. 이는 프로그래머가 "학습률"(AI 튜닝의 흔한 골칫거리)을 일일이 조절하지 않아도 자동으로 이루어집니다.

"일반화"와 "비선형"의 마법

저자들은 자신들의 방법이 기존 칼만 필터의 주요 규칙을 깨뜨리기 때문에 "일반화(Generalized)"되었다고 부릅니다. 전통적인 칼만 필터는 세상이 선형적(직선)이고 가우시안 분포(종 모양 곡선)를 따를 때만 잘 작동합니다. 하지만 실제 세상은 무질서합니다. 사물은 휘어지고, 뒤틀리며, 예측 불가능하게 움직입니다.

논문은 조건부 기대값 이론으로부터 직접 이 방법을 유도함으로써 비선형 및 비가우시안 상황을 처리할 수 있다고 주장합니다. 그들은 단순히 세상이 직선이라고 가정하지 않고, 수학이 휘어질 수 있도록 허용합니다. 이를 계산 가능하게 만들기 위해, 그들은 불확실성의 "구름"을 표현하는 두 가지 영리한 트릭을 사용합니다:

1. 앙상블(Ensembles): 각기 조금씩 다른 추측을 가진 1,0로 개의 서로 다른 에이전트 버전을 만들어 동시에 실행한다고 상상해 보세요. 그들의 답변이 퍼져 있는 정도가 불확실성을 알려줍니다.
2. 다항 카오스 전개(Polynomial Chaos Expansion, PCE): 이는 복잡하고 구불구불한 구름을 매끄러운 수학적 구성 요소(다항식)의 집합으로 설명하는 것과 같습니다. 이는 수천 개의 별도 에이전트를 필요로 하지 않고도 불확실성의 형태를 설명하는 더 효율적인 방법입니다.

이론 검증: 용수철과 열

이론을 증명하기 위해 저자들은 두 가지 시뮬레이션을 실행했습니다.

1. 튀는 용수철:
먼저, 질량-용수철-댐퍼 시스템이라는 간단한 모델로 테스트했습니다. 무게추가 용수철에 매달려 위아래로 튀어 오르는 모습을 상상해 보세요. 목표는 이 움직임을 최대한 빨리 멈추도록 제어하는 것입니다. 이는 물리학이 직관적인 "선형" 문제입니다.

• 결과: GMKF-TD 알고리즘은 표준 방식보다 더 빠르고 정확하게 최적의 제어 전략을 학습했습니다. 하지만 진짜 승리는 불확실성에 있었습니다. 알고리즘은 학습함에 따라 "확신도"(분산)가 떨어지는 것을 보여주었습니다. 즉, 언제 확신하고 언제 추측하고 있는지를 스스로 알고 있었던 것입니다. 표준 방식은 그저 숫자 하나를 내놓을 뿐, 자신의 불확실성에는 눈을 감고 있었습니다.

2. 뜨거운 상자:
다음으로 훨씬 어려운 단계로 넘어갔습니다. 열이 발생하는 벽이 있는 2D 공동(cavity) 문제입니다. 이는 나비에-스토크스(Navier-Stokes) 방정식에 의해 지배되는, 상자 안에서 열이 흐르는 물리 문제입니다. 목표는 열 전달을 최소화하기 위해(열을 안에 가두기 위해) 벽을 어떻게 가열할지 알아내는 것입니다. 이는 소용돌이치는 전류와 복잡한 상호작용이 가득한 비선형 문제입니다.

• 결과: 이 복잡하고 비선형적인 세상에서도 GMKF-TD 방식은 작동했습니다. 이 방법은 표준 방식만큼이나 효과적으로 열을 제어하는 방법을 찾아냈지만, 역시 내장된 확신도를 가지고 있었습니다. 알고리즘은 새로운 관찰로부터 얼마나 배울지를 자동으로 조정했습니다. 데이터에 노이즈가 많을 때는 신중했고, 데이터가 명확할 때는 빠르게 학습했습니다.

이것이 왜 중요한가

이 논문은 학습을 확률적 추론 문제로 취정함으로써 AI 에이전트를 더 똑똑하고 효율적으로 만들 수 있음을 시사합니다. 에이전트가 얼마나 빨리 배울지를 수동으로 튜닝하는 번거로운 과정(시행착오의 연속) 대신, GMKF-TD 방식은 에이전트가 얼마나 불확실한지에 따라 매 단계마다 완벽한 학습 속도를 계산합니다.

시뮬레이션에서 저자들은 이 접근 방식이 더 빠른 수렴(정답을 더 빨리 찾아냄)과 더 나은 안정성을 가져온다는 것을 발견했습니다. 또한 안전망도 제공합니다. 불확실성을 앎으로써, 에이전트는 불확실할 때는 더 많이 탐색하고, 확신할 때는 아는 것을 활용하도록 결정할 수 있습니다. 이는 단순히 "무언가를 아는" AI를 넘어, 자신이 "그것을 얼마나 잘 알고 있는지"까지 아는 AI를 향한 큰 도약입니다.

저자들은 시뮬레이션에서는 수학적 결과가 훌륭해 보이지만, 실제 세상은 훨씬 더 무질서하다는 점을 주의 깊게 언급합니다. 특히 수학이 너무 복잡해지면 이러한 불확실성을 완벽하게 계산하는 것이 어렵다는 점을 지적합니다. 그러나 그들의 연구는 단순한 "추측과 확인" 식의 학습을 넘어, 더 정교하고 자기 인식이 가능한 지능의 형태로 나아갈 수 있다는 탄탄한 토대를 마련했습니다. 이는 마치 단순히 답을 암기하는 학생에서, 자신의 지식의 깊이를 이해하는 학생으로 업그레이드되는 것과 같습니다.