Gated Q-learning: Add Off-Policy Bias to Taste

당신이 로봇에게 미로를 탐험하여 숨겨진 보물을 찾는 법을 가르치고 있다고 상상해 보세요. 로봇은 이것저것 시도하며 배웁니다. 움직여보고, 벽에 부딪히고, 막다른 길을 발견하고, 때로는 우연히 금을 발견하기도 합니다. 이 과정을 **강화 학습(Reinforcement Learning)**이라고 합니다. 로봇의 목표는 시간이 흐름에 따라 어떤 움직임이 가장 많은 보물로 이어지는지 파악하는 것입니다. 이 과정의 핵심은 **신용 할당(Credit Assignment)**입니다. 즉, 긴 여정 중에서 실제로 최종 보상에 기여한 구체적인 단계가 무엇인지 알아내는 것입니다. 로봇이 금을 얻은 것이 바로 마지막 회전 때문이었을까요, 아니면 10분 전에 했던 똑똑한 움직임 때문이었을까요?

더 빠르게 배우기 위해, 로봇들은 종종 **Q-러닝(Q-learning)**이라는 기술을 사용합니다. 로봇은 게임이 끝날 때까지 기다렸다가 배우는 대신, 매 단계마다 자신이 알고 있는 미래의 가치를 이용해 현재의 가치를 추측하며 지식을 업데이트합니다. 하지만 여기에는 함정이 있습니다. 로봇은 탐험(무작위로 움직여 보는 것)을 하며 배우지만, 동시에 실수하지 않는 완벽하고 탐욕적인 전문가처럼 행동하기를 원합니다. 이는 갈등을 일으킵니다: 만약 로봇이 단순히 무엇이 일어나는지 보기 위해 했던 무작위적이고 "바보 같은" 움직임으로부터 배운다면, 스스로 나쁜 습관을 가르치게 될 수도 있습니다. 수십 년 동안 과학자들은 어려운 상황에 처해 있었습니다: 로봇이 "바보 같은" 움직임을 할 때마다 학습을 멈추거나(안전하지만 너무 느림), 혹은 모든 것에서 학습을 계속하거나(빠르지만 자신의 실수로부터 배울 위험이 있음) 둘 중 하나를 선택해야 했습니다.

이 논문은 **게이트 Q-러닝(Gated Q-learning)**이라는 영리한 새로운 해결책을 소개합니다. 저자인 브렛 데일리(Brett Daley)는 두 가지 장점을 모두 가질 수 있는 방법을 제안합니다. 학습을 위한 엄격한 "온/오프" 스위치 대신, 그들은 "게이트" 또는 "조광기(dimmer switch)"를 도입합니다. 로봇이 바보 같은, 탐험적인 움직임을 할 때 게이트가 완전히 닫히는 것이 아니라, 약간만 닫히게 됩니다. 이를 통해 로봇은 자신의 무작위 실험 때문에 혼란을 겪지 않으면서도, 긴 사건의 사슬로부터 계속해서 배울 수 있게 됩니다. 컴퓨터 시뮬레이션을 통해, 이 논문은 이 "딱 적당한" 접근 방식이 기존의 극단적인 방법들보다 훨씬 빠르게 학습하며, 실수를 너무 많이 하지 않으면서도 빠르게 배우는 최적의 지점을 찾아낸다는 것을 보여줍니다.

문제점: "전부 아니면 전무(All or Nothing)"의 딜레마

당신이 축구 선수를 훈련시키는 코치라고 상상해 보세요. 선수는 경기를 배우고 있지만, 동시에 어떤 일이 일어나는지 보기 위해 새롭고 이상한 킥을 실험하고 있습니다.

• 방법 A (엄격한 코치): 선수가 이상하고 실험적인 킥을 시도할 때마다 코치는 "멈춰! 그건 잊어버려!"라고 소리치며 훈련을 초기화합니다. 이는 선수가 나쁜 움직임으로부터 배우지 않기 때문에 안전하지만, 대부분의 시간을 멈추고 초기화하는 데 보내기 때문에 매우 느리게 배웁니다. 이것이 **왓킨스의 Q(λ) [Watkins' Q(λ)]**와 같습니다.
• 방법 B (너그러운 코치): 코치는 선수가 끔찍하고 실험적인 킥을 한 후에도 계속 진행하도록 둡니다. 코치는 "그래, 방금 건 나쁜 킥이었지만, 다음에 어떤 일이 일어나는지 보자!"라고 말합니다. 이는 빠르긴 하지만, 만약 나중에 운이 좋다면 선수가 "나쁜 킥도 괜찮다"라고 잘못 배울 수도 있습니다. 이것이 **펭의 Q(λ) [Peng's Q(λ)]**와 같습니다.

30년 동안 코치들(또는 AI 연구자들)은 너무 엄격하고 느린 쪽과, 너무 너그럽고 위험한 쪽 사이에서 선택해야 했습니다. 이를 해결하려는 현대적인 시도들은 대개 "중요도 샘플링(importance sampling)"이라는 복잡한 수학을 사용하지만, 그 수학은 로봇이 탐욕적이고 완벽한 전문가가 되려고 할 때 제대로 작동하지 않습니다. 그것은 마치 깃털의 무게를 재기 위해 복잡한 저울을 사용하는 것과 같습니다. 그 도구는 이 특정 작업에 맞지 않습니다.

해결책: "게이트"

이 논문은 코치와 선수 사이의 스마트하고 조절 가능한 게이트 역할을 하는 **게이트 Q-러닝(Gated Q-learning)**을 소개합니다.

단순한 "정지"나 "전진" 대신, 이 게이트는 조광기(dimmer switch)와 같습니다. 선수가 표준적이고 똑똑한 움직임을 할 때 게이트는 활짝 열려 있습니다(전체 학습). 하지만 선수가 이상하고 실험적인 움직임을 할 때, 게이트는 완전히 닫히지 않습니다. 대신, 부분적으로 닫힙니다.

물 파이프를 생각해보세요.

• 엄격한 코치는 물이 조금이라도 탁해 보이면 파이프를 완전히 잠가 버립니다.
• 너그러운 코치는 탁한 물이 시스템에 범람하도록 내버려 둡니다.
• 게이트 Q-러닝은 파이프에 필터를 설치합니다. 만약 물이 탁하다면(실험적인 움직임으로부터), 필터는 그 물을 조금만 통과시키되 어느 정도 정화합니다. 즉, "좋아, 이것으로부터 조금은 배우겠지만, 완벽한 움직임일 때만큼 많이 배우지는 않을 거야"라고 말하는 것입니다.

이 "게이트"는 연구자가 **χ (카이)**라고 부르는 숫자에 의해 제어됩니다.

• χ = 0이면, 나쁜 움직임에 대해 게이트가 꽉 닫힙니다 (엄격한 코치와 같음).
• χ = 1이면, 게이트가 활짝 열려 있습니다 (너그러운 코치와 같음).
• χ = 0.5이면, 게이트가 절반쯤 열려 있어 중간 정도의 학습량을 허용합니다.

연구 결과

저자는 이 아이디어를 간단한 "무작위 보행(random walk)"(로봇이 올바른 끝을 찾아야 하는 19개의 지점이 있는 직선)의 컴퓨터 시뮬레이션에서 테스트했습니다. 그들은 로봇이 얼마나 빨리 배우는지, 얼마나 멀리까지 돌아보는지, 그리고 게이트가 얼마나 열리는지에 대한 설정을 바꾸며 수천 번의 실험을 수행했습니다.

시뮬레이션 결과는 다음과 같습니다:

1. 최적의 지점이 존재한다: 게이트가 "중간" 수준(χ = 0.45 정도)으로 설정되었을 때 로봇이 가장 빠르게 학습했습니다. 완전히 열려 있지도, 완전히 닫혀 있지도 않은 상태였습니다.
2. 더 빠른 학습: 이 중간 게이트를 사용함으로써, 로봇은 엄격한 코치와 너그러운 코치보다 현저히 빠르게 학습했습니다. 로봇은 자신의 무작위 실험 때문에 혼란을 겪지 않으면서도, 보상의 원인을 파악하기 위해 더 먼 과거를 돌아볼 수 있었습니다.
3. 강건성(Robustness): 결과는 놀라울 정도로 관대했습니다. 게이트가 완벽한 숫자만큼 정확하지 않더라도, 중간 범위(0.2에서 0.6 사이)에만 있다면 로봇은 여전히 매우 잘 학습했습니다.

이 마법 뒤에 숨겨진 이론

이 논문은 단순히 이것이 작동한다는 것을 보여주는 데 그치지 않고, 수학을 사용하여 왜 작동하는지를 증명합니다. 그들은 이 "게이트" 방식이 **수축 사상(contraction mapping)**임을 보여주었습니다. 간단히 말해, 이는 로봇이 지식을 업데이트할 때마다 수학적으로 진리에 가까워지며, 루프에 빠지거나 통제 불능 상태가 되지 않음을 의미합니다.

또한 그들은 로봇이 결국 특정한 "고정점(fixed point)"에 도달한다는 것을 증명했습니다. 이 고정점은 (로봇이 여전히 실수로부터 조금은 배우기 때문에) 완벽한 전문가는 아니지만, 실수를 전혀 배우려 하지 않는 모델들보다 훨씬 빠르게 학습한 매우 훌륭한 전문가입니다. 수학은 게이트를 조정함으로써 당신이 빠른 학습을 위해 어느 정도의 "편향(bias, 실수로부터의 학습)"을 수용할 것인지를 정확하게 제어할 수 있음을 확인해 줍니다.

이것이 중요한 이유

이 논문은 우리가 AI 훈련에서 안전성과 속도 사이에서 반드시 하나를 선택해야 하는 것은 아님을 시사합니다. 탐험의 노이즈를 부분적으로 걸러내는 "게이트"를 추가함으로써, 우리는 긴 사건의 사슬로부터 효율적으로 학습하는 에이전트를 구축할 수 있습니다. 비록 이것이 단순한 시뮬레이션에서 테스트되었지만, 저자는 이 방법이 중요도 샘플링의 복잡한 수학 없이도 더 빠르게 학습할 수 있도록 복잡한 AI 시스템(비디오 게임이나 로봇 공학에 사용되는 시스템 등)에 쉽게 적용될 수 있다고 믿습니다. 이것은 AI 연구자들의 30년 된 골칫거리를 해결하는 단순하고 우아한 수정 방식입니다.