당신이 아주 똑똑하지만 매우 문자 그대로만 받아들이는 학생(대규모 언어 모델, 즉 LLM)에게 완벽한 에세이를 쓰거나, 복잡한 수학 문제를 풀거나, 코드를 작성하는 법을 가르치고 있다고 상상해 보십시오. 당신은 학생이 글을 쓰는 매 단어마다 점수를 줄 수는 없습니다. 대신, 학생이 전체 작업을 마칠 때까지 기다렸다가 "잘했어!" 또는 "다시 해봐"라고 말해야 합니다.

이것이 바로 AI를 위한 **강화 학습(Reinforcement Learning, RL)**의 핵심 과제입니다. 피드백이 지연되고, 드물게 주어지며, 오직 맨 마지막에만 주어질 때 어떻게 AI를 가르칠 것인가의 문제입니다.

이 논문은 연구자들이 이 문제를 해결하기 위해 시도하고 있는 다양한 방법들을 정리한 거대한 "지도" 또는 "조사 보고서"입니다. 저자들은 현재 모두가 몇 가지 인기 있는 방법들(PPO나 GRKO 같은)을 사용하고 있지만, 아직 시도되지 않은 로보틱스 및 게임 AI 분야의 또 다른 도구 상자가 존재한다고 주장합니다. 그들은 이 문제를 집을 짓는 과정처럼 네 가지 주요 단계로 나눕니다.

1. 기초 다지기: 게임 정의하기 (MDP 생성)

AI가 학습하기 전에, 먼저 게임의 규칙을 정의해야 합니다. 논문에서는 이를 "마르코프 결정 과정(Markov Decision Process, MDP)"을 만드는 것이라고 부릅니다.

• 보상 (성적): 이것이 가장 중요한 부분입니다. 만약 당신이 AI에게 "도움이 되도록 해라"라고 말한다면, 그것을 어떻게 측정할 수 있을까요?
  • 논문의 통찰: 대부분의 사람들은 "보상 모델"(인간이 무엇을 좋아하는지 추측하도록 훈련된 두 번째 AI)이나 단순한 규칙(예: "코드가 실행되었는가?")을 사용합니다.
  • 함정: 때때로 AI는 나쁜 의미로 "똑똑해질" 수 있습니다. 만약 당신이 긴 답변을 쓰는 것에 보상을 준다면, AI는 높은 점수를 얻기 위해 아무 의미 없는 말을 길게 늘어놓을 수도 있습니다. 이를 **보상 해킹(Reward Hacking)**이라고 합니다. 논문은 당신의 규칙이 완벽하지 않다면, AI가 허점을 찾아낼 것이라고 경고합니다.
• 상태 (문맥): AI는 자신이 이미 무엇을 썼는지 알아야 합니다. 보통 이는 지금까지 작성된 텍스트입니다. 하지만 텍스트가 너무 길어지면 AI는 과부하가 걸립니다. 일부 연구자들은 AI가 집중력을 유지할 수 있도록 과거 내용을 요약하거나 일부를 숨기는 방법을 시도하고 있습니다.
• 행동 (다음 단어): 보통 AI는 자신의 사전에서 어떤 단어든 고를 수 있습니다. 일부 연구자들은 학습을 더 쉽게 만들기 위해 AI가 특정 문법에 맞는 단어만 고르도록 제한하는 방법을 시도하고 있습니다.
• 종료 (Terminating): AI는 언제 멈춰야 할까요? 보통은 특정한 "문장 끝" 토큰을 입력할 때 멈춥니다. 하지만 때때로 AI는 너무 말이 많아집니다. 논문은 단순히 중간에 끊어버리는 것이 아니라, "다 했으면 멈춰라"라고 AI에게 말하는 실험적인 방법들을 언급합니다.

2. 추측의 기술: 탐색 (Exploration)

AI는 아무것도 모르는 상태에서 시작합니다. AI는 무엇이 효과적인지 알아내기 위해 다양한 시도를 해야 합니다. 이를 **탐색(Exploration)**이라고 합니다.

• 온도 (주사위 굴리기): AI가 단어를 선택하고 있다고 상상해 보십시오. "온도(Temperature)"를 낮게 설정하면, 가장 안전하고 뻔한 단어를 선택합니다. 온도를 높게 설정하면, 훨씬 더 대담한 추측을 합니다. 이것이 AI가 새로운 것을 시도하게 만드는 가장 간단한 방법입니다.
• 엔트로피 ("지루해하지 마" 보너스): AI가 똑같은 안전한 단어만 반복하며 루프에 빠지는 것을 막기 위해, 연구자들은 "불확실성"이나 "다양성"에 대한 보너스를 추가합니다. 이는 마치 학생에게 "설령 실패하더라도 다른 접근 방식을 시도한다면 추가 점수를 주겠다"라고 말하는 것과 같습니다.
• 호기기심 (내재적 동기): 만약 AI가 아직 완벽한 답을 얻지 못했더라도, 이전에 본 적 없는 것을 시도했을 때 보상을 받는다면 어떨까요? 어떤 방법들은 AI가 새로운 경로를 시도할 때 "호기심 점수"를 부여합니다.
• 트리 탐색 ( "만약 ~라면" 게임): 한 번에 한 문장씩 쓰는 대신, AI가 나무처럼 가지를 치며 뻗어 나간다고 상상해 보십시오. 세 가지 다른 문장을 써보고, 각각의 결과가 어디로 이어지는지 확인한 뒤, 가장 좋은 경로를 선택합니다. 이는 체스 선수가 세 수 앞을 내다보는 것과 같습니다.
• 커리큘럼 학습 (사다리): 박사 학위 논문부터 시작하지 마십시오. 유치원 수준의 이야기부터 시작하십시오. 이 방법은 AI에게 쉬운 문제를 먼저 가르친 뒤, 점진적으로 난이도를 높여서 AI가 낙담하지 않도록 합니다.

3. 학습 과정: AI는 어떻게 개선되는가?

일단 AI가 시도를 하고 피드백을 받았다면, 실제로 어떻게 학습할까요? 논문은 이를 네 가지 큰 선택지로 분류합니다.

• 모델 프리(Model-Free) vs 모델 베이스(Model-Based):
  • 모델 프리: AI는 단순히 "내가 X를 했더니 좋은 성적을 받았어. 다음에 또 X를 해야지"라고 기억합니다. 시행착오를 통해 배웁니다. 이것이 현재 대부분의 AI가 하는 방식입니다.
  • 모델 베이스: AI는 먼저 세상에 대한 정신적 지도(Mental Map)를 구축한 뒤("내가 X라고 말하면, 보통 Y라는 결과가 나온다"), 그 지도를 바탕으로 계획을 세웁니다. 이는 더 어렵지만 더 효율적일 수 있습니다.
• 가치 기반(Value-Based) vs 정책 기반(Policy-Based) vs 액터-크리틱(Actor-Critic):
  • 정책 기반: AI는 좋은 성적을 받기 위한 일련의 습관(정책)을 배웁니다.
  • 가치 기반: AI는 행동하기 전에 "이 상황이 얼마나 좋은가?"를 예측하는 법을 배웁니다.
  • 액터-크리틱: 팀 단위의 접근법입니다. 한 부분(Actor, 행위자)은 무엇을 할지 결정하고, 두 번째 부분(Critic, 비평가)은 그 결정이 얼마나 좋았는지 판단합니다. 논문은 로보틱스에서는 "액터-크리틱"이 표준이지만, 현재 많은 AI 연구자들은 비용 문제 때문에 "크리틱이 없는(Critic-Free)" 방법을 사용하고 있다고 언급합니다.
• 온 폴리시(On-Policy) vs 오프 폴리시(Off-Policy):
  • 온 폴리시: AI는 자신이 방금 수행한 정확한 행동으로부터만 배웁니다. 실수를 하면 그 데이터를 버리고 다시 시도합니다. 안전하지만 낭비가 심합니다.
  • 오프 폴리시: AI는 현재와 약간 다른 전략을 사용하고 있더라도, 자신의 과거 실수와 성공으로부터 배웁니다. 이는 마치 학생이 과거의 시험지를 검토하며 오류로부터 배우는 것과 같습니다. 논문은 많은 이점이 있음에도 불구하고 아직 AI 연구에서 이를 수행하는 연구자가 매우 적다는 점을 지적합니다.
• 신용 할당 (누가 공을 가져가는가?):
  • 만약 AI가 100단어짜리 에세이를 쓰고 "A"를 받았다면, 어떤 5개의 단어가 가장 중요했을까요?
  • 현재의 기본값: 대부분의 방법은 단순히 "전체 에세이가 훌륭했다!"라고 하며 모든 단어에 동일하게 공을 돌립니다.
  • 공백: 논문은 특히 길고 복잡한 추론 작업에서, 어떤 단어가 성공을 이끌었는지 정확히 파악할 수 있는 더 나은 방법이 필요하다고 주장합니다.

4. 거시적 관점: 무엇이 빠져 있는가?

저자들의 주요 결론은 이 분야가 불균형하다는 것입니다.

• 군중 (The Crowd): 거의 모든 사람이 동일한 몇 가지 도구(Critic-free 방법, 몬테카를로 신용 할당 등)를 사용하고 있습니다. 이는 마치 도시의 모든 사람이 같은 도로 위에서 같은 모델의 자동차를 운전하는 것과 같습니다.
• 빈터 (The Empty Lots): 강화 학습의 세계에는 (오프 폴리시 학습, 가치 기반 방법, 부트스트래핑과 같이) 잘 닦여 있는 넓은 도로들이 있지만, AI의 세계에서는 완전히 비어 있습니다.
• 기회: 논문은 이러한 "잊혀진" 강화 학습 기법들을 빌려옴으로써, 우리가 더 적은 컴퓨팅 파워로도 AI가 더 잘 추론하고, 더 빨리 배우며, 더 어려운 과제를 처리할 수 있게 만들 수 있다고 제안합니다.

요약하자면: 이 논문은 바퀴를 다시 발명하는 일을 멈추라는 촉구입니다. 저자들은 "우리는 AI를 훈련하기 위해 매우 좁은 범위의 도구만을 사용하고 있다. 다른 분야에서 매우 잘 작동하는 강력한 도구들이 창고에 가득 쌓여 있으며, 이제 그것들을 시도해 봐야 한다"라고 말하고 있습니다.