When are LLMs Sufficient Policy Optimizers for Sequential RL Tasks?

기술 요약: LLM은 언제 순차적 RL 태스크를 위한 충분한 정책 최적화 도구가 될 수 있는가?

문제 정의
강화학습(RL)은 환경과의 상호작용을 통해 기대 수익을 극대화하는 정책을 생성하는 것을 핵심 목표로 확립해 왔다. 그러나 표준 RL 알고리즘(예: PPO, SAC, DQN)은 상당한 환경 상호작용을 요구하며, 세심한 하이퍼파라미터 튜닝, 모델 아키텍처 선택 및 알고리즘 선택에 대한 의존성 때문에 계산 집약적이고 취약한 경우가 많다. 본 논문은 대규모 언어 모델(LLM)이 표준 RL 알고리즘을 대체할 수 있는 효과적인 "블랙박스" 정책 최적화 도구로서 기능할 수 있는지 조사한다. 구체적으로 저자들은 다음과 같은 질문을 던진다: LLM에게 상태 공간, 행동 공간, 보상 함수에 대한 Python 설명을 제공했을 때, LLs가 전형적인 RL의 광범위한 설계 결정이나 샘플 비효율성 없이 기대 수익을 극대화하는 정책을 생성하고 개선할 수 있는가?

방법론: 프롬프트 기반 정책 최적화 (PromptPO)
저자들은 LLM이 실행 가능한 Python 코드로 표현된 정책을 생성하는 반복 프레임워크인 PromptPO를 소개한다. 이 과정은 다음과 같이 작동한다:

1. 입력: LLM은 환경의 상태 공간, 행동 공간, 보상 함수에 대한 Python 형식의 설명을 받는다. 결정적으로, 저자들은 모델 프리(model-free) 설정에서 이 방법을 평가하기 위해 명시적인 전이 역학(transition dynamics)을 제공하는 것을 피한다.
2. 평가 함수 생성: 정책 생성 전에, LLM은 Feedback 클래스를 구현하도록 프롬프트됩니다. 이 클래스는 궤적 수준의 통계(예: 평균 보상, 최솟값/최댓값)를 요약하여, RL 알고리즘이 시간차 오차(TD error)를 사용하는 것과 유사하게 원시 보상 신호 이상의 감독을 제공한다.
3. 정책 생성: LLM은 관측값을 받아 기대 수익을 극대화하기 위한 행동을 출력하는 정책 클래스(Python으로 구현됨)를 생성하도록 프롬프트됩니다.
4. 반복적 개선:
   • $N$개의 후보 정책이 LLM으로부터 샘플링된다.
   • 각 정책은 환경에서 실행(rollout)된다.
   • 가장 높은 성능을 보이는 정책(수익 기준)이 선택된다.
   • LLM은 새로운 정책의 성능을 이전 시도 기록과 비교하는 자연어 성찰(reflection)을 받는다.
   • 이 피드백과 최적 정책의 이력을 사용하여, LLM은 다음 라운드를 위한 새로운 정책을 생성한다.
   • 코드 실행 오류가 발생하면, LLM은 관련 코드 산출물을 재구현하도록 프롬프트된다.

저자들은 모든 실험에 Gemini 3 Pro를 사용했다. 이 방법은 명시적인 프롬프트 없이도 규칙 기반 계획부터 가치 반복(Value Iteration)과 같은 계획 알고리즘에 이르기까지 다양한 최적화 전략을 구현하는 코드를 합성하는 LLM의 능력에 의존한다.

주요 기여
*로 프레임워크 도입: LLM을 직접적인 행동이나 파라미터 벡터를 출력하는 것이 아니라 실행 가능한 코드를 출력하는 정책 최적화 도구로 취급하는 방법으로서 PromptPO를 제안하였다.

• 경험적 벤치마킹: 네 가지 뚜렷한 도메인(하드 익스플로레이션 환경인 NoiseWorld, Point Maze; 로봇 조작인 Meta-World; 연속 제어인 MuJoCo; 실세계 제어 태스크인 팬데믹 완화, 혈당 모니터링, 교통 제어)에 걸친 포괄적인 평가를 수행하였다.
• 충분 조건 분석: LLM 기반 최적화가 충분한 경우와 실패하는 경우를 식별하고, 이를 환경에 대한 사전 지식이나 최적화 전략을 활용하는 능력과 연결하였다.

실험 결과
본 연구는 19개 환경에 대해 PromptPO를 표준 모델 프리 RL 베이스라인(PPO, SAC, DQN/QR-DQN, TD3)과 비교한다:

• 탐색 환경: PromptPO는 19개 환경 중 15개에서 최고의 RL 베이스라인과 대등하거나 이를 능가하는 성능을 보였다. NoiseWorld(무작위로 생성된 그리드 월드)와 Point Maze에서 PromptPO는 강력한 탐색 능력을 입증했다. 특히 NoiseWorld에서 PromptPO는 환경 피드백 업데이트 없이도 최적의 성능을 달하는 경우가 많았는데, 이는 LLM이 사전 지식을 활용하여 생성된 코드 내에 계획 알고리즘(예: 가치 반복, Dijkstra)을 직접 구현했음을 시사한다.
• 로보틱스 (Meta-World vs. MuJoCo):
  • Meta-World: PromptPO는 모든 태스크에서 RL보다 훨씬 더 높은 샘플 효율성을 보였으며, "Pick and Place" 태스크에서는 최종 RL 성능을 능가했다. 여기서 행동 공간은 말단 장치(end-effector)의 변위와 관련된다.
  • MuJoCo: PromptPO는 표준 RL 알고리즘보다 낮은 성능을 보였다. 저자들은 이를 미세한 연속 제어(관절 토크)의 필요성 때문으로 보며, 현재의 LLM이 이를 효과적으로 추론하는 데 어려움을 겪는다고 분석했다.
• 실세계 제어: 팬데믹 봉쇄 규제, 인슐린 투여, 자율 주행 차량 교통 제어를 포함하는 태스크에서 PromptPO는 상당히 높은 샘로 효율성을 보였으며(예: 팬데믹 완화에서 >60배), 동일한 훈련 예산 내에서 PPO보다 높은 최종 수익을 달성하는 경우가 많았다.
• 정책 유형: 명시적인 지시 없이도 PromptPO는 튜닝된 비례 제어기(proportional controllers), 규칙 기반 휴리스틱, 계획 알고리즘 등 다양한 정책 유형을 자율적으로 생성하며, 환경의 특성에 따라 전략을 적응시킨다.

의의 및 주장
본 논문은 LLM 기반 정책 최적화가 많은 순차적 의사결정 태스크에서 표준 RL의 충분하고 종종 더 우월한 대안이 될 수 있다고 주장하며, 특히 LLM이 환경에 대한 사전 지식이나 효과적인 최적화 전략을 활용할 수 있는 경우에 그러하다.

• 샘플 효율성: PromptPO의 주요 장점은 샘플 효율성으로, 이는 최적화 및 제어에 관한 구조적 지식을 인코딩한 방대한 데이터셋에 대한 LLM의 사전 학습에서 기인하며, 이를 통해 광범위한 환경 상호작용의 필요성을 줄인다.
• 접근성: PromptPO는 표준 방법론보다 적은 하이퍼파라미터와 알고리즘 설계 결정을 요구하므로 RL의 진입 장벽을 낮추어, 깊은 RL 전문 지식이 없는 실무자들도 접근할 수 있게 한다.
• 한계: 저자들은 이 방법이 미세한 연속 제어(예: MuJoCo 관절 토크)를 요구하거나, 보상 함수가 Python 함수가 아닌 (RLHF 등을 통해 학습된) 해석 불가능한 신경망인 환경에서는 아직 어려움이 있음을 겸허히 인정한다.
• 일반화: 결과는 PromptPO의 성공이 환경에 대한 특정 지식(무작위 생성된 NoiseWorld에서의 성공이 증명하듯)보다는 효과적인 최적화 전략에 대한 사전 지식에서 비롯될 가능성이 높음을 시사한다.

결론적으로, 본 논문은 LLM이 모든 영역에서 인간의 능력을 능가하지는 못할지라도, 광범위한 설정에서 고성능 정책을 생성하는 실용적이고 강력한 도구이며, 잠재적으로 실세계 응용 분야에서 RL의 폭넓은 도입을 촉진할 수 있다고 결론짓는다.