When in Doubt, Plan It Out: Committed Small Language Model Deliberation for Reactive Reinforcement Learning

기술 요약: PACT (Plan, Align, Commit, Think)

문제 정의

표준 모델 프리(model-free) 정책으로 훈련된 강화 학습(RL) 에이전트는 익숙한 환경에서는 뛰어나지만, 낯선 조건이나 새로운 맥락에 배치될 때 성능이 크게 저하됩니다. 이러한 한계는 이들의 순수하게 반응적인(reactive) 본질에서 기인합니다. 즉, 이들은 명시적인 숙고나 앞날을 내다보는 과정(lookahead) 없이 상태를 행동으로 매핑할 뿐입니다. 대규모 언어 모델(LM)은 고수준 계획 수립에 적합한 전이 가능한 지식과 상식적 추론을 제공하지만, 이 도메인에서 두 가지 결정적인 장벽에 직면합니다:

1. 신뢰성: 최첨단 LM조차도 스스로는 일관된 다단계 계획 수립 및 상태 추적에 어려움을 겪습니다.
2. 효율성: 거대 모델은 계산 비용이 많이 들어, 저지연 실시간 의사결정에는 부적합합니다.

기존의 하이브리드 접근 방식은 종종 LM을 단계별 조언자(불확실한 매 단계마다 모델에 질의)로 취급하거나, BDI 시스템처럼 계획 모델을 수동으로 설계해야 하며, 이는 비용이 많이 드는 재학습 없이 반응적 실행과 장기적 계획 사이의 간극을 메우는 데 실패합니다.

방법론: PACT 아키텍처

저자들은 빠른 반응형 RL 정책과 느린 심사숙고형 소형 언어 모델(SLM) 플래너를 통합하는 하이브리드 아키텍처인 **PACT (Plan, Align, Commit, Think)**를 제안합니다. 카네만(Kahneman)의 이중 프로세스 이론과 믿음-욕구-의도(BDI) 시스템에 기반하여, PACT는 의사결정을 두 가지 구성 요소로 분리합니다:

1. 빠른 구성 요소 (반응형 RL): 사전 훈련된 정책(예: PPO)은 익숙한 조건에서 의사결정을 처리합니다. 이는 별도의 트리거가 발생하지 않는 한 지속적으로 작동합니다.
2. 느린 구성 요소 (심사숙고형 SLM): 비동기식 SLM(구체적으로 2B 파라미터 모델)은 RL 정책의 **인식적 불확실성(epistemic uncertainty)**이 미리 정의된 임계값($\tau$)을 초과할 때만 호출됩니다.

PACT 프로세스는 세 가지 뚜렷한 모듈로 구성됩니다:

• 계획 생성 (Plan Generation): 높은 불식성이 감지되면, SLM은 작업 설명과 현재 관측치를 입력받아 최대 $n$단계의 후보 행동 시퀀스($\rho$)를 생성합니다. 이 생성 과정은 프롬프트 내에서 미래 상태를 시뮬레이션하기 위해 수작업으로 제작되거나 학습된 전이 함수(transition function)에 의존합니다.
• 계획 검증 (Plan Verification): 후보 계획은 안전성(제약 조건 위반 여부), 실행 가능성(행동 공간 내 존재 여부), 완전성(목표 도달 여부)을 보장하도록 시뮬레이션됩니다. 위반이 발생하면 SLM은 안전한 계획을 다시 생성하도록 유도됩니다.
• 에이전트 정렬 (Agent Alignment): 이 모듈은 계획 수립에 사용된 이상적인 시뮬레이션과 에이전트의 실제 현재 상태 사이의 간극을 메웁니다. 확률적 전이로 인해 에이전트가 계획에서 벗어난 경우, SLM은 에이전트를 검증된 계획의 가장 가까운 웨이포인트(waypoint)로 다시 안내할 짧은 궤적을 생성하도록 요청받습니다.

실행 전략: 계획이 검증되고 정렬되면, 시스템은 이를 **확정(commit)**합니다. 반응형 RL 정책은 우회되며, 에이전트는 계획으로부터 행동을 직접 실행합니다. 이는 계획이 완료되거나, 목표에 도달하거나, 혹은 실패가 발생할 때까지 지속됩니다. 이 확정 메커니즘은 매 단계마다 모델을 다시 질의하여 편차로부터 회복하는 능력이 부족한 단계별 조언 방식과 PACT를 구분 짓는 특징입니다.

주요 기여

• 하이브리드 아키텍처: RL 정책의 재학습 없이 반응형 RL과 심사숙고형 SLM 계획을 결합한 새로운 프레임워크를 제시합니다.
• 확정 메커니즘: 단계별 조언자와 달리, PACT는 검증된 구조적 궤적을 확정하고, 매 단계 모델을 다시 질의하는 대신 정렬을 통해 확률적 편차로부터 회복할 수 있게 합니다.
• 소형 모델을 통한 효율성: 검증 및 확정 루프 내에 래핑된 2B 파라미터 SLM이 복잡하고 불확실한 환경에서 더 큰 모델이나 단독 RL 정책보다 뛰어난 성능을 보일 수 있음을 입증했습니다.
• 불확실성 트리거 계획: 시스템은 RL 정책이 인식적 불확한 상태일 때만 심사숙고를 호출함으로써, 속도와 계획 깊이 사이의 트레이드오프를 최적화합니다.

실험 결과

저자들은 난이도가 점진적으로 증가하는 세 가지 구성의 FrozenLake 환경에서 PACT를 평가했습니다:

1. 6×6 (결정론적): PACT는 0.98 ± 0.14의 보상을 달성하여 PPO(0.93), 단독 SLM(0.47), 그리고 다른 LM-RL 베이스라인(SAYCAN: 0.88, ASK: 0.89)을 능가했습니다.
2. 6×6 (확률적/미끄러운 환경): PACT는 높은 성능(0.93 ± 0.26)을 유지하며 확률적 환경에 대한 강건성을 보여주었습니다. 반면 PPO는 0.64, SAYCAN은 0.53, ASK는 0.63으로 떨어졌습니다. PACT는 확률적 편차로 인해 에피소드당 평균 2.85회의 재계획(replan)이 필요했지만 높은 성공률을 유지했습니다.
3. 8×8 (장기 호라이즌): PACT는 분산 없이 완벽한 1.00 ± 0.00의 보상을 달성했습니다. PPO는 0.79, SAYCAN은 0.62, ASK는 0.74로 하락했습니다. 단독 SLM은 (검증 없는) 방향 없는 방황으로 인해 높은 분산과 함께 낮은 성능(0.42)을 보였습니다.

주요 발견:

• LM 사용량 vs 성능: PACT의 성능은 LM 질의 빈도가 아니라, 생성된 계획의 **구조와 확정(commitment)**에 상관관계가 있습니다. 예를 들어, 확률적 설정에서 SAYCAN은 유사한 비율(59.7%)로 LM을 질의했으나, 계획 확정이 없었기 때문에 훨씬 낮은 보상(0.53)을 기록했습니다.
• 확장성: PACT의 LM 사용량은 작업 난이도에 따라 증가했습니다 (결정론적 27.9%, 확률적 58.4%, 장기 호라이즌 81.2%). 이는 시스템이 환경의 요구에 따라 심사숙고 자원을 동적으로 할당함을 나타냅니다.

의의 및 주장

본 논문은 심사숙고적 계획과 반응적 실행이 결합되었을 때 각각 단독으로 존재할 때보다 더 강력하다고 주장합니다. 구체적으로 PACT는 다음을 입증합니다:

• 확정(Commitment)의 중요성: LLM을 단계별 조언자로 취급하는 대신, 검증된 계획에 확정하고 다시 정렬하는 능력이 다른 방식이 갖지 못한 확률적 변동성과 장기 호라이즌에 대한 강건성을 제공합니다.
• 검증을 통한 규모 요구사항 완화: 시뮬레이션에 기반한 검증 루프를 통해 SLM을 래핑함으로써, 시스템은 신뢰할 수 있는 계획 수립을 위해 거대한 파라미터 수를 요구하지 않습니다. 2B 파라미터 모델로도 충분합니다.
• 재학습 불필요: 이 아키텍처는 RL 정책의 비용이 많이 드는 재학습이나 미세 조정 없이도 기존의 사전 훈련된 에이전트를 LLM과 통합할 수 있게 합니다.

한계점:
저자들은 PACT가 현재 계획 시뮬레이션을 위해 수작업 또는 학습된 전이 함수에 의依赖하고 있으며, 이는 해당 역학(dynamics)을 사용할 수 있는 환경으로 적용 범위를 제한한다는 점을 인정합니다. 또한, 평가는 직접 목표 달성 과제로 제한되었으며, 복잡한 하위 목표 분해(예: "Door Key" 환경)가 필요한 작업에서의 성능은 향후 경험적 검증이 필요한 과제로 남아 있습니다.