기술 요약: ENVRL - 에이전트 강화 학습에서의 환경 역학 학습

1. 문제 정의

강화 학습(RL)은 복잡하고 긴 호흡의 작업(예: 웹 네비게이션, 소프트웨어 상호작용)을 수행할 수 있는 자율 에이전트로 대규모 언어 모델(LLM)을 훈련하는 표준 패러다임이 되었습니다. 그러나 기존의 에이전트형 RL 알고리즘(GRPO 및 RLOO 등)은 주로 에피소드가 완료되었을 때만 이진 피드백을 제공하는 **결과 기반 보상(outcome-based rewards)**에 의존합니다.

긴 호흡의 다회차(multi-turn) 문맥에서, 이러한 희소한 피드백은 심각한 학습 과제를 야기합니다. 저자들은 이러한 접근 방식이 롤아웃 상호작용 궤적(rollout interaction trajectories)에 포함된 풍부한 **환경 역학 정보(environment dynamics information)**를 간과하고 있다고 주장합니다. 에이전트가 환경과 상호작용하는 동안, 에이전트는 행동에 반응하여 환경이 어떻게 진화하는지를 설명하는 밀도 높은 신호를 암시적으로 담고 있는 경험을 생성합니다. 기존 방법들은 이러한 암시적 감독(implicit supervision)을 활용하지 못해, 환경에 대한 정확한 내부 모델을 구축하고 견고한 결정을 내리는 에이전트의 능력을 제한합니다.

2. 방법론: ENVRL 프레임워크

본 논문은 에이전트형 RL에 환경 역학 학습을 통합하도록 설계된 ENVRL 프레임워크를 제안합니다. 핵심 아이디어는 상호작용 경험을 기본 RL 목적 함수를 보완하는 자기 지도 학습 신호로 변환하는 것입니다. ENVRL은 두 가지 보조 목적 함수를 도입합니다.

A. 상태 예측 (State Prediction, SP)

이 목적 함수는 **순방향 환경 역학(forward environment dynamics)**을 모델링합니다. 현재 상태 $s_t$와 선택된 행동 $a_t$가 주어졌을 때, 에이전트는 다음 환경 상태 $s_{t+1}$을 예측하도록 훈련됩니다.

• 메커니즘: 텍스트 환경에서 $s_{t+1}$은 다음 단계의 텍스트 관찰값입니다. 이 목적 함수는 예측된 상태와 실제 다음 상태 사이의 교차 엔트로피 손실을 최소화합니다:
  $$L_{SP}(\theta) = -E_{(s_t, a_t, s_{t+1}) \sim D_{\pi_\theta}} [\log p_\theta(s_{t+1} | s_t, a_t)]$$
• 목표: 에이전트가 자신의 행동이 후속 관찰을 어떻게 형성하는지 내재화하도록 장려합니다.

B. 역역학 (Inverse Dynamics, ID)

이 목적 함수는 **역방향 인과관계(backward causality)**를 모델링합니다. 연속된 두 상태 $(s_t, s_{t+1})$가 주어졌을 때, 에이전트는 전이를 일으킨 행동 $a_t$를 추론하도록 훈련됩니다.

• 메커니즘: 이 목적 함수는 행동을 복구하기 위한 교차 엔트로피 손실을 최소화합니다:
  $$L_{ID}(\theta) = -E_{(s_t, a_t, s_{t+1}) \sim D_{\pi_\theta}} [\log p_\theta(a_t | s_t, s_{t+1})]$$
• 목표: 자신의 행동과 환경 변화 사이의 인과적 연결에 대한 이해를 강화하여, 불필요한 관찰 세부 사항을 걸러내는 데 도움을 줍니다.

C. 감쇠를 이용한 공동 온라인 최적화 (Joint Online Optimization with Decay)

전체 학습 목적 함수는 기본 RL 손실($L_{RL}$)과 보조 손실($L_{SP}$ 및 $L_{ID}$)을 결합합니다:
$$L(\theta; t) = L_{RL}(\theta) + \lambda_{SP}(t) L_{SP}(\theta) + \lambda_{ID}(t) L_{ID}(\theta)$$

초기 역학 학습의 필요성과 후기 단계의 보상 극대화 사이의 균형을 맞추기 위해, 저자들은 **계수 감쇠 메커니즘(coefficient decay mechanism)**을 사용합니다. 가중치 $\lambda_{SP}(t)$와 $\lambda_{ID}(t)$는 **코사인 감쇠 스케줄(cosine decay schedule)**을 따르며, 높은 값에서 시작하여 훈련이 진행됨에 따라 점차 0으로 감소합니다. 이를 통해 에이전트는 초기에 역학에 대한 밀도 높은 감독을 받고, 이후 점진적으로 주요 과제 보상에 집중할 수 있습니다.

계산 효율성: ENVRL은 표준 RL 과정 중에 생성된 롤아웃 데이터를 재사용합니다. 보조 손실을 계산하기 위해 업데이트당 단 한 번의 추가 순전파(forward pass)만 필요하므로 계산 오버헤드가 미미합니다.

3. 주요 기여

1. 프레임워크 제안: 상태 예측과 역역학을 에이전트형 RL의 보조 목적 함수로 통합하는 경량화된 프레임워크인 ENVRL을 소개합니다.
2. 암시적 감독 활용: 상호작용 경험을 밀도 높은 감독 신호의 독립적인 소스로 취급하는 새로운 접근 방식을 통해, 긴 호흡의 작업에서 발생하는 결과 보상의 희소성 문제를 해결합니다.
3. 감쇠 메커니즘: 환경 역학 학습과 과제 보상 최적화 사이의 균형을 동적으로 조절하는 시간 의존적 계수 스케줄을 제시합니다.
4. 효율성: 별도의 샘플링이나 별도의 모델 훈련 없이 기존 롤아웃 궤적을 재사용하여 이러한 개선을 달상함을 입증합니다.

4. 실험 결과

저자들은 ALFWorld(텍스트 기반 가사 작업)와 WebShop(이커머스 제품 검색)이라는 두 가지 긴 호흡의 에이전트 벤치마크에서 ENVRL을 평가했습니다. 실험은 Qwen2.5 모델(1.5B 및 7B)을 사용하여 GRPO 및 GiGPO 베이스라인과 함께 수행되었습니다.

• 성능 향상:
  • ALFWorld (1.5B, GRPO): 성공률이 72.8%에서 77.4%로 증가했습니다 (+4.6 포인트).
  • WebShop (1.5B, GRPO): 성공률이 56.8%에서 67.0%로 증가했습니다 (+10.2 포인트).
  • 7B 모델: GRPO와 더 강력한 GiGPO 베이스라인 모두에서 일관된 성능 향상이 관찰되었습니다 (예: GiGPO + ENVRL은 ALFWorld에서 94.5%에 도달).
• 샘플 효율성: ENVRL은 평균적으로 전체 훈련 단계의 약 **68.5%**만을 사용하여 RL 베이스라인의 최종 성능 수준에 도달했으며, 이는 더 빠른 수렴을 나타냅니다.
• 행동 개선: 성공적인 에피소드들은 더 적은 상호작용 턴과 더 짧은 응답 길이를 요구했는데, 이는 더 정밀한 의사 결정과 불필요한 탐색의 감소를 시사합니다.
• 일반화: 표준 작업에서 훈련된 ENVRL 모델은 새로운 방 구성 및 미지의 객체 유형이 포함된 분포 외(OOD) 테스트 세트에서도 향상된 강건성을 보였습니다.
• 절제 연구(Ablation Studies):
  • SP 또는 ID 중 하나라도 제거하면 성능이 저하되어, 순방향 및 역방향 역학 모델링의 상호 보완적 성격을 확인했습니다.
  • 감쇠 메커니즘을 제거하면 성능 저하가 발생하여, 시간이 지남에 따라 역학에서 보상으로 초점을 전환해야 하는 필요성을 강조했습니다.
  • 보조 훈련에 사용되는 경험 데이터의 비율에 따라 성능이 양의 상관관계를 가지며 확장되었습니다.

5. 의의 및 주장

본 논문은 ENVRL이 LLM 에이전트가 환경 역학으로부터 학습할 수 있는 일반적이고 경량화된 접근 방식이라고 주장합니다. 자기 지도 학습 목적 함수를 통해 상호작용 메커니즘을 내재화함으로써, 에이전트는 결과 보상이 희소한 긴 호흡의 작업에서 더 효과적인 결정을 내릴 수 있습니다.

저자들은 본 연구를 미세한 크레딧 할당(credit assignment)이나 중간 보상 형성(reward shaping)에 집중하는 기존 방법들과 **직교(orthogonal)**하는 것으로 규정합니다. 대신, ENVRL은 상호작용 경험을 풍부하고 독립적인 정보원으로 취급합니다. 이 프레임워크는 상당한 계산 비용 없이 샘플 효율성과 일반화 능력을 높이기 위해 다양한 정책 최적화 알고리즘(GRPO 또는 GiGPO와 같은)에 통합될 수 있는 보완적인 전략으로 제시됩니다. 이 연구는 에이전트형 RL 메커니즘에 대한 새로운 관점을 제공하며, 더 견고하고 자율적인 에이전트 개발에 기여하는 것을 목표로 합니다.