기술 요약: 탐지 학습: 탐지 인식 정책 최적화를 통한 에이전트 추론 확장

문제 제기

최근 에이전트 테스트 시간 확장 기술의 발전으로 대규모 언어 모델 (LLM) 이 최종 행동을 결정하기 전에 환경 피드백을 수집하고 배포 중 다단계 추론을 수행할 수 있게 되었습니다. 그러나 기존 방법들은 구별되지 않은 탐지 전략을 사용한다는 치명적인 한계를 안고 있습니다. 현재 접근 방식들은 일반적으로 탐지와 행동 선택을 단일 정책 내에서 혼동하여, 탐지가 진정으로 필요한 시기를 적응적으로 구분하는 능력이 부족합니다. 그 결과 에이전트는 잘 이해된 상태에서도 무분별한 탐지에 종사하여 저가치 정보를 축적하고 중요한 신호를 흐리게 만듭니다. 반대로, 낯선 상태에서는 충분히 탐지하지 못해 하위 최적 의사결정으로 이어질 수 있습니다. 핵심 과제는 에이전트에게 불확실성에 기반하여 상호작용 단계를 적응적으로 할당하도록 가르치는 것으로, 정보 수집형 탐지가 필요한 시기와 직접적인 목표 추구가 충분한 시기를 구분하는 것입니다.

방법론

본 논문은 에이전트가 적절한 상태에서 선택적으로 탐지하고 획득한 정보를 의사결정에 활용하도록 설계된 탐지 인식 정책 최적화 (EAPO) 프레임워크를 제안합니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 탐지 및 기억 추론 모드

추론 과정을 구조화하기 위해 저자들은 에이전트가 명시적으로 생성하는 특정 출력 형식을 도입합니다:

• 탐지 가이드 ($e_t$): 어떤 정보를 획득하고 어떤 후보 행동을 취할지 지정하는 구조화된 전략.
• 누적 기억 ($m_t$): 과거 상호작용과 새로 관찰된 상태에서 추출된 작업 관련 정보의 요약.
• 실행 가능한 행동 ($a_t$): 최종적으로 취해진 행동.

이 분리를 통해 에이전트는 실행에 착수하기 전에 환경 역학을 숙고할 수 있으며, 방문한 상태에 대한 영구적인 로그를 유지하여 획득한 정보의 재사용을 용이하게 합니다.

2. 변분 추론을 통한 세분화된 보상 모델링

비용이 많이 드는 온라인 롤아웃에 의존하지 않고 가치 있는 탐지를 장려하기 위해, 저자들은 탐지 행동의 유용성을 평가하는 보상 함수를 설계합니다.

• 베이지안 관점: 이 방법은 탐지와 기억을 잠재 변수로 간주합니다. 현재 상태, 탐지 전략, 기억을 기반으로 한 작업 성공의 사후 확률에 기반한 베이지안 탐지 보상을 정의합니다.
• 변분 프록시: 진정한 사후 확률은 계산이 불가능하므로, 최적의 탐지 - 기억 구성의 분포를 근사하도록 학습 가능한 변분 프록시 $q_\phi$를 훈련합니다.
• 보상 정의: 보상 $R_{explore}$는 다음 중 최대값으로 정의됩니다:
  1. 즉각적인 활용 (기존 기억 사용) 의 유용성.
  2. 새로 관찰된 상태를 기억에 통합하는 능동적 탐지의 유용성 (지연 시간을 패널티로 부과하고 과도한 보수주의를 방지하기 위해 $\gamma^2$로 할인됨).
• 총 보상: 최종 보상은 작업 성공 신호, 구조화된 출력을 보장하는 형식 보상, 그리고 탐지 보상의 가중치 조합입니다.

3. 탐지 인식 2 단계 훈련 전략

탐지 존재 하에서의 신용 할당 및 정책 최적화 문제를 해결하기 위해 EAPO 는 2 단계 접근법을 사용합니다:

• 1 단계: 롤백 학습 (SFT): 에이전트는 전문가 데이터셋에 대해 지도 미세 조정을 받아, 탐지 행동이 바람직하지 않은 상태로 이어진 후 이전 상태로 "롤백" (예: '뒤로' 버튼 클릭) 할 수 있는 능력을 습득합니다. 이는 탐지를 종단적 위험이 아닌 되돌릴 수 있는 행동으로 취급합니다.
• 2 단계: 탐지 인식 정책 최적화 (GRPO): 저자들은 방문 깊이($\kappa$) 를 클러스터링 기준으로 도입하여 그룹 상대 정책 최적화 (GRPO) 를 수정합니다. 전이는 상태뿐만 아니라 에이전트가 해당 상태를 재방문한 횟수에 따라 그룹화됩니다. 이는 동일한 그룹 내의 초기 탐지 단계와 최종 실행 단계를 비교할 때 발생하는 탐지 가치의 과소평가를 방지하여, 유사한 정보 단계에서의 다른 행동들과 탐지 행동을 비교하도록 보장합니다.

주요 기여

1. 탐지 인식 프레임워크: 균일한 탐지 전략을 넘어, 에이전트에게 언제 탐지하고 언제 실행할지 명시적으로 구분하도록 가르치는 새로운 정책 최적화 방법.
2. 변분 보상 모델링: 온라인 궤적 샘플링의 높은 계산 비용을 피하면서도 안정적인 보상 신호를 제공하는 변분 추론을 활용한 탐지 행동의 유용성 정량화를 위한 원칙적인 접근법.
3. 구조화된 추론 및 기억: 정보 수집과 상태 요약을 에이전트의 추론 루프에 직접 통합하는 명시적인 <explore> 및 <memory> 태그 도입.
4. 방문 깊이 그룹화: 상태 방문 빈도에 기반하여 전이를 클러스터링함으로써 이점 추정을 안정화하고, 탐지 및 활용 단계 간의 공정한 비교를 보장하는 메커니즘.
5. 롤백 능력: 에이전트가 탐지 실수에서 회복할 수 있도록 하는 지도식 롤백 메커니즘 통합으로, 탐지를 안전하고 되돌릴 수 있는 과정으로 만듦.

실험 결과

저자들은 ALFWorld와 WebShop(텍스트 기반), AndroidWorld와 OSWorld(GUI 기반) 라는 네 가지 까다로운 환경에서 EAPO 를 평가했습니다.

• 성능 향상: EAPO 는 모든 환경에서 강력한 베이스라인 (GRPO, DAPO, GiGPO, LAMER 및 다양한 폐쇄형 소스 모델 포함) 보다 일관되게 우수한 성능을 보였습니다. 기존 방법 대비 **20% 에서 60%**까지의 개선이 있었습니다.
• 모델 효율성: EAPO 로 훈련된 2B 규모 모델은 훨씬 더 큰 일반 및 에이전트 모델 (예: 72B 파라미터 모델) 과 비교할 수 있거나 그 이상의 성능을 달성하여, 효과적인 탐지 전략이 파라미터 규모를 보완할 수 있음을 입증했습니다.
• 적응적 행동: 분석 결과, EAPO 로 훈련된 에이전트는 불확실한 상태에서는 탐지 정도를 높이고 환경을 학습함에 따라 선택적 탐지로 수렴하는 적응적 탐지를 보이며, 무분별한 시행착오를 피하는 것으로 나타났습니다.
• 일반화: AndroidWorld 에서 훈련된 모델은 약간의 성능 저하만으로도 보이지 않는 OSWorld 환경으로 효과적으로 일반화되어, 학습된 탐지 정책이 도메인 불변적임을 시사했습니다.
• 효율성: 이 방법은 표준 GRPO 대비 약 30% 의 추가 훈련 오버헤드(주로 변분 보상 모델 훈련에서 발생) 만 발생시켰으며, 대안적 접근법에서 요구하는 비싼 온라인 샘플링은 피했습니다. 추론 시간은 탐지로 인해 소폭 증가했습니다 (평균적으로 최대 10 단계 추가). 이는 할인 계수에 의해 제어됩니다.

중요성 및 주장

본 논문은 EAPO 가 에이전트 테스트 시간 확장 분야에서 중요한 진전을 의미한다고 주장합니다. 탐지의 유용성을 명시적으로 모델링하고 정보 수집과 의사결정을 분리함으로써, 이 프레임워크는 에이전트가 다음과 같은 능력을 갖추도록 합니다:

• 불확실성에 대한 추론: 에이전트는 현재 상태나 기억이 의사결정에 불충분할 때를 식별하고 능동적으로 정보를 추구하는 법을 배웁니다.
• 자원 할당 최적화: 에이전트는 알려진 상태에서는 중복된 탐지로 상호작용 단계를 낭비하지 않으면서 새로운 시나리오에서는 중요한 데이터를 효과적으로 수집합니다.
• 강건한 일반화 달성: 적응적 탐지 능력은 에이전트가 환경별 재훈련 없이도 분포 외 환경 (예: 업데이트된 UI 레이아웃) 을 처리할 수 있게 합니다.

저자들은 언제 그리고 어떻게 탐지할지 학습하는 것이 의사결정 품질과 환경 이해를 크게 향상시킬 수 있는 근본적인 능력이며, 단순히 모델 파라미터를 확장하는 것보다 종종 더 효과적이라고 결론지었습니다. 이 연구는 휴리스틱 또는 균일한 탐지 전략을 넘어 에이전트 LLM 의 추론 과정에 탐지를 통합하기 위한 원칙적인 프레임워크를 제공합니다.