기술 요약: VAGEN을 통한 에이전트 기반 보상 모델링 (Agentic Reward Modeling)

1. 문제 정의

검증 가능한 보상을 활용한 강화 학습(RLVR)은 GUI(그래픽 사용자 인터페이스) 에이전트를 발전시키기 위한 핵심적인 프레임워크입니다. 그러나 기존의 보상 모델링 패러다임은 확장 가능하고 정확한 학습을 저해하는 상호 보완적인 한계에 직면해 있습니다.

• 규칙 기반 방법(Rule-Based Methods): 특정 작업에는 정확하지만, 수동으로 설계된 스크립트(예: 유닛 테스트)에 의존하므로 확장성이 부족합니다. 이 방식은 개방형 작업이나 다수의 유효한 솔루션이 존재하는 작업을 처리하지 못하며, 과도한 인적 노력을 요구합니다.
• LLM-as-a-Judge (수동적 검증): 이러한 방식은 대규모 언어 모델(LLM)을 활용하여 작업 궤적(스크린샷 및 추론 텍스트)을 분석합니다. 확장성은 높지만, 본질적으로 **수동적(passive)**이며, 특정 중간 상태를 자율적으로 다시 방문할 수 없습니다. 더 결정적으로, 이들은 부분적 상태 관측성(partial state observability) 문제를 겪습니다. 즉, 시각적 증거에만 의존하기 때문에 작업 성공 여부를 결정하는 데 중요한 잠재적 시스템 상태(예: 파일 시스템 변경, 백그라운드 프로세스)를 놓칠 수 있습니다.
• 능동적 환경 상호작용(Active Environment Interaction): 최근의 접근 방식들은 환경을 조사(probe)하는 검증 에이전트를 도입하여 관측성 문제를 완화합니다. 그러나 이러한 방법들은 궤적에 이미 존재하는 직접적인 증거를 무시하고 조사(probing)에 과도하게 의존하는 경tend가 있습니다. 이는 검로가 충분한 단서를 포함하고 있음에도 불구하고 검증자가 중복된 상호작용을 수행하게 만들어 비효효율성을 초래합니다.

핵심 과제는 과도한 계산 비용을 발생시키지 않으면서, 궤적 분석의 효율성과 능동적 환경 상호작용의 엄밀함을 결로하는 것입니다.

2. 방법론: VAGEN 프레임워크

저자들은 **진보적 검증 메커니즘(Progressive Verification Mechanism)**에 의해 제어되는 도구 증강 검증 에이전트를 사용하는 VAGEN(Verification via Agentic Trajectory-Grounded Environment Interaction) 프레임워크를 제안합니다.

2.1 핵심 철학

VAGEN은 "표면에서 잠재 영역으로(surface-to-latent)", 그리고 "저비용에서 고비용으로(cheap-to-expensive)"라는 설계 철학을 따릅니다. VAGEN은 비용이 많이 드는 환경 상호작용을 시도하기 전에 기록된 궤적에서 직접적인 증거를 추출하는 것을 우선시합니다. 이는 GUI 작업이 종종 **"검증은 쉽고, 해결은 어렵다(easy to verify, hard to solve)"**는 특성을 따른다는 관찰에 근거합니다. 즉, 검증 에이전트는 작업을 해결하는 데 필요한 액터(actor) 에이전트보다 더 적은 단계와 높은 성공률로 작업 완료를 확인할 수 있는 경우가 많습니다.

2.2 주요 구성 요소

1. 도구 증강 검증 에이전트 ($\pi_e$):
   검증자는 네 가지 필수 도구를 갖추고 있습니다:

   • Check Screenshot: 시각적 검사를 위해 액터의 궤적에서 특정 스크린샷을 검색합니다.
   • Execute Shell: 잠재적 시스템 상태(예: 파일 속성)를 확인하기 위해 쉘 명령어를 실행합니다.
   • Execute Python: 복잡한 논리적 체크를 위해 파이썬 코드를 실행합니다.
   • Computer Use: 신호를 탐색하기 위해 액터의 액션 공간을 공유하며 GUI 환경과 직접 상호작용합니다.
   • 참고: 모바일 환경(AndroidWorld)에서는 인터페이스 제한으로 인해 shell 및 python 도구가 제외됩니다.

2. 궤적 메모리 통합 (Trajectory Memory Consolidation):
   노이즈를 줄이기 위해, LLM은 액터의 궤적을 요약하여 주관적인 추론(환각이 포함될 수 있음)을 필터링하고, 사실적인 상태 관측과 원자적 행동(atomic actions)만을 유지합니다. 이를 통해 검증자를 위한 간결한 운영 이력 $H$를 생성합니다.

3. 진보적 검증 메커니즘 (Progressive Verification Mechanism):
   검증 과정은 충분한 증거가 발견되면 조기에 종료할 수 있도록 세 가지 순차적 단계로 진행됩니다:

   • 1단계: 정적 평가 (Static Assessment): 에이전트는 도구 없이 터미널 스크린샷과 운영 요약을 평가합니다. 명확한 증거가 존재하면 즉시 보상과 신뢰도를 출력합니다.
   • 2단계: 시각적 회상 (Visual Retrospection): 터미널 상태가 모호한 경우, 에이전트는 Check Screenshot 도구를 호출하여 과거의 중간 스크린샷들을 조사하고 간접적인 시각적 증거 집합을 구축합니다.
   • 3단계: 선제적 조사 (Proactive Probing): 시각적 증거가 불충분한 경우(예: 비시각적 시스템 변경), 에이전트는 Execute Shell, Execute Python, 또는 Computer Use를 사용하여 잠재 상태를 쿼리하는 능동적 상호작용으로 전환합니다.

2.3 테스트 타임 스케일링 전략

• 읽기 전용 스케일링 (Verifier): 환경 상태 복구의 높은 비용 없이 검증을 확장하기 위해, 검증자는 읽기 전용 액션 공간으로 제한됩니다. 이를 통해 환경을 리셋하지 않고도 단일 환경 인스턴스에서 여러 검증 샘플을 순차적으로 실행할 수 있습니다.
• 보상 가이드 스케일링 (Actor): VAGEN은 Best-of-N 거절 샘플링(rejection sampling)을 통해 액터를 가이드합니다. 검증자는 $N$개의 샘플링된 궤적을 평가하며, 성공적인 예측 중 가장 높은 신뢰도를 가진 것을 선택합니다.

3. 주요 기여

1. 패러다임 전환: 본 논문은 기존 방법의 한계를 해결하기 위해 수동적 궤적 분석과 능동적 환경 상호작용을 통합하는 궤적 기반 상호작용 검증(trajectory-grounded interactive verification) 패러다임을 식별하고 옹호합니다.
2. VAGEN 프레임워크: 환경 조사를 우선하기 전에 궤적 증거를 우선시함으로써 효율성과 엄밀함의 균형을 맞추는 진보적 검증 메커니즘을 사용하는 도구 증강 검증 에이전트를 도입했습니다.
3. 실험적 검증: VAGEN이 정확도와 효율성 측면에서 모두 수동적(LLM-as-a-Judge) 및 능동적(ProRe) 베이스라인을 능가함을 광범적인 실험을 통해 입증했습니다.

4. 실험 결과

프레임워크는 OSWorld-Verified (데스크톱) 및 AndroidWorld (모바일) 벤치마크에서 평가되었습니다.

• 검증 정확도: VAGEN은 ProRe 및 ZeroGUI와 같은 베이스라인을 능가하는 최첨단 성능을 달립했습니다. 인간 평가 그라운드 트루스를 기준으로 한 OSWorld-Verified에서, VAGEN은 클래스 균형 설정에서 92.9%의 정확도(ProRe의 87.3% 대비)를, 클래스 불균형 설정에서 **93.4%**를 달성했습니다.
• 효율성: VAGEN은 유리한 성능-효율성 트레이드오프를 보여주었습니다. ProRe에 비해 더 적은 입력 이미지와 출력 토큰을 사용했으며, OSWorld에서 평균 단계 수(ProRe의 25.2단계 대비 17.4단계)를 줄여 검증을 수행했습니다.
• 강화 학습: UI-TARS-1.5-7B를 사용한 온라인 RL 학습(GRPO)의 보상 신호로 사용되었을 때, VAGEN은 액터의 성공률을 **34.3%**로 향상시켜 가장 강력한 베이스라인인 ProRe보다 3.8포인트 앞섰습니다.
• 테스트 타임 스케일링: VAGEN은 Best-of-N 스케일링에서 우수한 샘플 효율성을 보여주었습니다. $N=8$일 때 다른 방법들의 성능에 도달하기 위해 단 $N=5$개의 샘플만 필요했습니다. 읽기 전용 스케일링은 환경 리셋 없이 검증 정확도를 더욱 향상시켰습니다.

5. 의의 및 주장

본 논문은 VAGEN이 GUI 에이전트 보상 모델링의 "부분적 상태 관측성" 문제를 해결하는 강력한 솔루션을 제공한다고 주장합니다. 검증을 궤적에 먼저 근거하게 하고 필요할 때만 환경 상호작용으로 격상함으로써, VAGEN은 순수 조사 방식의 비효율성을 피하는 동시에 수동적 LLM 판사의 맹점을 극복합니다.

저자들은 이 접근 방식이 현재 대규모로 확보하기 어려운 RLVR에 필수적인 **신뢰할 수 있는 이진 보상 신호(reliable binary reward signals)**를 가능하게 한다고 강조합니다. 이 프레임워크는 더 나은 보상 가이드와 거절 샘플링을 통해 GUI 에이전트의 학습과 추론 시 성능을 모두 개선할 수 있는 플러그인 형태의 검증기로 제시됩니다. 결과는 "검증은 쉽고, 해결은 어렵다"는 특성이 복잡한 디지털 환경에서 확장 가능한 에이전트 검증을 위한 실행 가능한 토대가 될 수 있음을 시사합니다.