기술 요약: ENVS: 장기 실행 GUI 에이전트를 위한 환경 네이티브 검증 탐색(Environment-Native Verified Search)

1. 문제 정의

본 논문은 실제 소프트웨어를 제어하기 위해 그래픽 사용자 인터페이스(GUI)를 다루는 멀티모달 에이전트를 훈련시키는 과정에서의 과제를 다룹니다. 파운데이션 모델이 인터페이스 이해 능력은 발전시켰으나, 라이브 데스크톱 환경에서 정밀한 마우스 및 키보드 동작의 장기 실행 시퀀스를 수행하는 것은 여전히 어렵습니다. 핵심적인 병목 현상은 다음과 같습니다:

• 희소하고 지연된 피드백 (Sparse and Delayed Feedback): OSWORLD와 같은 환경에서는 피드백이 일반적으로 궤적(trajectory)의 끝에서 이진 성공/실패 신호로만 제공됩니다. 실패한 궤적은 어떤 특정 중간 동작이 실패를 유발했는지 밝혀내지 못합니다.
• 높은 롤아웃 비용 (High Cost of Rollouts): 피드백을 얻으려면 라이브 가상 머신(VM)에서 동작을 실행해야 하며, 이는 계산적으로 매우 비싸고 느립니다.
• 온라인 RL의 비효율성 (Inefficiency of Online RL): ARPO(Adaptive Reinforcement Policy Optimization) 및 SEEA-R1과 같은 트리 탐색 방법은 궤적 발견과 정책 업데이트를 결합하는 경우가 많습니다. 이는 쉬운 작업이 그래디언트 신호를 지배하거나, 긴 궤적이 과하게 표현되거나, 작업 및 궤적 길이에 따른 전역적 그래디언트 질량 할당을 제어하기 어렵게 만드는 문제를 야기합니다.

2. 방법론: ENVS

저자들은 궤적 발견과 정책 최적화를 분리하는 훈련 시점 프레임워크인 **환경 네이티브 검증 탐색(ENVS)**을 제안합니다. 온라인 강화 학습(RL)을 사용하는 대신, ENVS는 훈련 시작 전에 검증되고 균형 잡힌 지도 학습 데이터셋을 구축합니다.

핵심 파이프라인

1. 행동 불일치 게이트 기반 탐색 (Behavioral-Disagreement-Gated Search):
   • 시스템은 고정된 베이스 정책을 사용하여 라이브 OSWORLD VM 내에서 탐색을 수행합니다.
   • 각 단계에서 $K$개의 후보 동작을 샘플링하고, 이를 거친 "행동 지문(behavioral fingerprints)"(예: 동작 유형 + 이산화된 좌표 또는 텍텍스트)으로 축소합니다.
   • 후보들은 지문에 따라 버킷(bucket)으로 분류됩니다. 시스템은 행동적으로 구별되는 경로에 집중하기 위해, 소수 의견(minority actions)을 제거하고 합의(다수 동작)가 가장 높은 상위 $k$개의 버킷을 탐색합니다. 이는 탐색이 토큰 노이즈가 아닌 행동적으로 구별되는 경로에 집중하도록 보장합니다.
2. VM 제한 탐색 (VM-Bounded Search):
   • 저렴한 시뮬레이션을 가정하는 고전적인 몬테카를로 트리 탐색(MCTS)과 달리, ENVS는 상태 재방문 비용이 높은 라이브 데스크톱에서 작동합니다.
   • 따라서 적응형 선택(UCB/PUCT) 대신 명시적인 비용 게이트(작업당 브랜치 예산, 단계당 캡, 하드 스텝 컷오프)를 사용합니다. 학습된 가치 함수를 사용하지 않습니다.
3. 환경 검증 및 필터링 (Environment Verification and Filtering):
   • 궤적이 리프 노드(leaf node)에 도달하면, OSWORLD 태스크 오라클이 이진 보상($R(\tau) \in \{0, 1\}$)을 할당합니다.
   • 실패한 궤적은 폐기됩니다. 성공한 궤적은 단계별 지도 학습 예시 $(x, o_{\le t}, a_t)$로 분해되어, 희소한 터미널 성공을 조밀한 동작 수준의 감독(supervision)으로 변환합니다.
4. 감독의 전역적 균형 (Global Balancing of Supervision):
   • 수집된 데이터셋은 자연스럽게 불균형합니다(쉬운 작업은 많은 성공을 생성하고, 어려운 작업은 적은 성공을 생성함).
   • ENVS는 훈련 전에 재가중치 부여(reweighting) 기법을 적용합니다. 작업 $i$에 대한 가중치 $w_i$는 다음과 같이 계산됩니다:
     $$w_i = \text{clip}\left(\frac{(1 - SR_i)^\beta}{T_i}, w_{\max}\right)$$
     여기서 $SR_i$는 탐색 성공률이고 $T_i$는 단계 수입니다. 이는 그래디언트 질량을 어려운 작업으로 이동시키고 궤적 길이에 대해 정규화하여, 쉬운 작업이 훈련 신호를 지배하는 것을 방지합니다.

OSWORLD-NOISY 벤치마크

강건성을 평가하기 위해, 저자들은 작업 실행 중 회복 가능한 데스크톱 방해 요소(예: 팝업, 포커스 변경, 백그라운드 대화 상자)를 주입하는 동적 벤치마크인 OSWORLD-NOISY를 도입했습니다.

• 제약 조건: 섭동(perturbations)은 "비사보타주(non-sabotage)"입니다. 즉, 작업 관련 파일에 손을 대거나 대상 창에 입력을 전달하지 않으므로 작업의 해결 가능성은 유지됩니다.
• 스케줄링: 훈련 중에는 노이즈 강도가 작업 성공률에 따라 조절됩니다(어려운 작업일수록 노이즈가 적음). 평가는 홀드아웃된 섭동에 대한 고정된 결정론적 스케줄을 사용합니다.

3. 주요 기여

• ENVS 프레임워크: 환경 자체를 사용하여 성공적인 궤적을 검증하고 이를 전역적으로 균형 잡힌 지도 학습 데이터로 변환하는 탐색 및 필터링 파이프라인입니다. 이는 발견과 최적화를 분리하여 그래디언트 할당에 대한 명시적 제어를 가능하게 합니다.
• OSWORLD-NOISY: 현실적이고 회복 가능한 데스크톱 방해 요소에 대한 GUI 에이전트의 강건성을 테스트하기 위한 새로운 벤치마크로, 원래의 작업을 유지하면서 동적 섭동을 추가했습니다.
• 효율성 및 강건성: 검증된 탐색이 온라인 RL보다 훨씬 적은 연산량으로 더 높은 정확도를 달달성할 수 있음을 입증하며, 시각적 추론 능력을 보존합니다.

4. 실험 결과

실험은 300개의 OSWORLD 풀(학습 가능한 86개, 홀드아웃 214개)을 대상으로 UI-TARS-1.5-7B 베이스 모델을 사용하여 수행되었습니다.

• 클린 성능 (Clean Performance): ENVS는 클린 OSWORLD에서 30.3% pass@8을 달성하여 베이스 모델(22.7%)과 ARPO(26.7%)를 능가했습니다.
• 노이즈 강건성 (Noisy Robustness): OSWORLD-NOISY에서 ENVS는 29.0% pass@8을 기록하여 베이스 모델(20.3%)과 노이지 ARPO(21.7%)를 크게 앞질렀습니다. 특히, 노이지 ARPO는 클린 작업에서 성능이 저하된 반면, ENVS는 두 조건 모두에서 높은 성능을 유지했습니다.
• 컴퓨팅 효율성 (Compute Efficiency): ENVS는 매칭되는 ARPO 베이스라인(184–192 GPU-hours)에 비해 138–153 GPU-hours가 소요되었습니다. 이러한 효율성은 검증된 궤적을 한 번만 수집하여 SFT에 재사용하는 반면, ARPO는 매 훈련 단계마다 새로운 온폴리시(on-policy) 롤아웃이 필요하기 때문입니다.
• 데이터 효율성 (Data Efficiency): 수집된 탐색 데이터의 **30%**만 사용했을 때, ENVS는 전체 데이터셋으로 훈련된 ARPO와 대등하거나 이를 능가하는 27.0% pass@8에 도달했습니다.
• 능력 보존 (Capability Retention): 노이즈 환경에서의 훈련은 부가적인 시각 추론 능력을 더 잘 보존했습니다. 예를 들어, OSWORLD-G Refusal 벤치마크에서 노이지 ENVS는 **16.7%**를 기록한 반면 클린 ENVS는 **1.9%**에 그쳤는데, 이는 섭동이 인지 및 회복을 위한 유용한 감독 정보를 제공함을 시사합니다.

5. 의의 및 주장

본 논문은 ENVS가 궤적 발견과 정책 업데이트를 분리함으로써 온라인 RL보다 구조적 우위를 점한다고 주장합니다. 이를 통해 다음이 가능합니다:

1. 전역적 그래디언트 제어: 과하게 표현된 쉬운 작업을 제한하고 드문 성공 사례를 가중할 수 있어, 온라인 RL의 고유한 문제인 "이항 퇴화(binomial degeneracy)"와 그래디언트 불균형을 해결합니다.
2. 엔트로피 보존: 엔트로피 붕괴(행동 분포가 좁아지는 현상)를 겪는 온라인 RL과 달리, ENVS는 다양하고 검증된 궤적을 통해 훈련함으로써 더 높은 행동 엔트로피를 유지하고 일반화 성능을 높입니다.
3. 비용 효율적 훈련: 값비싼 환경 상호작용을 검증된 데이터셋으로 상쇄함으로써, ENVS는 컴퓨팅 비용을 줄이면서 성능을 향 향상시킵니다.
4. 방해를 통한 강건성: 동적 섭동은 단순한 스트레스 테스트가 아니라, 에이전트가 시각적 추론을 희생하지 않으면서도 다시 집중하고, 기다리고, 회복하는 법을 배우도록 돕는 감독의 원천임을 결과가 보여줍니다.

저자들은 환경 네이티브 훈련이 에이전트 훈련을 더 저렴하고 재사용 가능하게 만들 수 있다고 결론짓지만, 노이즈의 합성적 특성과 OSWORLD 환경의 특정 인프라 요구 사항(병렬 VM, 신뢰할 수 있는 리셋 등)에 따른 한계도 언급하였습니다.