기술 요약: 자율 평가를 활용한 컴퓨터 사용 에이전트를 위한 강화 학습

문제 정의

컴퓨터 사용 에이전트(Computer-Use Agents, CUAs)는 자연어 지침에 따라 그래픽 사용자 인터페이스(GUI)를 자율적으로 조작하도록 설계되었습니다. 최근의 아키텍처들은 다양한 애플리케이션과 운영 체제에 걸쳐 일반화되는 가능성을 보여주었으나, 제약이 없는 실제 환경에서는 여전히 신뢰성이 낮습니다. 최첨단 에이전트들은 OSWorld 벤치마크에서 약 60%, macOSWorld에서 약 40%의 성공률만을 달ей하고 있습니다.

CUA를 위한 강화 학습(RL) 미세 조정(fine-tuning)을 가로막는 주요 병목 현상은 확장 가능한 기계 판독형 보상 신호의 부재입니다. 로보틱스 시뮬레이터나 게임 환경과 달리, 데스크톱 작업 목표는 종종 암시적이고, 시각적 근거를 바탕으로 하며, 구조화되어 있지 않습니다. 기존의 솔루션들은 취약한 작업 특정적 휴리스틱(예: DOM 체크)이나 비용이 많이 드는 수동 주석(manual annotation)에 의존하며, 이는 다양한 애플리케팅 및 운영 체제 전반에 걸쳐 확장되지 못합니다. 또한, 시각-언어 모델(VLM)이 자율 평가를 위한 잠재적 대안이 될 수 있지만, 이들의 출력은 완벽하지 않으며 거짓 양성(false positive) 및 거짓 음성(false negative)을 포함합니다. 이러한 노이즈가 섞인 출력을 보상 신호로 나이브하게 사용하는 것은 편향을 유도하고 정책 최적화를 불안정하게 만듭니다.

방법론

저자들은 자율적인 VLM 기반 평가기를 CUA를 위한 RL 루프에 통합하는 원칙적인 프레임워크를 제안합니다. 핵심 혁신은 평가기를 정답(ground truth)의 원천이 아니라, **노이즈가 있는 이진 보상 채널(noisy binary reward channel)**로 취급하고, 통계적으로 근거 있는 노이즈 교정 보상 추정치를 도출하는 것입니다.

1. 자율 평가 설정

• 평가기: Qwen2-VL-7B를 제로샷(zero-shot) 설정에서 사용합니다. 이 모델은 최종 GUI 스크린샷과 원래의 자연어 지침을 전달받아, 작업 완료 여부를 나타내는 이진 신호 $\tilde{r}_i \in \{0, 1\}$를 출력합니다.
• 노이즈 특성화: 평가기의 불완전함은 조건부 오류율을 통해 모델링됩니다:
  • $e_+$: 거짓 음성율 ($P(\tilde{r}=0 | r^*=1)$).
  • $e_-$: 거짓 양성율 ($P(\tilde{r}=1 | r^*=0)$).
• 분리 가능성: 프레임워크는 분리 상수 $D = 1 - e_+ - e_- > 0$를 가정하며, 이는 평가기가 무작위 추측 이상의 정보력을 제공함을 보장합니다.

2. 노이즈 교정 보상 추정기

실제 보상 $r^*$은 관찰할 수 없으므로, 저자들은 점근적으로 편향되지 않은(asymptotically unbiased) 추정치 $\hat{r}$을 도출합니다.

• 이론적 도출: $E[\tilde{r} | r^*] = e_- + D \cdot r^*$ 관계를 바탕으로, 실제 보상은 다음과 같이 추정됩니다:
  $$\hat{r} = \frac{\tilde{r} - e_-}{D}$$
• 실제 구현: 실제로는 오류율을 알 수 없습니다. 저자들은 훈련 세트와 분리된 홀드아웃 교정 데이터셋(calibration dataset)으로부터 $\hat{e}_+$와 $\hat{e}_-$를 추정합니다. 플러그인 추정치는 다음과 같습니다:
  $$\hat{r}^\sharp = \frac{\tilde{r} - \hat{e}_-}{\hat{D}}$$
  여기서 $\hat{D} = 1 - \hat{e}_+ - \hat{e}_-$입니다. 이 추정치는 평가기의 거짓 양성 및 거짓 음성으로 인해 발생하는 편향을 교정합니다.

3. 정책 최적화

프레임워크는 **근사 정책 최 optimization (PPO)**를 활용합니다.

• 보상 구조: 보상은 에피소드 종료 시점($T$)에만 주어지는 터미널 보상(terminal-only)입니다.
• 목적 함수: 에이전트는 기대 수익 $J(\theta) = E[\gamma^T \hat{r}_i]$를 최대화합니다. 여기서 $\hat{r}_i$는 노이즈가 교정된 보상입니다.
• 어드밴티지 추정: 터미널 교정 보상은 궤적(trajectory)을 통해 역방향으로 전파되어 어드밴티지 추정치를 계산하며, 이를 통해 피드백 신호의 노이즈에도 불구하고 안정적인 정책 업데이트를 가능하게 합니다.

4. 실험 설정

• 데이터셋: macOS, Windows, Linux를 아우르는 42개 애플리케이션에 걸친 7,560개의 합성 데이터셋을 생성했습니다. 또한, OmniAct, GUI-World, GUIDE의 작업 설명도 통합되었습니다.
• 벤치마크: macOSWorld, Windows Agent Arena, OSWorld에서 평가를 수행했습니다.
• 베이스라인: 제로샷 베이스라인과 다음 세 가지 방식을 사용한 PPO 미세 조정을 비교합니다:
  1. 원시 평가기 보상 ($\tilde{r}$).
  2. 교정된 보상 추정기 ($\hat{r}$).
  3. 통합(cross-OS) 모델 vs. OS별(per-OS) 모델 파라미터화.

주요 결과

실험 결과, 평가기 노이즈를 명시적으로 모델링하고 교정하는 것이 원시 평가기 신호를 사용하는 것보다 에이전트 성능을 크게 향상시킨다는 것을 입증했습니다.

• 성능 향상: 노이즈 교정 보상 추정기와 OS별 미세 조정을 결합했을 때 모든 벤치마크에서 가장 높은 성공률을 기록했습니다:
  • macOSWorld: 0.084(제로샷)에서 0.203으로 향상.
  • Windows Agent Arena: 0.331에서 0.442로 향상.
  • OSWorld: 0.283에서 0.432로 향상.
• 원시 보상과의 비교: 원시 평가기 보상을 사용하는 것도 완만한 개선을 보였으나, 교정된 추정치에 의해 지속적으로 하회했습니다. 일부 사례(예: 통합 모델을 사용한 OSWorld)에서는 원시 보상이 제로샷 베이스라인보다 성능을 저하시켰는데, 이는 교정되지 않은 노이즈가 유발하는 편향을 강조합니다.
• 일반화: 교정된 보상으로 미세 조정된 OS별 모델은 통합 크로스 OS 모델보다 우수한 일반화 성능을 보였으며, 이는 OS별 인터페이스 관습이 견고한 학습에 결정적임을 시사합니다.
• 개선 폭: 교정된 접근 방식은 제로샷 성능 대비 평균 12.6 퍼센트 포인트, 원시 평가기 미세 조정 대비 5.1 퍼센트 포인트의 성공률 향상을 달 나타냈습니다.

의의 및 주장

본 논문은 자율 평가가 고유의 노이즈를 명시적으로 모델링하고 교정할 수 있다면, GUI 환경의 RL을 위한 실용적이고 확장 가능한 보상 신호로 기능할 수 있다고 주장합니다.

• 확장성: 이 프레임워크는 수동 성공 레이블이나 작업 특정적 휴리틱의 필요성을 제거하여, 다양한 운영 체제에 걸친 대규모 상호작용 데이터에 대한 RL 미세 조정을 가능하게 합니다.
• 견고성: 점근적으로 편향되지 않은 보상 추정치를 도함으로써, 불완전한 피드백이 존재하는 상황에서도 정책 최적화를 안정화하여 CUA 개발의 핵심 병목 현상을 해결합니다.
• 실용성: 교정 메커니즘은 PPO와 같은 표준 정책 경사(policy-gradient) 방법론에서 원시 보상을 대체하는 "드롭인 교체(drop-in replacement)"로서, RL 알고리즘 자체에 근본적인 변경을 요구하지 않습니다.

저자들은 비정상성(non-stationarity) 오류율과 희소 보상(sparse rewards)에 관한 과제가 여전히 남아있지만, 이 접근 방식이 인간의 감독 없이 상호작용으로부터 학습하는 범용 데스크톱 에이전트를 위한 실질적인 RL 파이프라인을 향한 중요한 진전임을 결론지었습니다.