기술 요약: GUI 에이전트를 위한 길이 인식 대조 학습 (LACL-GUI)

1. 문제 정의

멀티모달 거대 언어 모델(MLLM) 기반의 그래픽 사용자 인터페이스(GUI) 에이전트는 다양한 디지털 환경에서 작업을 자동화하는 것을 목표로 한다. 검증 가능한 보상을 활용한 강화 학습(RLVR)이 지배적인 훈련 패러다임으로 부상했지만, 기존 방식들은 최적화 효율성과 안정성 측면에서 상당한 한계에 직면해 있다.

구체적으로, 널리 사용되는 GRPO(Group Relative Policy Optimization)와 같은 알고리즘은 보상-그래디언트 불일치(reward–gradient misalignment) 문제를 겪는다. 최근의 이론적 분석(예: Zhai et al., 2026)은 GRPO에서 두 가지 그래디언트 병리 현상을 식별했다:

1. 양의 사례에서의 그래디언트 오할당(Gradient Misassignment in Positives): 성공적인 궤적 내의 고확률 토큰은 과도하게 큰 업데이트를 받는 반면, 동일한 성공 궤적 내의 저확률 토큰은 약한 그래디언트를 받게 된다.
2. 음의 사례에서의 그래디언트 지배(Gradient Domination in Negatives): 그래디언트 크기가 소수의 고확률 부정적 토큰에 과도하게 집중되어, 이들이 최적화 과정을 지배하게 된다.

이러한 문제를 완화하기 위해, 최근 연구들(예: REAL, CLIPO)은 RLVR을 대조적 또는 분류 기반 목적 함수로 재구성했다. 그러나 이러한 방법들은 일반적으로 결과 수준의 감독(outcome-level supervision)(이진 성공/실패 라벨)에 의존한다. 이러한 조립된(coarse-grained) 접근 방식은 동일한 결과 범주 내의 모든 궤적을 동등하게 취급하므로, 다음과 같은 미세한 차이를 포착하지 못한다:

• 효율성: 성공적인 궤적은 길이와 중복성 측면에서 크게 다를 수 있다.
• 실패의 질: 실패한 궤적은 작업 완료에 얼마나 근접했는지(예: 초기에 이탈했는지 vs. 후기에 이탈했는지)에 따라 다를 수 있다.

본 논문이 다루는 핵심 과제는 분류 기반 목적 함수가 제공하는 최적화 안정성을 해치지 않으면서, 어떻게 궤적 수준의 품질 신호(특히 길이와 이탈 정도)를 대조적 RLVR 프레임워크에 통합할 것인가 하는 점이다.

2. 방법론: LACL-GUI

저자들은 성공 및 실패 궤적 그룹 내에 구조화된 선호도를 도입하면서도 근본적인 성공-실패 결정 경계를 보존하는 LACL-GUI(Length-Aware Contrastive Learning for GUI Agents) 프레임워크를 제안한다.

2.1 아키텍처

LACL-GUI는 네 가지 모듈로 구성된 비동기 훈련 아키텍처를 채택한다:

• 롤아웃 서비스(Rollout Service): 여러 GUI 환경으로부터 궤적을 병렬로 수집한다.
• 데이터 매니저(Data Manager): 모든 샘플이 동일한 결과(모두 성공 또는 모두 실패)를 공유하는 궤적 그룹을 필터링하여 변별력 있는 감독을 보장한다.
• 성공 버퍼(Success Buffer): 이탈 정도 추정을 위한 참조 샘플 역할을 하고, 현재 롤아웃에서 성공 사례가 적을 때 훈련을 보강하기 위해 성공적인 궤적 저장소를 유지한다.
• 트레이너(Trainer): 필터링된 궤적 그룹을 사용하여 비동기적으로 정책을 최적화하며, 데이터 수집과 정책 업데이트를 분리한다.

2.2 LACL-GUI 목적 함수

RLVR을 대조적 손실을 사용하는 이진 분류 문제로 정식화한 REAL(Rewards as Labels) 목적 함수를 기반으로, LACL-GUI는 미세한 선호도를 인코딩하기 위해 **로짓 섭동(logit perturbations)**을 도입한다.

양의 그룹 섭동 (효율성 선호도)

성공적인 궤적($T^+$)에 대해, 프레임워크는 간결한 실행을 장려한다. 현재 로짓을 기반으로 가중 평균 궤적 길이($\mu_w$)를 계산하고 다음과 같이 로짓을 섭동시킨다($\tilde{s}_\theta$):
$$\tilde{s}_\theta(\tau^j) = \bar{s}_\theta(\tau^j) + \epsilon (|\tau^j| - \mu_w)$$
여기서 $\epsilon$은 섭동 계수이다. 이 조정은 이진 성공 라벨을 변경하지 않으면서, 긴 성공 궤적(중복 동작이 포함될 가능성이 높은)의 가중치를 낮추고 짧은 궤적의 가중치를 높인다.

음의 그룹 섭동 (이탈 인식 정교화)

실패한 궤적($T^-$)에 대해, 프레임워크는 "정보가 풍부한" 근접 성공 실패와 근본적으로 잘못된 시도를 구분한다.

1. 참조 선택: 참조 성공 궤적($\tau^+_{ref}$)을 선택한다(일반적으로 버퍼나 현재 배치에서 가장 짧은 성공 궤적).
2. 이탈 추정: 시스템은 구조적 유사도 지수(SSIM)를 사용하여 실패한 궤적을 참조 궤적과 단계별로 비교함으로써, 궤적이 성공 경로에서 유의미하게 벗어나기 전까지의 단계 수인 **이탈 길이(divergence length, $d_j$)**를 식별한다.
3. 오류 심각도: 오류 단계의 수는 $E_j = |\tau^j| - d_j + 1$로 계산된다.
4. 로짓 섭동: 양의 그룹과 마찬가지로, 로짓은 가중 평균($\mu_e$)으로부터의 오차 단계($E_j$) 편차를 기준으로 섭동된다:
   $$\hat{s}_\theta(\tau^j) = \bar{s}_\theta(\tau^j) + \epsilon (E_j - \mu_e)$$
   이는 초기에 이탈한 실패(높은 $E_j$)에 대해서는 더 강한 억제를, 성공 경로에 오래 머물렀던 실패(낮은 $E_j$)에 대해서는 더 완만한 페널티를 부여한다.

2.3 이론적 특성

저자들은 LACL-GUI가 다음을 만족함을 보여주는 **1차 불변 정리(First-Order Invariance Theorem)**를 증명한다:
$$L_{LACL-GUI} = L_{REAL} + O(\epsilon^2)$$
이는 제안된 섭동이 원래 REAL 방식의 1차 최적화 목적을 보존함을 나타낸다. 결과적으로, 이 프레임워크는 근본적인 성공-실패 분류 경계를 변경하지 않으면서 결과 그룹 내의 그래디언트 할당 및 국소 최적화 기하학을 정교화하여 안정성을 보장한다.

3. 주요 기여

1. 대조적 RLVR에서의 궤적 수준 감독: 본 논문은 기존 방식의 "맹목성"(그룹 내 궤적 차이를 인지하지 못함)을 해결하기 위해, 궤적의 길이와 이탈 정도와 같은 미세한 품질 신호를 대조적 RLVR에 통합하는 새로운 메커니즘을 도입한다.
2. 구조화된 선호도 모델링: 성공(길이 인식) 및 실패(이탈 인식) 궤적 모두에 대한 구체적인 로짓 섭동 전략을 제안하여, 효율적인 실행을 유도하고 정보가 풍부한 실패를 구분한다.
3. 안정적인 최적화 프레임워크: 제로 평균 로짓 변조와 그룹 통계에 대한 스톱 그래디언트(stop-gradient) 연산을 활용하여, 분류 기반 목적 함수의 그래디언트 안전성과 안정성을 유지하면서도 미세한 가이드를 제공한다.
4. 비동기 훈련 인프라: 성공 버퍼와 궤적 필터링을 포함한 디커플링된 아키텍처를 구현하여, GUI 작업의 희소한 보상과 긴 호라이즌 특성을 처리하도록 설계되었다.

4. 실험 결과

저자들은 Qwen3-VL-Thinking 모델(4B 및 8B 파라미터)을 백본으로 사용하여 OSWorld 벤치마크에서 LACL-GUI를 평가했다.

• 전반적인 성능: LACL-GUI-8B는 **50.0%**의 전체 작업 성공률을 달성하여, 베이스 모델인 Qwen3-VL-8B-Thinking(+7.3%), GRPO 베이스라인(+2.8%), 그리고 REAL 베이스라인(+2.7%)을 모두 능가했다.
• SOTA와의 비교: 이 모델은 DART-GUI-7B(46.7%) 및 DeepMiner-Mano-7B(47.9%)를 포함한 여러 강력한 오픈 소스 및 폐쇄형 모델을 넘어섰다.
• 효율성 이득: 모든 방법이 동일한 결과를 달出的한 작업에 집중한 절제 연구(ablation study)에서, LACL-GUI는 성공 궤적의 평균 길이를 10.3%(REAL의 9.13단계에서 8.19단계로) 단축시켰으며, 실패 궤적의 평균 길이도 10.5% 줄였다.
• 강건성: 민감도 분석 결과, 이탈 추정을 위한 다양한 유사도 임계값($\Theta$)에서도 안정적인 성능을 유지하여, 실패의 상대적 순위가 파라미터 변화에 강건함을 보여주었다.

5. 의의 및 주장

본 논문은 대조적 RLVR 프레임워크 내에서 궤적 수준의 감독이 갖는 가치를 입증한다고 주장한다. 이진 결과 라벨을 넘어섬으로써, 이 방법은 에이전트가 더 효율적인 실행을 하도록 유도하고 근접 실패로부터 학습하도록 돕는 더 유익한 학습 신호를 제공한다.

저자들은 이 접근 방식이 마일스톤 기반 보상과 달리 추가적인 모델이나 작업별 감독을 필요로 하지 않으며, 통합된 대조 프레임워크 내에서 상호작용 데이터로부터 직접 품질 신호를 도출한다는 점을 강조한다. 실험 결과는 궤적 품질에 기반하여 그래디언트 할당을 정교화하는 것이, 특히 보상이 희소하고 호라이즌이 긴 환경에서 GUI 에이전트 훈련의 안정성과 효율성을 개선하는 유효한 경로임을 시사한다.