기술 요약: 안내된 이점 추정기를 갖춘 충실한 모바일 GUI 에이전트

1. 문제 제기

비전 - 언어 모델 (VLM) 기반 그래픽 사용자 인터페이스 (GUI) 에이전트는 모바일, 웹, 데스크톱 자동화에서 강력한 능력을 입증해 왔습니다. 그러나 최근 연구에 따르면 이러한 에이전트는 종종 불충실하게 행동합니다. 이러한 불충실함은 두 가지 주요 실패 양상으로 나타납니다:

1. 근거 없는 상호작용: 에이전트가 실제 가시적인 인터페이스 상태에 기반하여 결정을 내리는 대신, 암기된 단축키나 피상적인 패턴에 의존합니다. 이는 현재 화면을 확인하지 않고 행동을 취하는 결과 (예: 가려지거나 존재하지 않는 버튼을 클릭하는 것) 로 이어집니다.
2. 지시사항 이탈: 에이전트가 명시적인 사용자 지시사항에서 벗어나는 경우가 많습니다. 특히 지시사항이 현재 작업 단계나 인터페이스 상태와 충돌할 때, 종종 관련 없는 인터페이스로 진행하는 경향이 있습니다.
3. 내부 불일치: 에이전트의 추론 흔적 (생각) 과 실행된 행동 사이에 불일치가 존재합니다. 추론은 한 의도를 암시하지만 행동은 다른 것을 따르는 경우입니다.

이러한 실패는 GUI 작업에서 전형적인 희소 보상 환경에서 더욱 악화됩니다. 특히 "시스템 버튼", "종료"와 같은 이산적이고 열거된 행동을 다룰 때 그렇습니다. 그룹 상대 정책 최적화 (GRPO) 와 같은 표준 강화 미세 조정 (RFT) 방법은 이러한 시나리오에서 이점 붕괴에 시달립니다. 동일한 입력 하에서 롤아웃 그룹이 거의 동일한 보상을 산출할 때 (낮은 분산, 거의 이진적인 결과에서 흔히 발생), 그룹 내 정규화는 이점을 0 으로 수렴하게 만들어, 증거가 부족할 때 "뒤로" 또는 "홈"을 누르는 것과 같은 충실한 행동을 정교화하는 데 필요한 학습 신호를 제거합니다.

2. 방법론: Faithful-Agent

저자들은 Faithful-Agent를 제안하며, 이는 GUI 상호작용을 "충실성 우선" 문제로 재정의합니다. 핵심 요구사항은 에이전트가 증거 기반성(인터페이스와 지시사항에 의해 지원되는 결정) 과 내부 일관성(추론과 일치하는 행동) 을 우선시해야 한다는 것입니다. 증거가 부족하거나 충돌할 때, 충실한 에이전트는 추측성 실행을 자제해야 합니다.

이 프레임워크는 이 단계 훈련 파이프라인을 사용합니다:

1 단계: 충실성 지향 감독 미세 조정 (SFT)

• 목표: 증거 교란 (예: 가림, 내용 조작, 목표 변경) 하에서 자제 행동을 심어줍니다.
• 메커니즘: 모델은 일반 궤적과 "함정" 교란을 모두 포함하는 데이터셋으로 훈련됩니다. 함정 시나리오에서 에이전트는 누락되거나 충돌하는 증거를 인식하고 추측하는 대신 안전하고 자제하는 행동 (예: SYSTEM_BUTTON(BACK), SYSTEM_BUTTON(HOME), 또는 TERMINATE) 을 취하도록 감독됩니다.
• 결과: 이는 충실하지 않은 탐색을 줄여 후속 RFT 를 안정화시키는 "충실한 콜드 스타트"를 제공합니다.

2 단계: 안내된 이점 추정기 (GuAE) 를 통한 GRPO

• 목표: 희소하고 거의 이진적인 보상 하에서 충실성을 더욱 증폭시키고 이점 붕괴를 완화합니다.
• 보상 설계: 보상 함수는 다음을 결합합니다:
  • 행동 일치 보상 ($R_{AM}$): 예측된 행동이 정답과 일치하는지 평가하며, 연속적인 인수 (예: 좌표) 에 대해서는 부분 점수를 허용하지만 이산적인 행동에 대해서는 거의 이진적인 점수를 매깁니다.
  • 추론 - 행동 일관성 보상 ($R_{Cons}$): 중간 추론 흔적과 실행된 행동 사이의 불일치를 패널티로 부과하여 추측성 실행을 억제합니다.
• 안내된 이점 추정기 (GuAE): 낮은 분산 그룹에서 표준 GRPO 이점이 소멸되는 병목 현상을 해결하기 위해, 저자들은 두 가지 구성 요소로 이루어진 GuAE 를 도입합니다:
  1. 앵커 정규화: 경험적 보상 세트에 정적 앵커 포인트 $\{0, 1\}$를 추가합니다. 이는 모든 롤아웃 보상이 동일하더라도 (예: 모두 0 또는 모두 1), 그룹 통계 (평균 및 분산) 가 0 이 아니도록 보장하여 이점이 0 으로 붕괴되는 것을 방지합니다.
  2. 분산 적응적 조절 (VAT): 그룹의 분산이 참조 변동성 (최대 엔트로피 균일 분포에서 유도됨) 에 비해 어떻게 스케일링되는지에 따라 이점을 조절하는 메커니즘입니다. 이는 미묘한 차이가 중요한 낮은 분산 그룹에서는 신호를 선명하게 하고, 높은 분산 그룹에서는 노이즈가 많은 업데이트를 감쇠시킵니다.

3. 주요 기여

1. 단계별 충실성 정의: 이 논문은 충실성을 증거 기반성과 내부 일관성이라는 두 가지 요구사항으로 공식적으로 정의하며, 핵심 증거가 누락되거나 충돌할 때 명시적으로 자제하도록 규정합니다.
2. 이 단계 훈련 레시피: 자제 사전 지식을 심어주기 위한 SFT 와 단계별 충실성을 강화하기 위한 GRPO 기반 RFT 를 결합한 새로운 파이프라인입니다.
3. 안내된 이점 추정기 (GuAE): GRPO 위에 구축된 앵커 기반, 분산 적응적 조절 메커니즘입니다. 희소 GUI 보상 하에서 낮은 분산 롤아웃 그룹에서의 이점 붕괴를 방지하여, 표준 최적화기가 실패하는 곳에서 충실한 행동을 정교화할 수 있게 합니다.
4. 추론 - 행동 일관성 보상: 명시된 의도와 실행된 행동을 정렬하여 추측성 행동을 줄이는 보조 보상 신호입니다.

4. 실험 결과

저자들은 일반 궤적과 통제된 "함정" 교란 (가림, 내용 조작, 목표 변경) 으로 구성된 교차 시나리오 데이터셋에서 Faithful-Agent 를 평가했습니다.

• 함정 시나리오 성능: Faithful-Agent(2 단계) 는 Qwen3-VL-8B, UI-TARS, OS-Atlas 를 포함한 강력한 베이스라인을 크게 능가합니다. 구체적으로 **함정 성공률 (SR)**을 베이스라인의 **13.88%**에서 **80.21%**로 향상시킵니다.
• 일반 성능: 이 프레임워크는 강력한 일반 지시사항 추종 능력을 유지하며, 전체 성공률 **71.67%**를 달성하고 일반 (비함정) 작업에서 높은 성능을 유지합니다.
• 어블레이션 연구:
  • 훈련 중 함정 데이터를 제거하면 함정 성능이 급격히 하락하여, 충실성 지향 감독의 필요성을 확인합니다.
  • GuAE 를 표준 GRPO 로 대체하면 함정 SR 이 낮아집니다 (78.58% 대 80.21%). 이는 GuAE 가 낮은 분산 그룹에서 학습 신호를 효과적으로 보존함을 보여줍니다.
  • 추론 - 행동 일관성 보상 ($R_{Cons}$) 을 추가하면 특히 모순적인 추론 - 행동 쌍을 줄이는 데 성능이 추가로 향상됩니다.
• 안정성: 진단 결과, GRPO+GuAE 는 훈련이 진행됨에 따라 0 에 가까운 이점 비율이 증가하는 베이스 GRPO 와 비교하여 더 큰 이점 크기와 더 매끄러운 기울기 노름을 유지하는 것으로 나타났습니다.

5. 중요성 및 주장

이 논문은 Faithful-Agent가 GUI 자동화의 중요한 격차를 해소한다고 주장합니다. 즉, 인터페이스 증거가 모호하거나 충돌할 때 에이전트가 환각을 일으키거나 단축키에 의존하는 경향을 해결한다는 것입니다. 전용 훈련 파이프라인과 새로운 이점 추정기를 통해 충실성을 우선시함으로써, 이 방법은 에이전트가 다음과 같은 능력을 갖추게 합니다:

• 누락되거나 충돌하는 증거를 감지하고 복구함 (예: "뒤로" 또는 "홈" 버튼 누르기).
• 복잡하고 다단계 작업에서 오류로 이어지는 추측성 실행을 방지함.
• 일반적 유용성을 희생하지 않으면서 "함정" 시나리오에서 높은 신뢰성을 달성함.

저자들은 그들의 접근 방식이 충실성 평가와 근본적인 증거에 충실하도록 에이전트를 능동적으로 훈련시키는 것 사이의 격차를 해소한다고 강조합니다. 더 능력이 뛰어난 에이전트가 오용될 수 있지만, 프레임워크에는 자제와 같은 안전 메커니즘이 포함되어 있으며, 프라이버시 및 보안 위험을 완화하기 위해 최소 권한 권한을 가진 샌드박스 환경에서 에이전트를 실행할 것을 권장한다고 덧붙였습니다.

이 연구는 작업 완료만을 최적화하는 것보다 단계별 충실성을 최적화하는 것이 동적이고 교란된 GUI 환경에서 일관되게 더 나은 전체 결과를 산출함을 시사합니다.