VeriOS: Query-Driven Proactive Human-Agent-GUI Interaction for Trustworthy OS Agents

1. 문제 정의 (Problem Statement)

• 배경: 멀티모달 대규모 언어 모델 (MLLM) 의 발전으로 스마트폰, PC 등 온디바이스 GUI 를 조작하여 사용자의 작업을 자동화하는 OS 에이전트 (OS Agents) 가 등장했습니다.
• 핵심 문제: 기존 OS 에이전트들은 이상적인 환경 (신뢰할 수 있는 시나리오) 에서의 작업 자동화에 집중되어 있습니다. 그러나 실제 환경은 신뢰할 수 없는 (Untrustworthy) 요소들로 가득 차 있습니다.
  • 환경 측면: OS 불안정성으로 인한 팝업, 연결 끊김, 충돌, 위치 권한 등 민감한 동작 유발.
  • 사용자 측면: 모호한 지시, 여러 가지 합리적인 선택지가 존재하는 상황 등.
• 위험: 이러한 신뢰할 수 없는 환경에서 에이전트가 자율적으로 실행할 경우, 과도 실행 (Over-execution) 이 발생하여 위험한 결과를 초래할 수 있습니다.
• 기존 접근법의 한계:
  • 기존 '신뢰도 기반 (Confidence-driven)' 상호작용 방식은 신뢰도가 임계값 이하일 때 단순히 작업을 중단하고 인간에게 넘깁니다. 이는 해석 가능성 (Interpretability) 이 부족하고, 인간이 직접 GUI 를 조작해야 하는 번거로움이 있습니다.
  • 기존 에이전트들은 신뢰할 수 없는 시나리오를 정확히 식별하지 못하며, 인간과의 질의 - 응답 (Query-Answer) 히스토리를 프롬프트에 추가할 경우 오히려 정상적인 작업 수행 능력이 저하되는 현상이 관찰되었습니다.

2. 제안 방법론 (Methodology)

저자들은 VeriOS라는 프레임워크와 이를 구현한 VeriOS-Agent를 제안합니다.

가. Query-Driven Human-Agent-GUI 상호작용 프레임워크

• 핵심 아이디어: 에이전트가 신뢰할 수 없는 상황을 감지하면 작업을 중단하지 않고, 사용자에게 명확한 질문 (Query) 을 던져 답변을 받은 후 작업을 계속 수행합니다.
• 장점: 인간이 직접 GUI 를 조작할 필요가 없으며, 상호작용의 전 과정이 해석 가능합니다.

나. VeriOS-Bench (벤치마크)

• 모바일, 데스크톱, 웹, 태블릿 등 크로스 플랫폼 환경을 포괄하는 새로운 벤치마크를 구축했습니다.
• 신뢰할 수 없는 시나리오 유형 (환경 이상, 정보 부족, 민감한 동작, 다중 선택) 과 이에 대한 질의 - 응답 쌍 (Query-Answer Pairs) 을 포함합니다.

다. 3 단계 학습 패러다임 (Three-Stage Learning Paradigm)

OS 에이전트가 메타 지식 (Meta-knowledge) 을 효과적으로 분해하고 활용하도록 설계된 학습 과정입니다.

1. 메타 지식 분해 (Meta-knowledge Decoupling):
   • 각 데이터 인스턴스를 두 가지 하위 지식으로 분해합니다.
     • 시나리오 지식 (Scenario Knowledge): 신뢰할 수 없는 상황을 식별하고 적절한 질문을 생성하는 능력.
     • 행동 지식 (Action Knowledge): 질문 - 답변 쌍을 활용하여 실행 가능한 GUI 동작을 생성하는 능력.
2. SFT (Supervised Fine-Tuning) 단계:
   • 분해된 두 가지 지식 (시나리오 지식과 행동 지식) 을 교차 학습 (Interleaved Training) 합니다.
   • 질문 생성과 행동 생성 간의 논리적 연결을 동시에 학습하여 VeriOS-Agent-SFT 모델을 만듭니다.
3. GRPO (Group Relative Policy Optimization) 단계:
   • 규칙 기반 보상 시스템을 도입하여 정책을 정제합니다.
     • 시나리오 보상: 상황 인식과 질문 생성의 정확성 평가.
     • 행동 보상: 질문의 정밀도와 상호작용 히스토리 준수를 평가.
   • 이를 통해 에이전트가 신뢰할 수 없는 상황에서는 질문을 하고, 정상 상황에서는 자율적으로 작업을 수행하도록 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 상호작용 패러다임: 신뢰할 수 없는 상황에서는 인간에게 질문하고, 정상 상황에서는 자율 실행하는 질문 주도 (Query-Driven) 인간 - 에이전트-GUI 상호작용 방법을 제안했습니다.
2. 효율적인 학습 패러다임: SFT 와 GRPO 를 통해 메타 지식을 분해하고 통합하는 3 단계 학습 패러다임을 제안하여, 단일 에이전트 내에서 다양한 지식 유형을 통합적으로 학습하게 했습니다.
3. VeriOS-Bench 구축: 신뢰할 수 없는 시나리오와 질의 - 응답 쌍이 주석된 크로스 플랫폼 벤치마크를 공개했습니다.
4. VeriOS-Agent 개발: 신뢰할 수 있는 OS 에이전트를 구현하여, 기존 최강 베이스라인 대비 성능을 크게 향상시켰습니다.

4. 실험 결과 (Results)

• 성능 향상:
  • VeriOS-Agent 는 신뢰할 수 없는 시나리오에서 단계별 성공률 (Step-wise Success Rate) 을 기존 최강 베이스라인 대비 평균 19.72%~20.64% 향상시켰습니다.
  • 특히 '정보 부족 (Information Missing)' 및 '다중 선택 (Multiple Choices)'과 같은 복잡한 상황에서 성능이 두드러지게 개선되었습니다.
• 정상 상황 유지:
  • 신뢰할 수 없는 상황에서의 성능 향상에도 불구하고, 정상적인 (신뢰할 수 있는) 상황에서의 성능은 저하되지 않았습니다. 이는 학습 데이터의 다양성이 에이전트의 일반화 능력을 높였음을 시사합니다.
• 시나리오 판단 정확도 (SJA):
  • 기존 MLLM 기반 에이전트들의 신뢰할 수 없는 상황 판단 정확도는 46.52%~60.96% 에 불과했으나, VeriOS-Agent 는 **80.21%**까지 향상시켰습니다.
• 분석 결과:
  • **교차 학습 (Interleaved Training)**이 다른 학습 방식 (Shuffled, Rotating, Phased) 보다 가장 우수한 성능을 보였습니다.
  • **이중 에이전트 시스템 (Dual-agent)**보다 단일 에이전트 내에서 지식을 통합하는 방식이 더 효율적이고 자원 소모가 적었습니다.
  • OOD (Out-of-Distribution) 실험과 확장성 연구를 통해 학습되지 않은 새로운 신뢰할 수 없는 시나리오에서도 강력한 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 OS 에이전트의 신뢰성 (Trustworthiness) 문제를 해결하기 위한 중요한 이정표입니다.

• 실용성: 에이전트가 위험한 상황을 스스로 인지하고 인간과 협력하여 작업을 완수함으로써, 실제 배포 환경에서의 안전성을 확보합니다.
• 기술적 혁신: 단순한 자동화를 넘어, 에이전트가 '언제 질문해야 하는지'와 '어떻게 답변을 활용해야 하는지'를 학습하는 메커니즘을 정립했습니다.
• 미래 지향성: 지속적인 학습 (Continual Learning) 환경에서도 새로운 시나리오에 적응할 수 있는 확장성을 보여주어, 향후 복잡한 OS 환경에서의 에이전트 발전 방향을 제시합니다.

요약하자면, VeriOS는 OS 에이전트가 불확실한 환경에서 과잉 실행의 위험을 피하고, 인간과의 효율적인 질의 - 응답을 통해 신뢰할 수 있는 작업을 수행할 수 있도록 하는 혁신적인 프레임워크입니다.