기술 요약: DocOS – GUI 에이전트의 능동적 문서 기반 행동 toward

1. 문제 제기

현재 멀티모달 대규모 언어 모델 (MLLM) 에 의해 구동되는 그래픽 사용자 인터페이스 (GUI) 에이전트는 웹, 데스크톱, 모바일 환경 전반에 걸친 기기 상호작용 자동화에서 상당한 진전을 보여왔습니다. 그러나 근본적인 한계가 존재합니다: 이러한 에이전트는 사전 학습 또는 지시 미세 조정 (instruction tuning) 중에 획득한 정적 파라미터 지식에 크게 의존합니다. 일반적인 상호작용에는 충분할지라도, 이러한 의존성은 모델 파라미터에 명시적 절차 지식이 부재한 장꼬리 (long-tailed) 및 애플리케이션별 작업에 직면했을 때 에이전트를 취약하게 만듭니다.

이러한 작업 (예: PyCharm 에서 특정 실행 환경 구성) 에 직면했을 때, 에이전트는 종종 비효율적이고 오류가 발생하기 쉬운 시행착오 탐색에 의존하여 높은 실행 실패율과 환각 (hallucinations) 을 초래합니다. 기존 벤치마크 및 검색 증강 방법은 관련 문서가 미리 수집되거나 제공된다고 가정하여, 개방적이고 동적인 환경에서의 자율적 지식 획득이라는 과제를 해결하지 못합니다. 에이전트가 외부 문서를 능동적으로 검색하고, 이해하며, 실행 가능한 GUI 행동으로 정합 (grounding) 하는 능력을 평가하는 데에는 결정적인 격차가 존재합니다.

2. 방법론

2.1 제안된 패러다임: 능동적 문서 기반 행동

저자들은 인간 문제 해결 방식을 반영하는 능동적 문서 기반 행동이라는 새로운 패러다임을 제시합니다. 에이전트는 내부 지식에만 의존하는 대신, 자율적으로 웹을 탐색하여 관련 문서를 찾고, 절차적 지시를 이해하며, 이러한 지시를 정밀한 GUI 행동으로 정합할 수 있도록 권한을 부여받습니다. 이 패러다임은 추론 능력을 방대한 도메인별 지식 저장으로부터 분리하여, 광범위한 재학습 없이도 진화하는 작업에 적응할 수 있게 합니다.

2.2 DocOS 벤치마크

이 패러다임을 평가하기 위해 저자들은 완전 상호작용 환경을 위해 설계된 DocOS 벤치마크를 제안합니다.

• 작업 구성: 상호작용은 두 개의 순차적 단계로 분해된 부분 관측 마르코프 결정 과정 (POMDP) 으로 모델링됩니다:
  1. 능동적 지식 검색: 에이전트는 웹 브라우저와 상호작용하여 필요한 절차 지식을 포함한 대상 문서 ($D$) 를 검색하고 검색합니다.
  2. 문서 기반 실행: 에이전트는 검색된 컨텍스트 ($D$) 에 행동을 정합하여 사용자 지시 ($I$) 를 실행합니다.
• 데이터 구축: DocOS 는 20 개 애플리케이션(PyCharm, Blender, VS Code, Postman 등) 에 걸친 817 개의 고품질 작업으로 구성됩니다. 작업은 실행 단계 수 (~3 단계에서 ~11 단계 평균) 를 기반으로 세 가지 난이도 (Easy, Medium, Hard) 로 분류됩니다.
• 환경: 이 벤치마크는 에이전트가 문서를 찾기 위해 웹 브라우저 (Microsoft Edge) 를 자율적으로 탐색해야 하는 동적 실행 환경 (Docker 기반) 을 활용합니다. 이 환경은 현실적인 시각적 지각과 포괄적인 행동 공간 (마우스 클릭, 타이핑, 스크롤, 단축키 등) 을 지원합니다.
• 품질 관리: 작업 구성, 자동 문서 수집 (공식 사이트 크롤링), 엄격한 필터링을 포함하는 다단계 파이프라인을 통해 의미 일관성, 모호성 제거 및 실행 가능성을 보장합니다.

2.3 평가 지표

평가는 두 단계로 나뉘며 각기 다른 지표를 사용합니다:

• 문서 검색:
  • 대상 URL 포함 (TUI): 동적 파라미터를 고려하여 검색된 URL 에 정답 URL 이 부분 문자열로 포함되는지 측정합니다.
  • 계층적 경로 진행 (HPP): "길을 잃은" 에이전트와 고위 섹션에 도달한 에이전트를 구분하여 달성된 올바른 탐색 경로의 깊이를 평가합니다.
• 작업 실행:
  • 작업 완료율 (TCR): 성공적으로 완료된 작업 수와 총 작업 수의 비율로, 실용적 유용성을 위한 결정적 지표 역할을 합니다.

3. 주요 기여

1. 새로운 패러다임: 본 논문은 GUI 에이전트를 위해 능동적 문서 기반 행동을 최초로 제안하여, 정적 지식에서 자율적 문서 검색 및 적용으로 초점을 전환했습니다.
2. DocOS 벤치마크: 20 개 애플리케이션과 817 개 작업을 포괄하는 현실적인 데스크톱 환경에서 검색, 이해, 실행의 전체 파이프라인을 평가하는 포괄적인 벤치마크를 도입했습니다.
3. 체계적 평가: 저자들은 능동적 문서 검색(자율적 검색 평가) 과 문서 기반 실행(문서 제공 시 지시 구현 평가) 의 두 가지 상호 보완적 설정 하에 광범위한 실험을 수행했습니다.

4. 실험 결과 및 분석

DocOS 를 사용하여 다양한 최첨단 GUI 에이전트 (Qwen3-VL, UI-TARS, MAI-UI 등) 에 대해 수행한 광범위한 실험은 상당한 한계를 드러냈습니다:

• 이중 병목 현상: 진전은 두 가지 주요 실패로 인해 엄격하게 제한됩니다:
  1. 정확하지 않은 정보 위치 파악: 능동적 검색 단계에서 에이전트는 문서 웹사이트 내에서 정확한 관련 정보를 신뢰성 있게 위치시키는 데 어려움을 겪습니다. 종종 고위 섹션에 도달하더라도 (안정적인 HPP), 구체적인 실행 가능 페이지를 정확히 지적하지는 못합니다 (낮은 TCR).
  2. 부정확한 정합: "오라클 (Oracle, 정답)" 문서가 제공되더라도, 에이전트는 검색된 지시를 정밀하고 실행 가능한 GUI 행동으로 변환하는 데 자주 실패합니다.
• 문서의 영향: 외부 문서를 제공하는 것은 일반적으로 모델 전반의 성능을 향상시킵니다 (예: MAI-UI-8B 는 약 7.66% 의 상대적 개선을 보임). 이는 패러다임의 필요성을 입증합니다. 그러나 개선 효과는 균일하지 않습니다. 작은 모델이나 컨텍스트 창이 제한된 모델은 긴 컨텍스트 문서를 효과적으로 활용하는 데 어려움을 겪을 수 있습니다.
• 단계 복잡성: 작업 단계 수와 성공률 사이에는 유의미한 음의 상관관계가 있습니다. 4 단계 이상의 작업이 필요한 경우, 문서 지원이 있더라도 대부분의 모델에서 통과율이 거의 0% 로 떨어지며, 이는 장기 계획 및 컨텍스트 유지에 심각한 한계가 있음을 보여줍니다.
• 오류 분석: 일반적인 실패 패턴은 다음과 같습니다:
  • 정확하지 않은 위치 파악: loosely 관련 있는 섹션에서 멈춤.
  • 비공식 참조: 공식 문서 대신 제 3 자 블로그 검색.
  • 검색 전 실행: 검색을 우회하고 파라미터 지식을 기반으로 추측.
  • 행동 정합 실패: 고수준 지시를 구체적인 UI 상호작용 (예: 파라미터 조정 누락) 으로 변환하지 못함.

5. 중요성 및 주장

본 논문은 DocOS가 미래 GUI 에이전트가 직면한 과제에 대한 기초적인 이해를 제공한다고 주장합니다. 문서 검색과 문서 조건부 실행이라는 이중 병목 현상을 폭로함으로써, 이 연구는 현재 에이전트들이 동적 환경에서 자기 주도적으로 배포될 만큼 충분히 견고하지 않음을 강조합니다.

저자들은 DocOS 를 해결된 문제가 아닌, 연구자들이 GUI 에이전트의 강점과 한계를 더 잘 이해하도록 돕는 체계적인 도구로 위치시킵니다. 이러한 발견은 신뢰할 수 있고 자기 진화하는 GUI 에이전트를 가능하게 하려면 절차적 지식 검색과 이를 복잡하고 다단계 행동에 정합하는 것 사이의 격차를 해소해야 함을 시사합니다. 논문은 지각과 추론 측면에서 진전이 있었음에도 불구하고, 외부 지식을 자율적으로 획득하고 적용하는 능력은 범용 에이전트에게 여전히 결정적인 장애물이라고 결론지었습니다.