기술 요약: Video2GUI

문제 제기

일반화된 그래픽 사용자 인터페이스 (GUI) 에이전트 개발은 대규모이고 다양한 학습 데이터의 부족으로 인해 현재 제약받고 있습니다. 기존 접근 방식은 수동으로 주석 처리된 상호작용 궤적이나 시뮬레이션 환경에 크게 의존하는데, 이는 생산 비용이 많이 들고 확장성이 제한적입니다. 결과적으로 이러한 협소한 데이터셋으로 훈련된 에이전트는 보지 못한 인터페이스, 애플리케이션, 실제 세계 작업에 일반화하는 데 어려움을 겪습니다. 인터넷에는 레이블이 지정되지 않은 GUI 튜토리얼 비디오의 방대한 저장소가 존재하지만, 고품질 교육 콘텐츠를 필터링하는 어려움과 명시적 주석 없이 원시 비디오에서 구조화되고 공간적으로 기반을 둔 행동 궤적을 추출하는 복잡성으로 인해 이러한 데이터를 효과적으로 활용하는 것은 도전적입니다.

방법론

이러한 과제를 해결하기 위해 저자들은 레이블이 지정되지 않은 인터넷 비디오에서 대규모 상호작용 궤적을 합성하도록 설계된 Video2GUI라는 완전 자동화 프레임워크를 제안합니다. 파이프라인은 세 단계의 점진적 단계를 통해 작동합니다:

1. 거칠게부터 정밀하게 비디오 필터링:

   • 거친 필터링 (메타데이터): 5 억 개의 비디오 메타데이터 항목 (제목, 설명, 키워드) 으로 시작하여, 시스템은 경량 분류기 (Qwen2.5-7B 미세 조정) 를 사용하여 GUI 작업과 관련 없는 비디오를 필터링합니다. 이는 관련 없는 콘텐츠를 처리하는 계산 비용을 피하면서 후보 풀을 약 2 천만 개의 비디오로 줄입니다.
   • 정밀 필터링 (시각적 점수 매기기): 시각적 점수 매기기 모델 (Qwen2.5-Omni 미세 조정) 이 각 후보 비디오의 첫 1 분 콘텐츠를 세 가지 차원에서 평가합니다: 주제 관련성(GUI 작업 교육에 초점), 명료한 지시(내레이션의 일관성), 그리고 녹화 품질(시각적 충실도). 이 단계에서는 약 30 만 시간 분량의 416 만 개의 고품질 비디오만 유지됩니다.

2. 궤적 추출:

   • 역사적 컨텍스트 메모리를 활용한 슬라이딩 윈도우 전략을 사용하여, 프레임워크는 강력한 비전 - 언어 모델 (Gemini-3-Pro) 을 사용하여 비디오 세그먼트를 구조화된 지시 - 궤적 쌍으로 변환합니다.
   • 모델은 작업 지시, 행동 타임스탬프, 행동 세부 사항, 그리고 각 행동의 근거를 추출합니다. 각 행동이 정확한 타임스탬프와 저수준 텍스트 설명과 연관된 일련의 단계들을 생성합니다.

3. 행동 공간 기반 설정:

   • 압축된 비디오 프레임의 해상도 제한을 극복하기 위해, 시스템은 추출된 각 행동 타임스탬프에 대해 고해상도 스크린샷 ($t-0.5s$, $t$, $t+0.5s$ 시점의 세 프레임) 을 검색합니다.
   • Gemini-3-Pro 를 사용하여 저수준 지시를 정확한 화면 좌표 (바운딩 박스 또는 점) 에 매핑하여, 행동을 UI 에 효과적으로 기반을 둡니다. 이 다중 프레임 접근 방식은 GUI 상호작용에서 발생하는 빠른 시각적 변화로 인한 문제를 완화합니다.

훈련 전략:
저자들은 결과적으로 생성된 데이터셋인 WildGUI를 두 단계 에이전트 훈련 과정에 활용합니다:

• 1 단계 (연속 사전 훈련): 모델 (Qwen2.5-VL 및 Mimo-VL) 이 GUI 기반 설정, 행동 예측, 궤적 모델링의 혼합 목적 함수를 사용하여 WildGUI 에서 사전 훈련됩니다.
• 2 단계 (사후 훈련): 사전 훈련된 모델은 특정 하류 작업에서 성능을 정제하기 위해 선별된 고품질 오픈 소스 데이터셋에서 미세 조정됩니다.

주요 기여

• Video2GUI 프레임워크: 레이블이 지정되지 않은 수십억 개의 인터넷 비디오에서 기반을 둔 GUI 상호작용 궤적을 추출하는 확장 가능하고 완전 자동화된 파이프라인으로, 수동 주석에 대한 의존성을 제거합니다.
• WildGUI 데이터셋: 1,270 만 개의 상호작용 궤적과 1 억 2,450 만 개의 스크린샷을 포함하는 대규모이고 다양한 사전 훈련 데이터셋을 구축했습니다. 이는 데스크톱, 모바일, 웹 플랫폼 전반에 걸쳐 1,500 개 이상의 애플리케이션과 웹사이트를 포괄합니다.
• 성능 향상: 광범위한 실험은 WildGUI 에서 사전 훈련하는 것이 여러 GUI 기반 설정 및 에이전트 벤치마크에서 일관된 개선 (5~20%) 을 가져오며, 더 작은 파라미터 수를 가진 모델들이 최첨단 성능과 맞먹거나 능가할 수 있게 함을 보여줍니다.
• 오픈 공개: 저자들은 향후 확장 가능한 GUI 에이전트 훈련 연구를 촉진하기 위해 WildGUI 데이터셋과 Video2GUI 파이프라인을 모두 공개할 것을 약속합니다.

실험 결과

저자들은 여러 벤치마크에서 Qwen2.5-VL 및 Mimo-VL 백본을 사용하여 접근 방식을 평가했습니다:

• GUI 기반 설정: ScreenSpot-Pro와 OSWorld-G에서 WildGUI 사전 훈련 모델은 상당한 향상을 보였습니다. 예를 들어, Mimo-VL-7B 는 OSWorld-G 에서 67.6의 최첨단 평균 점수를 달성하여 Qwen3-VL-32B(60.6) 및 Seed1.5-VL(62.9) 같은 더 큰 모델을 능가했습니다.
• 오프라인 에이전트 평가: AndroidControl과 CAGUI에서 모델은 개선된 계획 및 실행 능력을 보여주었습니다. Mimo-VL-7B 는 AndroidControl-High 에서 71.4의 단계 성공률을 달성하여 기본 모델보다 상당한 개선을 보였습니다.
• 온라인 에이전트 평가: 동적 환경 (OSWorld 및 AndroidWorld) 에서 전체 훈련 파이프라인 (1 단계 + 2 단계) 은 AndroidWorld 에서의 성공률을 거의 두 배로 늘렸습니다 (기본 모델의 16.4% 대비 31.9%), 열린-ended 실제 세계 작업에 대한 강력한 일반화를 입증했습니다.
• 확장 분석: 확장 연구는 사전 훈련 토큰 양 (최대 2,000 억) 과 하류 작업 정확도 사이의 강한 양의 상관관계를 밝혔으며, 성능은 명백한 포화 없이 계속 향상되었습니다.

중요성과 주장

이 논문은 일반화된 GUI 에이전트의 주요 병목 현상이 모델 아키텍처뿐만 아니라 데이터의 부족과 다양성이라고 주장합니다. 레이블이 지정되지 않은 인터넷 비디오가 고품질의 구조화된 학습 데이터로 효과적으로 변환될 수 있음을 입증함으로써, Video2GUI 는 이러한 한계를 극복할 수 있는 확장 가능한 경로를 제공합니다.

저자들은 다음과 같이 주장합니다:

1. 데이터 품질이 최우선: 거칠게부터 정밀하게 필터링하고 VLM 기반 추출 전략은 합성된 데이터가 견고한 에이전트를 훈련하기에 정확하고 다양하도록 보장하는 데 결정적입니다.
2. 오프라인 데이터의 일반화: 오프라인 비디오 데이터로 사전 훈련하는 것은 훈련 데이터 자체가 정적임에도 불구하고 에이전트가 온라인 동적 환경으로 효과적으로 일반화할 수 있게 하는 중요한 기반을 제공합니다.
3. 확장성: Video2GUI 파이프라인은 인터넷 규모의 데이터를 처리할 수 있으므로, 이 분야는 작고 수동으로 선별된 데이터셋의 제약에서 벗어나 진정한 대규모이고 다양한 에이전트 훈련으로 나아갈 수 있음을 시사합니다.

이 연구는 다양하고 오프라인 비디오 데이터로 훈련을 확장하는 것이 유능하고 범용적인 자율 GUI 에이전트를 개발하기 위한 유망하고 필수적인 방향이라고 결론지었습니다.