기술 요약: AQuaUI: 적응형 4 분할 트리를 활용한 GUI 에이전트를 위한 시각 토큰 축소

문제 제기

대규모 멀티모달 모델 (LMM) 은 고해상도 스크린샷을 해석하여 작업을 수행하는 그래픽 사용자 인터페이스 (GUI) 에이전트의 핵심 기반이 되었습니다. 그러나 이러한 스크린샷을 처리하면 방대한 수의 시각 토큰이 생성되어 높은 계산 비용, 증가된 추론 지연 시간, 그리고 대화 기록을 위한 제한된 컨텍스트 윈도우 용량을 초래합니다.

기존 솔루션은 두 가지 주요 한계에 직면해 있습니다:

1. 학습 의존성: 많은 토큰 축소 방법은 모델을 재학습해야 하므로, 기성 에이전트에는 적용 가능성이 제한적입니다.
2. 부적절한 압축: 자연 이미지용으로 설계된 방법들 (예: 어텐션 기반 가지치기) 은 GUI 의 고유한 공간 구조를 무시하기 때문에 GUI 에서는 종종 실패합니다. GUI 는 고도로 비균일한 정보 밀도를 보입니다: 넓은 영역은 종종 동질적 (배경, 여백) 인 반면, 중요한 정보는 작고 구조화된 영역 (텍스트, 아이콘) 에 집중되어 있습니다. 모든 토큰을 동등하게 중요하게 취급하거나 어텐션 맵에만 의존하는 것은 필수적인 공간 컨텍스트를 폐기하거나 UI 의 규칙적인 레이아웃을 활용하지 못하게 할 수 있습니다.

방법론: AQuaUI

본 논문은 GUI 스크린샷의 구조적 레이아웃을 활용하여 시각 토큰을 축소하는 학습이 필요 없는 추론 시 프레임워크인 AQuaUI를 제안합니다. 이 방법은 세 가지 핵심 구성 요소로 이루어집니다:

1. 적응형 4 분할 트리 토큰화

균일한 패칭 대신, AQuaUI 는 입력 스크린샷에 적응형 4 분할 트리를 구축하여 정보 밀도에 따라 이미지를 분할합니다.

• 그리드 정렬: GUI 차원은 항상 2 의 거듭제곱이 아니므로, 이미지는 사각형 조각으로 타일링 가능한 중앙 영역과 경계 여백으로 분해됩니다. 4 분할 트리는 각 조각 내에서 독립적으로 구축됩니다.
• 분할 기준: 노드는 점수 함수 $s(n)$에 기반하여 재귀적으로 분할됩니다. 기본 기준은 면적 가중 회색조 분산 ($s(n) = w_n h_n \cdot \text{Var}(\text{grey}(n))$) 입니다. 노드가 $s(n) > 1000 \cdot \alpha$일 경우 분할됩니다. 이는 동질적인 영역은 큰 리프 ( coarse) 로 표현되고, 복잡한 영역은 더 작은 셀 (fine) 로 분할되도록 보장합니다.
• 토큰 선택: 각 최종 리프 노드에 대해 단일 대표 토큰이 선택됩니다 (기본값은 리프의 중앙 블록). 이 토큰과 원래의 공간 좌표는 언어 모델에 전달됩니다.

2. 조건부 4 분할 트리 정제

다단계 GUI 상호작용 (연속된 스크린샷이 종종 거의 동일함) 에서의 시간적 일관성을 해결하기 위해, AQuaUI 는 동일한 요청 내의 이전 스크린샷에 기반하여 현재 4 분할 트리를 조건부로 설정하는 휴리스틱 알고리즘을 도입합니다.

• 상태 분류: 알고리즘은 현재 조각과 이전 조각 간의 관계를 세 가지 모드로 분류합니다:
  • 정적 (Static): 영역이 거의 동일함 (유사도 $\ge \tau_{static}$). 이전 4 분할 트리 분할이 재사용됩니다.
  • 이동 (Shifted): 영역이 스크롤 또는 이동을 겪음. 알고리즘은 겹치는 영역에서 유사도를 최대화하는 블록 단위 이동 $\delta$를 검색합니다. 유효한 이동이 발견되면, 이전 프레임의 coarse 리프가 이동되어 재사용됩니다.
  • 대체 (Replaced): 정적 또는 이동 조건 중 어느 것도 충족되지 않으면, 새로운 4 분할 트리가 처음부터 구축됩니다.
• 세밀한 보존: 이 메커니즘은 이전 프레임에 보존된 세밀한 디테일이 미세한 이동으로 인해 후속 프레임에서 실수로 병합되는 것을 방지하여 추론의 연속성을 유지합니다.

3. 위치 인코딩 일관성

핵심적인 기술적 기여는 파이프라인 전반에 걸쳐 공간적 위치를 보존하는 것입니다. 선택된 토큰은 원래의 병합된 토큰 좌표를 유지합니다. 이러한 좌표는 모델의 위치 인코딩 메커니즘 (예: M-RoPE) 에 주입되어, 모델이 압축된 그리드 대신 올바른 기하학적 컨텍스트에서 희소 토큰을 해석하도록 보장합니다.

주요 기여

1. 학습 불필요 프레임워크: AQuaUI 는 모델 재학습 없이 모든 하위 LMM 에 적용 가능한 플러그 앤 플레이 방법입니다.
2. 구조 활용: 적응형 4 분할 트리를 활용하여 토큰 축소를 GUI 의 고유한 비균일 정보 밀도 및 공간 규칙성과 정렬함으로써, 범용 토큰 가지치기 방법보다 우수한 성능을 발휘합니다.
3. 시간적 일관성: 조건부 4 분할 트리 알고리즘은 연속된 스크린샷 간의 연속성을 활용하여 정적이거나 약간 이동된 상태에서도 세밀한 분할을 보존함으로써, 다단계 탐색에 필수적입니다.
4. 구현: 저자들은 AQuaUI 를 최첨단 모델 (Qwen2-VL, Qwen3-VL, ShowUI, GUI-Owl, MAI-UI) 에 구현하고 여러 벤치마크를 통해 검증했습니다.

실험 결과

저자들은 AQuaUI 를 그라운딩 벤치마크 (UI-Vision, ScreenSpot-Pro, ScreenSpot-V2, OSWorld-G, MMBench-GUI) 및 탐색 벤치마크 (AndroidControl, AndroidWorld) 에서 평가했습니다.

• 정확도 - 효율성 트레이드오프: AQuaUI 는 ShowUI 의 UI 유도 토큰 선택 및 무작위 토큰 드롭과 같은 베이스라인과 비교하여 일관되게 더 나은 정확도 - 지연 시간 트레이드오프를 달성합니다.
  • Qwen3-VL-32B-Instruct에서 AQuaUI 는 전체 토큰 성능의 **99.06%**를 유지하면서 **13.22%**의 속도 향상을 달성하고 시각 토큰을 29.52% 축소합니다.
  • Qwen2-VL-7B-Instruct에서 ShowUI(5.95 점) 에 비해 토큰을 약 27% 축소하면서 정확도 하락이 더 작습니다 (3.29 점).
• 모델 확장성: 모델 크기가 커질수록 지연 시간 이점이 더 두드러집니다. 더 큰 백본 (8B, 32B) 의 경우 4 분할 트리 구축 오버헤드를 상쇄하는 시각 토큰 계산 절감으로 인해 순 지연 시간 이득이 발생합니다. 더 작은 모델 (2B) 은 축소 로직의 고정 오버헤드로 인해 지연 시간 개선이 덜 두드러집니다.
• 애블레이션 연구:
  • 4 분할 트리 vs 무작위: 무작위 토큰 드롭은 상당한 정확도 저하를 초래하여 적응형 구조가 필수적임을 확인시켜 줍니다.
  • 조건부 정제: 조건부 4 분할 트리 메커니즘을 제거하면 AndroidWorld 와 같은 장거리 탐색 작업에서 성공률이 일관되게 하락하여 시간적 일관성 유지에서의 가치를 입증합니다.
  • 점수 함수: 분산 기반 분할은 더 안정적인 성능을 제공하는 반면, 그래디언트 기반 분할은 안정성을 희생하고 더 높은 압축을 허용합니다.

중요성 및 주장

본 논문은 GUI 스크린샷의 공간적 중복성을 재학습 없이 추론 시에 효과적으로 활용할 수 있음을 AQuaUI 가 입증한다고 주장합니다.

저자들은 효율적인 GUI 지각이 자연 이미지 압축에서 일반적인 초점인 어떤 토큰이 중요한지에만 집중해서는 안 되며, 어디에 토큰이 위치하는지도 중요하다고 강조합니다. 적응형 분할과 조건부 정제를 통해 공간적 레이아웃을 보존함으로써, AQuaUI 는 GUI 에이전트가 그라운딩 및 탐색 작업에서 높은 충실도를 유지하면서 훨씬 적은 토큰으로 작동할 수 있게 합니다. 이 접근 방식은 추론 비용을 줄이고, 특히 더 크고 능력 있는 모델에서 GUI 에이전트를 위한 더 긴 상호작용 기록을 가능하게 하는 실용적인 경로를 제공합니다.