기술 요약: ToolTok

문제 정의

현재의 그래픽 사용자 인터페이스(GUI) 에이전트는 주로 모델이 직접 연속적인 좌표나 바운딩 박스(예: [click, [0.5, 0.5]])를 예측하여 동작을 실행하는 **단일 단계 시각적 그라운딩(one-step visual grounding)**에 의존합니다. 이러한 패러다임은 두 가지 결정적인 한계를 가집니다:

1. 일반화 능력 부족: 고정된 좌표계로 학습된 모델은 다양한 입력 해상도와 종횡비에 일반화되는 데 어려움을 겪습니다. 스크린샷을 고정된 크기로 정규화하면 미세한 인터페이스 요소가 왜곡될 수 있으며, 테스트 시 설정이 달라지면 성능이 크게 저하됩니다.
2. 데이터 부족 및 콜드 스타트 문제: 대안적인 좌표 비의존 방식(예: 어텐션 기반 방식)은 사전 학습된 시각-언어 모델(VLM)의 전체 시맨틱 지식을 활용하지 못하고 단순한 "포인트 앤 클릭" 작업에 국한되는 경우가 많습니다. 또한, 사전 학습된 VLM에 새로운 액션 토큰을 도입하는 것은 일반적으로 방대한 양의 고품질 데이터셋을 필요로 하는데, GUI 상호작용을 위한 데이터(기존 벤치마크는 보통 2,000개 미만의 샘플 포함)를 확보하는 것은 매우 어렵습니다.

기존 방법들은 해상도 변화에 취약하거나, 새로운 액션 표현을 효과적으로 학습하기 위해 과도한 양의 훈련 데이터를 요구한다는 문제를 안고 있습니다.

방법론

저자들은 ToolTok을 제안하며, 이는 연속적인 좌표 회귀에서 이산적이고 학습 가능한 툴 토큰을 사용하는 **다단계 점진적 시각적 경로 탐색(multi-step progressive visual pathfinding)**으로의 패러다임 전환을 의미합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 이산화된 액션 공간 및 툴 토큰

ToolTok은 좌표를 예측하는 대신, GUI 상호작용을 이산적인 툴 사용의 시퀀스로 모델링합니다. 액션 어휘 집합($V_{tool}$)은 네 가지 기능적 그룹으로 구조화됩니다:

• 이동(Movement): 다양한 스케일을 가진 방향 이동 (예: <MOVE UP FAR>, <MOVE UP CLO>).
• 내비게이션(Navigation): 시스템 레벨 내비게이션 (예: <GO BACK>, <GO HOME>).
• 상호작용(Interactions): 요소 조작 (예: <CLICK SHORT>, <SCROLL UP>).
• 입력(Input): 텍스트 입력 지표 (예: <TEXT START>, <TEXT END>).

커서 이동은 방향과 스케일(FAR: 500px, MID: 150px, CLO: 30px)로 분해되어 계층적으로 구성되며, 이를 통해 인간의 커서 제어를 모사하는 조(粗)에서 세(細)로 이어지는 탐색 전략을 가능하게 합니다.

2. 구형 시맨틱 앵커링 (Spherical Semantic Anchoring, SSI)

사전 학습된 VLM 내에서 새로운 토큰을 초기화할 때 발생하는 "콜드 스타트" 문제를 해결하기 위해, ToolTok은 구형 시맨틱 앵커링을 도입합니다.

• 메커니즘: 각 툴 토큰은 그 기능을 설명하는 자연어 앵커 단어들의 집합과 연결됩니다 (예: <MOVE UP FAR>는 {"move", "up", "far"}와 연결됨).
• 초기화: 새로운 토큰의 임베딩은 앵커 임베딩들의 산술적 중심점으로 계산된 후, 기존 어휘의 평균 노름(norm)에 의해 정의된 초구(hypersphere) 표면 위로 투영됩니다.
• 이점: 이는 새로운 토큰이 사전 학습된 모델의 시맨틱적으로 유의미한 공간 내에 초기화되도록 보장하며, 기존의 언어 능력을 손상시키지 않으면서 학습을 가속화하는 자연스러운 귀납적 편향(inductive bias)을 제공합니다.

3. 커리큘럼 기반 학습

제한된 데이터 환경에서 언어적 지식과 실행 가능한 툴 이해 사이의 간극을 메우기 위해, 저자들은 3단계 커리큘럼을 채택합니다:

• 1단계 (합성 워밍업): 모델은 세 가지 작업(토큰 정의 QA, 텍스트 가이드 툴 선택, 단순화된 시각적 경로 탐색)을 다루는 5,000개의 합성 샘플로 학습됩니다. 이를 통해 기본적인 구문과 공간 논리를 구축합니다.
• 2단계 (실제 환경 미세 조정): 실제 데이터셋(예: ScreenSpot)을 사용하여 오라클 궤적 합성(Oracle Trajectory Synthesis) 기법으로 미세 조정합니다. 실제 데이터셋에는 상호작용 궤적이 부족한 경우가 많으므로, 저자들은 탐욕적 최단 경로 궤적과 생각의 사슬(CoT) 추론 체인을 생성합니다. 또한, 추론 토큰보다 액션 토큰을 우선시하기 위해 **액션 가중 손실(Action-Weighted Loss)**을 사용합니다.
• 3단계 (복잡한 시나리오 적응): 더 복잡하고 고해상도의 밀집된 UI 환경을 처리하기 위해 더 도전적인 데이터셋(예: ScreenSpot-Pro)에서 모델을 추가로 정교화합니다.

주요 기여

1. 새로운 패러다임: GUI 에이전트를 시각적 그라운딩에서 이산적이고 학습 가능한 툴 토큰을 통한 점진적 시각적 경로 탐색으로 전환하여, 인간의 내비게이션 습관을 더 잘 반영하도록 합니다.
2. 시맨틱 앵커링: 새로운 툴 토큰을 사전 학습된 시맨틱 지식에 결합하는 원칙적인 메커니즘(SSI)을 도입하여, 최소한의 감독 하에서도 효과적인 표현 정렬을 가능하게 합니다.
3. 데이터 효율성: 언어, 도구, 시각적 인식을 결 결합한 커리큘럼 학습 체계를 설계하여, 다른 사후 학습 방식에 필요한 데이터의 1% 미만만을 사용하여 최첨단(SOTA) 성능을 달과할 수 있게 합니다.

실험 결과

저자들은 4B 파라미터 규모의 Qwen3-VL 백본을 기반으로 한 ToolTok을 여러 벤치마크(ScreenSpot, ScreenSpot-Pro, Mind2Web-Simplified, ScreenSpot-v2)에서 범용 VLM 및 특화된 GUI 에이전트들과 비교 평가했습니다.

• 성능: ToolTok (TT-4B-ScreenSpot-Pro)은 4B 모델 중 최첨단(SOTA) 성능을 달성했으며, 훨씬 더 큰 모델(235B)과도 경쟁할 만한 수준을 보여주었습니다. 예를 들어, ScreenSpot-Pro에서 61.1%의 정확도를 기록하여 4B 베이스라인(57.9%) 및 235B 모델(60.3%)을 앞질렀습니다.
• 강건성: 모델은 입력 해상도 및 종횡도 변화에 대해 우수한 강건성을 입증했습니다. 베이스라인 모델들이 테스트 설정이 훈련 설정과 달라질 때 성능이 크게 저하되는 반면, ToolTok은 일관된 성능을 유지합니다.
• 데이터 효율성: ToolTok은 약 2,000개의 실제 샘플과 합성 워밍업을 결 활용하여, 약 100만 개의 샘플을 필요로 하는 방법들보다 500배 향상된 데이터 효율성(DE) 점수 43,800을 달성했습니다.
• 일반화: 모델은 본 적 없는 시나리오와 지침에 대해 강력한 제로샷 일반화 능력을 보여주며, 시맨틱 앵커링과 추론 메커니즘의 효과를 입증했습니다.
• 지식 보존: 파인튜닝 시 발생하는 치명적 망각(catastrophic forgetting)을 겪는 많은 모델과 달리, ToolTok은 베이스라인보다 백본의 일반적인 멀티모달 능력(예: 시각적 사실성 및 지시 이행)을 더 잘 보존합니다.

의의 및 주장

본 논문은 ToolTok이 미래 GUI 에이전트 연구를 위한 유망한 패러다임 전환을 나타낸다고 주장합니다. GUI 작업을 이산적인 툴 토큰으로 분해하고 시맨틱 앵커링을 활용함으로써, 이 접근 방식은 데이터 효율적이면서도 일반화 가능한 견고한 다단계 추론을 가능하게 합니다.

저자들은 ToolTok이 GUI 에이전트를 단순한 좌표 예측이 아닌, 시맨틱 결정의 시퀀스로 상호작용을 모델링하는 인간과 유사한 에이전트 프레임워크에 더 가깝게 만든다고 강조합니다. 또한, 시맨틱 앵커링 메커니즘이 다른 특수 토큰 정렬 시나리오에도 전이 가능하다는 점을 들어, GUI 에이전트를 넘어선 광범위한 적용 가능성을 시사합니다. 이 연구는 대규모의 정제된 상호작용 데이터셋 없이도 자연어와 학습된 툴 시맨틱을 사용하여 복잡한 디지털 환경과 상호작용할 수 있는 에이전트를 구현함으로써, AGI(인공 일반 지능)를 향한 중요한 진전임을 밝히고 있습니다.