기술 요약: ReVision – 시간적 시각적 중복성 감소를 통한 컴퓨터 사용 에이전트 확장

문제 정의

컴퓨터 사용 에이전트 (CUA) 는 그래픽 사용자 인터페이스 (GUI) 와 상호작용하기 위해 멀티모달 대규모 언어 모델 (MLLM) 에 의존하며, 이는 스크린샷 시퀀스를 처리함으로써 이루어집니다. 이러한 에이전트를 장기 작업으로 확장하는 데 있어 주요 병목 현상은 시각적 토큰 비용의 급격한 증가입니다. 상호작용 궤적이 길어질수록 과거 스크린샷을 모델 컨텍스트에 추가하면 이미지당 수백 또는 수천 개의 시각적 토큰이 도입됩니다.

저자들은 연속적인 GUI 스크린샷이 상당한 시간적 중복성을 보인다고 파악했습니다. 대부분의 단계에서 인터페이스의 작은 영역만 변경됩니다 (예: 버튼 클릭 또는 텍스트 업데이트). 반면 화면의 대부분은 정적 상태로 유지됩니다. 표준 MLLM 은 각 이미지를 독립적으로 처리하여 거의 동일한 시각적 토큰을 반복적으로 인코딩합니다. 이 비효율성은 컨텍스트 예산을 소진시켜, 에이전트가 유용한 과거 정보를 폐기하거나 처리할 수 있는 궤적 길이를 제한하게 만듭니다. 결과적으로 더 많은 역사를 추가할 때 성능이 종종 포화되거나 심지어 저하되는데, 이는 과거 정보가 무용지물이라서가 아니라 토큰 표현이 비효율적이기 때문입니다.

방법론: ReVision

이를 해결하기 위해 저자들은 ReVision을 소개했습니다. 이는 불필요한 시각적 토큰을 줄이면서도 추론에 필요한 공간적 구조와 작업 관련 정보를 보존하도록 설계된 중복성 인식 훈련 프레임워크입니다. 이 접근법은 두 가지 주요 구성 요소로 이루어집니다:

1. ReVision 토큰 선택 (RTS)

프레임워크의 핵심은 연속된 스크린샷 간의 중복된 시각적 패치를 식별하도록 훈련된 경량 학습 패치 선택기 (3 층 MLP) 입니다.

• 메커니즘: 궤적 단계 $t$에서 RTS 모듈은 현재 스크린샷 ($I_t$) 의 패치 수준 임베딩과 이전 스크린샷 ($I_{t-1}$) 의 해당 패치를 비교합니다.
• 훈련 감독: 모델은 스크린샷을 의미 있는 영역으로 분할하는 OmniParserV2가 생성한 레이블을 사용하여 훈련됩니다. 연속된 이미지에서 해당 영역의 교차율 (IoU) 이 높아 변경되지 않은 콘텐츠를 나타내는 경우, 패치는 중복으로 레이블링됩니다. 렌더링 노이즈나 커서 이동과 같은 미세한 변동을 처리하기 위해 원시 픽셀 유사성보다 영역 수준 매칭이 선호됩니다.
• 출력: RTS 는 각 단계에 대해 이진 마스크 $m_t$를 생성하여 이전 프레임과 시각적으로 중복된 패치를 필터링합니다.

2. 필터링된 궤적을 통한 훈련

토큰 감소를 사후 처리 단계로 취급하는 대신, ReVision 은 필터링 메커니즘을 훈련 파이프라인에 직접 통합합니다.

• 데이터 구성: 모델은 AgentNet 궤적에서 미세 조정되는데, 이때 역사 창 내의 모든 이미지에서 중복된 패치가 제거됩니다 (첫 번째 이미지는 공간적 정렬을 보존하기 위해 온전하게 유지됨).
• 추론 일관성: 추론 중에는 동일한 RTS 필터링이 적용됩니다. 모델은 전체 텍스트 컨텍스트 (이전 단계의 추론 및 작업) 에 조건을 두지만, 압축된 시각적 토큰 집합 $\{V'_1, \dots, V'_t\}$을 수신합니다.
• 공간 보존: 중요하게도, 필터링 과정은 유지된 토큰의 원래 위치 인덱스를 보존합니다. 이는 모델의 어텐션 메커니즘과 위치 인코딩 (예: m-ROPE) 이 유효하도록 보장하여, 모델이 공간적 일관성을 잃지 않고 컴팩트한 시각적 역사를 통해 추론할 수 있게 합니다.

주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 중복성의 정량화: 저자들은 GUI 궤적 내 시각적 토큰의 상당 부분이 중복됨을 입증했습니다. 여러 벤치마크 (OSWorld, AgentNetBench, WebTailBench 등) 를 통해 연속된 단계 간 패치의 평균 **45.4%**가 변경되지 않았으며, 일부 환경에서는 56% 이상의 중복성을 보였습니다.
2. ReVision 프레임워크: 그들은 중복 패치가 동적으로 제거된 궤적에서 MLLM 을 훈련시키는 방법을 도입했습니다. 이는 기본 아키텍처를 수정하지 않고 시간적으로 분산된 증거에 의존하여 모델이 컴팩트한 시각적 역사를 통해 추론할 수 있게 합니다.
3. 역사 확장 재평가: 이 작업은 시각적 역사 성능이 일찍 포화된다는 관찰에 도전합니다. 저자들은 포화 현상이 비효율적인 토큰 표현의 결과임을 보여주며, 중복성이 제거되면 더 많은 과거 관측이 통합됨에 따라 성능이 계속 향상됨을 입증했습니다.

실험 결과

저자들은 Qwen2.5-VL-7B를 사용하여 OSWorld, WebTailBench, AgentNetBench의 세 가지 벤치마크에서 ReVision 을 평가했습니다.

• 토큰 효율성: 5 개의 역사 스크린샷이 포함된 궤적을 처리할 때, ReVision 은 모든 패치를 유지하는 베이스라인 대비 평균 약 **46%**의 토큰 사용량을 줄입니다.
• 성능 향상: 감소된 토큰 수에도 불구하고 ReVision 은 "no-drop" 베이스라인 대비 성공률을 3% 향상시킵니다. WebTailBench 와 같은 특정 벤치마크에서는 개선 폭이 14 퍼센트 포인트에 달합니다.
• 확장 행동:
  • 베이스라인: 컨텍스트 예산 소진으로 인해 역사 길이가 증가함에 따라 표준 모델은 체감 수익 감소 또는 성능 포화를 보입니다 (예: 약 7 개의 이미지에서 정점).
  • ReVision: 중복 토큰을 제거함으로써 포화 지점을 지연시킵니다 (최대 11 개 이미지까지), 동일한 컴퓨팅 예산 내에서 모델이 더 긴 역사를 효과적으로 활용할 수 있게 합니다.
• 궤적 길이: ReVision 에이전트는 작업을 완료하는 데 필요한 상호작용 단계를 줄여 작업을 더 효율적으로 해결합니다. 예를 들어, OSWorld 에서 평균 궤적 길이는 4 단계 감소하면서도 더 높은 성공률을 달성했습니다.
• 다른 전략과의 비교: ReVision 은 단순한 토큰 드롭 전략 (무작위, 나선형) 과 간단한 유사성 기반 필터링 (픽셀 또는 임베딩 코사인 유사성) 보다 우수한 성능을 보입니다. 추론 시 OmniParser 를 사용하는 영역 기반 방법은 약간 더 높은 성능을 내지만, prohibitive 한 지연 시간 (>550ms) 을 초래합니다. ReVision 은 낮은 지연 시간 (~22ms) 으로 비교 가능한 개선을 달성합니다.
• 일반화: 이 방법은 서로 다른 모델 계열 (Qwen2.5-VL-7B 및 Qwen3-VL-8B) 에서 일반화되며, 단일 이미지 설정에서도 성능이 저하되지 않아 훈련 분포의 변화가 표준 그라운딩 능력을 해치지 않음을 확인시켜 줍니다.

중요성과 주장

이 논문은 컴퓨터 사용 에이전트 확장의 주요 장벽이 역사 정보의 부재가 아니라 시각적 토큰 표현의 비효율성이라고 주장합니다. 시간적 중복성을 명시적으로 모델링하고 제거함으로써 ReVision 은 효율성 프론티어를 이동시켜, 에이전트가 계산 비용을 증가시키지 않고도 더 길고 정보량이 풍부한 궤적을 처리할 수 있게 합니다.

저자들은 시각적 역사 성능에서 흔히 관찰되는 포화 현상이 정보의 유용성 한계가 아니라 컨텍스트 예산 제약의 산물이라고 결론지었습니다. 중복성 감소를 통해 컨텍스트 예산을 확보함으로써 에이전트는 더 긴 역사를 통합할 수 있게 되어, 더 나은 장기 추론과 의사 결정으로 이어집니다. 이 작업은 미래의 시각적 추론 확장이 단순히 더 많은 원시 데이터를 축적하는 것이 아니라 제한된 예산 내에서 유용한 정보를 보존하는 데 초점을 맞춰야 함을 시사합니다.