기술 요약: 에이전트-컴퓨터 관찰 인터페이스 (AOI)

1. 문제 정의

현재의 컴퓨터 사용(Computer-Use, CU) 에이전트는 엄격한 관찰-추론-행동(observe–reason–act) 루프를 기반으로 작동하며, 관찰은 행동과 밀접하게 결합되어 있습니다. 즉, 에이전트는 3~5초마다 단일 정적 스크린샷을 캡처하고, 이를 바탕으로 추론한 뒤 클릭, 타이핑, 스크롤과 같은 이산적인 행동을 실행합니다. 이러한 설계는 두 가지 결정적인 사각지대를 만듭니다:

1. 시간적 맹목성(Temporal Blindness): 에이전트는 스냅샷 사이의 시간 동안 "눈먼" 상태가 됩니다. 에이전트는 비디오, 애니메이션, 자동 소멸되는 토스트 알림 또는 3~5초의 간격 내에 발생하는 일시적인 UI 이벤트를 인지할 수 없습니다.
2. 오디오 청각 상실(Audio Deafness): 에이전트는 오디오 채널이 없습니다. 에이전트는 회의 중의 발언, 음성 지시, 알림음 또는 음성 프롬프트를 들을 수 없습니다.

기존 벤치마크(예: OSWorld)는 정적 인터페이스에 집중하며 에이전트가 50% 이상의 성공률을 달성했습니다. 그러나 "동적 및 가청(dynamic-and-audible)" 영역은 여전히 미해결 과제로 남아 있습니다. 비디오 데이터로 모델을 재학습시키는 것은 비용이 많이 들고 모델 종속적이며, 네이티브 실시간 멀티모달 API는 사용자를 특정 제공업체에 종속시키고 선택적 인지를 결여하고 있습니다. 본 논문은 관찰 인터페이스가 SWE-agent에서 나타난 행동 인터페이스의 개선과 유사하게, 간과되었던 분리 가능한 설계 축이라고 주장합니다.

2. 방법론: 에이전트-컴퓨터 관찰 인터페이스 (AOI)

저자들은 기존의 이미지 기반 CU 모델과 환경 사이에 삽입되는 모델 불가지론적(model-agnostic) 인지 레이어인 AOI를 소개합니다. AOI는 연속적이고 적응적인 관찰을 이산적인 행동으로부터 분리합니다. 이는 모델 재학습 없이도 연속적인 화면 및 오디오 스트림을 표준 CU 모델이 이미 수용할 수 있는 희소한 이미지와 텍스트로 변환합니다.

핵심 아키텍처

AOI는 정적 콘텐츠에 대한 오버헤드를 최소화하도록 설계된 세 가지 게이트형 구성 요소로 이루어져 있습니다:

1. 단계 간 키프레임 캡처 (Inter-Step Keyframe Capture):
   • 약 3Hz의 속도로 화면을 지속적으로 샘플링합니다.
   • 빠른 게이트(밀리초 미만의 픽셀 차이 검사)를 사용하여 중복 프레임을 건너뜁니다.
   • 유의미한 시각적 변화(예: 비디오 재생, 슬라이드 전환)가 발생할 때만 단계당 0~5개의 키프레임을 캡처합니다.
   • 참고: 본 논문은 복잡한 시맨틱 선택(예: CLIP 기반)이 단순한 픽셀 차이 게이팅과 통계적으로 구별되지 않는다는 것을 발견했습니다. 핵심 가치는 특정 선택 알고리즘에 있는 것이 아니라, '어떠한 변화라도' 포착하는 데 있습니다.
2. 볼륨 게이트형 오디오 옵저버 (Volume-Gated Audio Observer):
   • 시스템 오디오 출력(16kHz 모노)을 모니터링합니다.
   • RMS 에너지 게이트를 사용하여 음성을 감지하며, 침묵이 감지되면 계산 비용이 높은 ASR(Whisper large-v3) 과정을 완전히 건너뜁니다.
   • 말하는 내용만을 전사하여 각 단계마다 텍스트를 생성합니다.
3. 시각적 내레이션 컨텍스트 (Visual Narration Context):
   • CU 모델 자체가 표준 추론 호출 중에 새로운 시각적 정보에 대한 짧은 텍스트 설명을 부가 출력(side-output)으로 생성합니다.
   • 이 내레이션은 해당 키프레임 이미지가 컨텍스트 윈도우에서 제거된 후에도 텍스트로서 궤적(trajectory)에 유지됩니다. 이를 통해 에이전트는 장기적인 과업 수행 과정에서 시각적 기억을 축적할 수 있습니다.

관찰 기록 (Observation Record)

각 단계에서 모델은 다음을 포함하는 구조화된 문서를 받습니다:

• 컨텍스트(Context): 이전 단계의 텍스트(오디오 전사, 시각적 내레이션, 행동).
• 새로운 관찰(New Observations): 현재의 오디오 전사(있는 경우), 캡처된 키프레임(있는 경우), 그리고 표준 행동 후 스크린샷.
• 과업 지침(Task Instructions).

정적이고 소리가 없는 과업의 경우, 게이트는 닫힌 상태를 유지하며 시스템은 무시할 만한 수준의 오버헤드로 표준 루프로 축소됩니다.

3. 주요 기여

1. 관찰 인터페이스의 식별: 본 논문은 관찰 인터페이스(에이전트가 언제 어떻게 인지하는가)를 행동 인터페이스의 보완적인 별개의 설계 축으로 확립합니다.
2. AOI 시스템: 기존 CU 모델을 재학습시키지 않고도 동적 컴퓨터 사용(비디오, 오디오, 일시적 이벤트)을 가능하게 하는 경량화된 모델 불가지론적 인지 레이어입니다.
3. DynaCU-Bench: 정적 스크린샷만으로는 해결할 수 없도록 설계된 10개 카테고리(예: 팟캐스트, 회의, 캐러셀, 게임)에 걸친 100개의 동적 브라우저 작업(및 50개의 정적 제어 작업)을 포함하는 새로운 벤치마크입니다.
4. 이득의 분해 (Decomposition of Gains): 논문은 다음과 같은 상세 분석을 제공합니다:
   • 내레이션이 주요 동력: 키프레임의 가치는 그것이 지속적인 텍스트로 내레이션될 때만 나타납니다.
   • 선택은 무관함: 단순한 픽셀 차이 게이팅이 복잡한 시맨틱 필터링만큼 효과적입니다.
   • 모델별 튜닝: 최적의 구성 조합은 모델마다 다릅니다. 예를 들어, 원시 이미지 스트림은 토큰 희석(token dilution)으로 인해 최신 모델(예: Gemini 3)의 성능을 저하시킬 수 있는 반면, 텍스트 기반 관찰은 견고함을 유지합니다.

4. 결과

7B에서 프런티어 규모(Claude 4.6, GPT-5.4, Gemini 2.5/3, 오픈 소스 모델인 EvoCUA-32B 포함)에 이르는 8개 모델을 대상으로 DynaCU-Bench에서 평가했습니다:

• 성능 향상: AOI는 재학습 없이 모든 모델에서 통계적으로 유의미한 성능 향상을 제공합니다.
  • Claude 4.6: +44 퍼센티지 포인트(pp) (38% → 82%).
  • Gemini 2.5 Flash: +48 pp (21% → 69%).
  • GPT-5.4: +20 pp (37% → 57%).
  • EvoCUA-32B: +37 pp (18% → 55%).
  • Fara-7B: +17 pp (17% → 34%).
• 과업별 영향:
  • 오디오 계열 (팟캐스트, 회의, 전화): 스크린샷만으로는 거의 불가능했던 과업들이 이제 대부분 해결되었습니다 (예: AOI 에이전트의 오디오 하위 집합에서 100% 성공률).
  • 시각-시간적 계열 (캐러셀, 일시적 이벤트): 에이전트가 움직이는 콘텐츠를 추적할 수 있게 됨에 따라 일관된 개선이 나타납니다.
  • 게임: 회귀 현상이 관찰됩니다. 게임은 행동 지연 시간(action-latency)에 제한을 받기 때문에, 추가된 관찰 오버헤드가 에이전트를 반응 시간 범위를 벗어나게 만듭니다.
• 효율성: 단계당 관찰 오버헤드에도 불구하고, AOI는 더 풍부한 컨텍스트 덕분에 총 단계 수를 줄여줌으로써(약 50% 감소) 클라우드 모델의 토큰 비용을 15~50% 절감합니다.
• 스트리밍 베이스라인과의 비교: 스트리밍 멀티모달 베이스라인(예: Gemini Live, OpenAI Realtime)과 비교했을 때, AOI를 갖춘 에이전트는 접지된 컴퓨터 사용(grounded computer use) 과업에서 훨씬 더 우수한 성능을 보입니다. 스트리밍 모델은 콘텐츠를 올바르게 인지하더라도 "행동 접지(action grounding, 인지를 올바른 UI 요소로 번역하는 것)"에서 자주 실패합니다. AOI는 이 간극을 메우기 위해 필요한 구조화된 스캐폴딩(DOM 리스트, 내레이션 등)을 제공합니다.

5. 의의 및 주장

본 논문은 AOI가 컴퓨터 사용 인지를 세 가지 방식으로 재정의한다고 주장합니다:

1. 디커플링(Dec decoupling): 관찰은 이산적인 행동 루프와 독립적으로 연속적이고 적응적일 수 있습니다.
2. 원시 픽셀보다 내레이션: 시각적 데이터의 가치는 지속적인 텍스트 내레이션으로 변환될 때 극대화되며, 원시 이미지 스트림은 부차적이며 모델에 따라 오히려 해로울 수 있습니다.
3. 구성 가능성(Configurability): "원 사이즈 핏 올(one-size-fits-all)" 구성은 존재하지 않습니다. 이미지 토큰 희석 문제를 피하기 위해 인터페이스 구성 요소(키프레임, 오디오, 내레이션)는 모델별로 선택되고 튜닝되어야 합니다.

저자들은 AOI가 "거의 불가능한" 동적 과업을 "대부분 해결된" 과업으로 바꾼다고 결론지으며, 파운데이션 모델을 재학습시키는 막대한 비용 없이 동적 컴퓨터 사용으로 나아가는 경로를 제시합니다. 본 연구는 인지 측면의 개선을 모델 측면의 개선과 분리하여 연구할 수 있도록 인지 레이어 코드와 DynaCU-Bench 벤치마크를 함께 공개합니다.