기술 요약: LUMOS – 접근성 기반 AI 에이전트를 위한 시맨틱 운영체제 계층

1. 문제 정의

현재의 운영체제(Windows, macOS, Linux)는 인간 사용자에 최적화되어 있으며, 기계가 읽을 수 있는 구조보다는 시각적 메타포(픽셀, 아이콘, 색상, 애니메이션)에 의존합니다. 인간은 시각적 그룹화와 깊이에서 이득을 얻지만, AI 에이전트는 압축된 시맨틱 상태, 근거 있는 행동(grounded actions), 그리고 신뢰할 수 있는 피드백을 필요로 합니다.

결과적으로, 기존의 컴퓨터 사용 에이전트들은 인터페이스를 해석하기 위해 스크린샷과 **시각-언어 모델(VLM)**에 의존하는 경atik을 보입니다. 이러한 접근 방식은 다음과 같은 몇 가지 치명적인 비효율성을 초래합니다:

• 높은 토큰 비용: 고엔트로피 시각 데이터를 파싱하는 것은 상당한 컨텍스트 윈도우 공간을 소비합니다.
• 시각적 모호성 및 지연 시간: 에이전트는 좌표의 불확실성과 느린 추론을 유발하는 시각적 데이터로부터 UI 시맨틱(예: "이 버튼이 클릭 가능한가?")을 추론해야 합니다.
• 취약성: 에이전트는 시스템 상태에 대한 안정적인 기호적 표현(symbolic representation)이 부족하기 때문에, 여러 애플리케이션을 가로지르는 장기 실행 워크플로우를 수행하는 데 어려움을 겪습니다.

본 논문은 운영체제가 이를 해결하기 위한 필요한 인프라를 이미 갖추고 있다고 주장합니다: 접근성 API(예: Windows의 Microsoft UI Automation 및 브라우저의 DOM/접근성 트리). 이러한 API는 스크린 리더 및 보조 기술를 위해 설계된 구조화된 메타데이터(역할, 이름, 값, 경계 등)를 노출하지만, AI 에이전트에 의해 여전히 충분히 활용되지 못하고 있습니다.

2. 방법론: LUMOS 아키텍처

LUMOS(Language-Model Unified Machine-Readable Operating-System Semantics)는 AI 에이전트와 운영체제 사이에 위치하는 미들웨어 계층으로 제안되었습니다. 이는 OS 커널이나 가시적 인터페이스를 대체하는 것이 아니라, 대신 병렬적인 기계 판독형 상호작용 평면을 생성합니다.

시스템은 다음과 같은 구성 요소를 가진 관찰-계획-행동(observe–plan–act) 루프를 기반으로 작동합니다:

A. 인지 계층 (시맨틱 블루프린팅)

스크린샷을 캡처하는 대신, LUMOS는 OS에 쿼리를 보내 네이티브 UI 구조를 가져옵로니다:

• 네이티브 앱: UI Automation(UIA) 트리를 쿼리하여 전면 창(foreground windows)을 추출하고, 이를 role, name, value, bounds, supported patterns와 같은 속성을 가진 구조화된 객체로 추출합니다.
• 웹 앱: DOM 및 접근성 트리 정보를 추출합니다.
• 출력: 안정적인 요소 식별자(예: A2), 역할, 현재 상태를 포함하며 장식적인 시각적 세부 사항은 제외된 압축된 "시맨틱 블루피린트(semantic blueprint)"를 생성합니다.

B. 실시간 시맨틱 포인터 그라운딩 (Live Semantic Pointer Grounding)

"커서 아래에 무엇이 있는가"에 대한 모호성을 해결하기 위해, LUMOS는 시맨틱 포인터 메커니즘을 구현합니다.

• 커서 주변의 스크린샷을 크롭하여 OCR/비전을 통해 대상을 추측하는 대신, LUMOS는 OS에 직접 쿼리합니다(예: Windows의 ElementFromPoint).
• 이를 통해 물리적 좌표 $(x, y)$를 시맨틱 요소 ID에 직접 매핑함으로써, 시각적 추론 없이도 해당 요소의 역할, 이름 및 상태에 즉각적으로 접근할 수 있습니다.

C. 플래너 계층 (Planner Layer)

LLM 플래너는 사용자의 목표, 최근 메모리, 그리고 현재의 시맨틱 블루프린트를 전달받습니다.

• 제약 조건: 플래너는 반드시 제약된 스키마로부터 단일 JSON 액션을 생성해야 합니다.
• 규율: 이는 환각된 긴 스크립트 생성을 방지합니다. 에이전트는 인간의 행동(클릭, 확인, 타이핑, 확인)을 모방하여 매 액션 후에 시스템 상태를 다시 관찰해야 합니다.

D. 범용 액션 스키마 (Universal Action Schema)

LUMOS는 작고 애플리케이션 중립적인 가시적 UI 프리미티브를 노출합니다:

• observe: 인지 갱신.
• open_windows_search, open_app: 애플리케이션 실행.
• click, double_click, drag: 식별된 요소와 상호작용.
• type_text, set_text: 텍스트 입력 또는 교체.
• press_key: 키보드 탐색.
• finish: 작업 완료를 명시적으로 신호.

E. 메모리 및 안전 계층

• 메모리: 기존 텍스트를 교체해야 할 내용에 텍스트를 추가하거나 실패한 동작을 반복하는 것과 같은 오류를 방지하기 위해 최근의 행동과 텍스트 상태를 추적합니다.
• 안전: 허용 목록(allowlist)과 확인 정책을 강제합니다. 위험한 작업(예: 이메일 전송, 데이터 삭제)은 명시적인 확인이 필요합니다. 에이전트는 백엔드 프로세스가 아닌 UI를 통한 "가시적 사용자"로서 행동하므로, 모든 행동은 검사 가능하고 되돌릴 수 있습니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 시맨틱 운영체제 계층: 네이티브 접근성 메타데이터를 AI 에이전트를 위한 기계 판독형 시맨틱 블루프린트로 변환하는 미들웨어.
2. 실시간 시맨틱 포인터 그라운딩: 라이브 UI 쿼리(예: ElementFromPoint)를 사용하여 커서 위치 인식형 상호작용을 구현하는 메커리즘으로써, 물리적 좌표와 시맨틱 요소를 연결함.
3. 접근성 기반 관찰-행동 루프: 에이전트가 시맨틱 역할, 값, 경계를 통해 탐색하는 스크린샷/OCR 중심 접근 방식의 대안.
4. AI 네이티브 컴퓨팅을 향한 경로: 기존 OS가 애플리케이션 재설계 없이도 기계 판독형 상호작용 평면을 노출할 수 있다는 증거.

4. 결과 및 평가

본 논문은 Windows에서 실행되는 Python 기반의 프로토타입 구현을 제시하며, 대규모 인간 대상 벤치마크 대신 특정 사례 연구와 진단 트레이스를 통해 검증하였습니다.

• 사례 연구:
  • 메모장(Notepad): 메모장을 열고, 텍스트를 생성하며, 텍스트 교체(set_text) 대 추가(append)를 처리하는 과정을 성공적으로 시연했습니다. 시스템은 "멈춤(stopping)"이 하나의 액션임을 식별하였으며, 무한 수정 루프를 방지하기 위해 명시적인 finish 명령이 필요함을 보여주었습니다.
  • Windows 검색 핸드오프(Windows Search Handoff): Windows Search 오버레이를 통해 애플리케이션(예: Outlook)을 실행하는 견고한 워크플로우를 시연했습니다. 시스템은 대기 중인 쿼리("outlook")를 보존하고, 컨텍스트 하이재킹을 방지하기 위해 이를 정확하게 타이핑하고 제출되었는지 확인한 후 다음 단계로 진행합니다.
• 진단 결과:
  • 디버그 로그를 통해 지시사항을 문자 그대로 복사하거나, 텍스트를 잘못 추가하거나, 파편을 반복하는 등의 일반적인 LLM 실패 모드를 밝혀냈습니다.
  • LUMOS의 메모리 및 복구 계층은 비내용(non-content)을 거부하고, 수정을 위해 set_text를 강제하며, 명시적인 완료 신호를 요구함으로써 이러한 문제를 성공적으로 완화했습니다.
• 제안된 평가 계획: 본 논문은 향ate 평가 프레임워크를 제안하며, 스크린샷 기반 에이전트와 LUMOS를 네 가지 지표(작업 성공률, 지연 시간, 토큰 수, 관찰 크기)를 기준으로 비교합니다. 저자들은 시맨틱 그라운딩이 토큰 사용량과 지연 시간을 줄이는 동시에 액션 그라운딩 정확도를 높일 것이라고 가설을 세웠습니다.

5. 의의 및 주장

본 논문은 LUMOS를 AI 네이티브 컴퓨팅을 향한 한 단계로 위치시키며, 접근성 API를 AI 에이전트를 위한 "인지적 인프라"로 재목적화해야 한다고 주장합니다.

• 겸손한 주장: 저자들은 LUMOS가 시각적 에이전트를 대체하는 것이 아니라, 시맨틱 구조가 존재할 때 스크린샷에 대한 의존도를 낮추는 것이라고 명시적으로 밝힙니다. 이는 인간 수준의 자율성에 대한 주장이 아니라, 특정 상호작용 아키텍처에 대한 시연입니다.
• 핵심 논거: 의의는 "지각 중심(픽셀)"에서 "시맨틱 우선(구조화된 상태)"으로의 아키텍처 전환에 있습니다. 접근성 트리를 주요 상호작용 기질로 취급함으로써, 시스템은 구조화된 상태를 제공하는 OS의 역할과 계획을 수행하는 LLM의 역할을 분리합니다.
• 미래 영향: 본 논문은 미래의 운영체제가 에이전트와의 더 안전하고 효율적인 상호작용을 촉진하기 위해 (예: 애플리케이션 의도, 보안 경계와 같은) 더 풍부한 시맨틱 상태를 직접 노출할 수 있을 것이라고 시사합니다. 이는 에이전트가 시각적 표면으로부터 모든 것을 추론해야 하는 현재의 모델을 넘어섭니다.

결론적으로, LUMOS는 기존 OS의 접근성 메타데이터를 활용함으로써 AI 에이전트를 위한 더 안전하고 효율적이며 더 근거 있는 인터페이스를 구축할 수 있음을 보여주며, 이는 취약한 스크립트, 비용이 많이 드는 시각적 에이전트, 그리고 숨겨진 백엔드 API 사이의 실행 가능한 중간 지대를 제공합니다.