기술 요약: 액티비티 프레임(Activity Frames): 에이전트 메모리 및 리플레이를 위한 결정론적 스크린-활동 컴파일

1. 문제 정의

현재의 대규모 언어 모델(LLM) 에이전트는 치명적인 메모리 결핍 문제를 겪고 있다. 즉, 사용자가 말하는 것(대화 이력)은 유지하지만, 사용자가 행동하는 것(행동적 일화 메모리)에 대한 기록은 부족하다는 점이다. 스크린 캡처 기술(예: Microsoft Recall, OpenAI의 Chronicle)이 원시 데이터 수집을 범용화했음에도 불구하고, 이 데이터를 소비하는 방식은 여전히 비효율적이다. 기존 전략들은 다음 중 하나에 의존한다:

1. 원시 검색(Raw Search): 에이전트에게 스냅샷 행(row)의 평면 리스트를 그대로 제공하는 방식으로, 이는 막대한 토큰 비용(예: 하루에 약 126k 토큰)을 발생시키며 모델이 추론 시점에 세션화 및 지속 시간 계산을 수행하도록 강제한다.
2. LLM 요약(LLM Summarization): 생성형 모델을 통해 데이터를 압축하는 방식으로, 이는 비결정론성, 실행 시마다 발생하는 비용, 긴 컨텍스트에서의 신뢰도 저하, 그리고 발생하지 않은 활동을 환각(hallucination)하는 위험을 초래한다.

두 접근 방식 모두 캐싱 가능하거나, 기계적으로 감사 가능하며, 신뢰할 수 있는 메모리를 생성하지 못한다. 본 논문은 누락된 구성 요소가 결정론적 컴파일(deterministic compilation), 즉 모델을 개입시키지 않고 원시 캡처 스트림을 구조화되고 유형화된 액티비티 프레임으로 변환하는 파이프라인이라고 주장한다.

2. 방법론: 액티비티 프레임 컴파일러

제안된 시스템은 원시 스크린 캡처 데이터를 구조화된 스키마로 컴파일하는 제로-모델(zero-model), 결정론적 파이프라인이다.

2.1 2단계 스키마 (Two-Tier Schema)

시스템은 **측정된 사실(measured facts)**과 **추론된 해석(inferred interpretations)**을 엄격히 분리하는 스키마를 채택한다:

• Tier 1 (측정됨): 캡처 데이터베이스를 읽는 결정론적 코드로만 생성된다. 필드에는 애플리케이션, 사이트(URL 호스트), 시작/종료 시간, 체류 기반 활성 시간, 입력량(키스트로크/클릭), 그리고 원시 행으로의 증거 포인터가 포함된다. 이 계층에는 의도(intent) 라벨이 포함되지 않는다.
• Tier 2 (추론됨): 도구가 해석(예: 작업 라벨)을 추가하기 위한 선택적 확장이다. 이 계층는 엄격히 격리된다. 추론된 콘텐츠는 반드시 네임스페이스가 지정되어야 하며, 신뢰도 태그(높음/중간/추측)가 붙어야 하고, 특정 측정된 증거와 연결되어야 한다. 소비자는 이 계층를 제거하여 유효하고 순수하게 측정된 문서만을 남길 수 있다.

2.2 결정론적 컴파일 규칙

컴파일러는 이벤트 기반 캡처 스트림(상호작용, 화면 변경, 주기적 하트비트에 의한 스냅샷)을 사용하여 데이터를 세분화하고 풍부하게 만드는 특정 규칙을 사용하여 프로세스를 수행한다:

• 세션화(Sessionization): 프레임은 (application, site)를 키로 하는 주의(attention)의 경계된 구간이다.
• 체류 크레딧(Dwell Crediting): 활성 시간은 min(∆t, 90s)로 계산된다. 여기서 ∆t는 다음 프레임까지의 간격이다. 이는 읽기/보기 시간을 고려하면서도 캡처 중단 시 발생하는 시간 인플레이션을 방지하기 위해 크레딧을 제한한다.
• 플리커 병합(Flicker Merging): 짧은 이탈(A → B → A 이며 B ≤ 20s인 경우)은 단일 프레임으로 병합되며, B는 새로운 세션이 아닌 하나의 간섭(interruption)으로 기록된다.
• 풍부화(Enrichment): 시스템은 원시 데이터의 신뢰성 결함(예: 이벤트를 가장 가까운 스냅샷에 재할당, 요소 트리(element tree)를 통한 익명 클릭 해결, 명시적 연산자 맵을 통한 키보드 레이아웃 불일치 처리 등)을 복구한다.
• 엔티티 타이핑(Entity Typing): URL은 결정론적 파서를 사용하여 유형화된 참조(예: pull_request, profile, email)로 매핑된다. 매칭되지 않는 URL은 도메인을 포함한 일반 참조로 폴백(fallback)되어 데이터 손실을 방지한다.

2.3 구현

참조 구현은 다음과 같은 기능을 갖춘 의존성 없는 Python 패키지이다:

• 로컬 캡처 엔진 (포커스, 타이틀, URL, 접근성 트리 및 입력을 로컬 SQLite DB에 기록).
• JSON, YAML, Markdown 및 압축된 컨텍스트 블록을 생성하는 컴파일러.
• 컨텍스트 검색, 활동 요약 및 패턴 탐지를 위한 도구를 노출하는 MCP(Model Context Protocol) 서버.

3. 주요 결과

시스템은 약 110k 개의 스냅샷 행과 214k 개의 입력 이벤트로 구성된 단일 사용자 코퍼스(61일의 캘린더 일수, 46일의 활성 일수)를 대상으로 평가되었다.

3.1 토큰 비용 및 효율성

• 압축: 전체 하루의 원시 캡처(2,066개 행)를 프롬프트 준비가 된 컨텍스트 블록으로 컴파일하면 토큰 수가 86배 감소한다 (126,812 토큰에서 1,469 토큰으로).
• 지연 시간(Latency): 소비자용 노트북에서 전체 하루 분량의 컴파일에 걸리는 중앙값은 68ms이다.
• 재현성: 출력은 실행 시마다 바이트 단위로 동일하여, 캐싱과 기계적 감사를 가능하게 한다.

3.2 다운스트림 질의응답 (QA)

독립적인 SQL 오라클이 8일간 64개 질문에 대해 그라운드 트루스(ground-truth) 답변을 생성했다. 두 모델(Claude Sonnet s 4.5 및 Opus 4.5)을 세 가지 표현 방식에 대해 테스트했다: 원시 행, LLM 요약, 그리고 컴파일된 액티비티 프레임.

• 정확도: 컴파일된 블록은 두 모델 계층 모두에서 98.4%의 정확도를 달성했다.
  • 원시 행: Sonnet 82.1% / Opus 91.1%.
  • LLM 요약: Sonnet 66.1% / Opus 80.4%.
• 환각(Hallucination): 두 모델 모두 모든 표현 방식에서 "부재하는 사실"(존재하지 않는 앱/사이트를 부정하는 문제) 프로브에 대해 0%의 환각을 보였다.
• 규모 오류(Magnitude Errors): LLM 요약은 지속 시간 규모(예: 활성 분수를 평균 135% 오기)에서 크게 실패한 반면, 컴파일된 블록의 오차는 무시할 만한 수준이었다(7.3%).
• 모델 계층 독립성: 컴파일된 블록은 미드 티어 모델(Sonnet)이 프런티어 모델(Opus)의 성능에 필적할 수 있게 했으나, 원시 데이터와 요약본에서는 두 계층 간의 상당한 성능 격차가 나타났다.

3.3 루틴 오버헤드 비율 ($R$) 및 재발생률 ($h$)

컴파일러는 에이전트 비용 모델에서 측정되지 않았다고 가정되었던 파라미터들을 측정하는 수요 측 비용 도구 역할을 한다:

• 루틴 오버헤드 비율 ($R$): 에이전트가 루틴을 재도출하는 데 필요한 토큰과 컴파일된 스크립트를 재생하는 데 필요한 토큰의 비율.
  • 운영 $R$ (가드된 계획 - Guarded Plan): 중앙값 60배 (가드된 스킬 플랜을 주입하는 것이 재도출하는 것보다 약 1/60의 비용이 듦).
  • 천장 $R$ (최소 스크립트 - Minimal Script): 중앙값 343배 (순수 정보 콘텐츠).
• 루틴 재발생률 ($h$): 반복 가능하고 위임 가능한 루틴에 해당하는 액션 단계의 비율.
  • 원시 비율 (Raw Rate): 83.1% (일반적인 입력 마이크로 구조에 의해 지배됨).
  • 위임 가능 비율 ($h_{specific}$): 인샘플(in-sample) 9.0%, 아웃오브샘플(out-of-sample, 시간적 홀드아웃) 7.7%. 이는 진정으로 반복 가능하고 위임 가능한 작업의 비율을 나타낸다.

4. 의의 및 주장

본 논문은 결정론적 컴파일이 에이전트 메모리를 추론 집약적이고 신뢰할 수 없는 프로세스에서 인프라의 한 조각으로 변모시킨다고 주장한다.

• 신뢰 및 감사 가능성: 측정된 사실을 추론된 라벨과 분리하고 원시 행으로의 증거 포인터를 제공함으로써, 시스템은 기계적으로 감사 가능하며 오염이나 환각에 강한 메모리를 생성한다.
• 비용 효율성: 시스템은 에이전트가 표준 토큰 제한 내에 들어오는 컨텍스트 블록을 사용하여 높은 정확도로 사용자 활동에 관한 질문에 답할 수 있게 하여, 비용이 많이 드는 비결정론적 요약이나 원시 데이터 덤프의 필요성을 제거한다.
• 수요 측 측정: 본 논문은 에이전트 롤아웃이 아닌 수동적 인간 활동으로부터 도출된 루틴 오버헤드 비율($R$)과 루틴 재발생률($h$)에 대한 최초의 경험적 측정을 제공한다. 이러한 지표들은 데스크톱 작업의 상당 부분(9~13%)이 반복적이고 위임 가능하다는 것을 시사하며, 스크린 기반 에이전트를 통해 이러한 루틴을 재도출하는 비용이 결정론적 재생보다 수십 배 더 높다는 것을 보여준다.
• 범위의 겸손함: 저자는 이 결과가 단일 사용자 코퍼스와 특정 캡처 엔진에 기반하고 있음을 명시한다. 이 지표들이 보편적인 인구 통계적 상수라고 주장하는 것이 아니라, 새로운 클래스의 수요 측 도구로서의 개념 증명임을 밝힌다. 결정론적 주장은 저장된 캡처에 대한 컴파일 경로에 국한되며, 초기 OCR 단계(지각)에는 모델이 개입됨을 인정한다.

결론적으로, 본 논문은 에이전트 메모리를 위한 기초로서 "지루한" 결정론적 코드가 필요하다고 제안한다. 이는 캐싱, 감사 및 비용 효율적인 재생을 가능하게 하며, 생성형 모델은 선택적이고 격리된 해석 계층을 위해 남겨둔다.