기술 요약: 길고 중복된 컨텍스트 스트림을 위한 감사 가능한 디리클레 프로세스 작동 기억(Dirichlet-Process Working Memory)

1. 문제 제기: 토큰 중심 vs 정보 중심 컨텍스트

현재의 컨텍스트 엔지니어링 설계는 토큰을 메모리의 기본 단위로 취급한다. 유계된 순환 상태(bounded recurrent states), 전체 키-값(KV) 캐시, 또는 고정 윈도우 제거 정책(fixed-window eviction policies)을 사용하든, 이러한 시스템은 토큰 수에 따라 선형적 또는 이차적으로 메모리와 연산량을 소모한다. 이러한 방식은 동일한 정보(예: 이름, 도구 상태, 로그 템플릿, 또는 코드)가 빈번하게 반복되는 길고 중복된 스트림에서는 비효율적이다. 이러한 시나리오에서 작업의 핵심은 원시 토큰의 개수보다는 스트림이 전달하는 **고유한 정보(distinct information)**에 달려 있다.

본 논문은 컨텍스트를 토큰으로 측정하는 것은 반복되는 증거에 대해 반복적으로 비용을 부과하는 것이라고 주장한다. 대신, 저자들은 메모리가 관찰된 토큰의 수가 아니라 **고유한 항목(distinct items, novelty classes)**의 수에 따라 확장되는 컨텍스트 엔지니어링 프리미티브를 제안한다.

2. 방법론: 분해된 작동 기억(Decomposed Working Memory)

본 논문은 작업이 과거에 어떻게 의존하는지에 따라 컨텍스트를 분해하고, 각 의존성 유형을 특정 메모리 구조에 할당하는 작동 기억 아키텍처를 소개한다.

1. 회상 대상 정보(Recall-Carried Information): 후속 질의가 특정 이전 항목(예: 희귀한 코드 또는 특정 엔티티)에 의존하는 정보. 이는 **내용 기반 신규성 캐시(content-addressed novelty cache)**에 의해 처리된다.
2. 요약 대상 정보(Summary-Carried Information): 타겟이 장기적인 집계 또는 매끄러운 이력에 의존하는 정보. 이는 순환 상태(recurrent state)(예: 상태 공간 모델)에 의해 처리된다.
3. 국소성 대상 정보(Locality-Carried Information): 타겟이 주로 직전의 과거에 의존하는 정보. 이는 **최신성 윈도우(recency window)**에 의해 처리된다.

신규성 게이트 캐시(The Novelty-Gated Cache)

핵심 메커니즘은 동반 메커니즘 논문(Pal and Rojkova, 2026)에서 유도된 **할당 기반 신규성 캐시(allocate-on-novelty cache)**이다. 작동 방식은 다음과 같다:

• 할당 규칙: 들어오는 키-값 쌍 $(k_t, v_t)$에 대해, 신규성(novelty)은 $nov_t = 1 - \max_{i} \text{sim}(k_t, \kappa_i)$로 계산되며, 여기서 $\kappa_i$는 기존 슬롯 키들이다.
• 결정: 만약 $nov_t > \tau$ (임계값)라면, 새로운 슬롯이 추가된다. 그렇지 않으면, 들어오는 쌍은 가장 유사한 기존 슬롯으로 병합된다.
• 읽기 작업: 쿼리는 전체 토큰 스트림이 아니라 점유된 슬롯들에 대해서만 어텐션(attend)한다.
• 이론적 근거: 이 규칙은 디리클레 프로세스 혼합(DP-means)의 작은 분산 최대 사후 확률(small-variance maximum-a-posteriori) 한계에 해당하며, 미분 가능한 메모리 연산자로 작용한다.

아키텍처

시퀀스 모델은 표준 잔차 스택(residual stack)이다. 각 블록 내의 믹싱 연산자(read)는 다음과 같을 수 있다:

• 대각 상태 공간 컨볼루션(diagonal state-space convolution, 고정 상태).
• 전체 인과적 어텐션(full causal attention, 성장하는 토큰 캐시).
• 신규성 게이트 인과적 어텐션(novelty-gated causal attention, 내용 기반 캐시).
• 결합된 읽기(Coupled Reads): 제안된 구성 요소는 순환 경로(이력을 통합)와 신규성 게이트 캐시(고유 항목을 회상)를 결합한다.

3. 주요 기여

• 컨텍스트 분해: 본 논문은 컨텍스트가 단일한 형태가 아님을 입증한다. 연구는 회상 대상, 요약 대상, 국소성 대상 정보를 분리하며, 단일한 메모리 정책(예: 슬라이딩 윈도우 또는 전체 어텐션)이 혼합된 의존성 환경에서는 최적이 아님을 보여준다.
• 감사 가능한 메모리(Auditable Memory): 불투명한 순환 상태나 고정 예산 제거 캐시와 달리, 신규성 게이트 캐시는 유지된 항목들의 검사 가능한 테이블을 유지한다. 구조화된 도메인에서 슬롯은 명시적인 객체(템플릿, 약물, 코드, 장소 등)와 일치하며, 이를 통해 시스템은 무엇이 유지되었고 왜 그렇게 되었는지(병합 이력을 통해) 보고할 수 있다.
• 엔드 투 엔드 검증: 본 논문은 메커니즘 수준의 증명을 넘어 모델을 엔드 투 엔드로 학습시켜, 신규성 게이트 캐시가 순환 요약과 결합될 때 적은 비용으로 전체 어텐션 성능과 대등하거나 이를 능가할 수 있음을 보여준다.

4. 실험 결과

A. 메커니즘 수준의 증거 (실제 스트림)

네 가지 공개된 정답 스트림(ground-truthed streams)에서, 순수 할당 기반 신규성 메커니즘은 데이터를 고유 항목 표현으로 성공적으로 압축했다:

• 시스템 로그 (Loghub HDFS): 2,000행을 15개의 템플릿으로 압축 (143배 중복 제거), 0.89의 정확도로 실제 템플릿을 복구함.
• 임상 데이터 (MIMIC-IV): 18,087개의 처방 이벤트를 628개 슬롯으로 감소 (29배 중복 제거), 전체 어텐션 메모리 성능을 1/29 크기로 구현함.
• 보험 청구 (DE-SynPUF): 150,000개의 진단 이벤트를 3,933개 슬롯으로 감소 (38배 중복 제거), ICD-9 챕터에 대해 0.989의 재현율(recall)을 달성함. 고정 예산 제거 방식은 0.30의 재현율에 그침.
• 매핑 (KITTI): 장소당 정확히 하나의 슬롯을 유지하여 1.00의 재방문 재현율을 달성함. 반면 슬라이딩 윈도우 및 헤비 히터(heavy-hitter) 정책은 실패함.

B. 문자 수준 제어 (enwik8)

• 신규성 vs 전체 어텐션: 신규성 게이트 어텐션은 토큰의 **49%**만을 어텐션하면서도 전체 어텐션과 대등한 성능(2.073 vs 2.087 bpc)을 달성했다.
• 결합된 구성 요소: 상태 공간 순환과 신규성 게이트 캐시를 결합하면 1.877 bpc(토큰의 53% 어텐션)를 달성하여, (상태 공간 + 전체 어텐션)의 성능(1.932 bpc)과 대등하면서도 캐시 크기를 크게 줄였다.
• 신호 vs 근사: 전체 어텐션 옆에 게이트 캐시를 추가하면 성능이 더욱 향상되었다(1.836 bpc). 이는 캐시가 단순히 어텐션을 근사하는 것이 아니라 고유한 신호를 공급함을 증명한다.

C. 컨텍스트 스케일링 (Horizon Sweep)

• 시퀀스 길이가 256에서 1,024 토큰으로 증가함에 따라, 전체 어텐션 성능은 크게 저하되었다 (2.36에서 2.69 bpc로).
• 결합된 구성 요소는 거의 평탄한 성능을 보였다 (2.42에서 2.39 bpc). 이는 전체 어텐션과의 성능 격차를 1,024 토큰 지점에서 +0.300 bpc까지 벌렸다.
• 수용된 토크의 비율은 컨텍스트가 길어질수록 감소했다 (0.45에서 0.42로), 이는 중복성을 더 잘 활용하고 있음을 나타낸다.

D. 도메인 특화 결과

• 다음 코드 예측 (Claims): 결합된 구성 요소는 1,024 이벤트 호라이즌에서 전체 어텐션보다 약 0.3 비트 앞섰다. 최신성(recency) 및 인기(popularity) 기반 제거 정책은 실패했으며, 이는 희귀하고 고유한 코드가 이 작업의 핵심임을 확인시켜 준다.
• 비용 예측 (Claims): 이 작업은 **요약 대상(summary-carried)**이었다. 순환 읽기가 어텐션과 캐시보다 우수했다. 캐시는 중립적인 영향을 미쳤으며, 이는 캐시가 보편적으로 도움이 되는 것이 아니라 메모리 정책이 작업의 의존성에 부합해야 함을 보여준다.
• 로그 스트림: 캐시는 정적인 HDFS 로그에는 잘 작동했으나, 분포 변화(template drift)가 있는 BGL 로그에서는 실패했다. 이는 제안된 방식이 안정적인 분포를 가진 스트림에 국한되거나 적응형 예산이 필요함을 시사한다.
• Keep-First vs Keep-Latest: 텍스트의 경우, 반복되는 키의 최신 발생을 유지하는 것(Keep-Latest)이 우선 발생을 유지하는 것(Keep-First)보다 우수했다. 그러나 구조화된 보험 데이터의 경우 Keep-First가 더 우수했다. 이는 최적의 유지 전략이 도메인에 따라 다름을 강화한다.

5. 의의 및 주장

본 논문은 컨텍스트가 토큰이 아니라 작업이 필요로 하는 고유한 정보에 따라 확장될 수 있다고 명확히 주장한다.

• 아키텍처 프리미티브: 신규성 게이트 캐시는 실용적이고, 내용 기반이며, 감사 가능한 작동 기억 구성 요소로서 기능한다.
• 조건부 우월성: 신규성 게이트 메모리의 이점은 컨텍스트 길이가 길어지고 중복성이 높을수록 커진다. 그러나 이것이 보편적인 대체재는 아니다. 회상 대상 작업에는 가장 효과적이지만, 요약 대상 작업에는 순환(recurrence)이 우수하고, 국소성 대상 작업에는 슬라이딩 윈도우가 더 적합하다.
• 감사 가능성: 유지된 메모리는 템플릿, 코드 또는 엔티티의 검사 가능한 테이블로, 불투명한 상태 공간 모델이 제공할 수 없는 투명성을 제공한다.
• 한계점: 실험 규모가 작고 공공 데이터를 사용하였으며, 아직 멀티 턴 어시스턴트나 검색 증강 에이전트(RAG)에 대한 평가는 이루어지지 않았다. 현재의 코사인 기반 게이트와 병합 규칙이 추가적인 프런트엔드 엔지니어링 없이 복잡한 의미적 사실(예: 모순 해결 또는 시간적 업데이트)을 처리하기에 충분한지는 확언하지 않는다.

중심적인 엔지니어링 교훈은 실용적인 롱 컨텍스트 시스템이 모든 정보를 단일 정책으로 강제해서는 안 된다는 것이다. 대신, 컨텍스트를 고유 항목 회상, 순환 요약, 그리고 최신성 윈도우로 분해하고, 작업의 요구 사항에 따라 이를 결합해야 한다.