기술 요약: Tenure – LLM 메모리 내 구조화된 신념 상태

1. 문제: 재정렬 비용과 검색 추상화의 실패

이 논문은 현재 대규모 언어 모델 (LLM) 워크플로우의 근본적인 비효율성인 **재정렬 비용 (re-orientation tax)**을 식별합니다. 모든 새로운 LLM 세션은 빈 컨텍스트 윈도우로 시작하므로, 사용자는 매 상호작용마다 선호도, 기술적 제약 조건, 프로젝트 결정 사항 (예: "엄격 모드를 적용한 TypeScript", "MongoDB raw 드라이버") 을 다시 설정해야 합니다. 이러한 컨텍스트가 없으면 모델은 확신을 가지고 잘못된 출력을 생성하며, 이는 오버헤드를 가중시키는 수정 프롬프트를 필요로 합니다.

주류 산업의 대응은 **검색 증강 메모리 (Retrieval-Augmented Memory, RAM)**였습니다: 대화 기록을 저장하고 이를 임베딩한 후 벡터 검색 (예: 코사인 유사도) 을 통해 의미적으로 유사한 조각을 검색하는 방식입니다. 저자들은 이것이 잘못된 추상화라고 주장하며 그 이유는 다음과 같습니다:

1. 메모리는 검색 문제가 아닌 상태 문제입니다: 선호도와 결정은 검색 쿼리가 일치할 때만 회수되는 수동적 사실이 아니라, 활성 구조적 제약 조건입니다. 검색은 구조적 보장이 필요한 곳에 불필요한 조건성을 도입합니다.
2. 유한 어휘 컨텍스트에서 유사도 검색은 실패합니다: 단일 사용자 또는 수렴된 팀 환경에서 특정 기술 도메인 (예: 인프라) 에 대한 모든 신념은 의미적으로 근접합니다. 벡터 검색은 "Redis"에 대한 쿼리와 "MongoDB"나 "Kubernetes"에 대한 신념을 구분할 수 없습니다. 왜냐하면 이들이 동일한 의미 영역 (코사인 점수 0.65~0.83) 을 차지하기 때문입니다. 이는 높은 재현율 (recall) 을 가져오지만 치명적인 정밀도 (precision) 저하를 초래합니다.
3. 컨텍스트 부패 (Context Rot): 명시적 상태 관리가 결여된 시스템은 구식, 대체, 또는 모순된 사실들을 축적합니다. 대체 (supersession) 메커니즘이 없으면 메모리 시스템은 결국 구식 컨텍스트에 기반한 확신 있는 응답을 생성하게 됩니다.

2. 방법론: Tenure 아키텍처

Tenure는 메모리를 검색 인덱스가 아닌 **타입 지정 신념 상태 (typed belief state)**로 취급하는 로컬 퍼스트 프록시로 제안됩니다. 이는 의미적 유사성을 구조적 추출 및 별칭 가중치 단어 매칭으로 대체하는 "정밀도 우선 (precision-first)" 검색 패러다임을 기반으로 작동합니다.

2.1 신념 스키마 (The Belief Schema)

메모리의 기본 단위는 지속적 상태에 범위를 둔 신념 - 욕구 - 의도 (BDI) 아키텍처에서 파생된 14 필드 튜플인 **신념 (Belief)**입니다. 주요 구성 요소는 다음과 같습니다:

• 유형: 선호도 (preference), 결정 (decision), 개체 (entity), 미해결 질문 (open question), 관계 (relation).
• 인식적 상태 (Epistemic Status): 활성 (active), 추론됨 (inferred), 탐색적 (exploratory), 대체됨 (superseded). 특히 대체됨 신념은 감사 목적으로 유지되지만 절대 주입되지 않아 컨텍스트 부패를 방지합니다.
• 범위: 확률적 가중치가 아닌 구조적 필터로 작용하는 하드 격리 레이블 (예: user:universal, domain:code, project:<slug>) 입니다.
• "왜 중요한가" 필드: 사실을 행동으로 변환하는 명령형 지시문 (예: "모든 코드 예제를 TypeScript 방향으로 형성..."). 이 필드는 모델이 전체 컨텍스트를 가진 작성 시점에 생성되어, 모델이 다시 유도해야 하는 원자재가 아닌 "결정화된 추론 (crystallized inference)"을 제공합니다.

2.2 정밀도 우선 검색 (벡터 대신 BM25)

Tenure 는 읽기 경로에서 임베딩 유사성을 거부합니다. 대신, 예상 쿼리 표면과 일치하도록 작성된 별칭 (aliases) 이 있는 신념 저장소에 대해 별칭 가중 부스팅이 적용된 BM25를 활용합니다.

• 인덱스 - 검색 비대칭성: 시스템은 역방향 검색 문제 (긴 쿼리 vs 짧고 구조화된 문서) 를 활용합니다. 커스텀 분석기를 사용하여 redis_cache와 같은 스네이크 케이스 표준 이름을 토큰화된 형태로 매핑하고, 구문 매칭을 위해 shingle 생성을 적용합니다.
• 별칭 풍부화 플라이휠: 시스템은 사용자 쿼리에서 관찰된 새로운 표면 형태 (별칭) 를 지속적으로 인덱싱하여 시간이 지남에 따라 정밀도를 높입니다.
• 반대 신호 속성: 별칭에는 거부된 기술에 대한 용어가 포함됩니다 (예: fastify 신념의 별칭 목록에 있는 express). 이를 통해 시스템이 거절된 대안을 쿼리할 때 활성 선호도를 표면화할 수 있습니다.

2.3 추출 및 압축

• 작성 시 추출: 신념은 사이드카 블록을 통해 비동기적으로 추출됩니다. **티어 게이트 (tier gate)**는 고도의 구조화된 출력 신뢰도를 가진 모델만이 추출을 수행하도록 보장합니다.
• 압축: 노이즈 축적을 방지하기 위해 시스템은 중복되는 신념을 병합하고, 선호도를 중복 제거하며, 전문성 수준을 종합합니다. 이는 비구조화 메모리 시스템에서 관찰된 "할루시네이션 누적" 실패 모드를 방지합니다.
• 범위 격리: 하드 사후 검색 필터는 권한이 없는 범위 (예: project:client-a에 있을 때 project:client-b의 신념) 의 신념이 의미적 유사성과 관계없이 절대 검색되지 않도록 보장합니다.

3. 주요 기여

1. 공식 신념 스키마: 인식적 상태, 버전 관리된 대체, 그리고 명령형 "왜 중요한가" 지시문을 갖춘 타입 지정 스키마.
2. 정밀도 우선 검색 설계: 유한 어휘 컨텍스트에서 별칭 가중 BM25 가 밀도 벡터 검색보다 우수하다는 실증적 증명.
3. 압축 아키텍처: 별칭 풍부화, 반대 신호 인덱싱, 그리고 신념 병합을 통한 노이즈 바닥 (noise floor) 축적 방지 메커니즘.
4. 72 건 평가 스위트: 별칭 해결, 범위 모호성 제거, 대체 체인, 그리고 다중 턴 주제 편향을 포괄하는 재사용 가능한 벤치마크.

4. 결과

이 논문은 Tenure 의 BM25 백엔드를 표준 벡터 백엔드 (nomic-embed-text, 768 차원) 와 비교하는 72 건의 검색 사례 (60 건 정적, 12 건 세션 수준) 에 대한 통제된 평가를 제시합니다.

• 정적 검색 정밀도:

  • BM25: 72/72 건 통과 (평균 정밀도: 1.0).
  • 벡터 검색: 8/72 건 통과 (평균 정밀도: 0.12).
  • 관찰: 벡터 검색은 올바른 신념을 검색했지만, 의미적으로 인접한 도메인 (예: Redis 를 쿼리할 때 MongoDB 신념 검색) 에서 8~9 개의 노이즈 신념이 함께 검색되었습니다.

• 다중 턴 주제 편향 (세션 평가):

  • 주제 편향 (예: Redis 에서 Kubernetes/React 로 전환) 을 동반한 다중 턴 누적 하에서, 벡터 백엔드의 편향 점수 (drift score)(검색된 노이즈 신념의 비율) 는 0.43~0.50까지 상승했습니다.
  • BM25 는 모든 턱에 걸쳐 편향 점수 0.0을 유지하여, 누적된 세션 노이즈로부터 재진입 쿼리를 성공적으로 격리했습니다.

• 범위 및 대체:

  • BM25 는 ESLint 와 Biome 가 활성 상태일 때 TSLint 를 필터링하는 것과 같이 하드 범위 격리 및 대체 체인을 올바르게 강제 적용한 반면, 벡터 검색은 이러한 구조적 제약 조건에 기반한 구분을 실패했습니다.

5. 중요성과 주장

이 논문은 세션 간 LLM 메모리는 검색 문제가 아닌 상태 관리 문제라고 주장합니다.

• 구조적 보장 vs 확률적 검색: Tenure 는 "올바른 신념이 표면화되며, 오직 사용자가 승인한 범위 내에서만"이라는 구조적 보장을 제공합니다. 이는 생성 시점에 모델이 관련성을 구분해야 하는 검색 기반 시스템과 대조되며, 시스템이 제거하려는 인지적 오버헤드를 다시 도입합니다.
• 실행 가능한 추론: 사실을 작성 시점에 "왜 중요한가"라는 명령형 지시문으로 변환함으로써, Tenure 는 모델이 다시 유도해야 하는 원자재가 아닌 "결정화된 추론"을 받도록 보장합니다.
• 적절한 범위: 저자들은 명시적으로 검색 정밀도가 응답 품질을 위한 필수 전제 조건이지 충분 조건은 아니라고 밝힙니다. 재정렬 비용은 관찰적 주장이며, 이 논문은 컨텍스트 주입을 실현 가능하게 만들기 위해 필요한 정밀도 격차를 Tenure 가 해결함을 입증하며, 최종 응답 품질 측정은 열린 질문으로 남깁니다.
• 적용 가능성: 단일 사용자 코퍼스에서 입증되었지만, 공유 코드베이스와 런북이 "수렴된 어휘"를 만들어 동일한 별칭 가중 정밀도 구조적 조건을 충족하는 엔지니어링 팀으로 아키텍처가 확장 가능하다고 주장합니다.

이 논문은 신념 상태를 감사 가능하게 만드는 스키마, 정밀도를 보장하는 검색 설계, 그리고 시간이 지남에 따라 저장소 무결성을 유지하는 압축 아키텍처를 통해 재정렬 비용에 대한 일관된 답변을 Tenure 가 제공한다고 결론지었습니다.