💬 NLP

Context Recycling for Long-Horizon LLM Inference

이 논문은 구조화된 쿼리 생성, 외부 메모리 검색, 그리고 제어된 합성을 통해 작업 관련 정보를 재활용함으로써, 더 큰 컨텍스트 창이나 모델 재학습을 요구하지 않고도 토큰 소비를 줄이고 정확도를 유지하며 긴 호흡의 LLM 추론을 향상시키는 시스템인 ContextForge를 소개한다.

원저자: Derek Thomas

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Derek Thomas

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 똑똑하지만 잘 까먹는 비서와 길고 복잡한 대화를 나누려고 한다고 상상해 보십시오. 이 비서는 한 번에 약 100페이지 분량의 메모만 머릿속에 담을 수 있다는 엄격한 규칙을 가지고 있습니다. 당신이 10분 동안 말하면 비서는 시작 부분을 기억할 것입니다. 하지만 한 시간 동안 말하면, 비서의 "정신적 메모장"이 가득 차버려 앞부분을 완전히 잊어버리게 됩니다.

이 논문은 이 문제를 해결하는 ContextForge라는 시스템을 소개합니다. 이 시스템은 비서의 제한된 메모를 단순히 채워지는 양동이가 아니라, 사무실의 깨끗한 책상처럼 재사용 가능한 작업 공간으로 취급합니다.

작동 원리는 다음과 같으며, 쉬운 개념들로 나누어 설명합니다.

1. "재활용 가능한 책상" (컨텍스트 재활용)

대부분의 AI 시스템에서는 새로운 질문을 할 때마다 시스템이 당신이 말했던 모든 것을 비서의 메모리에 쏟아부어 어떻게든 다 들어가기를 바랍니다. 결국, 책상은 오래된 메모들로 너무 어지러워져서 새로운 메모를 놓을 공간이 없게 됩니다.

ContextForge는 규칙을 바꿉니다:

책상의 크기는 고정됨: 비서는 항상 동일한 양의 책상 공간(컨텍스트 윈도우)을 가집니다.
청소 요원: 비서가 새로운 질문에 답하기 전에, 시스템은 이전 주제와 관련된 특정 메모들을 치웁니다.
새로운 주제: 그런 다음 현재 질문에 꼭 필요한 정확한 새로운 메모들을 즉시 가져옵니다.
결과: 비서는 대화가 아무리 길어져도 결코 공간이 부족해지지 않습니다. 이는 마치 도서관 사서와 같습니다. "역사"에 대해 물으면 사서는 "역사" 책들을 치우고 "생물학" 책들을 가져다 놓습니다. 책상의 크기는 변하지 않지만, 정보는 항상 신선합니다.

2. 5단계 도서관 (계층적 메모리)

이 책상 시스템이 제대로 작동하도록, 저자들은 정보가 서로 다른 속도와 비용으로 존재하는 5층짜리 도서관을 구축했습니다.

레이어 -1 (뇌의 본능): 선택 사항. 만약 당신이 AI 모델을 소유하고 있다면, 모델의 뇌 가중치를 미세 조정하여 특정 전문 용어나 기술을 영구적으로 "가르칠" 수 있습니다. 이는 비서가 매번 책을 읽을 필요 없이 의학이나 코딩에 대한 타고난 재능을 갖게 되는 것과 같습니다. 이는 "책상 공간"을 전혀 차지하지 않습니다.
레이어 0 (영구적인 표지판): 이것은 시스템의 정체성과 상위 수준의 규칙입니다. 이는 "환영합니다" 표지판처럼 책상 위에 영구적으로 머뭅로 있습니다. 다시 읽을 필요가 없습니다.
레이어 1 (활성 책장): 이것이 "재활용 가능한" 부분입니다. 당신이 질문을 하면, 시스템은 필요한 지식의 특정 장(또는 "가지")을 집어 책상 위에 올려놓습니다. 일이 끝나면 책을 다시 책장에 꽂아둡니다.
레이어 2 (초고속 인덱스): 이것은 번개처럼 빠른 카탈로그입니다. 시스템이 거대한 도서관에서 어떤 책을 가져올지 1초도 안 되는 시간에 알려줍니다. 책을 읽는 것이 아니라, 단지 올바른 책을 가리킵니다.
레이어 3 (거대한 창고): 이것은 실제 저장소(하드 드라이브)로, 당신의 모든 데이터가 사는 곳입니다. 테라바이트 단위의 정보를 담을 수 있어 사실상 무한하지만, 접근하는 데 시간이 걸립니다. 시스템은 여기서 필요한 것만 뽑아옵니다.

3. "선제적인 집사"

이 시스템은 당신이 책을 요청할 때까지 기다렸다가 창고로 달려가는 대신, 당신의 요구를 예측하는 집사를 두고 있습니다.

만약 당신이 매일 오전 9시에 "오전 회의" 메모를 확인한다면, 집사는 8시 55분까지 그 메모들을 책상 위에 준비해 둡니다.
만약 당신이 "데이터베이스" 메모를 보고 있다면, 집사는 보통 함께 쓰이는 "스키마" 메모도 함께 가져올 수 있습니다.
이 과정은 자동으로 일어나며, 이를 통해 AI가 더 빠르고 준비된 것처럼 느껴지게 합니다.

4. "학습이 필요 없는" 마술

이 논문은 값비싼 학습 없이 AI에게 특정 지식을 주는 영리한 트릭을 설명합니다.

기존 방식: AI에게 의학을 가르치려면 보통 수천 권의 의학 서적을 입력하고 비싼 그래픽 카드로 며칠 동안 실행해야 합니다.
ContextForge 방식: 저자들은 AI가 일반 텍ex트와 의학 텍스트에 어떻게 반응하는지 살펴보는 수학적 지름길(SVD)을 사용합니다. 그런 다음, AI에게 의학적 사고의 패턴을 가르치는 아주 작은 "어댑터"(작은 추가 기능)를 만듭니다. 이는 일반 컴퓨터에서 약 3분 정도 걸리며 별도의 학습 데이터도 필요하지 않습니다.

5. 수치가 말해주는 것

저자들은 이 시스템을 방대한 의료 보험 기록(2억 7,600만 행)을 사용하여 표준적인 고성능 AI 에이전트(Azure AI Foundry)와 테스트했습니다.

정확도: 두 시스템 모두 정답을 맞히는 빈도가 거의 비슷했습니다(약 85% 대 84%).
속도: ContextForge 시스템은 12회 대화에서 4.7배 더 빨랐고, 15회 대화에서는 8배 더 빨랐습니다.
비용 (토큰): 짧은 테스트에서는 "토큰"(AI가 텍스트를 측정하는 통화)을 4.2배 적게 사용했고, 긴 테스트에서는 13.4배 적게 사용했습니다.

왜 격차가 더 커졌을까요?
대화가 길어질수록 표준 AI는 매번 전체 대화 기록을 다시 보내야 했기 때문에 더 느려지고 비싸졌습니다. 반면 ContextForge 시스템은 "책상"을 깨끗하게 유지하며 새로운 관련 정보만 보냈기 때문에, 대화가 얼마나 길어지든 상관없이 빠르고 저렴하게 유지되었습니다.

요약

이 논문은 AI를 위해 점점 더 큰 메모리 양동이를 만드는 대신, 컴퓨터의 **작업 세트(working set)**처럼 취급해야 한다고 주장합니다. 즉, 필요한 것을 불러오고, 사용하고, 비워내는 방식입니다. 지식을 계층 구조로 조직하고 작업 공간을 재활용함으로써, 당신은 AI가 느려지거나, 비싸지거나, 혹은 기억을 잃지 않으면서도 길고 복잡한 대화를 나눌 수 있습니다.

이 시스템은 오픈 소스이며 기존 AI 모델과 함께 작동합니다. 즉, 이러한 이점을 얻기 위해 새로운 유형의 AI를 발명할 필요는 없으며, 단지 메모리를 더 잘 관리하기만 하면 됩니다.

기술 요약: 장기 호라이즌 LLM 추론을 위한 컨텍스트 재활용 (Context Recycling)

문제 정의

대규모 언어 모델(LLM)은 본질적으로 상태가 없습니다(stateless). 모든 API 요청은 이전 상호작용에 대한 기억 없이 시작되며, 외부 지식을 수신하기 위해 고정된 컨텍스트 창(통상 8K~128K 토큰)에만 의존합니다. 이는 수십억 개의 토큰에 달하는 방대한 지식 베이스를 대상으로 하는 애플리케이션에 근본적인 불일치를 초래합니다. 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

검색 증강 생성 (RAG): 쿼리당 지연 시간을 유발하고, 근사적 의미론적 매칭에 의존하며(드리프트 발생 가능), 세션 지속 메모리가 부족하여 모든 턴을 독립적인 검색 작업으로 취급합니다.
미세 조정 (LoRA/QLoRA): 지식을 가중치에 내장하지만, 레이블이 지정된 데이터, GPU 연산, 그리고 지식이 변경될 때마다 전체 어댑터를 재구성해야 하는 과정이 필요합니다.
확장된 컨텍스트 창: 모델이 긴 문서를 수용할 수는 있지만, 프리필(prefill) 지연 시간과 서빙 비용이 길이에 따라 크게 증가하며, 세션 간에는 모델이 여전히 상태를 유지하지 못합니다.

핵심 과제는 대화 길이가 늘어남에 따라 활성 컨텍스트 창이 무한히 커지지 않도록 하면서, 제한된 컨텍스트 예산 내에서 무제한 세션을 관리하는 것입니다.

방법론: 5계층 계층적 메모리 아키텍처

본 논문은 컨텍스트 창을 단순히 커지는 버퍼가 아니라, 운영 체제의 워킹 셋(working set)과 유사한 **재사용 가능한 실행 작업 공간(recyclable execution workspace)**으로 재정의할 것을 제안합니다. 지식은 모델의 연산과 가까운 정도에 따라 다섯 가지 계층으로 분산됩니다:

계층 -1: LoRA 가중치 (선택 사항): 셀프 호스팅 모델의 경우, 도메인 전문 지식을 훈련이 필요 없는 LoRA(training-free LoRA) 구성을 통해 MLP 가중치 행렬에 직접 임베딩합니다. 이 계층은 컨텍스트 토큰을 전혀 소비하지 않습니다. 어댑터는 도메인 특화 텍스트와 일반 텍스트 간의 활성화 차이에 대한 특이값 분해(SVD) 및 순방향 패스 활성화 통계를 사용하여 구축되며, 역전파나 GPU를 필요로 하지 않습니다.
계층 0: 잔차 상태 (Residual States): 시스템 프롬프트, 최상위 트리 요약, 사전 계산된 메트릭이 세션 시작 시 한 번에 조립됩니다. 이들의 키-값(KV) 캐시 엔트리는 안정적인 접두사(prefix)로 유지되어, 재계산 없이 턴마다 재사용됨으로써 인코딩 시 메모리를 약 48% 절감합니다.
계층 1: 브랜치 캐시 (Branch Cache): 활성 지식 브랜치(관련 트리 노드)가 컨텍스트 창에 동적으로 로드됩니다. 이것이 쿼리 사이에 토큰 수가 변하는 유일한 계층입니다. 브랜치 교체는 50ms 미만에 수행됩니다. 3비트 KV 양자화를 사용하면 16GB VRAM 예산으로 약 768K 토큰의 캐시된 지식을 보유할 수 있습니다.
계층 2: 메모리 인덱스 (Memory Index): 인메모리 SQLite FTS5 역색인(inverted index)이 BM25 스코어링을 사용하여 키워드를 트리 노드에 매핑합니다. 룩업은 용어당 $O(1)$ 이며 1ms 미만에 완료되어, 컨텍스트 토큰을 소비하지 않는 라우팅 계층 역할을 합니다.
계층 3: 지식 저장소 (Knowledge Store): 디스크 기반 SQLite 데이터베이스(WAL 모드)는 사실상 무제한의 용량(SSD에서 <5ms 읽기 지연 시간)을 제공합니다. 모든 트리 노드, 문서 및 세션 히스토리가 여기에 상주합니다.

핵심 메커니즘

컨텍스트 재활용 (Context Recycling): 각 턴에서 시스템은 관련 브랜치(계층 1)를 명시적으로 로드하고, 응답을 생성한 후, 컨텍스트에서 해당 브랜치 토큰을 **해제(release)**합니다. 다음 쿼리는 동일한 고정 토큰 예산을 사용하여 완전히 다른 브랜치를 로드할 수 있습니다.
선제적 로딩 (Proactive Loading): 시스템은 결정론적 키워드 추출과 BM25 랭킹을 사용하여 추론 전에 컨텍스트를 조립합니다. 또한 시간적 패턴, 주제적 근접성, 세션 연속성을 기반으로 예측적 프리로딩을 채택하여, 사전 로드된 브랜치를 제로 마진 쿼리 비용으로 KV 캐시에 유지합니다.
지식 트리 (Knowledge Tree): 지식은 계층적으로 구성됩니다. 인덱스 룩업은 간결한 요약(빠르고 작음)과 매칭되는 반면, 컨텍스 주입은 브랜치가 활성화될 때만 전체 내용(완전하고 큼)을 사용합니다.
제한된 활성 컨텍스트 (Bounded Active Context): 압축 엔진은 대화 버퍼를 모니터링하며, 버퍼가 임계값(예: 3,000 토큰)을 초과할 때 LLM 기반 요약을 트리거하여 불필요한 내용은 버리고 사실과 결정 사항은 보존합니다. 이를 통해 대화 길이에 관계없이 활성 토큰 사용량이 제한된 상태를 유지합니다.

주요 기여

컨텍스트 재활용 패러다임: 컨텍스트 창을 일회성 버퍼가 아닌 고정 예산의 재사용 가능한 자원으로 취급하는 시스템 레벨의 접근 방식을 제시하여, 고정된 활성 컨텍스트 예산 하에서 장기 실행 세션을 가능하게 합니다.
5계층 계층 구조: 제로 토큰 LoRA 가중치부터 디스크 기반 저장소에 이르기까지의 아키텍처를 제안하며, 결정론적 선제적 검색을 통해 추론 호출 전 관련 지식을 조립합니다.
훈련이 필요 없는 LoRA 구축: 레이블이 지정된 훈련 데이터나 GPU 연산 없이 오직 순방향 패스 활성화 통계와 SVD만을 사용하여 도메인 어댑터를 구축하는 방법을 제공합니다.
오픈 소스 구현 (ContextForge): 이 아키텍처를 구현한 파이썬 시스템으로, 기업용 데이터셋을 통해 검증되었습니다.

실증 결과

시스템은 GPT-5.4를 사용하여 2억 7,600만 행의 기업 데이터셋(CMS Medicare Provider Utilization and Payment Data)을 대상으로 ContextForge를 동일한 조건의 Azure AI Foundry 에이전트(Fabric Data Agent 도구)와 비교 평가했습니다.

12-턴 벤치마크:
- 정확도: 대등함 (85/120 vs. 84/120).
- 효율성: ContextForge는 4.2배 적은 토큰(31K vs. 132K)을 사용하였고, 4.7배 더 빨랐습니다(9.7s vs. 45.7s).
15-턴 벤치마크 (장기 호라이즌):
- 정확도: ContextForge가 더 높은 점수를 기록했습니다 (225/300 vs. 194/300).
- 효율성: 깊이가 깊어질수록 이점이 누적되었습니다. ContextForge는 13.4배 적은 토큰(25,666 vs. 345,112)을 사용하였고, 8.0배 더 빨랐습니다(7.6s vs. 60.5s).
- 추론 근거: 베이스라인 에이전트는 전체 대화 기록을 다시 전송하여 턴당 약 22K 토큰에 도달하는 반면, ContextForge는 턴당 신선한 컨텍스트(약 850 토큰)를 조립하여 지연 시간과 토큰 사용량을 안정적으로 유지합니다.
견고성: 두 시스템 모두 동일한 비율로 콘텐츠 안전 필터를 트리거(오탐)했으나, ContextForge는 베이스라인과 달리 인프라 오류가 발생하지 않았습니다.

의의 및 주장

본 논문은 ContextForge가 모델 아키텍처의 변경이나 계속 커지는 컨텍스트 창에 의존하지 않고도, 고정된 활성 컨텍스트 예산 하에서 고정확도 및 장기 호라이즌 LLM 추론이 가능하다는 것을 입증한다고 주장합니다.

직교성 (Orthogonality): 이 접근 방식은 롱 컨텍스트 모델 아키텍처의 발전과 직교하며 RAG를 보완합니다. 이는 윈도우 크기와 상관없이 컨텍스트 창에 무엇이 들어올지를 관리합니다.
효율성 vs. 정확도: 제안된 시스템과 프로덕션 베이스라인의 주요 차이점은 정확도가 아닌 효율성에 있습니다. 이 시스템은 정확도를 유지하거나 약간 높이면서도 토큰 소비와 지연 시간을 획기적으로 줄입니다.
확장성: 활성 컨텍스트 사용량은 대화 길이나 백킹 스토어의 크기(최대 281 TB 지원)에 관계없이 제한됩니다. 이는 범용 하드웨어에서도 장기 세션을 가능하게 합니다.
겸허함 (Modesty): 저자들은 한계점을 인정하며, 훈련이 필요 없는 LoRA 검증이 표준화된 공개 벤치마크(예: MedQA)가 아닌 내부 평가 세트에서 수행되었으며, 현재 시스템은 가중치 접근 권한이 있는 셀프 호스팅 모델에만 적용된다는 점을 명시했습니다. 실증 평가는 두 개의 특정 벤치마크와 하나의 데이터셋을 기반으로 하며, 저자들은 모든 도메인에 대한 통계적 유의성을 주장하지 않습니다.

결론적으로, 본 연구는 계층적 메모리 레이어링, 컨텍스트 재활용, 선제적 로딩이 거대하고 무제한적인 지식 저장소를 가진 프로덕션 환경에서 LLM 추론을 관리하기 위한 유효한 시스템 레벨 전략임을 보여줍니다.