기술 요약: 대규모 엔드 투 엔드 컨텍스트 압축

문제 정의

대규모 언어 모델(LLM)의 롱 컨텍스트 추론은 컨텍스트 길이에 따라 선형적으로 증가하는 키-값(KV) 캐시로 인해 메모리와 지연 시간 측면에서 점점 더 제약을 받고 있습니다. 최근의 KV 캐시 압축 기술들은 캐시 항목을 제거하거나 압축된 캐시를 학습시키는 방식으로 이를 완화하려 시도하지만, 다음과 같은 중대한 한계에 직면해 있습니다:

1. 품질 대 효율성의 트레이드오프: 많은 방법론이 모델 성능을 크게 저하시키거나, 일반화되지 않는 도메인 특화 학습을 요구합니다.
2. 추론 엔진 호환성: 여러 어텐션 헤드나 레이어에 걸쳐 비균일하게 항목을 제거하는 기술은 공유된 시퀀스 길이를 가정하는 현대적인 프로덕션 추론 엔진(예: vLLM, SGLang)과 통합하기 어렵습니다.
3. 프리필(Prefill) 오버헤드: 많은 접근 방식이 압축 전에 전체 컨텍스트가 프리필되어야 하므로 잠재적인 지연 시간 이득을 상쇄하거나, 상당한 추가 연산 시간을 요구합니다.
4. 소프트 토큰(Soft-Token)의 한계: 기존의 인코더-디코더 "소프트 토큰" 방식은 종종 오프라인 전처리에 의존하며, 기본 모델의 광범위한 인컨텍스트 동작을 보존하지 못하거나, 정보 밀도가 높은 롱 컨텍스트 벤치마크보다는 좁고 도메인 특화된 작업에서만 평가됩니다.

본 연구가 다루는 핵심 질문은 일반적이고 태스크 불가지론적인(task-agnostic) 압축기가 모델의 원래 능력을 유지하면서 메모리 사용량과 추론 시간을 획기적으로 줄일 수 있는가 하는 점입니다.

방법론

저자들은 엔드 투 엔드로 학습된 인코더-디코더 압축기 제품군인 **잠재 컨텍스트 언어 모델(Latent Context Language Models, LCLMs)**을 소개합니다. 핵심 아키텍처는 입력 토큰 시퀀스 $x_{1:T}$를 인코더를 통해 더 짧은 잠재 임베딩 시퀀스 $z_{1:M}$으로 매핑한 후, 어댑터에 의해 투영되어 원래의 컨텍스트를 대신하여 디코더에 소비되도록 합니다.

아키텍처 설계

저자들은 처음부터 시작된 대규모 아키텍처 탐색을 통해 최적의 설계 선택지를 식별했습니다:

• 풀링(Pooling): **평균 풀링(Mean pooling)**이 EOS/CLS 기반의 토큰 기반 풀링보다 우수했으며, 높은 압축률(16배)에서도 결합(concatenation) 방식과 경쟁할 만한 성능을 보였습니다.
• 인코딩 그래뉴러리티(Encoding Granularity): 인코더 윈도우 크기($W$)를 1024 토큰으로 채택하여, 인코더가 과도한 메모리 오버헤드 없이 압축 블록 크기($N$)보다 더 큰 로컬 컨텍스트를 어텐션할 수 있도록 했습니다.
• 어텐션 마스킹: 인코더 내에서의 **인과적 마스킹(Causal masking)**이 양방향 마스킹보다 일관되게 우수한 성능을 보였습니다.
• 어댑터: 인코더 잠재 값을 디코더 차원으로 투영하기 위해 어텐션 기반 어댑터보다 가벼운 MLP 어댑터를 사용하는 것이 더 효과적이고 효율적이었습니다.
• 초기화: 표준 LLM 대신 사전 학습된 임베딩 모델(Qwen3-Embedding-0.6B)에서 인코더를 초기화하는 것이 더 나은 초기 표현을 제공했으나, 광범위한 학습을 거치면서 그 격차는 좁혀졌습니다.

학습 레시피

저자들은 파괴적 망각을 방지하고 안정성을 확보하기 위해 다단계 학습 레시피를 개발했습니다:

1. 단계 0 (어댑터 웜업): 인코더와 디코더를 동결하고 어댑터만 학습합니다.
2. 단계 1 (인코더 학습): 인코더의 동결을 해제하고 디코더는 동결 상태를 유지합니다.
3. 단계 2 (지속적 사전 학습): 낮은 학습률로 디코더의 동결을 해제하고, 다음 토큰 예측 및 재구성 데이터의 혼합물로 엔드 투 엔드 학습을 진행합니다.
4. 단계 3 (지도 미세 조정): SFT 데이터를 통해 압축된 입력에 대한 지시 이행 및 추론 능력을 강화합니다.

학습 데이터는 코드, 텍스트, 추론, 롱 컨텍스트 문서가 정교하게 큐레이션된 혼합물로 구성됩니다. 결정적으로, 사전 학습 데이터는 압축된 세그먼트(특수 토큰으로 감싸진)가 압축되지 않은 세그먼트와 교차하는 인터리브(interleaved) 형식을 사용하여, 모델이 단순히 시작 부분뿐만 아니라 여러 위치에서 잠재 컨텍스트에 조건화되도록 강제합니다.

에이전트 통합

저자들은 LCLM 에이전트가 전체 압축된 컨텍스트를 받는 에이전틱 시스템을 제안합니다. 에이전트는 특정 세그먼트에 대해 원래의 압축되지 않은 텍스트를 검색하기 위해 EXPAND 도구를 선택적으로 호출할 수 있으며, 이를 통해 롱 호라이즌 태스크를 위한 "훑어보기 및 확대(skim-and-zoom)" 전략을 가능하게 합니다.

주요 결과

LCLM 제품군(특히 0.6B 인코더와 4B 디코더)은 RULER, LongBench, LongHealth, GSM8K 벤치마크에서 4배, 8배, 16배 압축률로 평가되었습니다.

• 파레토 프런티어(Pareto Frontier): LCLMs는 정확도-효율성 트레이드오프에서 새로운 파레토 프런티어를 구축합니다. 이들은 KV 캐시 압축 베이스라인(예: SnapKV, KVzip, Attention Matching)에 비해 훨씬 빠른 첫 토큰 생성 시간(TTFT)과 낮은 피크 GPU 메모리를 달성합니다(특히 높은 압축률에서).
• 정확도 보존: 16배 압축 시에도 LCLMs는 롱 컨텍스트 벤치마크에서 높은 정확도를 유지합니다(예: RULER 16k에서 약 65%를 기록하며, 종종 20-40% 미만으로 떨어지는 베이스라인들을 크게 상회함).
• 메모리 효율성: 메모리가 전체 컨텍스트 길이에 따라 증가하는 KV 캐시 방식과 달리, LCLM의 메모리 사용량은 인코더가 고정된 크기의 윈도우를 처리하기 때문에 긴 컨텍스트에서도 정체(plateau)됩니다. 이를 통해 LCLMs는 단일 H200 GPU에서 최대 1M 토큰의 컨텍스트를 처리할 수 있는 반면, 베이스라인들은 512K 또는 1M 토큰에서 메모리 부족 현상을 겪습니다.
• 미세한 성능(Fine-Grained Performance): 짧고 밀도가 높은 컨텍스트인 GSM8K에서 LCLMs는 모든 압축률에 걸쳐 가장 높은 정확도를 달성하여, 롱 컨텍스트 QA에만 국한되지 않고 정보 밀도가 높은 입력을 효과적으로 압축할 수 있음을 입증했습니다.
• 에이전트 성능: 적응형 확장을 사용하는 에이전틱 시스템은 "바늘 찾기(needle-in-a-haystack)" 태스크에서 정확한 문자열 일치 정확도를 크게 향상시키며, 압축된 컨텍스트의 효율성을 유지하면서도 종종 압축되지 않은 모델의 성능에 필적하는 결과를 보여줍니다.

의의 및 주장

본 논문은 LCLM이 표준 프로덕션 추론 엔진과 호환되는, 실용적이고 확장 가능한 롱 컨텍스트 추론 솔루션을 제공한다고 주장합니다. 컨텍스트 압축의 부담을 더 작은, 병렬화 가능한 인코더로 전환함으로써, LCLMs는 컨텍스트 길이에 따른 메모리 및 지연 시간 비용을 디코더의 생성 과정으로부터 분리합니다.

저자들은 다음과 같은 점을 강조합니다:

1. 일반 능력 보존: 성능을 저하시키거나 태스크 특화 튜닝을 요구하는 기존의 소프트 토큰 방식과 달리, LCLMs는 일반적인 태스크, 추론 및 지시 이행에 대해 강력한 성능을 유지합니다.
2. 적응형 검색 가능: 에이전틱 프레임워크와의 통합을 통해 관련 컨텍스트의 동적 확장을 허용하며, 이는 전역적인 코퍼스 가시성과 미세한 정보 검색 사이의 간극을 메워줍니다.
3. 확장성: 이 방법은 범용 하드웨어(H200 GPU)에서 백만 토큰 컨텍스트까지 효과적으로 확장되며, 현재 롱 호라이즌 LLM 시스템의 배포를 제한하는 메모리 병목 현상을 극복합니다.

이 연구는 학습된 엔드 투 엔드 압축이 휴리스틱한 KV 캐시 제거의 실행 가능한 대안임을 시사하며, 지속적인 작업 기억을 가진 미래의 롱 호라이즌 에이전트를 위한 견고한 기반을 제공합니다.