기술 요약: 무엇을 남기고 무엇을 잊을 것인가: LLM 및 에이전트의 메모리 압축에 대한 레이트-디스토션(Rate–Distortion) 관점

문제 정의

대규모 언어 모델(LLM)과 이를 기반으로 구축된 에이전트들은 점점 더 많은 계산 자원을 메모리 관리에 할당하고 있습니다: 어텐션 키-값(KV) 캐싱, 긴 프롬프트 유지, 순환 상태(recurrent states) 저장, 그리고 에이전트 상호작용 이력 유지 등이 이에 해당합니다. 컨텍스트 길이가 길어짐에 따라 메모리는 주요 병목 현상이 되며, 종종 모델 자체의 가중치 크기를 초과하기도 합니다.

현재 네 가지 서로 다른 연구 커뮤니티가 이 병목 현상을 개별적으로 다루고 있습니다:

1. KV-캐시 압축: 추론 중 토큰을 제거(evicting), 양자화(quantizing) 또는 병합(merging)함.
2. 프롬프트/컨텍스트 압축: 모델이 처리하기 전에 입력 토큰을 가지치기(pruning)하거나 증류(distilling)함.
3. 구조적 제약: 순환(recurrence), 상태 공간 모델(SSM) 또는 선형 어텐션을 통해 메모리를 제한함.
4. 에이전트 메모리: 에이전트 궤적(trajectory)과 장기 지식을 통합 및 요약함.

이 커뮤니티들은 서로 다른 벤치마크, 성공 지표, 설계 철학을 가지고 있으며, 서로를 거의 인용하지 않습니다. 본 논문은 이들이 별개의 문제가 아니라, 하나의 근본적인 도전 과제인 **레이트-디스토션 결정(rate–distortion decision)**의 서로 다른 사례라고 주장합니다. 핵심 문제는 주어진 자원 예산 하에서 다운스트림 태스크의 유용성을 보존하기 위해, 어떤 컨텍스트 유래 정보를 유지하고 버릴 것이며, 어느 정도의 충실도(fidelity)로 유지할 것인가를 결정하는 것입니다.

방법론 및 정식화

저자들은 메모리 압축을 레이트-디스토션 최적화 문제로 취급하는 통합된 정식화를 제안합니다.

통합 목적 함수

주어진 이력 $H$(사용 가능한 모든 토큰, 상태 또는 메모리)에 대해, 압축 연산자 $C_\theta$는 예산 $B$(바이트, 토큰 또는 상태 차원으로 측정됨)를 준수하며 압축된 표현 $Z$를 생성합니다. 이후 사용 연산자 $U$는 $Z$로부터 출력 $\hat{Y}$를 생성합니다. 설계 목표는 레이트 제약 조건 하에서 기대 손실(디스토션)을 최소화하는 것입니다:
$$\min_\theta \mathbb{E}[\ell(U(C_\theta(H), Q), Y)] \quad \text{subject to} \quad \text{rate}(Z) \le B$$
이는 정보 병목(Information Bottleneck) 문제로 프레임화됩니다: $I(Z; H) \le B$ 제약 하에서 $I(Z; Y | Q)$(답변을 예측하는 데 필요한 이력의 비트 수)를 최대화합니다.

이론적 하한선

저자들은 파노 부등식(Fano's inequality)을 사용하여 레이어에 무관한 오류 확률 $P_e$의 하한선을 도출합니다. $I^\star(Q) = I(Y; H | Q)$를 태스크 조건부 정보량(질의 $Q$에 답하기 위해 진정으로 필요한 이력의 비트 수)이라고 할 때, 만약 $B < I^\star(Q)$라면 오류는 다음과 같이 제한됩니다:
$$P_e \ge \frac{H(Y|Q) - B - 1}{\log |\mathcal{Y}|}$$
핵심 시사점:

1. 오류의 불가피성: 정보 요구량 $I^\star(Q)$ 미만에서는 모든 레이어에서 오류가 발생하며, 어떤 아키텍처도 이를 피할 수 없습니다.
2. 태스크 의존성: 고정된 품질에서의 압축률은 $I^\star(Q)$에 따라 달라집니다. 고엔트로피 태스크(정확한 검색)는 압축이 어렵고, 저엔트로피 태스크(요약)는 압축이 용이합니다.
3. 쿼리 불가지론적 페널티(The Query-Agnostic Penalty): 쿼리를 보기 전에 무엇을 남길지 결정하는 연산자(query-agnostic)는 전체 쿼리 분포에 걸쳐 예산을 분산시켜야 하며, 쿼리 엔트로피 $H(Q)$만큼의 페널티를 지불해야 합니다. 쿼리 조건부 연산자(query-conditioned)는 답변에 관련 있는 비트에 예산을 온전히 집중할 수 있습니다.

7축 분류 체계(Seven-Axis Taxonomy)

방법론들을 통일된 방식으로 분류하기 위해, 저자들은 일곱 가지 직교 축을 기반으로 한 분류 체계를 도입합니다:

1. 입도(Granularity): 비트 너비부터 의미적 항목까지.
2. 생애 주기 단계(Lifecycle Stage): 사전 학습, 프리필(prefill), 디코딩, 서빙, 태스크 내, 또는 태스크 간.
3. 손실성/충실도(Lossiness/Fidelity): 무손실, 거의 무손실, 균등 손실, 또는 다중 충실도.
4. 쿼리/태스크 적응성(Query/Task Adaptivity): 쿼리 불가지론적(query-agnostic) vs 쿼리 조건부(query-conditioned).
5. 학습 가능성(Learnability): 훈련 불필요, 사후 학습 어댑터, 또는 처음부터 학습.
6. 메커니즘(Mechanism): 제거(eviction), 검색(retrieval), 병합(merging), 양자화(quantization) 등.
7. 저장 기질(Storage Substrate): GPU 상, 외부 저장소, 또는 모델 가중치.

주요 기여

1. 통합 정식화 및 하한선: 논문은 메모리 압축을 단일 레이트-디스토션 문제로 정식화하고, 모든 레이어에서 오류율이 동일한 식으로 지배됨을 보여주는 하한선(식 2)을 도출했습니다. 또한 "쿼리 불가지론적 페널티"를 정량화 가능한 비용으로 식별했습니다.
2. 7축 분류 체계: KV 캐시, 프롬프트, 아키텍처, 에이전트 메모리의 방법론들을 통일하여 분류함으로써, 차이점이 주로 입도, 생애 주기 단계, 적응성에 있음을 밝혀냈습니다.
3. 교차 레이어 메커니즘 전이: 한 레이어에서 정교화된 메커니즘이 다른 레이어로 이식될 수 있음을 입증했습니다. 예를 들어:
   • 에빙하우스의 망각 곡선(Ebbinghaus forgetting curves)은 KV 제거를 위한 사전 확률(prior)로 사용될 수 있습니다.
   • 제거 없는 검색(Quest)은 에이전트 메모리 설계를 제안합니다.
   • 출력 오류 하한선(Ada-KV)은 에이전트 요약의 중단 규칙을 제안합니다.
4. 실패 모드 식별: 두 가지 핵심 속성이 성공을 결정합니다: 가역성(Reversibility)(버려진 내용을 재도출할 수 있는가?)와 쿼리 조건부 여부(Query-Conditioning)(결정이 쿼리에 의존하는가?). 논문은 이러한 특성이 결여된 방법(예: 비가역적 요약)은 반복적인 압축 하에서 초선형적인(super-linear) 오류 누적을 겪을 것이라고 예측합니다.
5. COMPACT-Bench 제안: "역사당 바이트(bytes-per-token-of-history, BPT)" 축을 기준으로 압축을 측정하는 새로운 벤치마크를 제안합니다. 여기에는 손실 귀속, 가역성, 교정된 신뢰도를 측정하는 태스크가 포함되며, 특히 현재 벤치마크가 간과하는 "반복적 압축" 환경을 테스트합니다.
6. 참조 실험: 일반적인 하드웨어에서의 소규모 실험을 통해 다음을 입증했습니다:
   • 성능이 $I^\star(Q)$ 아래로 떨어지면 급격히 붕괴되는 통합된 정확도-예산 경계면(accuracy–budget frontier).
   • 가역적 연산자와 비가역적 연산자 사이의 발산: 반복적 압축 하에서 비가역적 방법은 가역적 방법에 비해 약 50% 더 많은 사실을 잃습니다.

결과 및 관찰

• 보편적 실패 모드: 모든 레이어에서, 쿼리가 알려지기 전에 무엇을 남길지 결정하고 그 결정을 되돌릴 수 없는(비가역적, 쿼리 불가지론적) 방법들은 동일하게 실패합니다: 즉, 쿼리가 나중에 필요로 할 정보를 미리 버립니다.
• 가역성의 우위: 동일한 예산에서 가역적 연산자(검색 기반, 아카이브 방식)는 비가역적 연산자(제거, 요약 방식)보다 일관되게 우수한 성능을 보이며, 특히 버려진 자료에 의존하는 쿼리에서 그러합니다.
• 측정 격차: 현재 벤치마크는 단일 턴의 롱 컨텍스트 태스크에 집중되어 있습니다. 이는 에이전트의 실제 작동 모드인 반복적 압축의 비용을 측정하지 못합니다. 논문은 비가역적 방법의 경우 반복적 압축 시 오류 누적이 초선형적으로 발생하는 반면, 가역적 방법은 평탄하게 유지됨을 보여줍니다.
• 대리 지표로서의 어텐션 휴리스틱: 흔히 쓰이는 휴리스틱(누적 어텐션 질량, 퍼플렉시티, 상호 정보량 등)은 모두 디스토션의 대리 지표(surrogates)로 식별되었습니다. 이들이 유사한 이유는 모두 "이것을 버리는 것이 답변에 얼마나 해를 끼칠 것인가?"라는 동일한 근본적 양을 추정하기 때문입니다.

의의 및 주장

논문은 메모리 압축을 레이트-디스토션 렌즈로 바라보는 것이 세 가지 구체적인 이점을 제공한다고 주장합니다:

1. 공통의 척도: 서로 다른 레이어(예: KV 양자화기와 에이전트 요약기 비교)를 공통의 예산 축에 매핑함으로써 직접적인 비교를 가능하게 합니다.
2. 통합된 실패 분석: 다양한 방법들이 왜 유사하게 실패하는지(비가역성과 쿼리 불가지론성 때문에)를 설명하며, 특정 실패 징후(예: U자형 회상 곡선, 초선형적 오류 성장)를 예측합니다.
3. 기술의 이식성: 검증된 메커니즘을 레이어 간에 전이할 수 있게 합니다(예: 아키텍처 제약을 에이전트 메모리에 적용하거나, 에이전트 통합 전략을 사용하여 KV 관리를 개선하는 것).

저자들은 이 분야에 교차 레이어 벤치마크와 $I^\star(Q)$에 대한 예측 가능한 스케일링 법칙이 부족함을 강조합니다. 발전은 고립된 형태의 더 나은 휴리스틱을 찾는 것이 아니라, 공유된 목적을 인식하고 가역성, 쿼리 조건부 여부, 반복적 압축을 고려하는 통합된 프로토콜로 압축을 측정하는 데서 올 것이라고 제안합니다.

열린 문제 및 과제

논문은 우선순위가 높은 연구 과제를 제시합니다:

• 모든 레이어를 위한 쿼리 조건부, 가역적, 다중 충실도 압축 연산자 개발.
• 정보 손실 귀속(information-loss attribution) 및 교정된 신뢰도 메커니즘 구축.
• 연산자의 합성(예: 양자화가 제거와 어떻게 상호작용하는가) 연구.
• 모델 및 태스크 파라미터를 기반으로 $I^\star(Q)$를 추정하는 예측 가능한 압축 스케일링 법칙 도출.
• 출력 오류 하한선에 기반한 에이전트 요약 중단 규칙(stop rules) 설정.
• 자기 편집 메모리 시스템의 안전성 및 감사 가능성(auditability) 문제 해결.