🤖 AI

Context Compaction Theory

이 논문은 선택 및 생성 전략을 위한 두 가지 게임 이론적 프레임워크를 도입함으로써 대규모 언어 모델의 문맥 압축에 관한 공식적인 연구를 개시하며, 이들의 단방향 통신 복잡도에 대한 동등성을 증명하여 이론적 경계치를 설정하고 생성적 요약이 부분 집합 선택보다 엄격하게 더 우수할 수 있음을 입증한다.

원저자: Hayder Tirmazi, Sam Markelon, Allison Bishop, Michael Mitzenmacher

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hayder Tirmazi, Sam Markelon, Allison Bishop, Michael Mitzenmacher

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑하고 도움이 되는 로봇 친구와 대화하고 있다고 상상해 보세요. 이 로봇은 코드를 짜거나, 미스터리를 풀거나, 당신의 하루를 계획해 줄 수 있습니다. 이 로봇에게는 초능력이 하나 있는데, 바로 당신이 말한 모든 것을 기억할 수 있다는 점입니다. 하지만 여기에는 한 가지 제약이 있습니다. 이 로봇은 한 번에 자신의 '활성 뇌'에 담을 수 있는 정보의 양이 정해져 있다는 규칙을 엄격히 따릅니다. 이 제한을 마치 크기가 고정된 배낭과 같다고 생각해 보세요. 만약 당신이 인생 이야기 전체, 읽었던 모든 책, 그리고 나누었던 모든 대화를 그 배낭에 쑤셔 넣으려 한다면, 배낭은 결코 닫히지 않을 것입니다.

인공지능의 세계에서 이 배낭은 **컨텍스트 윈도우(context window)**라고 불립니다. 이것은 로봇(또는 '에이전트')이 한 번에 읽고 이해할 수 있는 텍스트의 최대량입니다. 로봇이 긴 작업을 수행할 때, 로봇은 방대한 양의 메모 더미를 수집합니다. 당신의 질문, 로봇의 답변, 파일 내용, 그리고 도구의 결과물들이 그것입니다. 결국 이 더미가 너무 커져서 배낭에 들어가지 않게 됩니다. 계속 작업을 이어가기 위해, 로봇은 **컨텍스트 압축(context compaction)**이라는 마법 같은 기술을 부려야 합니다. 로봇은 자신의 거대한 메모 더미를 살펴보고 무엇을 남기고 무엇을 버릴지, 혹은 그 전체 내용을 중요한 비밀을 모두 간직한 채 아주 작고 완벽한 메모로 어떻게 요약할지 결정해야 합니다. 만약 로봇이 잘못된 것을 버린다면, 로봇은 자신이 왜 이 일을 하고 있는지 잊어버리거나 나중에 어처구니없는 실수를 저지를 수도 있습니다.

오랫동안 엔지니어들은 어떻게 하는 것이 최선인지 추측해 왔습니다. 그들은 역사를 요약하거나 단순히 가장 최근의 메시지만 유지하는 것과 같은 다양한 전략을 시도했습니다. 하지만 아무도 이러한 전략들이 실제로 얼마나 잘 작동할 수 있는지에 대한 수학적 규칙을 알지 못했습니다. 그들은 자신들의 기술이 충분히 훌륭하기를 바라며 눈을 가린 채 비행하고 있었던 셈입니다.

이 논문은 이 파티에 진지한 수학을 가져오기 위해 등장했습니다. 연구자들로 구성된 저자 팀은 컨텍스 압축을 하나의 공식적인 게임처럼 다루기로 했습니다. 그들은 로봇이 현재 어떻게 메모리를 처리하는지 모델링하기 위해 두 가지 서로 다른 "게임"을 만들었습니다. 첫 번째 게임은 **선택(Selection)**으로, 로봇이 도서관 사서처럼 선반에 특정 부분 집합의 책들만 남길 수 있는 상황을 가정합니다. 두 번째 게임은 **생성(Generation)**으로, 로봇이 기존의 어떤 단일한 책을 직접 복사하는 것이 아니라, 아이디어를 조합하고 섞어서 배낭에 딱 맞게 들어갈 수 있는 새롭고 마법 같은 요약 노트를 작성할 수 있는 상황을 가정합니다.

여기서 발견된 중대한 사실은, "생성" 게임이 컴퓨터 과학의 유명한 문제인 **단방향 통신(one-way communication)**과 수학적으로 동일하다는 것입니다. 상상해 보세요. 앨리스가 비밀 목록을 가지고 있고, 나중에 그 목록에 대한 질문에 답할 수 있도록 밥에게 메시지를 보내려는 상황입니다. 이 논문은 밥이 질문에 올바르게 답하기 위해 앨리스로부터 받아야 하는 최소한의 공간이 정확히 로봇이 필요한 최소한의 "컨텍스 압축" 예산과 같다는 것을 증명합니다. 이는 매우 중요한 일인데, 수학자들이 이미 이러한 통신 문제들을 해결해 놓았기 때문입니다. 이 오래된 해결책들을 사용함으로써, 저자들은 로봇이 실패하지 않고 특정 질문에 답하기 위해 얼마만큼의 메모리를 유지해야 하는지를 정확히 알려줄 수 있게 되었습니다.

가장 흥격적인 발견 중 하나는 "생성" 전략(똑똑한 요약을 작성하는 것)이 "선택" 전략(기존 텍스트의 일부를 골라 유지하는 것)보다 엄격하게 더 낫다는 점입니다. 저자들은 어떤 유형의 질문에 대해서는, 똑똑한 요약을 사용하는 로봇이 "골라서 유지하기"를 강요받는 로봇보다 훨씬 적은 공간을 사용하여 문제를 해결할 수 있음을 증명했습니다. 이는 때때로 훨씬 적은 양의 메모리만 필요하다는 것을 의미하며, 마치 교과서 전체를 들고 다니며 몇 페이지를 하이라이트 하는 것보다 영리한 참고서를 작성하는 것이 훨씬 효율적이라는 사실을 깨닫는 것과 같습니다.

하지만 이 논문은 모든 로봇이 최적으로 플레이하고 있는 것은 아니라고 경고합니다. 연구진은 한 주요 AI 기업의 컨텍스 압축 엔드포인트(Anthropic의 컨텍스 압축 엔드포인트)를 특정 유형의 질문, 즉 "이 항목이 내 리스트에 있는가?"(집합 멤버십 쿼리)에 대해 테스트했습니다. 그들은 이 실제 도구의 성능을 **블룸 필터(Bloom filter)**라는 완벽한 수학적 도구와 비교했습니다. 블룸 필터는 이러한 종류의 질문을 위해 리스트를 저장하는 거의 최선의 방법으로 알려져 있습니다. 결과는 놀라웠습니다. 실제 도구는 무작위 추측에 가까운 오류율을 보인 반면, 블룸 필터는 거의 완벽했습니다. 이는 현재 인기 있는 AI 에이전트들이 사용하는 "스마트 요약"이 정말로 놓쳐서는 안 될 중요한 정보를 너무 많이 버리고 있을 수도 있음을 시사하며, 이로 인해 꼭 기억해야 할 것들을 잊어버리게 만든다는 것을 보여줍니다.

이 논문은 모든 문제를 해결했다고 주장하는 것이 아닙니다. 저자들은 자신들의 수학이 로봇이 다음에 어떤 질문을 받을지 정확히 모르는 상황("무관심한" 시나리오)에서 가장 잘 작동한다는 점을 인정합니다. 만약 로봇이 요약을 본 후에 사용자가 다음에 무엇을 물어볼지 예측해야 한다면, 규칙은 달라질 수 있습니다. 또한 그들은 로봇이 매우 긴 세션 동안 메모리를 반복해서 압축해야 하는 상황, 즉 현실 세계에서 일어나는 일에 대해서도 의문을 남겨두었습니다. 하지만 현재로서는, 이 연구가 우리가 AI 친구들이 우리가 쓰는 이야기의 줄거리를 잊지 않도록 하기 위해 얼마만큼의 메모리가 필요한지에 대한 명확한 수학적 지도를 제공했다는 점에서 큰 의미가 있습니다.

기술 요약: 컨텍스트 압축 이론 (Context Compaction Theory)

문제 정의

대규모 언어 모델(LLM)은 유한한 컨텍스트 창(context window)을 가지고 있어, 단일 추론 과정에서 처리할 수 있는 입력량에 제한이 있습니다. 에이전트(AI agents)는 LLM을 반복적으로 호출하고 상태(사용자 질의, LLLL 응답, 도구 결과 등)를 누적하며 작동하므로, 장기 실행 세션 중에 필연적으로 이 한계를 초과하게 됩니다. 이를 계속 수행하기 위해 에이전트는 컨텍스트 압축(context compaction), 즉 에이전트의 상태를 요약하거나 이를 선택하여 컨텍스트 창에 맞게 조정하는 과정을 채택해야 합니다.

컨텍스트 압축은 프로덕션 환경의 에이전트(예: Claude Code, Codex, Cursor)에서 보편적으로 사용되지만, 이에 대한 공식적인 분석은 거의 이루어지지 않았습니다. 기존 연구들은 다운스트림 작업의 정확도에 대한 경험적 평가에 의존하고 있으며, 어떤 정보가 보존되고 손실되는지에 대한 공식적인 보증(guarantees)은 결여되어 있습니다. 또한, 에이전트는 "컨텍스트 부패(context rot)"라고 불리는 이차적 제약에 직면합니다. 이는 입력 길이가 길어짐에 따라 추론 품질이 저하되는 현상으로, 하드웨어적인 컨텍스트 창의 한계에 도달하기 전이라도 압축이 필요하게 만듭니다. 핵심 문제는 압축 과정에서 버려진 정보는 향후 단계에서 LLM에게 영구적으로 손실되어, 에이전트가 원래의 대화 이력과 일치하지 않는 결정을 내리게 만들 수 있다는 점입니다.

방법론

저자들은 이 논문에서 두 플레이어 게임(two-player games)에 기반한 이론적 프레임워크를 도입하여 컨텍스트 압축에 대한 공식적인 연구를 시작합니다. 이 프레임워크는 에이전트의 내부 상태를 토큰의 시퀀스가 아닌 이산적인 정보 항목(discrete information items)의 집합으로 추상화합니다.

1. 이론적 프레임워크: 두 가지 게임

본 논문은 현대적 에이전트들이 사용하는 두 가지 주요 알고리즘 전략을 모델링하기 위해 두 가지 구별된 게임을 정의합니다.

컨텍스트 선택 게임 (The Context Selection Game): 보유할 상태의 부분 집합을 선택하는 알고리즘을 모델링합니다.
- 플레이어: 선택자(selector, 압축 알고리즘)와 적대자(adversary, 미래의 정보 요구를 나타냄).
- 메커니즘: 적대자는 아이템 유니버스 $X$ 를 고정합니다. 선택자는 크기 예산 $B$ 를 준수하며 부분 집합 $S \subseteq X$ 를 선택합니다. 그 후 적대자는 질의 $q$ 를 발행하며, 선택자는 오직 $S$ 만을 사용하여 이에 답해야 합니다.
- 질의 체제(Query Regimes): 본 연구는 알려진 분포에서 추출된 질의를 다루는 확률적(stochastic) 체제와, 선택된 부분 집합을 보지 않고 최악의 질의를 선택하는 맹목적 적대자(oblivious adversary) 체제를 모두 고려합니다.
컨텍스트 생성 게임 (The Context Generation Game): 유한한 길이의 메시지를 생성하여 상태를 요약하는 알고리즘을 모델링합니다.
- 메커니즘: 생성기(generator, 응축기)는 아이템 유니버스 $X$ 를 최대 길이 $B$ 를 가진 메시지 $m$ 으로 매핑합니다. 이후 해석기(interpreter)는 $m$ 과 질의 $q$ 를 사용하여 답을 도출합니다.
- 범위: 이 클래스에는 LLM 기반 요약이 포함됩니다. 여기서 응축기는 새로운 토큰(요약본)을 생성하고, 해석기는 후속 LLM 호출이 됩니다. 이 클래스는 재정렬, 새로운 토큰 생성, 정보의 효율적 인코딩을 허용하므로 선택(selection)보다 엄격히 더 강력합니다.

2. 통신 복잡도와의 연결

저자들은 컨텍스 생성 게임과 단방향 통신 복잡도(one-way communication complexity) 사이의 엄격한 등가성을 확립합니다.

등가성: 생성기는 "앨리스(Alice, 송신자)" 역할을 하고 해석기는 "밥(Bob, 수신자)" 역할을 합니다. 특정 오차율 $\epsilon$ 내에서 질의에 답하기 위해 필요한 최소 예산은 해당 유도된 통신 문제의 단방향 무작위 통신 복잡도와 정확히 일치합니다.
제한된 통신으로서의 선택: 컨텍스 선택 게임은 메시지가 반드시 아이템의 부분 집합을 명시적으로 식별해야 하며, 답이 오직 그 부분 집합만의 함수여야 하는 제한된 서브클래스의 단방호 프로토콜에 대응합니다.

3. 경험적 사례 연구

이론적 프레임워크를 검증하기 위해, 저자들은 프로덕션에 배포된 컨텍스트 압축 엔드포인트를 평가하는 사례 연구를 제시합니다(상세 내용은 부록 A 참조).

설정: 연구는 엔드포인트의 컨텍스트 내에 있는 아이템 집합을 기록하고, 이를 대상으로 집합 멤버십(set membership) 질의에 답하도록 합니다.
벤치마크: 엔드포인트의 오차율을 동일한 크기의 블룸 필터(Bloom filter)와 비교합니다. 블룸 필터는 고정된 예산 내에서 집합 멤버십에 대해 이론적으로 최적에 가깝습니다.
결과: 배포된 엔드포인트는 동일한 크기의 블룸 필터보다 실질적으로 높은 오차율을 보이며 멤버십 질의에 답했습니다. 저자들은 대조 실험을 통해 컨텍스트 압축 과정에서 손실된 정보가 이러한 오차의 원인임을 입증했습니다.

주요 기여 및 결과

공식 프레임워크: 본 논문은 컨텍스트 압축을 선택(history의 부분 집합 유지)과 생성(요약본 생성)으로 구분하여 최초로 공식 정의를 제공합니다.
등가성 정리 (Theorem 1): 저자들은 생성을 위한 최소 컨텍스트 압축 예산이 유도된 문제의 단방향 통신 복사 복잡도와 동일함을 증명합니다. 이를 통해 통신 복잡도에서 알려진 경계값들을 컨텍스 압축에 직접 적용할 수 있습니다.
선택 vs 생성 격차 (Theorem 3): 저자들은 생성이 선택보다 적은 예산을 필요로 하는 질의 집합이 존재함을 증명합니다. 구체적으로, $n$ 개의 아이템(여기서 $n=2^k$ )에 대해, 생성 알고리즘은 $n$ 비트의 예산을 사용하여 특정 질의에 오차 없이 답할 수 있는 반면, 오차 없는 답변을 위한 모든 선택 알고리즘은 $n \log_2 n$ 비트의 예산을 필요로 합니다. 결과적으로 두 전략 사이의 격차는 $\Theta(\log n)$ 배입니다.
특정 문제에 대한 하한선(Lower Bounds):
- 집합 멤버십 (Set Membership): 저자들은 집합 멤버십 질의에 대해 블룸 필터가 최적에 가깝다는 것을 보여줍니다.
- 집합 불일치 (Set Disjointness): 집합 불일치 질의(예: 종속성 집합이 알려진 취약점 집합과 교차하는지 확인하는 작업)의 경우, 필요한 예산은 $\Omega(Nm)$ 비트입니다(여기서 $N$ 은 아이템의 수, $m$ 은 아이템의 비트 길이). 이는 이러한 질의에 대해 압축이 데이터의 압축되지 않은 저장 형태보다 효과적인 이점을 제공하지 못함을 의미하는데, 이는 정보 이론적 하한선이 효과적인 압축 없이 정답을 유지하기에는 너무 높기 때문입니다.
경험적 검증: 사례 연구는 현재의 프로덕션 시스템(특히 평가된 컨텍스 압축 엔드포인트)이 집합 멤버십 작업에서 이론적 최적해(블룸 필터)보다 현저히 낮은 성능을 보임을 입증하며, 이는 현재의 LLM 기반 요약 전략이 정보 보존 측면에서 최적화되지 않았음을 시사합니다.

의의 및 주장

본 논문은 컨텍스 압축 연구를 경험적 휴리스틱에서 정보 이론적 보증의 영역으로 이동시키는 것을 목표로 합니다.

설계 지침: 통신 복잡도와의 등가성은 에이전트 설계자들에게 특정 미래 질의를 위해 필요한 최소 예산을 계산하는 방법을 제공합니다. 만약 어떤 문제가 높은 단방향 통신 복잡도(예: 집합 불일치)를 가진다면, 본 논문은 컨텍스 압축이 높은 오차 없이 예산을 효과적으로 줄일 수 없다고 주장합니다.
전략 선택: 선택과 생성 사이의 격차는 특정 작업에서 에이전트가 동일한 토큰 예산 내에서 더 높은 정확도를 달erm하기 위해 선택 기반 압축(절단/가지치기)보다 생성 기반 압축(요약)을 우선시해야 함을 시사합니다.
현재 시스템의 한계: 사례 연구는 현재 배포된 LLM 기반 압축과 최적의 자료 구조 사이의 상당한 성능 격차를 강조하며, 현재의 구현 방식이 중요한 정보를 누락하고 있음을 시사합니다.

저자들은 자신들의 연구 범위에 대해 겸허한 태도를 유지하며, 자신들의 경계값이 정보 이론적이며 이를 달성하기 위한 계산적 타당성(예: LLM이 실제로 최적의 응축기를 계산할 수 있는지 여부)은 다루지 않는다고 명시했습니다. 또한, 반복적 컨텍스 압축(이미 요약된 상태를 다시 압축하는 경우)과 적응형 적대자(질의가 요약본에 의존하는 경우)를 향후 연구를 위한 과제로 남겨두었습니다.