기술 요약: 장기 실행 AI 에이전트의 압축 절벽 (The Compaction Cliff)

1. 문제 정의

장기 실행되는 AI 에이전트는 유한한 토큰 예산 하에서 작동하며, 이에 따라 컨텍스트 창을 압축(요약), 분해(주제 분할), 그리고 검색(외부 저장소)을 통해 관리해야 한다. 현재의 프로덕션 전략들은 모든 지식 항목을 동일하게 취급하며, 항목의 의미론적 성격에 관계없이 동일한 압축 또는 유지 로직을 적용한다.

저자들은 이를 **압축 절벽(Compaction Cliff)**이라 명명된 결정적인 실패 모드로 규정한다. 즉, 안전 규칙(예: "환자는 페니실린에 알레르기가 있음")이 에피소드 로그와 토큰 공간을 두고 경쟁할 때, 균일한 요약 방식은 배경 정보와 동일한 비율로 안전 제약 조건을 저하시킨다. Claude Code의 /compact 프롬프트에 대한 Sonnet 4.6의 경험적 분석 결과, 다섯 번의 압축 라운드를 거친 후 안전 규칙 회상률(recall)이 53%에서 10%로 급락하는 것이 밝혀졌다. 이는 추상적 요약(abstractive summarization)과 계층적 절단(hierarchical truncation)이 변형을 허용할 수 있는 항목(예: 에피소드 로그)과 실행력을 유지하기 위해 정확한 문구가 필요한 항목(예: 안전 제약 조건)을 구분하지 못하기 때문에 발생한다.

2. 방법론: 지식 트리아지 (Knowledge Triage)

압축 절벽 문제를 해결하기 위해, 본 논문은 지식 항목을 유형별로 분류하고 각기 다른 유지 정책을 통과하도록 하는 지식 트리아지(Knowledge Triage) 프레임워크를 제안한다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있다.

A. 유형화된 지식 모델 (Typed Knowledge Model)

저자들은 396,934개의 에이전트 설정을 분석하여 도출한 5가지 유형 모델을 정의한다:

1. 제약 (Constraint, C): 에이전트 행동을 규제하는 규칙으로, 위반 시 안전 실패를 초래함 (예: "금기된 약물을 처방하지 마시오"). 왜곡 허용도는 제로(0)이다.
2. 절차 (Procedural, P): 실행이 보존되어야 하는 단계별 지침 (예: "머지하기 전에 pytest를 실행하시오").
3. 신념 (Belief, B): 사실로 간주되는 단언적 진술 (예: "백엔드는 REST API를 노출함"). 제한적인 의미적 거리(semantic distance)를 허용한다.
4. 선호 (Preference, F): 부드러운 가이드라인 (예: "2-스페이스 들여쓰기를 사용하시오"). 요약에 대한 높은 허용도를 가진다.
5. 에피소드 (Episodic, E): 과거의 사건이나 관찰 기록. 자유롭게 폐기 가능하다.

B. 분류 ($\tau$)

분류기는 각 항목을 다섯 가지 유형 중 하나로 할당한다. 기본 접근 방식인 SafetyMargin은 반사실적 안전성(counterfactual safety)을 추정한다. 이 방식은 특정 항목이 지식 베이스에서 제거되었을 때 안전하지 않은 행동을 할 확률이 얼마나 증가하는지를 기준으로 항목을 점수화한다. 이 접근법은 문법적 휴리스틱(예: 명령형 동사 탐색)이 놓치기 쉬운 선언적 안전 규칙(예: "환자는 X에 알레르기가 있다")을 포착해 낸다.

C. 세 가지 결정론적 연산자 (Three Deterministic Operators)

프레임워크는 각각의 안전 요구 사항을 충족하는 세 가지 연산자를 구현하며, 이는 균일한 전략들이 위반하는 안전 요구 사항들을 준수한다.

1. TypeCompact (유형 압축):

   • 메커니즘: 항목들을 충실도 레인(fidelity lanes)으로 라우팅한다. 제약과 절차는 고정(pinned)되어 왜곡 없이 원문 그대로 보존된다. 신념과 선호는 압축된다. 에피소드 항목은 플레이스홀더로 대체된다.
   • 안전 보장: 입력된 모든 제약 조건은 왜곡 없이 원문 그대로 출력에 존재해야 한다.
   • 검증: 압축 후 검증기가 고정된 제약 조건이 모두 생존했는지 확인하며, 누락 시 시스템은 "안전하지 않음(Unsafe)"으로 에스컬레이션하거나 해당 항목을 복구한다.

2. TypeDecompose (유형 분해):

   • 메커니즘: 단일 컨텍스트에 담기에 너무 큰 지식 베이스를 하위 주제로 분할한다.
   • 안전 보장 (국소성, Locality): 특정 제약 조건의 범위(scope)에 포함된 항목이 파티션에 들어있다면, 해당 제약 조건 역시 그 파티션에 복제되어야 한다.
   • 구현: 범위의 너비에 비례하는 토큰 오버헤드를 감수하며, 범위가 겹치는 모든 파티션에 해당 제약 조건을 복제한다.

3. TypeRetrieve (유형 검색):

   • 메커니즘: 질의 관련성에 따라 외부 저장소에서 항목을 가져온다.
   • 안전 보장 (우선순위): 질의 범위 내의 모든 제약 조건은 유사도 점수와 관계없이 반드시 반환되어야 한다.
   • 구현: 남은 예산을 유사도 순으로 채우기 전에, 범위 내의 제약 조건을 결과 세트의 최상단에 고정(pin)한다.

3. 주요 기여

1. 압축 절벽 (The Compaction Cliff): 유형을 구분하지 않는 압축의 구조적 실패를 문서화하였으며, 여러 LLM 제품군과 구조적 베이스라인에서 순차적 압축 라 round 동안 안전 규칙 회상률이 급격히 붕괴함을 입증했다.
2. 5가지 유형 지식 모델: 에이전트 설정 내용의 97%를 포괄하는 분류 체계를 구축하여, 왜곡을 허용하는 항목과 정확한 보존이 필요한 항목을 구분하였다.
3. 지식 트리아지 프레임워크: 균일한 전략으로는 충족할 수 없는 안전 보장을 수행하는 세 가지 연산자(TypeCompact, TypeDecompose, TypeRetrieve)를 구현하였다.
4. SafetyMargin 분류기: 선언적 안전 규칙(임상, 법률, 금융 분야에서 지배적임)을 탐지하는 데 있어 문법적 분류기보다 뛰어난 성능을 보이는 반사실적 안전성 추정기를 제공한다.
5. AgentArtifactCorpus: 분류 체계 검증 및 연산자 벤치마킹을 위해 54,628개의 GitHub 저장소에서 추출한 396,934개의 에이전트 지식 아티팩트로 구성된 새로운 데이터셋을 구축하였다.

4. 실험 결과

본 프레임워크는 5개의 공개 코퍼스와 3개의 행동 벤치마크를 통해 평가되었다:

• 압축 성능: 50개의 에이전트 설정에 대해, TypeCompact는 모든 압축 비율에서 가장 강력한 단일 샷 LLM 압축기(Sonnet 4.6)보다 2~4배 더 많은 안전 규칙을 보존했다. 50% 압축을 5회 반복한 후, TypeCompact는 96%의 회상률을 유지한 반면, Sonnet 4.6은 **10%**로 떨어졌다.
• 분해 성능: TypeDecompose는 (균일한 파티셔닝 베이스라인의 위반율이 93%인 것에 비해) 0%의 국소성 위반을 달est성했다. 이는 14.5%의 평균 토큰 오버헤드를 동반했다.
• 검색 성능: TypeRetrieve는 모든 리트리버 백엔드에서 범위 내 제약 조건에 대해 100%의 recall@50을 달성했다(최고 성능의 단일 샷 LLM 리트리버는 73%).
• 행동 벤치마크:
  • 의료 준수 (SafetyMed): TypeCompact는 통과율($p=0.022$)과 제약 보존($p < 10^{-8}$) 측면에서 프로덕션 Sonnet 압축기보다 우수한 성능을 보였으며, 보존율에서 14.5포인트 앞섰다.
  • 리테일 작업 ($\tau$-bench): TypeCompact는 전체 정책(full-policy) 및 계층적 절단 베이스라인보다 통과율에서 우수한 성능을 보였다 ($p < 0.01$).
  • 항공 도메인: TypeCompact는 계층적 절단($p=0.024$)보다 우수한 성능을 보였으며, 전체 정책 상한선(full-policy ceiling)과 통계적으로 대등했다.

5. 의의 및 주장

본 논문은 장기 실행 에이전트의 안전 보존이 단순히 더 나은 요약 모델의 문제가 아니라, 컨텍스트 관리의 구조적 요구 사항이라고 주장한다. 저자들은 유형을 구분하지 않는 유지(type-blind retention)는 근본적으로 불충분하다고 주장하는데, 이는 '손실 가능한(lossy)' 지식과 '손실 불가능한(lossless)' 지식을 구분하는 메커니즘이 결여되어 있기 때문이다.

지식 트리아지의 의의는 다음과 같다:

• 안전 보장의 공식화: 에이전트 메모리를 정보 이론 및 믿음 수정(belief revision)과 연결하여, 균일한 전략이 예산 압박 하에서 안전 제약을 위반한다는 것을 공식적으로 증명했다.
• 프로덕션 배포 가능성: 압축, 분해, 검색을 유형별 정책이 적용되는 통합된 문제로 다룸으로써, 에이전트가 안전 규칙의 저하 없이 무기한 작동할 수 있는 실질적인 경로를 제시한다.
• 선언적 안전 해결: SafetyMargin 분류기를 통해, 문법적 휴리스틱에 의해 무시되기 쉬운 선언적 안전 규칙(의료 및 법률 텍스트에서 흔함) 문제를 해결한다.

저자들은 프런티어 LLM에 압축을 위임하기 전에, 시스템이 항목을 안전 역할별로 분류하고 안전에 결정적인 클래스를 수정 없이 유지해야 한다고 결론짓는다. 이 접근 방식은 안전 보존을 모델 행동의 확률적 결과에서 스토리지 레이어의 결정론적 속성으로 변화시킨다.