Structured Distillation for Personalized Agent Memory: 11x Token Reduction with Retrieval Preservation

이 논문은 소프트웨어 엔지니어링 대화 기록을 4 가지 필드로 구조화하여 요약하는 '구조적 증류' 기법을 제안함으로써, 토큰 수를 11 배 줄이면서도 검색 성능을 거의 유지하거나 오히려 향상시킬 수 있음을 입증했습니다.

핵심

🧠 문제: 기억력 좋은 사람 vs. 기억력 없는 로봇

당신이 AI 비서와 6 개월 동안 매일 대화했다고 상상해 보세요.

• 당신 (사용자): "아, 3 주 전에 그 연결 풀 (connection pool) 문제 해결했던 거 기억나? 그때 뭐라고 했지?"라고 기억을 더듬을 수 있습니다.
• AI (로봇): 하지만 AI 는 매번 대화를 시작할 때마다 기억이 0으로 초기화됩니다. "어떤 연결 풀 문제요? 제가 기억이 안 나는데요"라고 대답할 뿐입니다.

AI 가 당신의 모든 대화 기록 (약 4,000 건의 대화, 14,000 개의 메시지) 을 그대로 기억하려면 엄청난 메모리가 필요합니다. 마치 수백 권의 두꺼운 책을 한 번에 읽으라고 강요받는 것과 비슷해서, AI 가 처리하기엔 너무 비싸고 느립니다.

✂️ 해결책: "요약 노트" 만들기 (구조화된 증류)

이 논문은 "대화의 핵심만 뽑아낸 '요약 노트'를 만들어서 검색하고, 필요하면 원본 책을 다시 열어보는" 방식을 제안합니다.

1. 원본 (Verbatim): 대화의 모든 내용을 그대로 저장해 둡니다. (책장 전체)
2. 요약 노트 (Distilled Memory): AI 가 각 대화마다 4 가지 핵심 정보만 뽑아낸 작은 카드 1 장을 만듭니다.
   • 무엇을 달성했나? (예: "데이터베이스 연결 시간 초과 해결")
   • 어떤 기술적 디테일이 있었나? (예: "타임아웃 설정을 30 초로 변경")
   • 어떤 주제 방 (Room) 에 속하는가? (예: "서버 설정", "오류 수정")
   • 어떤 파일이 건드려졌나? (예: config.py)

이 요약 노트는 원래 대화의 약 1/11 크기 (371 토큰 → 38 토큰) 로 압축됩니다. 마치 수백 권의 책을 100 장짜리 요약집으로 줄인 것과 같습니다.

🔍 실험 결과: 요약본으로 검색해도 될까?

연구진은 이 요약본으로 "3 주 전에 연결 풀 문제를 어떻게 고쳤지?"라고 검색했을 때, 원본 대화와 비교해 얼마나 잘 찾아내는지 테스트했습니다.

• 결과 1: 의미 기반 검색 (Vector Search) 은 완벽합니다.

  • 요약본을 통해 검색하면, 원본 대화의 **96%**만큼 잘 찾아냅니다.
  • 비유: "그 연결 풀 문제"라고 검색하면, 요약본에 적힌 "데이터베이스 연결 시간 초과 해결"이라는 키워드가 AI 의 기억을 자극해 정확한 장소를 찾아냅니다. 요약본이 핵심을 잘 간직하고 있기 때문입니다.

• 결과 2: 단어 매칭 검색 (Keyword Search) 은 약합니다.

  • 요약본에 원래 대화의 모든 전문 용어가 다 들어있지 않기 때문에, 단어 그대로만 찾는 방식은 성능이 떨어집니다.
  • 비유: 요약본에 "connection pool timeout"이라는 정확한 문장이 없으면, 단어만 찾는 검색은 실패합니다.

• 결과 3: 최고의 전략은 '혼합'입니다.

  • 요약본으로 의미 검색을 하고, 원본으로 단어 검색을 동시에 하면 원본만 검색할 때보다 더 잘 찾아냅니다.
  • 비유: 요약본으로 "어떤 방에 있었지?"를 먼저 찾고, 그 방에서 원본 책을 찾아보는 방식입니다. 서로 다른 정보가 서로를 보완해 줍니다.

🏰 '기억의 궁전' (Memory Palace)

이 논문은 이 요약 시스템을 **'기억의 궁전'**이라고 부릅니다.

• 각 대화는 궁전의 **'방'**에 배치됩니다.
• AI 는 이 작은 요약 카드들만 가지고 빠르게 검색합니다.
• 만약 AI 가 "정확한 코드"가 필요하면, 요약 카드에 적힌 주소 (링크) 를 통해 **원본 대화 (책)**를 다시 꺼내 보여줍니다.

💡 결론: 왜 이것이 중요한가요?

이 기술은 AI 가 한 사람의 장기 기억을 가지게 해줍니다.

• 비용 절감: 1,000 개의 대화를 기억하는 데 드는 비용이 11 배나 줄어듭니다.
• 지속성: AI 는 오늘도, 내일도, 1 년 후에도 "지난주에 우리가 이 문제를 어떻게 해결했지?"라고 물어보면 바로 답할 수 있습니다.
• 신뢰: 요약본으로 빠르게 검색하고, 필요할 때 원본을 확인하므로 실수를 줄일 수 있습니다.

한 줄 요약:

"AI 에게 두꺼운 책장 전체를 외우게 하지 말고, 핵심만 적힌 작은 요약 노트를 만들어서 검색하게 하세요. 그리고 필요하면 그 노트를 보고 원본 책을 찾아오게 하세요. 이렇게 하면 AI 는 훨씬 똑똑하고 기억력도 좋아집니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 비대칭적 기억 문제: 인간 사용자는 과거 대화의 단편적 기억 (공간적, 연관적) 을 가지고 있지만, AI 에이전트는 세션이 시작될 때마다 기억이 초기화됩니다.
• 컨텍스트 비용의 한계: 사용자와 에이전트의 긴 대화 기록을 그대로 (verbatim) 컨텍스트 윈도우에 로드하는 것은 비용이 매우 높습니다. 본 연구의 코퍼스에서 평균 대화 교환 (exchange) 당 토큰 수는 371 개였으며, 500 개의 과거 교환을 로드하면 약 20 만 토큰이 소요되어 대부분의 컨텍스트 윈도우를 차지하거나 비용이 급증합니다.
• 기존 요약의 한계: 기존 접근법은 컨텍스트가 가득 차면 LLM 을 이용해 대화를 요약하여 원본을 폐기하는 '손실 요약 (lossy summarization)' 방식을 사용합니다. 이는 스키마가 없으며, 요약의 요약이 반복되면서 초기 정보가 파괴되는 문제가 있습니다.
• 핵심 질문: 한 사용자의 지속되는 대화 기록을 검색 품질을 해치지 않는 소형 메모리 레이어로 증류 (distill) 할 수 있는가?

2. 방법론 (Methodology)

2.1 구조적 증류 (Structured Distillation)

각 대화 교환 (사용자 메시지 + 에이전트 응답) 을 4 개의 필드를 가진 복합 객체로 변환하여 압축합니다.

1. exchange_core: 달성된 작업 요약 (1~2 문장, 커밋 메시지 유사).
2. specific_context: 구분되는 기술적 세부 사항 (예: 에러 메시지, 파라미터 값, diff 유사).
3. thematic room_assignments: 1~3 개의 주제별 '방 (room)' 할당 (파일, 개념, 워크플로우 유형).
4. files_touched: 정규식 (Regex) 으로 추출된 대화에서 언급된 파일 경로.

• 원리: '생존 어휘 원칙 (Surviving Vocabulary Principle)'을 적용하여, LLM 이 자유로운 문장 재구성이 아닌 대화에 사용된 구체적인 용어 (예: "connection pool timeout") 를 그대로 유지하도록 지시합니다.
• 압축률: 원본 대화 (평균 371 토큰) 를 증류된 텍스트 (exchange_core + specific_context, 평균 38 토큰) 로 변환하여 11 배 (11×) 의 압축을 달성했습니다.
• 이중 계층 아키텍처: 증류된 텍스트는 색인 (Index) 으로만 사용되며, 사용자에게 표시되는 것은 항상 원본 대화 (Verbatim) 입니다. 검색은 증류된 텍스트에서 수행되지만, 결과는 원본으로 연결됩니다.

2.2 검색 및 평가 설정

• 코퍼스: 6 개 소프트웨어 프로젝트의 한 개발자 1 인의 4,182 개 대화 (14,340 개 교환) 로 구성.
• 검색 모드: 107 가지 구성 (5 가지 순수 모드, 5 가지 교차 계층 모드 등) 을 평가.
  • 순수 모드: 원본 텍스트 또는 증류된 텍스트 중 하나만 사용 (HNSW, Exact, BM25 등).
  • 교차 계층 모드: 원본 텍스트와 증류된 텍스트의 검색 결과를 융합 (예: 원본의 BM25 + 증류된 텍스트의 HNSW).
• 평가 지표: Mean Reciprocal Rank (MRR), Mean Grade, P@1, nDCG@10.
• 채점: 5 개의 로컬 LLM (7~12B 파라미터) 과校准된 Claude Opus 를 사용하여 201 개의 검색 쿼리에 대해 214,519 개의 결과 쌍을 평가.

3. 주요 기여 (Key Contributions)

1. 단일 사용자 대화 메모리 증류 방법론: 대화 교환을 구조화된 복합 객체로 변환하여 11 배 압축하는 방법 제시.
2. 광범위한 평가: 107 가지 검색 구성을 통해 개인화된 회상 (recall) 능력을 평가.
3. 구체적인 메모리 예산: 1,000 개의 교환을 약 39,000 토큰 (원본 407,000 토큰 대비) 으로 저장 가능.
4. 이중 계층 아키텍처 제안: 색인 (증류된 텍스트) 과 표시 (원본 텍스트) 를 분리하여 검색 효율성과 정보 무결성을 동시에 확보.

4. 주요 결과 (Results)

4.1 검색 품질 보존

• 최고 성능: 증류된 텍스트만 사용하는 최적 설정 (Distill Core+Rooms / Exact / Weighted) 은 원본 텍스트의 최적 성능 (MRR 0.745) 대비 96% (MRR 0.717) 를 유지했습니다.
• 메커니즘 의존성:
  • 벡터 검색 (HNSW, Exact): 압축 후에도 통계적으로 유의미한 성능 저하가 발생하지 않았습니다 (10/10 구성에서 비유의적). 증류된 텍스트가 의미적 내용을 잘 보존했음을 시사.
  • 키워드 검색 (BM25): 모든 구성에서 통계적으로 유의미한 성능 저하가 발생했습니다 (효과 크기 |d|=0.031~0.756). 11 배 압축으로 인해 키워드 매칭에 필요한 어휘가 손실되었기 때문입니다.
• 교차 계층 융합 (Cross-layer Fusion): 원본 텍스트의 키워드 검색 (BM25) 과 증류된 텍스트의 벡터 검색 (HNSW) 을 결합한 방식이 가장 높은 MRR (0.759) 을 기록하여, 순수 원본 텍스트 기반 (0.745) 보다 약간 더 나은 성능을 보였습니다. 이는 두 신호가 상호 보완적임을 의미합니다.

4.2 쿼리 유형별 분석

• 정확한 용어 (Exact Term): 파일 경로 등 구체적인 식별자가 포함된 쿼리는 증류된 텍스트 (메타데이터 포함) 가 오히려 원본보다 성능이 좋거나 비슷했습니다.
• 개념적 (Conceptual) 쿼리: 추상적인 개념을 묻는 쿼리는 원본 텍스트가 증류된 텍스트보다 우세했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 에이전트가 1,000 개의 대화 기록을 하나의 프롬프트에 담을 수 있게 하여, 컨텍스트 오버플로우 없이 지속적인 개인화된 메모리를 가능하게 합니다.
• 아키텍처적 혁신: "요약하여 원본을 버리는" 기존 방식 대신, "증류된 색인으로 검색하고 원본을 참조하는" 두 단계 방식을 제안합니다. 이는 정보 손실 없이 검색 비용을 획기적으로 줄입니다.
• Git 과의 유사성: Git 이 커밋 메시지 (증류된 요약) 로 코드 변경 사항을 관리하고 필요시 디프 (원본) 를 확인하는 것과 유사하게, 대화 기록도 구조화된 증류 객체로 관리할 수 있음을 입증했습니다.
• 한계: 평가는 단일 사용자 데이터에 국한되었으며, LLM 채점자 간의 일치도 (Fleiss' κ=0.175) 가 낮았습니다. 또한, BM25 기반 키워드 검색 시 성능 저하가 발생하므로 벡터 검색이나 교차 계층 융합이 필수적입니다.

결론적으로, 이 연구는 구조화된 증류 (Structured Distillation) 를 통해 대화 기록을 11 배 압축하더라도, 적절한 검색 메커니즘 (특히 벡터 검색) 을 사용하면 개인화된 에이전트 메모리의 회상 품질을 거의 유지할 수 있음을 입증했습니다.