Agent Memory Below the Prompt: Persistent Q4 KV Cache for Multi-Agent LLM Inference on Edge Devices

이 논문은 엣지 장치에서 다중 에이전트 LLM 추론 시 메모리 부족 문제를 해결하기 위해 각 에이전트의 KV 캐시를 4 비트 양자화하여 디스크에 영구 저장하고 직접 복원함으로써 재계산을 제거하고 토큰 생성 지연을 최대 136 배까지 단축하는 시스템을 제안합니다.

핵심

이 논문은 **"에디기 (Edge) 기기에서 여러 명의 AI 비서를 동시에, 그리고 빠르고 똑똑하게 작동하게 만드는 새로운 방법"**에 대한 이야기입니다.

기존의 방식은 마치 작은 책상 (에디기 메모리) 위에 여러 명의 비서 (AI 에이전트) 가 모두 앉아 일하는 상황과 같았습니다. 책상이 작아서 비서가 3 명만 앉을 수 있었는데, 10 명이 필요하면 매번 비서를 내보내고 다시 불러와야 했습니다. 문제는 비서를 다시 불러올 때마다 모든 일을 처음부터 다시 시작해야 (재계산) 해서 시간이 너무 오래 걸렸다는 점입니다.

이 논문은 그 문제를 해결하기 위해 **"비서의 작업 메모리를 작은 메모리 카드 (저장장치) 에 저장해 두는 기술"**을 제안합니다.

---

🍎 핵심 비유: "작은 책상과 비서의 메모리 카드"

1. 문제: 책상이 너무 작다 (메모리 부족)

• 상황: 애플 M4 프로 같은 최신 노트북은 성능은 좋지만, RAM(작업 공간) 이 제한적입니다.
• 기존 방식 (FP16): 비서 한 명이 4,000 단어의 대화 기록을 기억하려면 책상 공간이 많이 필요합니다. 그래서 10 명 중 3 명만 앉힐 수 있고, 나머지는 밖으로 나가야 합니다.
• 비극: 밖으로 나간 비서를 다시 부르면, 아까 했던 모든 대화 내용을 다시 읽히고 다시 생각하게 해야 합니다. (재계산). 이 과정은 15 초 이상 걸려서, 사용자가 "잠시만 기다려"라고 말하기엔 너무 길었습니다.

2. 해결책: "작은 메모리 카드"에 저장하기 (Q4 양자화 & 지속성)

이 논문은 두 가지 마법 같은 기술을 섞었습니다.

• ① 메모리 카드에 압축 저장 (Q4 Quantization):
  • 비서의 기억을 **4 비트 (4-bit)**라는 아주 작은 단위로 압축합니다. 마치 고해상도 사진을 압축해서 용량을 1/4 로 줄이는 것과 같습니다.
  • 효과: 같은 책상 공간에 **4 배 더 많은 비서 (12 명)**를 앉힐 수 있게 됩니다.
• ② 메모리 카드에 저장해 두기 (Persistent Disk Cache):
  • 비서를 내보낼 때, 그 기억을 SSD(하드디스크) 에 있는 작은 메모리 카드에 저장해 둡니다.
  • 비서를 다시 부를 때, 처음부터 다시 생각하게 하지 않고, 그 메모리 카드를 바로 읽어와서 기억을 복원합니다.
  • 효과: 15 초 걸리던 재계산이 **0.5 초 (500ms)**로 줄어듭니다. 사용자가 눈 깜짝할 사이에 비서가 다시 일하기 시작합니다.

3. 마법의 순간: "서로 다른 비서가 번갈아 일하는 법" (Interleaving)

• 상황: A 비서가 말을 하고 있을 때 (1~3 초), B 비서는 메모리 카드를 읽어서 준비합니다.
• 효과: B 비서가 준비하는 동안 A 비서가 말을 하므로, 사용자는 B 비서가 준비하는 시간 (0.5 초) 을 전혀 느끼지 못합니다. 마치 요리사가 요리를 하는 동안 다른 요리사가 재료를 준비하는 것과 같습니다.

---

🚀 이 기술이 가져온 변화

1. 속도 폭풍:

   • 32,000 단어의 긴 대화 기록을 가진 비서를 다시 부를 때, 172 초 (약 3 분) 가 걸리던 것이 1.3 초로 줄었습니다. (약 136 배 빨라짐!)
   • 마치 전철이 정류장에 멈춰서 모든 승객을 내리고 다시 태우는 대신, 기차 안에서 바로 자리를 바꿔 앉는 것처럼 빠릅니다.

2. 더 많은 비서:

   • 같은 노트북에서 4 배 더 많은 AI 비서를 동시에 운영할 수 있게 되었습니다.

3. 정확도 유지:

   • 기억을 압축해서 저장해도, 비서가 하는 말의 정확도는 거의 변하지 않았습니다. (오차 범위 내에서 거의 동일).

4. 재부팅 후에도 기억:

   • 노트북을 껐다 켜도 (서버 재시작), 비서들의 대화 기록이 메모리 카드에 남아 있어 다시 불러오면 바로 일할 수 있습니다. (기존 방식은 재부팅 시 모든 기억이 사라져 처음부터 다시 시작해야 했습니다.)

💡 요약하자면

이 논문은 **"작은 노트북에서도 여러 명의 AI 비서를 동시에, 그리고 매우 빠르게 작동하게 만드는 시스템"**을 만들었습니다.

• 기존: 비서를 내보내면 기억을 잃고, 다시 부르면 모든 일을 다시 시작해야 함 (지루함, 느림).
• 이 기술: 비서의 기억을 압축해서 메모리 카드에 저장해 둠. 다시 부르면 카드를 꽂아 바로 기억을 되찾음 (빠름, 효율적).

이 기술은 앞으로 우리가 인터넷 없이도 (오프라인) 개인 노트북이나 스마트폰에서 복잡한 AI 팀을 운영할 수 있는 길을 열어줍니다. 개인정보가 외부로 나가지 않으면서도, AI 가 기억력을 잃지 않고 빠르게 일할 수 있게 되는 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 엣지 디바이스의 메모리 제약: 엣지 디바이스 (예: Apple M4 Pro, 24GB RAM) 에서는 제한된 RAM 용량 때문에 여러 에이전트의 KV 캐시 (Key-Value Cache) 를 동시에 메모리에 유지하기 어렵습니다. 예를 들어, 10.2GB 의 캐시 예산으로 8K 컨텍스트를 FP16 포맷으로 유지할 경우, 10 에이전트 워크플로우 중 3 개만 메모리에 상주할 수 있습니다.
• 캐시 교체 (Eviction) 의 비용: 메모리 부족으로 인해 에이전트를 교체할 때마다 KV 캐시가 디스크로 내보내지고 다시 로드되어야 합니다. 기존 방식에서는 캐시가 사라지면 모델 전체를 다시 실행하여 (Re-prefill) 컨텍스트를 재계산해야 합니다.
  • 지연 시간: 4K 컨텍스트 기준, 재prefill 은 에이전트당 약 15.7 초가 소요됩니다. 이는 사용자 경험에 치명적입니다.
  • 메모리 효율성: FP16 포맷은 메모리 사용량이 많아, 다중 에이전트 환경에서 에이전트 수를 제한하거나 컨텍스트 길이를 줄일 수밖에 없습니다.
• 위치 편향 (Position Bias): 여러 에이전트의 컨텍스트를 하나의 긴 프롬프트로 합치면 중간 토큰들의 주의를 받지 못하는 문제가 발생합니다. 따라서 각 에이전트별 독립적인 KV 캐시가 필요하지만, 이는 메모리 부담을 가중시킵니다.

2. 방법론 및 시스템 설계 (Methodology & System Design)

이 논문은 지속성 (Persistence) 과 양자화 (Quantization) 를 결합하여 문제를 해결합니다.

핵심 기술

1. 지속성 Q4 KV 캐시 (Persistent Q4 KV Cache):

   • 각 에이전트의 KV 캐시를 4 비트 (Q4) 양자화된 형식으로 디스크 (SSD) 에 영구 저장합니다.
   • safetensors 포맷을 사용하여 에이전트별로 격리된 캐시 파일을 관리합니다.
   • 에이전트가 다시 호출될 때, 전체 모델을 재실행하는 대신 디스크에서 양자화된 캐시를 직접 로드하여 어텐션 레이어에 주입합니다.
   • 효과: 재prefill 계산 (O(n)) 을 제거하고 I/O 바운드 로딩으로 전환하여 지연 시간을 획기적으로 줄입니다.

2. 배치 양자화 KV 캐시 (BatchQuantizedKVCache):

   • MLX 프레임워크 위에서 여러 에이전트의 양자화된 캐시를 동시에 처리할 수 있는 배치 인퍼런스 엔진을 구현했습니다.
   • 교차 스케줄링 (Interleaved Scheduling): 한 에이전트가 디스크에서 캐시를 로드하는 동안 (I/O), 다른 에이전트가 디코딩 단계를 수행하도록 스케줄링하여 로드 지연 시간을 숨깁니다.

3. 크로스-페이즈 컨텍스트 주입 (Cross-Phase Context Injection):

   • 대화의 여러 단계 (Phase) 를 거칠 때, 이전 단계의 KV 캐시를 재사용하여 새로운 단계의 프롬프트 접두사 (Prefix) 를 확장합니다.
   • 재계산 없이 캐시된 어텐션 상태를 누적하여 사용하므로, 긴 워크플로우에서도 초기화 비용이 발생하지 않습니다.

4. 시스템 아키텍처:

   • 블록 풀 (Block Pool): 에이전트별 격리된 KV 캐시 블록을 관리합니다.
   • 모델 중립성: Gemma 3 (GQA), DeepSeek-Coder-V2-Lite (MoE/MLA), Llama 3.1 (GQA) 등 서로 다른 아키텍처를 ModelCacheSpec 추상화를 통해 지원합니다.
   • OpenAI 호환 API: 기존 에이전트 프레임워크 (AutoGen, CrewAI 등) 와의 통합을 위해 표준 API 를 제공합니다.

3. 주요 기여 (Key Contributions)

1. 지속성 블록 풀: 서버 재시작이나 디바이스 재부팅 후에도 살아남는, 에이전트별 격리된 Q4 KV 캐시 시스템 구현.
2. 동시 양자화 인퍼런스: 여러 에이전트의 양자화된 캐시를 동시에 처리하는 BatchQuantizedKVCache 및 인터리브드 스케줄러 개발.
3. 크로스-페이즈 컨텍스트 재사용: 대화 단계 간 캐시 상태를 누적하여 재계산 없이 컨텍스트를 확장하는 메커니즘.
4. 실증적 평가: 세 가지 서로 다른 아키텍처 (Gemma, DeepSeek, Llama) 에서 Q4 지속성 캐시가 FP16 대비 4 배 더 많은 에이전트를 수용하며, 품질 저하가 미미함을 입증.

4. 실험 결과 (Results)

실험은 Apple M4 Pro (24GB) 환경에서 수행되었습니다.

• TTFT (Time-To-First-Token) 개선:

  • 냉기 (Cold) vs 온기 (Warm): 4K32K 컨텍스트에서 재prefill 대비 **11 배136 배**의 속도 향상을 달성했습니다.
    • 예: Gemma 3 (32K 컨텍스트) 의 경우 172 초 (Cold) → 1.3 초 (Hot/Warm) 로 단축 (136 배).
    • DeepSeek (32K): 47.3 초 → 0.6 초 (76 배).
    • Llama 3.1 (16K): 47.6 초 → 0.5 초 (91 배).
  • 디스크 로드 속도: 4K 컨텍스트 기준 디스크에서 캐시 로드 시 약 577ms (Warm) 로, 1 초 미만의 응답 시간을 확보하여 사용자 상호작용 임계치를 충족했습니다.

• 메모리 용량 확장:

  • Q4 양자화를 적용하면 FP16 대비 약 4 배 더 많은 에이전트 컨텍스트를 동일한 메모리 예산에 수용할 수 있습니다.
  • 예: 8K 컨텍스트에서 FP16 은 3 개 에이전트만 지원하지만, Q4 는 12 개 에이전트를 지원합니다.

• 품질 (Perplexity) 영향:

  • Q4 KV 캐시 사용으로 인한 퍼플렉시티 (Perplexity) 변화는 미미했습니다.
    • Gemma 3: -0.7% (측정 오차 범위 내).
    • Llama 3.1: +2.8%.
    • DeepSeek: +3.0%.
  • 이는 기존 Q4 양자화 연구 결과와 일관되며, 실제 다중 에이전트 워크플로우에서 수용 가능한 수준임을 보여줍니다.

• vllm-mlx 와의 비교:

  • FP16 기반의 vllm-mlx 는 메모리 압박 하에서 캐시 교체 (Eviction) 가 빈번하여 16K 컨텍스트에서는 실패하거나 성능이 급격히 저하되었습니다. 반면, 제안된 시스템은 Q4 지속성 캐시를 통해 모든 컨텍스트 길이에서 안정적으로 작동했습니다.

5. 의의 및 결론 (Significance)

• 엣지 AI 의 실용화: 데이터센터 GPU 가 아닌 엣지 디바이스에서도 대규모 다중 에이전트 시스템을 실시간으로 구동할 수 있는 길을 열었습니다.
• 지연 시간 숨김 (Latency Hiding): 다중 에이전트 시스템의 자연스러운 인터리빙 특성 (한 에이전트가 생성 중일 때 다른 에이전트가 캐시를 로드) 을 활용하여 I/O 지연을 완전히 숨겨, 사용자에게는 지연이 없는 것처럼 동작합니다.
• 프라이버시 및 규정 준수: 모든 데이터가 로컬 디스크에 암호화되어 저장되므로, GDPR 및 HIPAA 와 같은 데이터 프라이버시 규정을 준수하면서도 복잡한 다중 에이전트 협업이 가능합니다.
• 시스템적 접근: 기존 연구들은 KV 캐시 양자화, 디스크 오프로딩, 배치 처리 등을 개별적으로 다뤘으나, 본 논문은 이를 엣지 환경의 다중 에이전트 워크플로우에 맞춰 통합된 시스템으로 완성했다는 점에서 의의가 큽니다.

이 시스템은 오픈소스로 공개되어 있으며 (agent-memory), 엣지 디바이스에서의 LLM 에이전트 배포를 위한 새로운 인프라 레이어로 자리 잡을 것으로 기대됩니다.