AgentRM: An OS-Inspired Resource Manager for LLM Agent Systems

이 논문은 40,000 건 이상의 GitHub 이슈 분석을 통해 LLM 에이전트 시스템의 주요 병목 현상을 규명하고, 운영체제 연구에서 영감을 얻어 지능형 스케줄링과 적응형 컨텍스트 관리 기능을 통합한 미들웨어 'AgentRM'을 제안하여 지연 시간과 에이전트 무응답 문제를 획기적으로 개선하고 핵심 정보 유지율을 100% 로 달성했음을 보여줍니다.

핵심

이 논문은 **"AgentRM"**이라는 새로운 시스템을 소개합니다. 쉽게 말해, 인공지능 에이전트 (LLM) 들이 일할 때 생기는 혼란을 정리해주는 '운영체제 (OS)' 같은 역할입니다.

지금까지 AI 에이전트들이 일을 할 때, 마치 과부하가 걸린 컴퓨터처럼 자주 멈추거나, 중요한 정보를 까먹거나, 엉뚱한 일을 계속 하는 문제가 있었습니다. 이 논문은 그 원인을 분석하고, 50 년 이상 쌓아온 컴퓨터 운영체제 (OS) 의 지혜를 빌려와 해결책을 제시합니다.

핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 왜 이런 문제가 생길까요? (현황 분석)

저자들은 GitHub 에 올라온 4 만 건 이상의 불만 사항을 분석했습니다. 그 결과 두 가지 큰 문제가 발견되었습니다.

• 문제 1: "일하는 척만 하는 가짜 직원들" (Scheduling Failures)

  • 상황: AI 에이전트들이 일을 하다가 멈추어버렸는데, 시스템은 "아직 일하고 있다"고 착각해서 그 자리를 계속 차지하고 있습니다.
  • 비유: 식당에 손님이 와도, 종업원이 테이블에 앉아만 있고 주문을 안 받거나, 이미 손님이 떠난 테이블을 계속 비워두지 않아서 다른 손님이 기다리는 상황입니다. 이를 **'좀비 (Zombie)'**라고 부릅니다.
  • 결과: 중요한 고객 (사용자) 의 요청이 뒤로 밀려나고, 식당 전체가 마비됩니다.

• 문제 2: "기억력 감퇴" (Context Degradation)

  • 상황: 대화가 길어지면 AI 의 기억 공간 (컨텍스트) 이 꽉 찹니다. 꽉 차면 가장 최근의 중요한 말을 지우거나, 아예 기억을 잃어버립니다.
  • 비유: 메모장이 너무 꽉 차서, 중요한 약속 내용을 지우거나 아예 "누가 누구였지?"라며 까먹는 상황입니다. AI 가 "기억이 안 나요"라고 말하는 '실명 (Amnesia)' 상태가 됩니다.

---

2. AgentRM 이 뭐예요? (해결책)

이 문제는 1960 년대부터 컴퓨터 운영체제 (OS) 가 해결해 온 문제와 똑같습니다. 그래서 저자들은 **"AI 에이전트 시스템도 컴퓨터 OS 처럼 관리하자"**고 생각했습니다.

AgentRM 은 두 가지 핵심 도구로 문제를 해결합니다.

A. 스마트한 식당 매니저 (Agent Scheduler)

이 시스템은 AI 들이 일하는 순서를 지시하는 '매니저' 역할을 합니다.

• MLFQ (다단계 피드백 큐):
  • 비유: 식당에 손님이 들어오면, VIP 손님은 바로 테이블로 안내하고 (우선순위 높음), 일반 손님은 대기시키고, 이미 일 끝낸 가짜 직원들은 바로 내쫓습니다.
  • 기능: 중요한 요청은 빨리 처리하고, 멈춘 작업 (좀비) 은 자동으로 찾아내서 없앱니다.
• 좀비 청소부:
  • 비유: 30 초 이상 일도 안 하고 앉아 있는 직원을 발견하면, "일 안 하세요? 나가세요!"라고 해서 자리를 비워줍니다.
• 속도 제한 관리:
  • 비유: 식당이 너무 붐비면, 한 번에 들어오는 손님을 조절해서 주방이 터지지 않게 합니다.

B. 지능형 메모리 관리자 (Context Lifecycle Manager)

이 시스템은 AI 의 기억을 관리하는 '서랍장' 역할을 합니다.

• 3 단계 저장소 (Tiered Storage):
  • 비유:
    • 1 단계 (책상 위): 지금 바로 필요한 대화 내용 (가장 빠름).
    • 2 단계 (서랍): 조금 전에 했던 대화 요약본 (약간 느림).
    • 3 단계 (창고): 아주 오래전 대화 전체 기록 (가장 느림).
  • 기능: 책상 위가 꽉 차면, 중요한 건 남기고 덜 중요한 건 서랍이나 창고로 옮깁니다.
• 적응형 압축 (Adaptive Compaction):
  • 비유: "이 대화 내용은 그냥 지우지 말고, '어제 오후에 피자 주문했다'라고 요약해서 정리해라"라고 합니다. 내용을 버리는 게 아니라, 핵심만 남기고 압축합니다.
• 휴면 모드 (Hibernation):
  • 비유: 오랫동안 안 쓰는 대화는 '동면' 상태로 보내서, 나중에 다시 불러올 때 기억을 잃지 않게 합니다.

---

3. 결과는 어땠나요? (성과)

이 시스템을 적용한 실험 결과는 놀라웠습니다.

• 좀비 제거: 기존 시스템은 29 개의 가짜 직원 (좀비) 이 생겼지만, AgentRM 은 0 개로 만들었습니다.
• 속도 향상: 중요한 요청이 기다리는 시간이 86% 줄어들었습니다. (예: 10 분 기다리던 게 1 분 30 초로 단축)
• 기억력 향상: 기존 방식은 중요한 정보를 65% 만 기억했지만, AgentRM 은 100% 기억했습니다.
• 처리량 증가: 같은 시간 동안 더 많은 일을 처리할 수 있게 되었습니다.

---

4. 결론: 왜 이 논문이 중요할까요?

지금까지 AI 에이전트들은 "무한한 자원"이 있다고 가정하고 개발되었습니다. 하지만 실제로는 자원이 한정되어 있고, 혼란이 생기기 마련입니다.

이 논문은 **"AI 시스템도 운영체제처럼 관리해야 한다"**는 중요한 통찰을 줍니다. 마치 컴퓨터가 OS 덕분에 안정적으로 작동하듯, AgentRM 같은 관리자가 있어야 AI 에이전트들도 실제 세상에서 안정적이고 똑똑하게 일할 수 있다는 것입니다.

한 줄 요약:

"AI 에이전트들이 일할 때 생기는 혼란을, 컴퓨터 운영체제가 오래전부터 써온 '질서'와 '정리' 기술로 해결해 주는 혁신적인 시스템입니다."

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 에이전트 시스템이 다양한 분야에서 빠르게 확산되고 있지만, 실제 배포 시 사용자 경험 (UX) 을 저해하는 치명적인 자원 관리 문제가 발생하고 있습니다. 저자들은 OpenClaw, AutoGen, CrewAI 등 6 가지 주요 에이전트 프레임워크의 GitHub 이슈 40,000 건 이상을 실증 분석하여 두 가지 근본적인 문제를 도출했습니다.

• 스케줄링 실패 (Scheduling Failures):
  • 블로킹 (Blocking): 백그라운드 작업이 실행 레인 (Lane) 을 모두 점유하여 고우선도 사용자 요청이 지연됨.
  • 좀비 프로세스 (Zombie Processes): 작업을 완료했음에도 불구하고 실행 레인을 해제하지 않아 자원을 낭비하는 에이전트.
  • 속도 제한 연쇄 반응 (Rate Limit Cascades): 특정 에이전트의 과도한 API 호출로 인해 시스템 전체의 속도 제한이 발동하여 다른 정상 에이전트까지 마비됨.
  • 결과: 30 초 이상의 지연 발생 및 시스템 전체의 응답 불가.
• 컨텍스트 저하 (Context Degradation):
  • 무제한 성장: 세션이 컨텍스트 윈도우 한도를 초과하여 메모리 부족이나 강제 잘림 발생.
  • 실명 (Amnesia): 중요한 이전 대화 내용이나 작업 맥락이 손실되어 에이전트가 정보를 잊어버림.
  • 결과: 일관성 없는 응답 생성 및 사용자의 맥락 재설정 요구.

이러한 문제들은 초기 운영체제 (OS) 가 겪었던 프로세스 스케줄링, 메모리 관리, 데드락 등의 문제와 유사하다는 통찰에서 출발합니다.

2. 방법론 (Methodology)

저자는 에이전트 자원을 OS 의 자원 (CPU, 메모리, I/O) 과 유사하게 간주하고, 수십 년간의 OS 연구 성과를 에이전트 시스템에 적용한 미들웨어 AgentRM을 제안합니다. AgentRM 은 에이전트 게이트웨이와 모델 API 사이에 위치하여 투명하게 자원을 관리합니다.

핵심 아키텍처

1. 에이전트 스케줄러 (Agent Scheduler):

   • MLFQ (Multi-Level Feedback Queue): Corbató 의 CTSS 와 Linux CFS 에서 영감을 받아 3 단계 큐 (상호작용용, 서브에이전트용, 백그라운드용) 를 구현. 우선순위 기반 할당과 기아 (Starvation) 방지를 위한 우선순위 부스팅 적용.
   • 좀비 수거 (Zombie Reaper): 5 초마다 30 초 이상 정지된 (Hanging) 작업을 스캔하여 확률적 복구 (50% 성공률 모델) 를 시도하거나, 실패 시 레인을 해제하여 자원을 회수.
   • 속도 제한 인식 스케줄링 (Rate-Limit-Aware Admission Control): TCP 혼잡 제어와 유사한 토큰 버킷 및 AIMD 백오프 방식을 적용하여 API 할당량 초과 시 시스템 전체 연쇄 반응을 방지.
   • 공정성 (Fairness): YARN 의 DRF(Dominant Resource Fairness) 를 차용하여 다차원 자원 (레인, 토큰, 메모리) 에 대한 공정한 할당 보장.

2. 컨텍스트 수명 주기 관리자 (Context Lifecycle Manager):

   • 3 단계 저장 계층 구조:
     • Tier 0 (Active Context): L1 캐시와 유사, 0ms 지연.
     • Tier 1 (Warm Storage): RAM 과 유사, 압축된 요약본 저장 (~1s 지연).
     • Tier 2 (Cold Storage): 디스크와 유사, 전체 대화 기록 저장 (~3s 지연).
   • 적응형 압축 (Adaptive Compaction): 단순히 내용을 잘라내지 않고, "압축하되 버리지 않는다"는 원칙 하에 의미 분석을 통해 중요도 (Recency, Importance, Key Info) 를 계산하여 요약본을 생성. Belady's MIN 알고리즘을 시맨틱 유사도로 근사화.
   • 휴면 (Hibernation): CRIU 및 VM 라이브 마이그레이션에서 영감을 받아 세션 상태 (컨텍스트, 변수, 실행 상태) 를 직렬화하여 장기 저장 및 복원 가능.
   • 자기 모니터링: Linux PSI(Pressure Stall Information) 에서 아이디어를 얻어 에이전트에게 컨텍스트 사용량 지표를 제공하여 자가 조절 유도.

3. 주요 기여 (Key Contributions)

1. 실증 연구: 6 개 주요 프레임워크의 40,000 건 이상의 실제 이슈를 분석하여 에이전트 시스템의 실패 모드와 사용자 경험 영향을 정량화.
2. AgentRM 아키텍처 설계: OS 기법의 적용을 통해 에이전트 스케줄링 (MLFQ + 좀비 수거) 과 컨텍스트 관리 (3 단계 계층 + 적응형 압축) 를 통합한 미들웨어 제안.
3. 종합 평가: 기존 방법론 대비 성능, 처리량, 컨텍스트 유지율 등 다양한 지표에서 획기적인 개선을 입증.

4. 평가 결과 (Results)

다양한 워크로드 (정상, 고부하, 버스트, 결함, 연쇄 반응 시뮬레이션) 에 대한 실험 결과, AgentRM 은 다음과 같은 성과를 보였습니다.

• 스케줄링 성능:
  • P95 지연 시간: 고부하 시나리오에서 86% 감소 (FIFO 대비 640,439ms → 323,001ms).
  • 처리량 (Throughput): 고부하 시 168% 증가 (FIFO 대비 14.6 → 24.5 req/min).
  • 좀비 제거: 고부하 시 좀비 에이전트 수를 29 개에서 7 개로 감소 (일부 시나리오에서는 0 개 달성).
  • 레인 낭비: 96% 감소 (2,272 초 → 140 초).
• 컨텍스트 관리 성능:
  • 정보 유지율 (Retention): 기존 최선 방법 (MemGPT-style 등, 65.1%) 대비 100% 에 가까운 유지율 (99.0~100%) 달성.
  • 품질 점수 (Quality): 기존 방법 (0.87) 대비 0.95로 향상되어 의미적 일관성 유지.
  • 비용: 지능형 압축으로 인한 토큰 비용 증가 (약 34,330 토큰) 가 발생하지만, 사용자 경험 향상과 정보 손실 방지로 인해 타당한 비용으로 평가됨.

5. 의의 및 결론 (Significance)

• 패러다임 전환: LLM 에이전트 시스템의 자원 관리 문제를 OS 관점에서 접근하여, 검증된 OS 기법 (스케줄링, 메모리 관리, 프로세스 생명주기) 이 에이전트 시스템의 안정성과 확장성을 해결할 수 있음을 입증했습니다.
• 실용성: 현재 에이전트 프레임워크들이 겪는 '실명', '블로킹', '연쇄 실패' 등의 문제를 체계적으로 해결하여, 에이전트 시스템의 실제 프로덕션 환경 배포를 가능하게 하는 기반을 마련했습니다.
• 미래 전망: 에이전트 시스템의 복잡도와 규모가 커짐에 따라, AgentRM 과 같은 원칙적인 자원 관리 계층이 필수적이며, 이는 차세대 지능형 시스템 설계의 중요한 방향성을 제시합니다.

요약하자면, AgentRM은 에이전트 시스템의 불안정성과 정보 손실 문제를 운영체제의 철학을 차용하여 해결한 혁신적인 미들웨어로, 높은 처리량과 완벽한 컨텍스트 유지율을 동시에 달성하여 LLM 에이전트의 실용화를 앞당기는 핵심 기술입니다.