Reducing Cost of LLM Agents with Trajectory Reduction

이 논문은 LLM 에이전트의 실행 과정에서 발생하는 불필요한 정보를 자동으로 제거하여 입력 토큰과 계산 비용을 대폭 절감하면서도 성능을 유지하는 'AgentDiet'이라는 추론 시간 궤적 축소 기법을 제안하고 그 유효성을 입증합니다.

핵심

🎒 비유: "과도한 짐을 지고 산을 오르는 등산객"

상상해 보세요. 한 등산객 (AI 에이전트) 이가 산 정상 (문제 해결) 에 오르기 위해 길을 걷고 있습니다.
이 등산객은 매번 길을 걷고, 바위를 넘고, 지도를 확인하는 과정을 반복합니다.

지금의 문제점:
이 등산객은 매번 한 걸음 뗄 때마다, 지금까지 걷던 모든 발자국과 들었던 모든 이야기 (과거의 대화 기록) 를 가방에 넣어 가지고 갑니다.

• "아까 본 나무는 뭐였지?" (불필요한 정보)
• "이전 단계에서 실패한 시도는 다시 읽어보자." (중복된 정보)
• "이미 해결된 문제의 기록." (유효기간이 지난 정보)

이렇게 가방이 무거워질수록 등산객은 숨을 헐떡이고, 산을 오르는 데 드는 시간과 에너지 (컴퓨팅 비용) 가 기하급수적으로 늘어납니다. 심지어 가방이 너무 무거워지면 길을 잃거나 넘어질 수도 있습니다.

💡 해결책: "AgentDiet (에이전트 다이어트)"

연구진은 이 등산객에게 **"가방을 가볍게 하는 새로운 방법"**을 제안했습니다. 바로 AgentDiet입니다.

1. 과거의 기록을 정리하는 '비서' (Reflection Module):
   에이전트가 일을 할 때, 매번 조금씩 뒤돌아보게 합니다. 이때 더 싸고 빠른 AI 비서가 과거의 기록을 훑어봅니다.

   • "이건 이미 해결된 문제야, 지워도 돼." (유효기간 지난 정보 제거)
   • "이건 이미 여러 번 반복해서 적혀 있어. 요약해서 한 줄로 줄이자." (중복 정보 제거)
   • "이건 지금 문제와 상관없는 잡담이야, 없애자." (불필요한 정보 제거)

2. 가방을 가볍게 유지:
   비서가 정리한 결과만 가방에 넣습니다. 이렇게 하면 등산객은 가방이 절반 이상 가벼워진 상태로 계속 산을 오를 수 있게 됩니다.

📊 연구 결과: "무게는 줄었는데, 도착 시간은 그대로?"

연구진은 이 방법을 실제 소프트웨어 개발을 도와주는 AI 에 적용해 보았습니다. 결과는 놀라웠습니다.

• 💰 비용 절감: AI 가 읽어야 하는 정보의 양 (입력 토큰) 이 약 40%~60% 줄었습니다. 이는 결국 AI 사용료 (컴퓨팅 비용) 를 약 20%~35% 아낄 수 있다는 뜻입니다.
• 🚀 성능 유지: 가방이 가벼워졌다고 해서 등산객이 길을 잃거나 실수한 것은 전혀 없었습니다. 오히려 가방이 너무 무거워서 길을 잃던 경우 (특히 긴 대화 기록이 쌓였을 때) 는 오히려 더 잘 해결했습니다.
• 🌍 다양한 상황: 파이썬, 자바, C++ 등 다양한 프로그래밍 언어와 다른 AI 모델에서도 똑같은 효과를 보였습니다.

🌟 핵심 메시지

이 논문은 **"AI 가 일을 할 때, 과거의 모든 것을 기억할 필요는 없다"**는 것을 증명했습니다.

• 과거의 쓰레기 (불필요한 정보) 를 버리면: AI 는 더 가볍고 빠르게, 그리고 더 저렴하게 일할 수 있습니다.
• 중요한 것은 기억한다: 진짜 필요한 정보만 남기므로, 실수할 확률은 줄어들고 성능은 유지됩니다.

마치 **"정리 정돈을 잘하는 사람"**이 **"무작정 모든 것을 챙기는 사람"**보다 더 효율적으로 일을 처리하는 것과 같은 이치입니다. 이 기술이 상용화되면, 우리가 AI 를 사용할 때 드는 비용이 크게 줄어들고, 더 많은 사람이 AI 도구를 쉽게 이용할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 궤적의 비효율성: LLM 에이전트는 작업을 수행하기 위해 도구 호출 (Tool Call) 과 그 결과를 반복적으로 수행하며, 이 모든 상호작용 기록 (궤적) 이 다음 단계의 LLM 입력으로 계속 누적됩니다.
• 비용 폭증: 파일 열기, 명령어 실행 등 긴 출력을 생성하는 도구를 사용할 경우, 해당 토큰들이 모든 후속 단계의 입력에 포함됩니다. 이로 인해 토큰 사용량이 기하급수적으로 증가하여 계산 비용이 급증합니다.
  • 통계: SWE-bench Verified 벤치마크의 평균 궤적은 40 단계에서 약 48,400 토큰을 사용하며, 누적 입력 토큰은 약 100 만 개에 달합니다.
• 기존 연구의 한계: 기존 토큰 축소 연구들은 주로 단일 턴 (Single-turn) 작업이나 자연어 기반의 RAG 에 집중되어 있으며, 에이전트의 점진적 누적 특성, 코드/구조화된 데이터 처리, 그리고 모델 수정 없이 적용 가능한지 등의 문제를 해결하지 못했습니다. 또한, 상용 에이전트 제품들은 주로 컨텍스트 창이 가득 찼을 때만 제한적으로 압축을 적용하여 효율성 개선이 미미했습니다.

2. 방법론: AgentDiet

저자들은 궤적 내에 무용한 (Useless), 중복된 (Redundant), 만료된 (Expired) 정보가 광범위하게 존재함을 분석을 통해 확인하고, 이를 자동으로 식별하여 제거하는 AgentDiet을 제안했습니다.

2.1 핵심 아이디어

• 폐기물 (Waste) 의 유형:
  1. 무용한 정보: 작업과 무관한 파일 목록, 빌드/테스트 로그의 과도한 출력 등.
  2. 중복된 정보: str_replace_editor 도구 사용 시, 기존 코드와 새 코드가 반복적으로 기록되는 경우 등.
  3. 만료된 정보: 특정 단계 (예: 디버깅을 위한 파일 탐색) 에서만 필요했던 정보가 이후 단계에서는 더 이상 필요하지 않은 경우.
• 리플렉션 모듈 (Reflection Module): 에이전트 자체가 스스로 궤적을 정리하는 것은 학습된 행동 패턴 때문에 어렵거나 불가능할 수 있습니다. 따라서 **별도의 LLM 모듈 (리플렉션 모듈)**을 도입하여 주기적으로 궤적을 분석하고 불필요한 부분을 압축하거나 요약하도록 설계했습니다.
• 슬라이딩 윈도우 (Sliding Window) 전략:
  • 매 단계마다 전체 궤적을 분석하면 오버헤드가 너무 큽니다.
  • 대신, 현재 단계 $s$에서 $a$단계 이전의 단계 ($s-a$) 를 대상으로 합니다.
  • 이 대상 단계와 그前后的 맥락 ($b$단계) 을 비용 효율적인 작은 LLM(예: GPT-5 mini) 에게 전달하여 해당 단계의 내용을 압축합니다.
  • 임계값 ($\theta$): 토큰 길이가 임계값보다 짧은 단계는 압축을 수행하지 않아 오버헤드를 방지합니다.
  • KV 캐시 보존: 최근 단계만 수정하므로, 이전 단계들의 KV 캐시 무효화를 최소화하여 효율성을 높입니다.

2.2 알고리즘 흐름

1. 에이전트가 도구 호출을 수행하고 결과를 궤적에 추가합니다.
2. 현재 단계 $s$에 도달하면, $s-a$ 단계의 길이가 임계값 $\theta$를 초과하는지 확인합니다.
3. 초과 시, 리플렉션 모듈 (저비용 LLM) 에게 해당 단계와 맥락을 전달하여 "무용/중복/만료" 정보를 제거한 요약본을 생성하도록 요청합니다.
4. 생성된 요약본이 원본보다 충분히 짧다면 (임계값 $\theta$ 이상의 감소), 궤적의 해당 단계를 교체합니다.

3. 주요 기여 (Key Contributions)

1. 궤적 축소 가능성 입증: 실시간 (Inference-time) 궤적 축소가 에이전트 성능을 해치지 않으면서 비용을 크게 절감할 수 있음을 실증했습니다.
2. AgentDiet 제안: 오픈소스로 제공되며, 기존 코딩 에이전트에 쉽게 통합할 수 있는 간단하고 효과적인 알고리즘을 제안했습니다.
3. 광범위한 평가: 다양한 LLM(Claude 4 Sonnet, Gemini 2.5 Pro) 과 벤치마크 (SWE-bench Verified, Multi-SWE-bench Flash) 에서의 성능을 검증하여 방법론의 일반화 가능성을 입증했습니다.

4. 실험 결과 (Results)

논문은 Trae Agent(최상위 코딩 에이전트) 에 AgentDiet 을 적용하여 다음과 같은 결과를 도출했습니다.

• 효율성 향상 (RQ1):
  • 입력 토큰 감소: 39.9% ~ 59.7% 감소.
  • 총 계산 비용 감소: 21.1% ~ 35.9% 절감 (리플렉션 모듈 비용 포함).
  • 예시: SWE-bench Verified 에서 Claude 4 Sonnet 사용 시, 인스턴스당 평균 비용이 $0.535 에서$0.422 로 감소.
• 성능 영향 (RQ2):
  • 작업 성공률 (Pass%): 원본 에이전트와 비교하여 -1.0% ~ +2.0% 내외로 거의 변화 없음.
  • 단계 수 (Steps): 오히려 일부 모델 (Gemini 2.5 Pro) 에서 긴 컨텍스트로 인한 오류가 줄어들어 단계 수가 감소하는 긍정적 효과도 관찰됨.
  • 결론: 불필요한 정보 제거가 오히려 모델의 혼란을 줄여 성능을 유지하거나 향상시킴.
• 일반화 능력 (RQ3):
  • 2 개의 벤치마크, 2 개의 LLM, 7 가지 프로그래밍 언어 (Python, Rust, TypeScript 등) 에서 일관된 효율성 개선과 성능 유지를 보임.

5. 의의 및 결론 (Significance)

• 실용적 가치: LLM 에이전트의 상용화 장벽인 높은 비용 문제를 해결할 수 있는 실용적인 솔루션을 제시했습니다.
• 연구 방향 전환: 기존에 간과되었던 "효율성 (Efficiency)"을 에이전트 연구의 핵심 과제로 부각시켰습니다.
• 모델 독립성: 모델 내부 구조를 수정하거나 재학습 (Fine-tuning) 할 필요 없이, 추론 시점에 적용 가능한 블랙박스 방식이므로 상용 폐쇄형 LLM 에도 즉시 적용 가능합니다.
• 미래 전망: 에이전트 시스템의 확장성을 높이고, 더 복잡한 작업을 수행할 수 있는 기반을 마련했습니다.

요약하자면, AgentDiet은 LLM 에이전트가 수행하는 작업 궤적에서 발생하는 데이터 낭비를 지능적으로 식별하여 제거함으로써, 비용은 획기적으로 줄이면서 성능은 유지하는 혁신적인 방법론입니다.