🤖 AI

The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluation

이 논문은 LLM 에이전트의 지속적 저장 공간 흔적이 작업 정확도와 무관하게 프레임워크 및 구성에 따라 극적으로 달라짐을 밝히는 벤치마크인 AgentFootprint를 소개하며, 콘텐츠 주소 지정 저장 방식이 데이터 재구성 가능성을 저해하지 않으면서도 이러한 오버헤드를 크게 줄일 수 있음을 입증한다.

원저자: Chenglin Yu, Hongquan Gui, Ying Yu, Hongxia Yang, Ming Li

게시일 2026-07-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Chenglin Yu, Hongquan Gui, Ying Yu, Hongxia Yang, Ming Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 천재적인 로봇 탐정이 미스터리를 해결하는 모습을 지켜보고 있다고 상상해 보세요. 이 로봇은 단서를 읽고, 질문을 던지고, 최종 답안을 작성합니다. 탐정이 정답을 맞히면 모두가 환호하며, 얼마나 빨리 생각했는지와 실행 비용이 얼마였는지를 확인합니다. 하지만 아무도 탐정이 바닥에 남긴 엉망진창인 흔적에는 관심을 두지 않습니다.

*The Hidden Footprint(숨겨진 발자국)*라고 불리는 이 논문은 마치 관리인의 보고서와 같습니다. 이 논문은 다음과 같이 묻습니다. "탐정이 일을 마쳤을 때, 방 안에 얼마나 많은 쓰레기를 남겨두는가?"

놀라운 발견: 쓰레기가 엄청나다

주요 결과는 충격적입니다: 두 명의 탐정이 정확히 똑같은 미스터리를 완벽하게 해결할 수 있지만, 한 명은 다른 한 명보다 15.7배 더 큰 쓰레기 더미를 남깁니다.

이렇게 생각해 보세요: 당신과 친구가 둘 다 완벽한 초콜릿 케이크를 구웠습니다. 당신은 케이크(결과물)를 건네줍니다. 하지만 당신은 조리대를 닦기만 한 반면, 친구는 15개의 그릇, 30개의 밀가루 컵, 그리고 끈적한 포장지 산을 남겨두었습니다. 케이크는 똑같아 보이지만, 친구의 주방은 난장판이 된 것입니다.

현실 세계에서 이 "쓰레기"는 단순한 종이가 아니라 하드 드라이브에 저장되는 디지털 바이트입니다. 연구진은 단 하나의 작업을 위해 어떤 프레임워크는 131 MB의 데이터를 남기는 반면, 실제 정답(전달된 케이크)은 고작 2.6 MB뿐이라는 것을 발견했습니다. 즉, 프레임워크의 "잔여물"이 원래 해야 할 작업보다 24,033배나 더 컸던 것입니다!

"보이지 않는" 중복 계산의 함정

여기 까다로운 부분이 있습니다. 만약 당신이 컴퓨터의 파일 개수만 센다면, 쓰레기가 그렇게 심각하지 않다고 생각할 수도 있습니다. 이 논문은 표준적인 계산 방식이 함정이라고 주장합니다.

당신이 종이에 "Hello"라는 단어를 썼다고 상상해 보세요. 그다음 그 종이를 복사기로 복사하는데, 복사기가 모든 복사본에 아주 작은 "투명 잉크" 도장을 찍는다고 가정해 봅시다. 종이의 개수만 센다면 당신은 종이가 한 장이라고 보게 될 것입니다. 하지만 잉크를 들여다본다면, "Hello"라는 단어가 12번 적혀 있는 것을 보게 될 것입니다.

연구진은 컴퓨터가 데이터를 저장하는 방식(SQLite 페이지나 JSON 이스케이핑 등) 때문에 동일한 정보가 시스템 내부에 반복해서 숨겨져 저장된다는 것을 발견했습니다.

**단순한 계산(Naive counting)**은 "오, 중복이 별로 없네"라고 말했습니다.
논문의 스마트한 계산은 "사실, 동일한 내용이 12.1배나 중복 저장되어 있다!"라고 말했습니다.

그들은 만약 "투명 잉크" 내부를 들여다보지 않는다면, 실제 쓰레기의 크기를 엄청난 차이로 놓치게 된다는 것을 증명했습니다.

"성장" 문제

논문은 또한 탐정이 같은 단서를 200번 확인해야 할 때 어떤 일이 벌어지는지도 테스트했습니다.

LangGraph나 AutoGen 같은 일부 프레임워크는 절대 잊지 않는 다람쥐처럼 행동합니다. 단서를 확인할 때마다 전체 기록을 다시 써 내려갑니다. 이로 인해 저장 공간은 **초선형적(superlinearly)**으로(점점 더 빠르게) 증가합니다. 200라운드 후에 이들은 단 하나의 작은 파일을 위해 323 MB의 데이터를 남겼습니다.
반면 OpenAI Agents 같은 다른 프레임워크는 똑똑한 기록관처럼 행동합니다. 새로운 내용만 적습니다. 이들의 저장 공간은 거의 직선에 가깝게 완만하게 성장했습니다.

논문은 이 성장률( $\alpha$ 라고 불림)을 측정했으며, 그 범위가 0.73(줄어드는 경우!)부터 1.95(폭발적으로 증가하는 경우)까지임을 발견했습니다.

쓰레기가 많으면 더 똑똑한 탐정인가?

당신은 이렇게 생각할지도 모릅니다. "어쩌면 지저한 탐정이 더 조심스럽게 행동하느라 그런 것이고, 그래서 더 똑똑한 것 아닐까?"
논문은 다음과 같이 말합니다: 아닙니다.

연구진은 유명한 코딩 챌린지인 SWE-bench의 108개 실제 제출 사례를 조사했습니다. 그들은 이 시스템들이 내보내는 데이터의 양이 1,617배(작은 파일부터 거대한 파일까지) 차이 난다는 것을 발견했습니다. 하지만 핵심은 이것입니다: 데이터의 양과 시스템이 문제를 해결하는 능력 사이에는 아무런 연관성이 없었습니다.

사실, 상관관계는 거의 제로에 가까울 정도로 약했습니다. 어떤 시스템은 산더미 같은 데이터를 남기고도 실패할 수 있고, 아주 작은 흔적만 남기고도 성공할 수 있습니다. 이 논문은 "더 많은 저장 공간 = 더 나은 성능"이라는 아이디어를 명시적으로 배제합니다.

"마법 지우개" (하지만 아직 구매하지 마세요)

연구진은 단순히 문제점을 지적하는 데 그치지 않고 해결 방법을 제시했지만, 이것이 완성된 제품이 아닌 **개념 증명(proof of concept)**임을 주의 깊게 밝히고 있습니다.

그들은 "콘텐츠 주소 지정 저장소(content-addressed store)"를 구축했습니다. 도서관에서 책을 선반에 꽂는 대신, 책의 고유한 지문을 사진으로 찍는다고 상상해 보세요. 만약 두 권의 책이 동일하다면, 사진 한 장과 "이것은 저것과 같다"라는 메모만 남깁니다.

이 "마법 지우개"를 지저분한 프레임워크들에 적용했을 때:

저장 공간이 4.8배에서 32.7배까지 줄어들었습니다.
결정적으로, 이 모든 데이터를 제거한 후에도 전체 대화 기록을 완벽하게 재구성할 수 있음을 증격했습니다. 탐정의 생각을 재생할 수 있는 "점수"는 정확히 동일하게 유지되었습니다.

이 논문이 부정하는 것들

논문은 "저장 비용이 싸니까" 그냥 무시해도 된다는 생각을 부정합니다. 논문은 저장 공간이 AI를 실행하는 비용(작업이 끝나면 사라지는 비용)과 달리, 시간이 흐르며 축적되는 "지속적인 부채"라고 주장합니다.
표준 파일 카운터가 정확하다는 생각을 부정합니다. 단순한 카운팅은 시스템 코드 내부에 숨겨진 중복을 놓친다는 것을 보여주었습니다.
더 큰 데이터 흔적이 더 나은 결과를 가져온다는 생각을 부정합니다. 데이터는 크기와 성공 사이의 연결 고리가 없음을 보여줍니다.

얼마나 확실한가?

저자들은 자신들이 측정한 측정값에 대해 매우 확신하고 있습니다. 그들은 외부의 간섭이 없는 격리되고 깨끗한 컴퓨터 환경(샌드박스)에서 1,061번의 실험을 수행했습니다. 또한 8가지 서로 다른 프레임워크(LangGraph, CrewAI, AutoGen 등)를 사용하여 동일한 모델과 과제를 테스트했습니다.

그들은 단순히 추측한 것이 아니라 측정했습니다. 동일한 조건 하에서, 가장 잘하는 모델과 가장 못하는 모델 사이의 데이터 잔여량 차이가 15.7배에 달한다는 것을 측정했습니다. 또한 이러한 차이가 시스템이 문제를 해결하는 능력이 더 똑똑해서가 아니라, 데이터를 저장하도록 설계된 방식 때문이라는 점을 입증했습니다.

요약

이 논문은 우리가 AI 에이전트의 속도나 비용을 측정하는 것처럼, 그들의 "발자국(footprint)"도 측정하기 시작해야 한다고 결론짓습니다. 현재 우리는 어떤 시스템이 엄청난 양의 디지털 쓰레기를 남기는 동안 다른 시스템은 거의 남기지 않는 상황을 방치하고 있으며, 결과적으로 지저분한 시스템이 더 똑똑한 것도 아니라는 사실이 밝혀졌습니다.

저자들은 만약 우리가 이 에이전트들을 대규모로 운영하고자 한다면(예: 하루에 10,000대의 로봇 군단), "깨끗한" 프레임워크와 "지저분한" 프레임워크의 차이가 매일 3 GB의 저장 공간을 쓸 것인지, 아니면 51 GB를 쓸 것인지의 차이를 만들 수 있다고 제언합니다. 이는 로봇을 더 똑똑하게 만들지도 않으면서 발생하는 엄청난 차이입니다.

기술 요약: 숨겨진 발자국: LLM 에이전트 평가를 위한 제1급 지표로서의 스토리지 구축

1. 문제 정의

현재의 대규모 언어 모델(LLM) 에이전트 벤치마크는 작업 완료, 신뢰성(예: pass@k), 추론 비용에 초점을 맞추고 있습니다. 그러나 이들은 실행 후 디스크에 남는 바이트인 지속적 스토리지 풋프린트(persistent storage footprint)—로그, 컨텍스트 스냅샷, 체크포인트, 디버그 트레이스, 세션 데이터베이스 등을 포함하는—를 체계적으로 무시하고 있습니다.

본 논문은 이러한 누락이 다음과 같은 이유로 매우 중요하다고 주장합니다:

지속성 vs 흐름(Persistence vs. Flow): 추론 비용(실행 중 소비되는 '흐름')과 달리, 스토리지는 실행 전반에 걸쳐 축적되는 '재고(stock)'이며, 이는 장기적인 스토리지 비용, 데이터 보존 준수, 에이전트 동작의 재현 또는 감사 능력에 영향을 미칩니다.
과소평가: 프로덕션 배포 환경에서 프레임워크 잔여물(residue)은 전달된 결과물보다 수십 배 더 클 수 있습니다 (예: 결과물 2.6 MB 대비 잔여물 79 MB).
측정의 함정: 단순한 바이트 단위 측정(예: du -sh)은 SQLite 페이징이나 JSON 이스케이핑(escaping)과 같은 직렬화 메커니즘이 반복되는 콘텐츠를 가리기 때문에 논리적 중복을 감지하는 데 실패합니다. 예를 들어, 논리적으로 동일한 콘텐츠를 12번 보유하고 있는 저장소가 원시 파일 수준에서 측정될 경우 중복 계수( $D$ )가 1.01로만 보고될 수 있습니다.

2. 방법론: AgentFootprint

저자들은 사후 실행 스토리지 풋프린트를 측정하기 위해 설계된 체계적인 교차 프레임워크 벤치마크인 AgentFootprint를 소개합니다.

2.1 실험 설정

프레임워크: 8개의 대표적인 프레임워크를 평가했습니다: LangGraph, AutoGen, CrewAI, SmolAgents, OpenAI Agents SDK, LlamaIndex, Agno, InfiAgent.
통제 변수: 모든 프레임워크는 동일한 조건 하에 실행되었습니다: 동일한 백엔드 모델(DeepSeek-V4-Flash, 온도 0), 동일한 도구, 그리고 문서화된 "내구적 세션(durable-session)" 구성(스토리지 특화 튜닝 없음).
격리: 각 실행은 샌드박스(Docker 컨테이너) 내에서 수행되었으며, 실행 전후의 워크스페이스 및 홈 디렉토리를 스냅샷으로 찍어 변화량(delta)을 격리했습니다.
태스크 제품군:
- File-QA: 읽기 증폭(read amplification)을 테스트하기 위해 문서를 재독하는 10개의 태스크.
- Long-Horizon: 성장 지수(growth exponents)를 측정하기 위해 2 KB 상태 파일을 25~200회 반복해서 읽는 태스크.
- Write-Task: 정당한 결과물과 프레임워크 잔여물을 비교하기 위해 요약 파일을 생성하는 태스크.
- 탐색적/이질적 태스크: 정답 정확도와 결과물 전달 모두로 채점되는 태스크.
- 고정 트레이스 제어(Fixed-Trace Control): 서로 다른 어댑터를 통해 동일한 궤적(trajectory)을 재생하여, 에이전트 동작으로부터의 지속 계층 증폭을 분리하여 측정.

2.2 지표 제품군

이 벤치마크는 직렬화 마스킹과 의미적 모호성을 해결하기 위해 6가지 지표를 정의합니다:

$S_{total}$ : 총 보유 바이트 (워크스페이스 결과물 + 프레임워크 잔여물).
Store Composition (저장소 구성): 채널별 분류 (상태/체크포인트, 디버그 로그, 대화 기록 등).
$D$ (중복 계수): $S_{logical}^{total} / S_{unique}$ . 원시 파일이 아닌 논리적 콘텐츠 스트림(SQLite 셀, JSONL 라인)을 분석하여 계산하며, 내용 정의 청킹(FastCDC)과 콘텐츠 프로브를 사용하여 JSON 이스케이프된 중복을 감지합니다.
$\alpha$ (성장 지수): 반복 관찰 태스크에서 $\log S_{total} \sim \alpha \log T$ 를 피팅하여, 저장이 선형, 아선형(sublinear), 또는 초선형(superlinear)으로 성장하는지 결정합니다.
$C$ (압축률): $S_{total}$ 과 zstd 압축을 적용한 크기 사이의 비율 (구문론적 베이스라인).
$R$ (재구성 가능성 점수): 보유된 바이트가 단계 $k$ 에서의 대화 기록을 정확하게 재구성할 수 있는지 나타내는 0~3점 척도.

3. 주요 결과

3.1 동일한 정확도, 거대한 분산

15.7배 차이: 동일한 100% 작업 정확도에서, 보유 바이트는 프레임워크 간에 15.7배의 차이를 보였습니다 (Lang-Graph: 태스크당 5.10 MB vs. CrewAI: 0.32 MB).
보유량 제로: SmolAgents는 0 바이트를 보유하면서 100% 정확도를 달야냈으나, 재생 또는 복구 능력은 제공하지 못했습니다 ( $R=0$ ).
잔여물의 지배력: 쓰기 태스크에서 프레임워크 잔여물은 정당한 출력 파일을 최대 24,033배 초과했습니다.

3.2 성장 체계

초선형 성장: 매 단계마다 전체 기록을 유지하는 프레임워크(LangGraph, AutoGen, LlamaIndex)는 1.74에서 1.95 사이의 성장 지수( $\alpha$ )를 나타냈습니다. 200회 루프 모니터링 시 323 MB의 데이터가 남았습니다.
선형/아선형 성장: 윈도우 컨텍스트 또는 제한된 저장소를 사용하는 프레임워크(InfiAgent, Agno, CrewAI)는 선형에 가까운 성장( $\alpha \approx 0.98–1.20$ )을 보였습니다.
고정 트레이스 증폭: 동일한 궤적을 재생했을 때, 지속 계층 자체만으로 프레임워크 간에 6.7배의 보유 크기 차이가 발생했습니다.

3.3 직렬화가 중복을 가림

원시 파일 청킹은 LangGraph에 대해 1.01의 중복 계수를 보고했습니다.
논리적 스트림 분석 결과 $D = 12.8$ 로 나타났으며, 이는 직렬화(SQLite 페이징, JSON 이스케이핑)가 막대한 중복을 은폐하고 있음을 의미합니다.
단순한 측정 방식은 중복도를 10배 이상 과소평가합니다.

3.4 실제 환경에서의 발견 (SWE-bench)

108개의 인스턴스 정규화된 SWE-bench Verified 제출물을 분석한 결과, 내보낸 궤적 볼륨에서 1,617배의 편차가 발견되었습니다.
상관관계 없음: 궤적 볼륨과 해결률(resolve rate) 사이에는 감지할 수 있는 상관관계가 없었습니다 ( $\tau_b = 0.080, p = 0.222$ ). 더 무거운 궤적이 더 높은 성공률과 상관관계가 있지는 않았습니다.

3.5 완화 가능성

콘텐츠 주소 지정 저장소(CAS) 컴팩터(compactor)를 사용하면 모든 재구성 가능성 점수( $R$ )를 유지하면서 프레임워크 전반에서 보유량을 4.8~32.7배 줄일 수 있었습니다.
이는 "낭비"가 제거 가능한 중복임을 입증하며, 고충실도(high-fidelity) 기록 재구성을 위한 근본적인 요구 사항이 아님을 보여줍니다.

4. 기여

지표 제품군 및 방법론: 직렬화 마스킹을 고려하여 단순 바이트 카운트가 중복을 크게 과소평가함을 밝혀낸 새로운 지표 세트( $S_{total}, D, \alpha, C, R$ )와 측정 방법론을 제시합니다.
AgentFootprint 벤치마크: 8개 프레임워크에 대해 1,061개의 샌드박스 실행을 수행한 재현 가능한 하네스를 제공하여, 사후 실행 스토리지에 대한 최초의 체계적인 교차 프레임워크 비교를 수행합니다.
실제 환경 연구: SWE-bench를 통해 스토리지 볼륨이 성공과 무관하며, 성공적인 제출물 사이에서도 매우 다양하게 나타난다는 증거를 제시합니다.
존재 증명: 콘텐츠 주소 지정 저장소를 통해 기록 재구성성을 희생하지 않고도 스토리지 보유량을 최대 32.7배 줄일 수 있음을 보여줌으로써, 현재의 기본 설정이 이론적 최소치로부터 얼마나 멀리 떨어져 있는지 증명합니다.

5. 의의 및 주장

본 논문은 스토리지 풋프린트가 이전에 측정되지 않은 중요한 에이전트 평가 차원이라고 주장합니다. 저자들은 다음과 같이 논합니다:

스토리지는 시스템 레벨의 자원입니다: 모바일 앱의 메모리 풋프린트와 마찬가지로, 측정되지 않은 스토리지 제약은 규모 확장(예: 매일 테라바이트를 축적하는 플릿 운영) 시 문제를 일으킵니다.
기본 설정은 효율적이지 않습니다: "내구적"인 것으로 문서화된 설정들은 종종 효율성보다 복구 기능을 우선시하여, 막대하고 불필요한 스토리지 축적을 초래합니다.
정확도만으로는 충분하지 않습니다: 정확도나 추론 비용만을 중심으로 하는 리더보드는 낮은 정확도에 대해서는 프레임워크를 처벌하지만, 15배 더 많은 스토리지를 사용하면서 높은 정확도를 달성하는 프레임워크는 간과합니다.
재구성은 적은 비용으로 달성 가능합니다: 본 논문은 막대한 양의 데이터 없이도 정확한 기록 재구성이 가능하다는 것을 보여줍니다. 동일한 $R=3$ 점수를 훨씬 더 적은 바이트로 달성할 수 있습니다.

저자들은 AgentFootprint를 새로운 스토리지 시스템을 제안하는 것이 아니라, "숨겨진 발자국"을 드러내고 커뮤니티가 정확도 및 비용과 함께 스토리지 효율성을 최적화할 수 있도록 돕는 측정 도구로 포지셔닝합니다.