🤖 AI

The Hidden Footprint: Making Storage a First-Class Metric for LLM Agent Evaluation

यह शोध पत्र AgentFootprint को प्रस्तुत करता है जो एक ऐसा बेंचमार्क है जो यह प्रकट करता है कि LLM एजेंटों के निरंतर स्टोरेज फुटप्रिंट (persistent storage footprints) कार्य की सटीकता से स्वतंत्र रूप से विभिन्न फ्रेमवर्क और कॉन्फ़िगरेशन में नाटकीय रूप से भिन्न होते हैं, जबकि यह भी प्रदर्शित करता है कि कंटेंट-एड्रेस्ड स्टोरेज डेटा की पुनर्रचना क्षमता (data reconstructability) से समझौता किए बिना इस ओवरहेड को महत्वपूर्ण रूप से कम कर सकता है।

मूल लेखक: Chenglin Yu, Hongquan Gui, Ying Yu, Hongxia Yang, Ming Li

प्रकाशित 2026-07-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Chenglin Yu, Hongquan Gui, Ying Yu, Hongxia Yang, Ming Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शानदार रोबोट जासूस को रहस्य सुलझाते हुए देख रहे हैं। वह सुराग पढ़ता है, सवाल पूछता है और अपना अंतिम उत्तर लिखता है। जब जासूस सही उत्तर दे देता है, तो हर कोई खुशी से झूम उठता है, और वे यह भी देखते हैं कि उसने कितनी तेज़ी से सोचा और उसे चलाने में कितना खर्च आया। लेकिन कोई भी उस गंदगी पर ध्यान नहीं देता जो जासूस फर्श पर छोड़ जाता है।

यह शोध पत्र, जिसका नाम The Hidden Footprint (द हिडन फुटप्रिंट) है, एक सफाईकर्मी की रिपोर्ट की तरह है। यह पूछता है: "जब जासूस काम खत्म करता है, तो वह कमरे में कितनी गंदगी छोड़ जाता है?"

बड़ी हैरानी: गंदगी बहुत ज़्यादा है

मुख्य निष्कर्ष चौंकाने वाला है: दो जासूस एक ही रहस्य को बिल्कुल सटीक रूप से सुलझा सकते हैं, लेकिन एक जासूस दूसरे की तुलना में 15.7 गुना बड़ा कचरे का ढेर पीछे छोड़ देता है।

इसे ऐसे समझें: आप और आपका दोस्त दोनों एक बेहतरीन चॉकलेट केक बनाते हैं। आप केक (परिणाम) सौंपते हैं। लेकिन जहाँ आपने काउंटर साफ कर दिया, वहीं आपके दोस्त ने 15 कटोरे, 30 कप आटा और चिपचिपे रैपरों का एक पहाड़ पीछे छोड़ दिया। केक एक जैसा दिखता है, लेकिन आपके दोस्त की रसोई एक तबाही का मंज़र बन गई है।

वास्तविक दुनिया में, यह "कचरा" केवल कागज नहीं है; यह हार्ड ड्राइव पर स्टोर किए गए डिजिटल बाइट्स हैं। शोधकर्ताओं ने पाया कि एक एकल कार्य के लिए, कुछ फ्रेमवर्क्स 131 MB डेटा पीछे छोड़ देते हैं, जबकि वास्तविक उत्तर (वह "डिलीवर किया गया केक") केवल 2.6 MB था। इसका मतलब है कि फ्रेमवर्क का "अवशेष" उस वास्तविक काम से 24,033 गुना बड़ा था जिसे उसे करना था!

"अदृश्य" डबल-काउंटिंग का तरीका

यहाँ पेचीदा बात है: यदि आप केवल कंप्यूटर पर फाइलों को गिनते हैं, तो आपको लग सकता है कि गंदगी इतनी बुरी नहीं है। यह शोध पत्र तर्क देता है कि मानक गिनती एक जाल है।

कल्पना कीजिए कि आप कागज पर "Hello" शब्द लिखते हैं। फिर, आप उस कागज की फोटोकॉपी करते हैं, लेकिन फोटोकॉपी करने वाली मशीन हर प्रति में एक छोटा सा "अदृश्य स्याही" का स्टैम्प जोड़ देती है। यदि आप कागज गिनते हैं, तो आप एक शीट देखते हैं। लेकिन यदि आप स्याही को देखते हैं, तो आप देखते हैं कि "Hello" शब्द बारह बार लिखा गया है।

शोधकर्ताओं ने पाया कि कंप्यूटर डेटा को कैसे सेव करते हैं (जैसे "SQLite" पेज और "JSON" एस्केपिंग का उपयोग करके), इसके कारण वही जानकारी बार-बार सिस्टम के अंदर छिपी हुई स्टोर हो जाती है।

नाइव काउंटिंग (साधारण गिनती) ने कहा: "ओह, यहाँ बहुत कम दोहराव है।"
शोध पत्र की स्मार्ट काउंटिंग ने कहा: "असल में, वही सामग्री 12.1 बार स्टोर की गई है!"

उन्होंने साबित किया कि यदि आप "अदृश्य स्याही" के अंदर नहीं देखते हैं, तो आप गंदगी के वास्तविक आकार को एक बहुत बड़े अंतर से चूक जाते हैं।

"ग्रोथ" (वृद्धि) की समस्या

शोध पत्र ने यह भी परीक्षण किया कि क्या होता है जब जासूस को एक ही सुराग को 200 बार जांचना पड़ता है।

कुछ फ्रेमवर्क्स (जैसे LangGraph और AutoGen) एक ऐसी गिलहरी की तरह व्यवहार करते हैं जो कुछ भी नहीं भूलती। हर बार जब वह सुराग की जांच करता है, तो वह पूरी हिस्ट्री को फिर से लिख देता है। इससे स्टोरेज सुपरलीनियरली (तेजी से और तेजी से) बढ़ता है। 200 राउंड के बाद, उन्होंने एक छोटी सी फाइल के लिए 323 MB डेटा पीछे छोड़ दिया।
अन्य फ्रेमवर्क्स (जैसे OpenAI Agents) एक स्मार्ट नोट-टेकर की तरह काम करते हैं। वे केवल नई चीज़ें लिखते हैं। उनका स्टोरेज धीरे-धीरे बढ़ा, लगभग एक सीधी रेखा में।

शोध पत्र ने इस विकास दर (जिसे $\alpha$ कहा जाता है) को मापा और पाया कि यह 0.73 (छोटा होता जा रहा है!) से लेकर 1.95 (आकार में विस्फोट हो रहा है!) तक था।

क्या बड़ा कचरा मतलब स्मार्ट जासूस?

आप सोच सकते हैं, "शायद कचरा फैलाने वाला जासूस अधिक सावधान है, इसलिए वह स्मार्ट है?"
शोध पत्र कहता है: नहीं।

उन्होंने एक प्रसिद्ध कोडिंग चुनौती (SWE-bench) से 108 वास्तविक सबमिशन का अध्ययन किया। उन्होंने पाया कि इन सिस्टमों द्वारा निर्यात किए गए डेटा में 1,617 गुना का अंतर था (छोटी फाइलों से लेकर विशाल फाइलों तक)। लेकिन असली बात यह है: इस बात का कोई संबंध नहीं था कि कचरे की मात्रा और सिस्टम ने समस्या को कितनी अच्छी तरह सुलझाया।

वास्तव में, सहसंबंध (correlation) इतना कमजोर था कि वह लगभग शून्य था। एक सिस्टम ढेर सारा डेटा छोड़ सकता है और फिर भी विफल हो सकता है, या बहुत कम निशान छोड़ सकता है और सफल हो सकता है। शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि "अधिक स्टोरेज = बेहतर प्रदर्शन।"

"मैजिक इरेज़र" (लेकिन अभी इसे न खरीदें)

शोधकर्ताओं ने केवल समस्या की ओर इशारा नहीं किया; उन्होंने इसे ठीक करने का एक तरीका भी दिखाया, लेकिन वे सावधानी से कहते हैं कि यह एक प्रूफ ऑफ कॉन्सेप्ट है, न कि कोई तैयार उत्पाद।

उन्होंने एक "कंटेंट-एड्रेस्ड स्टोर" बनाया। कल्पना कीजिए कि एक लाइब्रेरी है जहाँ, हर किताब को शेल्फ पर रखने के बजाय, आप किताब के अद्वितीय फिंगरप्रिंट की फोटो लेते हैं। यदि दो किताबें समान हैं, तो आप केवल एक फोटो और एक नोट रखते हैं कि "यह वाला उसी के समान है।"

जब उन्होंने इस "मैजिक इरेज़र" को अव्यवस्थित फ्रेमवर्क्स पर लागू किया:

इसने स्टोरेज को 4.8 से 32.7 गुना तक कम कर दिया।
महत्वपूर्ण रूप से, उन्होंने साबित किया कि उस पूरे डेटा को हटाने के बाद भी, आप पूरी बातचीत के इतिहास को पूरी तरह से पुनर्गठित कर सकते हैं। जासूस के विचारों को फिर से चलाने (replay) की क्षमता के लिए "स्कोर" बिल्कुल वही रहा।

यह शोध पत्र किन बातों को खारिज करता है

यह इस विचार को खारिज करता है कि हमें स्टोरेज को अनदेखा करना चाहिए क्योंकि "यह सस्ता है।" शोध पत्र का तर्क है कि स्टोरेज एक निरंतर ऋण (persistent debt) है जो समय के साथ जमा होता रहता है, जबकि AI चलाने की लागत कार्य समाप्त होने पर समाप्त हो जाती है।
यह इस विचार को खारिज करता है कि मानक फाइल काउंटर सटीक हैं। उन्होंने दिखाया कि साधारण गिनती सिस्टम के कोड के भीतर छिपे दोहराव को मिस कर देती है।
यह इस विचार को खारिज करता है कि बड़े डेटा ट्रेल का मतलब बेहतर परिणाम हैं। डेटा दिखाता है कि आकार और सफलता के बीच कोई संबंध नहीं है।

वे कितने आश्वस्त हैं?

लेखक अपने द्वारा किए गए मापन के बारे में बहुत आश्वस्त हैं। उन्होंने सुनिश्चित करने के लिए कि किसी और चीज़ का हस्तक्षेप न हो, 1,061 प्रयोग अलग-थलग, साफ कंप्यूटर रूम (सैंडबॉक्स) में चलाए। उन्होंने समान कार्यों और मॉडलों का उपयोग करके 8 अलग-अलग फ्रेमवर्क्स (जैसे LangGraph, CrewAI, और AutoGen) का परीक्षण किया।

उन्होंने केवल अनुमान नहीं लगाया; उन्होंने मापा। उन्होंने पाया कि समान परिस्थितियों के तहत, सबसे अच्छे और सबसे खराब प्रदर्शन करने वालों के बीच छोड़े गए डेटा में 15.7 गुना का अंतर था। उन्होंने यह भी दिखाया कि यह अंतर इसलिए नहीं है क्योंकि एक फ्रेमवर्क दूसरे की तुलना में "स्मार्ट" है, बल्कि इसलिए है क्योंकि उन्हें डेटा बचाने के लिए कैसे बनाया गया है।

मुख्य निष्कर्ष (The Takeaway)

शोध पत्र निष्कर्ष निकालता है कि हमें AI एजेंटों के "फुटप्रिंट" को मापने की शुरुआत करनी चाहिए, ठीक वैसे ही जैसे हम उनकी गति या लागत को मापते हैं। अभी, हम कुछ सिस्टमों को डिजिटल कचरे के पहाड़ छोड़ने दे रहे हैं जबकि अन्य लगभग कुछ भी नहीं छोड़ते, और यह पता चलता है कि कचरा फैलाने वाले सिस्टम बेहतर काम नहीं कर रहे हैं।

लेखक सुझाव देते हैं कि यदि हम इन एजेंटों को बड़े पैमाने पर चलाना चाहते हैं (जैसे प्रतिदिन 10,000 रोबोटों का बेड़ा), तो एक "साफ" फ्रेमवर्क और एक "गंदे" फ्रेमवर्क के बीच का अंतर यह तय कर सकता है कि आपको हर दिन 3 GB स्टोरेज की आवश्यकता होगी या 51 GB की। यह एक बहुत बड़ा अंतर है, खासकर उस समस्या के लिए, जैसा कि उन्होंने दिखाया है, जो रोबोट को स्मार्ट नहीं बनाती।

तकनीकी सारांश: द हिडन फुटप्रिंट: एलएलएम एजेंट मूल्यांकन के लिए स्टोरेज को एक प्रथम श्रेणी के मीट्रिक के रूप में बनाना

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों के वर्तमान बेंचमार्क कार्य पूर्णता (task completion), विश्वसनीयता (जैसे pass@k), और इन्फरेंस लागत (inference cost) पर ध्यान केंद्रित करते हैं। हालाँकि, वे स्थिर स्टोरेज फुटप्रिंट (persistent storage footprint) की व्यवस्थित रूप से अनदेखी करते हैं—अर्थात वह बाइट्स जो एक एजेंट निष्पादन (execution) के बाद डिस्क पर छोड़ देता है। इसमें लॉग्स, कॉन्टेक्स्ट स्नैपशॉट्स, चेकपॉइंट्स, डिबग ट्रेसेस और सेशन डेटाबेस शामिल हैं।

पेपर का तर्क है कि यह चूक महत्वपूर्ण है क्योंकि:

परसिस्टेंस बनाम फ्लो (Persistence vs. Flow): इन्फरेंस लागत (एक फ्लो जो निष्पादन के दौरान उपभोग किया जाता है) के विपरीत, स्टोरेज एक 'स्टॉक' है जो कई रन के माध्यम से संचित होता है, जिससे दीर्घकालिक स्टोरेज लागत, डेटा रिटेंशन अनुपालन, और एजेंट व्यवहार को फिर से चलाने या ऑडिट करने की क्षमता प्रभावित होती है।
अंडरएस्टीमेशन (Underestimation): प्रोडक्शन डिप्लॉयमेंट में, फ्रेमवर्क का अवशेष (residue) डिलीवर्ड आर्टिफैक्ट्स से कई गुना अधिक हो सकता है (उदाहरण के लिए, 2.6 MB आउटपुट के मुकाबले 79 MB अवशेष)।
मेजरमेंट ट्रैप्स (Measurement Traps): नैव (naïve) बाइट-लेवल माप (जैसे du -sh) लॉजिकल डुप्लिकेशन का पता लगाने में विफल रहते हैं क्योंकि सीरियलाइजेशन मैकेनिज्म जैसे कि SQLite पेजिंग और JSON एस्केपिंग बार-बार आने वाली सामग्री को अस्पष्ट कर देते हैं। उदाहरण के लिए, एक स्टोर जो तार्किक रूप से उसी सामग्री को 12 बार रखता है, वह रॉ फाइल स्तर पर मापने पर केवल 1.01 का डुप्लिकेशन फैक्टर ( $D$ ) रिपोर्ट कर सकता है।

2. कार्यप्रणाली: एजेंटफुटप्रिंट (AgentFootprint)

लेखक AgentFootprint पेश करते हैं, जो पोस्ट-रन स्टोरेज फुटप्रिंट को मापने के लिए डिज़ाइन किया गया एक व्यवस्थित क्रॉस-फ्रेमवर्क बेंचमार्क है।

2.1 प्रयोगात्मक सेटअप

फ्रेमवर्क्स: आठ प्रतिनिधि फ्रेमवर्क्स का मूल्यांकन किया गया: LangGraph, AutoGen, CrewAI, SmolAgents, OpenAI Agents SDK, LlamaIndex, Agno, और InfiAgent।
नियंत्रण (Control): सभी फ्रेमवर्क्स को समान परिस्थितियों में चलाया गया: समान बैकएंड मॉडल (DeepSeek-V4-Flash, टेम्परेचर 0), समान टूल्स, और प्रलेखित "ड्यूरेबल-सेशन" (durable-session) कॉन्फ़िगरेशन (कोई स्टोरेज-विशिष्ट ट्यूनिंग नहीं)।
आइसोलेशन (Isolation): प्रत्येक रन एक ताज़ा सैंडबॉक्स (Docker कंटेनर) में हुआ, जिसमें वर्कस्पेस और होम डायरेक्टरी को निष्पादन से पहले और बाद में स्नैपशॉट लिया गया ताकि डेल्टा को अलग किया जा सके।
टास्क सूट्स:
- File-QA: 10 कार्य जिनमें रीड एम्प्लीफिकेशन (read amplification) का परीक्षण करने के लिए दस्तावेजों को दोबारा पढ़ने के कार्य शामिल थे।
- Long-Horizon: 2ある-200 राउंड तक 2 KB की स्टेटस फ़ाइल को दोबारा पढ़ना, ताकि ग्रोथ एक्सपोनेंट्स (growth exponents) को मापा जा सके।
- Write-Task: वैध आर्टिफैक्ट्स बनाम फ्रेमवर्क अवशेष की तुलना करने के लिए समरी फाइलें जेनरेट करना।
- Exploratory/Heterogeneous: उत्तर की शुद्धता और आर्टिफैक्ट डिलीवरी दोनों पर ग्रेड किए गए कार्य।
- Fixed-Trace Control: विभिन्न एडैप्टर के माध्यम से एक ही ट्रेजेक्टरी को फिर से चलाकर यह देखना कि पर्सिस्टेंस लेयर द्वारा एजेंट व्यवहार के एम्प्लीफिकेशन को अलग किया जा सके।

2.2 मीट्रिक सूट

बेंचमार्क सीरियलाइजेशन मास्किंग और सिमेंटिक अस्पष्टता को संबोधित करने के लिए छह मीट्रिक परिभाषित करता है:

$S_{total}$ : कुल रिटेंड बाइट्स (वर्कस्पेस आर्टिफैक्ट्स + फ्रेमवर्क अवशेष)।
स्टोर कंपोजिशन (Store Composition): चैनल (स्टेट/चेकपॉइंट्स, डिबग लॉग्स, कन्वर्सेशन हिस्ट्री, आदि) के आधार पर ब्रेकडाउन।
$D$ (डुप्लिकेशन फैक्टर): $S_{logical}^{total} / S_{unique}$ । इसे रॉ फाइलों के बजाय लॉजिकल कंटेंट स्ट्रीम्स (SQLite सेल्स, JSONL लाइन्स) का विश्लेषण करके निकाला गया, जिसमें डुप्लिकेट्स का पता लगाने के लिए कंटेंट-डिफाइंड चंकिंग (FastCDC) और कंटेंट प्रोब्स का उपयोग किया गया।
$\alpha$ (ग्रोथ एक्सपोनेंट): बार-बार देखे जाने वाले कार्यों पर $\log S_{total} \sim \alpha \log T$ के आधार पर फिट किया गया, यह निर्धारित करने के लिए कि क्या स्टोरेज लीनियर, सबलीनियर या सुपरलीनियर रूप से बढ़ता है।
$C$ (कंप्रेसिबिलिटी): $S_{total}$ और इसके zstd कंप्रेशन के आकार के बीच का अनुपात (एक सिंटैक्टिक बेसलाइन)।
$R$ (रिकंस्ट्रक्टेबिलिटी स्कोर): एक 0–3 स्कोर जो यह दर्शाता है कि रिटेंड बाइट्स स्टेप $k$ पर कन्वर्सेशन हिस्ट्री के सटीक पुनर्निर्माण की अनुमति देते हैं या नहीं।

3. मुख्य परिणाम

3.1 समान सटीकता, विशाल विचलन (Equal Accuracy, Massive Dispersion)

15.7× अंतर: समान 100% टास्क एक्यूरेसी पर, रिटेंड बाइट्स फ्रेमवर्क्स के बीच 15.7 के कारक से भिन्न थे (LangGraph: 5.10 MB बनाम CrewAI: 0.32 MB प्रति टास्क)।
शून्य रिटेंशन: SmolAgents ने 0 बाइट्स रिटेन किए, 100% सटीकता प्राप्त की लेकिन कोई रीप्ले या रिकवरी क्षमता ( $R=0$ ) नहीं दी।
रेसिड्यू डोमिनेंस (Residue Dominance): राइट टास्क में, फ्रेमवर्क अवशेष वैध आउटपुट फाइलों से 24,033× तक अधिक था।

3.2 ग्रोथ रिजीम्स (Growth Regimes)

सुपरलीनियर ग्रोथ: हर स्टेप पर फुल हिस्ट्री पर्सिस्ट करने वाले फ्रेमवर्क्स (LangGraph, AutoGen, LlamaIndex) ने 1.74 और 1.95 के बीच ग्रोथ एक्सपोनेंट्स ( $\alpha$ ) प्रदर्शित किए। एक 200-राउंड मॉनिटरिंग लूप ने 323 MB डेटा छोड़ा।
लीनियर/सबलीनियर ग्रोथ: विंडो वाले कॉन्टेक्स्ट या बाउंडेड स्टोर्स वाले फ्रेमवर्क्स (InfiAgent, Agno, CrewAI) लीनियर के करीब रहे ( $\alpha \approx 0.98–1.20$ )।
फिक्स्ड-ट्रेस एम्प्लीफिकेशन: एक ही ट्रेजेक्टरी को फिर से चलाने पर, पर्सिस्टेंस लेयर ने ही विभिन्न फ्रेमवर्क्स के बीच रिटेंड साइज में 6.7× का अंतर पैदा किया।

3.3 सीरियलाइजेशन डुप्लिकेशन को मास्क करता है

रॉ फाइल चंकिंग ने LangGraph के लिए 1.01 का डुप्लिकेशन फैक्टर ( $D$ ) रिपोर्ट किया।
लॉजिकल स्ट्रीम विश्लेषण ने $D = 12.8$ दिखाया, जो इंगित करता है कि सीरियलाइजेशन (SQLite पेजिंग, JSON एस्केपिंग) भारी रेडंडेंसी को छुपा देता है।
नैव माप डुप्लिकेशन को एक ऑर्डर ऑफ मैग्नीट्यूड कम आंकते हैं।

3.4 इन-द-वाइल्ड फाइंडिंग्स (SWE-bench)

108 इंस्टेंस-नॉर्मलाइज्ड SWE-bench वेरीफाइड सबमिशन के विश्लेषण ने एक्सपोर्टेड ट्रेजेक्टरी वॉल्यूम में 1,617× का प्रसार दिखाया।
कोई सहसंबंध नहीं: ट्रेजेक्टरी वॉल्यूम और रिजॉल रेट ( $\tau_b = 0.080, p = 0.222$ ) के बीच कोई पता लगाने योग्य सहसंबंध नहीं था। भारी ट्रेजेक्टरीज का उच्च सफलता दर से कोई संबंध नहीं था।

3.5 मिटिगेशन पोटेंशियल (Mitigation Potential)

एक कंटेंट-एड्रेस्ड स्टोर (CAS) कंपैक्टर ने सभी रिकंस्ट्रक्टेबिलिटी स्कोर ( $R$ ) को सुरक्षित रखते हुए और रिस्टोर चेक्स पास करते हुए, फ्रेमवर्क्स में रिटेंशन को 4.8–32.7× तक कम कर दिया।
यह सिद्ध करता है कि "वेस्ट" (अपव्यय) हटाने योग्य रेडंडेंसी है, न कि हाई-फिडेलिटी हिस्ट्री रिकंस्ट्रक्शन के लिए एक मौलिक आवश्यकता।

4. योगदान

मीट्रिक सूट और कार्यप्रणाली: एक नया सेट ऑफ मीट्रिक्स ( $S_{total}, D, \alpha, C, R$ ) और एक माप पद्धति जो सीरियलाइजेशन मास्किंग को ध्यान में रखती है, जो यह उजागर करती है कि नैव बाइट काउंट डुप्लिकेशन को काफी कम आंकते हैं।
AgentFootprint बेंचमार्क: आठ फ्रेमवर्क्स में 1,061 सैंडबॉक्स्ड रन को निष्पादित करने वाला एक पुनरुत्पादनीय (reproducible) हार्नेस, जो पोस्ट-रन स्टोरेज का पहला व्यवस्थित क्रॉस-फ्रेमवर्क तुलना प्रदान करता है।
इन-द-वाइल्ड स्टडी: SWE-bench से प्रमाण कि स्टोरेज वॉल्यूम सफलता से असंबद्ध है और सफल सबमिशनों के बीच भी बहुत भिन्न होता है।
एग्ज़िस्टेंस प्रूफ (Existence Proof): एक प्रदर्शन कि एक कंटेंट-एड्रेस्ड स्टोर $R=3$ स्कोर को बनाए रखते हुए रिटेंशन को 32.7× तक कम कर सकता है, जो यह साबित करता है कि वर्तमान डिफॉल्ट कॉन्फ़िगरेशन सैद्धांतिक न्यूनतम से बहुत दूर हैं।

5. महत्व और दावे

पेपर का दावा है कि स्टोरेज फुटप्रिंट मूल्यांकन का एक महत्वपूर्ण, पहले से अनमापा गया आयाम है। इसका तर्क है कि:

स्टोरेज एक सिस्टम-लेवल रिसोर्स है: मोबाइल ऐप्स के मेमोरी फुटप्रिंट की तरह, अनमापा गया स्टोरेज बड़े पैमाने पर डिप्लॉयमेंट (जैसे प्रतिदिन टेराबाइट्स जमा करने वाले फ्लीट ऑपरेशन्स) को बाधित करता है।
डिफॉल्ट्स कुशल नहीं हैं: प्रलेखित "ड्यूरेबल" कॉन्फ़िगरेशन अक्सर दक्षता के बजाय रिकवरी फीचर्स को प्राथमिकता देते हैं, जिससे भारी, अनावश्यक स्टोरेज संचय होता है।
सटीकता पर्याप्त नहीं है: केवल कार्य सफलता या इन्फरेंस लागत पर ध्यान केंद्रित करने वाले लीडरबोर्ड उन फ्रेमवर्क्स को दंडित करते हैं जिनकी सटीकता कम है, लेकिन उन फ्रेमवर्कों को अनदेखा करते हैं जो 15× अधिक स्टोरेज के साथ उच्च सटीकता प्राप्त करते हैं।
रिकंस्ट्रक्टेबिलिटी कम लागत पर प्राप्त की जा सकती है: पेपर यह प्रदर्शित करता है कि सटीक इतिहास पुनर्निर्माण के लिए मेगाबाइट्स डेटा की आवश्यकता नहीं है; यदि रेडंडेंसी को प्रबंधित किया जाए तो समान $R=3$ स्कोर बहुत कम बाइट्स के साथ प्राप्त किया जा सकता है।

लेखक AgentFootprint को एक नए स्टोरेज सिस्टम के प्रस्ताव के रूप में नहीं, बल्कि उस "हिडन फुटप्रिंट" को उजागर करने और समुदाय को सटीकता और लागत के साथ स्टोरेज दक्षता के लिए अनुकूलित करने में सक्षम बनाने वाले एक माप उपकरण के रूप में प्रस्तुत करते हैं।