Token Budgets: An Empirical Catalog of 63 LLM-Agent Budget-Overrun Incidents, with an Affine-Typed Rust Mitigation as a Case Study
यह शोध पत्र 63 LLM-एजेंट टोकन बजट ओवररन का एक अनुभवजन्य कैटलॉग प्रस्तुत करता है और "token-budgets" पेश करता है, जो एक टाइप-सेफ रस्ट (Rust) क्रेट है जो एफ़ाइन ओनरशिप (affine ownership) का लाभ उठाकर कंपाइल टाइम पर गैर-बायपास करने योग्य खर्च की सीमाओं को लागू करता है, जो प्रभावी रूप से उन डेलीगेशन-संबंधित लागत विस्फोटों को रोकता है जो एड-हॉक रनटाइम समाधानों को प्रभावित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके शोध पत्र (paper) का स्पष्टीकरण दिया गया है।
समस्या: AI में "अनंत पैसा बनाने की गड़बड़ी" (Infinite Money Glitch)
कल्पना कीजिए कि आपने अपने काम के लिए एक रोबोट सहायक को काम पर रखा है। आप उसे एक सख्त नियम देते हैं: "मेरे क्रेडिट कार्ड से $10 से अधिक खर्च न करें।"
हालाँकि, रोबốt भ्रमित हो जाता है। वह एक लूप में फंस जाता है, बार-बार एक ही समस्या को हल करने की कोशिश करता रहता है। क्योंकि रोबोट के पास कोई ऐसा इन-बिल्ट "स्टॉप बटन" नहीं है जो कॉल करने से पहले कीमत की जाँच करे, वह खर्च करता रहता है। जब तक आप अगली सुबह जागते हैं, रोबोट ने केवल आपके 10,000** खर्च कर दिए हैं।
यह पेपर इसे "बजट ओवररन" (Budget Overrun) कहता है। लेखकों ने 2023 और 2026 के बीच कई अलग-अलग AI फ्रेमवर्क में ऐसा होने के 63 वास्तविक उदाहरण पाए। कुछ मामलों में, उपयोगकर्ताओं ने हजारों डॉलर का नुकसान किया क्योंकि सॉफ्टवेयर ने खर्च होने से पहले उसे रोका नहीं।
वर्तमान समाधान: "घटना के बाद" वाला अलार्म
अधिकांश कंपनियाँ वर्तमान में इसे एक "सुरक्षा गार्ड" लगाकर ठीक करने की कोशिश करती हैं जो रोबोट द्वारा कॉल किए जाने के बाद खर्च की निगरानी करता है।
- उपमा: कल्पना कीजिए कि आप एक दुकान में जाते हैं, 1,000 चीजें खरीदते हैं, और फिर दरवाजे पर कैशियर आपको रोकता है और कहता है, "रुको, यह आपकी सीमा से अधिक है!" फिर भी आपको उन चीजों के लिए भुगतान करना होगा जो आपने पहले ही उठा ली हैं, या आपको उन्हें वापस शेल्फ पर रखने के लिए वापस भागना होगा।
- पेपर का बिंदु: ये वर्तमान समाधान बहुत धीमे हैं। वे गलती को पकड़ तो लेते हैं, लेकिन नुकसान को रोक नहीं पाते।
नया समाधान: "जादुई बटुआ" (टोकन बजट)
लेखकों ने टोकन बजट (जिसे Rust नामक प्रोग्रामिंग भाषा में लिखा गया है) नामक एक नया टूल बनाया है। खर्च की निगरानी करने वाले सुरक्षा गार्ड के बजाय, उन्होंने स्वयं बटुए को बदल दिया।
उपमा:
कल्पना कीजिए कि आप रोबोट को ठीक $10 नकद वाला एक भौतिक बटुआ देते हैं।
- कॉपी न होना: बटुआ एक विशेष सामग्री से बना है जिसकी फोटोकॉपी नहीं की जा सकती। रोबोट $1,000 खर्च करने के लिए बटुए की 100 कॉपियाँ नहीं बना सकता।
- दोहरी खर्च (Double-Spending) नहीं: एक बार जब रोबोट कुछ खरीदने के लिए $1 का नोट निकाल लेता है, तो वह नोट चला जाता है। वह उसी नोट को वापस अपनी जेब में नहीं रख सकता और उसे दोबारा खर्च नहीं कर सकता।
- साझा न करना: यदि रोबोट अपने बटुए को दो छोटे बटुओं में विभाजित करता है ताकि दो सहायकों को दिया जा सके, तो मूल बटुआ गायब हो जाता है। सहायक मूल बटुए से और पैसे लेने के लिए वापस नहीं जा सकते।
कंप्यूटर कोड की दुनिया में, इसे "एफाइन ओनरशिप" (Affine Ownership) कहा जाता है। यह कंप्यूटर को मजबूर करता है कि वह रोबोट के घर से निकलने से पहले नियमों की जाँच करे। यदि रोबोट नियमों को तोड़ने की कोशिश करता है (जैसे बटुए की नकल करना), तो कंप्यूटर प्रोग्राम को चलने ही नहीं देता। यह क्लब के बाउंसर की तरह है जो आपका आईडी चेक करता है, यदि आपके पास आईडी नहीं है, तो आप ड्रिंक ऑर्डर करने के लिए बार तक पहुँच ही नहीं पाते।
उन्होंने वास्तव में क्या सिद्ध किया
यह पेपर तीन मुख्य दावे करता है, जिनका उन्होंने सावधानीपूर्वक परीक्षण किया:
- विफलताओं का कैटलॉग: उन्होंने उन 63 विशिष्ट घटनाओं की एक "हॉल ऑफ शेम" बनाई जहाँ AI एजेंटों ने खर्च की होड़ मचा दी थी। उन्होंने 47 अन्य मामले भी पाए जहाँ डेवलपर्स ने स्वीकार किया, "हमारे पास इसे रोकने का कोई तरीका नहीं है।" यह साबित करता है कि समस्या वास्तविक है और अक्सर होती है।
- "जादुई बटुआ" काम करता है: उन्होंने अपने नए Rust टूल का परीक्षण AI लागतों को प्रबंधित करने के पांच अन्य लोकप्रिय तरीकों के विरुद्ध किया।
- परिणाम: जब उन्होंने सिस्टम को बहुत अधिक खर्च करने के लिए धोखा देने की कोशिश की (एक 'रेस कंडीशन' बनाकर जहाँ दो एजेंट एक ही समय में एक ही पैसे को खर्च करने की कोशिश करते हैं), तो अन्य सिस्टम 100% बार विफल रहे। नया "जादुई बटुआ" सिस्टम 0 बार विफल हुआ।
- क्यों? क्योंकि अन्य सिस्टम प्रोग्रामर को "लॉक" लिखने की याद दिलाने पर निर्भर करते हैं ताकि दोहरी खर्च को रोका जा सके। यदि प्रोग्रामर भूल जाता है, तो पैसा लीक हो जाता है। नया सिस्टम प्रोग्रामर को नियमों का पालन करने के लिए मजबूर करता है, अन्यथा कोड कंपाइल ही नहीं होगा (वह एक काम करने वाले प्रोग्राम में नहीं बदलेगा)।
- यह हर चीज़ के लिए जादुई समाधान नहीं है: लेखक इसकी सीमाओं के बारे में बहुत ईमानदार हैं।
- यह केवल Rust में काम करता है: यह विशिष्ट "जादुई बटुआ" तभी काम करता है जब आप अपना सॉफ्टवेयर Rust प्रोग्रामिंग भाषा में लिख रहे हों। यह Python या JavaScript के लिए काम नहीं करता है (हालांकि उन्होंने एक Python संस्करण बनाया है जो एक सामान्य सुरक्षा गार्ड की तरह काम करता है, जादुई बटुए की तरह नहीं)।
- यह AI कंपनी पर निर्भर है: सिस्टम अनुमान लगाता है कि किसी कार्य की लागत कितनी होगी। यदि AI कंपनी (जैसे OpenAI या Anthropic) आपसे अधिक शुल्क लेती है, या कुछ "सोचने" (thinking) की लागत छिपाती है, तो सिस्टम अभी भी भ्रमित हो सकता है। यह प्राप्त बिल पर भरोसा करता है, लेकिन यदि बिल गलत है, तो बटुआ खाली हो सकता है।
निष्कर्ष (The Bottom Line)
यह पेपर कहता है: "AI एजेंट वर्तमान में खतरनाक हैं क्योंकि वे अनजाने में आपका बैंक खाता खाली कर सकते हैं। हमने इसके 63 उदाहरण पाए। हमने एक नया टूल बनाया है जो सख्त कंप्यूटर नियमों का उपयोग करता है ताकि कोड के लिए गलती से पैसे की नकल या दोहरी खर्च करना असंभव हो जाए। यह इन विशिष्ट प्रकार की गलतियों को रोकने के लिए पूरी तरह से काम करता है, लेकिन यह तभी काम करता है जब आप Rust प्रोग्रामिंग भाषा का उपयोग कर रहे हों और यदि AI कंपनियाँ अपनी कीमतों के बारे में सच बोल रही हों।"
संक्षेप में: उन्होंने केवल एक बेहतर अलार्म सिस्टम नहीं बनाया; उन्होंने एक ऐसा बटुआ बनाया जिसे भौतिक रूप से चुराया या डुप्लिकेट नहीं किया जा सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।