Resume Means Resume: A Machine-Checked Conformance Contract for Checkpoint, Interrupt, and Resume Semantics in Workflow Persistence Layers

AI एजेंट्स का डिजिटल विस्मरण (Digital Amnesia)

कल्पना कीजिए कि आप एक ऐसा रोबोट बना रहे हैं जो जटिल कार्य कर सकता है, जैसे यात्रा की योजना बनाना या कहानी लिखना। कभी-कभी, इस रोबोट को आपसे एक प्रश्न पूछने के लिए रुकने की आवश्यकता होती है, जैसे "क्या मुझे फ्लाइट बुक करनी चाहिए?" या "क्या आपको यह कहानी का मोड़ पसंद आया?" इसे "इंटरप्ट" (interrupt) कहा जाता है। यदि रोबट क्रैश हो जाता है, बिजली चली जाती है, या उसे बीच में रोक दिया जाता है, तो उसे यह याद रखने के तरीके की आवश्यकता होती है कि उसने ठीक कहाँ छोड़ा था ताकि वह वहीं से फिर से शुरू कर सके। इसे "परसिस्टेंस" (persistence) कहा जाता है।

कंप्यूटर विज्ञान की दुनिया में, विशेष रूप से आर्टिफिशियल इंटेलिजेंस (AI) वर्कफ़्लो के क्षेत्र में, एक बढ़ती हुई समस्या है। हमने कई अलग-अलग "रोबोट दिमाग" (फ्रेमवर्क) बनाए हैं जो रुक सकते हैं और फिर से शुरू हो सकते हैं। हालाँकि, ये रोबोट इस बात को याद रखने में बहुत खराब हैं कि उन्होंने पहले ही क्या कर लिया है। यदि एक रोबोट अपना कार्य पूरा करता है, अपनी प्रगति को सहेजता है, और फिर से शुरू होता है, तो एक सुव्यवस्थित रोबोट को कहना चाहिए, "मैंने यह पहले ही कर लिया है, चलिए आगे बढ़ते हैं।" लेकिन एक भ्रमित रोबोट कह सकता है, "मुझे याद नहीं कि मैंने यह किया था!" और वह उस कार्य को दोबारा करेगा। यदि वह कार्य कोई ईमेल भेजना या क्रेडिट कार्ड चार्ज करना था, तो इसे दो बार करना एक आपदा है। यह शोध पत्र जांच करता है कि क्या हमारे वर्तमान AI रोबोट वास्तव में भ्रमित हैं, या वे केवल स्मार्ट होने का नाटक कर रहे हैं।

---

महान "रिज्यूम" भ्रम (The Great "Resume" Confusion)

यह शोध पत्र एक जासूसी कहानी की तरह है, लेकिन हत्या की गुत्थी सुलझाने के बजाय, लेखक, सज्जाद खान, डिजिटल विस्मरण की गुत्थी सुलझा रहे हैं। रहस्य यह है: जब एक AI एजेंट रुकता है और फिर से शुरू होता है, तो क्या उसे याद रहता है कि उसने पहले ही क्या कर लिया है, या वह गलती से उसे दोबारा कर देता है?

लेखक ने पाया कि बाहर मौजूद पांच सबसे लोकप्रिय AI फ्रेमवर्क अलग-अलग, परस्पर विरोधी नियम पुस्तिकाओं (rulebooks) का पालन कर रहे हैं। यह वैसा ही है जैसे आपके पास पांच अलग-अलग वीडियो गेम हों, और एक में, "कंटिन्यू" दबाने से वह लेवल स्किप हो जाता है जिसे आपने अभी जीता है, लेकिन दूसरे में, यह आपको फिर से बॉस से लड़ने के लिए मजबूर करता है। इससे भी बदतर यह है कि इनमें से कुछ गेम यह भी नहीं बताते कि वे किस नियम का उपयोग कर रहे हैं।

एक अच्छे 'रिज्यूम' के छह नियम

यह पता लगाने के लिए कि कौन निष्पक्ष खेल रहा है, लेखक ने एक "रिज्यूम कॉन्ट्रैक्ट" (Resume Contract) बनाया। इसे एक नियम पुस्तिका के रूप में सोचें कि जब कोई रोबोट नींद से जागता है तो उसे कैसा व्यवहार करना चाहिए। इस अनुबंध में छह मुख्य नियम हैं:

1. प्रिफिक्स कंटीन्यूएशन (Prefix Continuation): जब आप जागते हैं, तो आपको ठीक वहीं से शुरू करना चाहिए जहाँ आपने छोड़ा था, न कि फिल्म की शुरुआत से।
2. इफेक्ट एक्जेक्टली-वन्स (Effect Exactly-Once): यदि आपने पहले ही एक ईमेल भेजा है या कार्ड चार्ज किया है, तो आपको इसे कभी भी दोबारा नहीं करना चाहिए। बस एक बार।
3. फोर्क डिटरमिनिज्म (Fork Determinism): यदि आप अपना रास्ता बदलने का निर्णय लेते हैं (जैसे "बाएं जाओ" बनाम "दाएं जाओ" चुनना), तो रोबोट को याद रखना चाहिए कि आपने कौन सा रास्ता चुना था। यदि आप दो बार "बाएं" कहते हैं, तो उसे ऐसा व्यवहार नहीं करना चाहिए जैसे आपने दूसरी बार "दाएं" कहा हो।
4. चेकपॉइंट वैलिडिटी (Checkpoint Validity): रोबट का मेमोरी लॉग साफ होना चाहिए। इसे "कचरा" या खराब डेटा नहीं सहेजना चाहिए जिससे बाद में वह क्रैश हो जाए।
5. कंज्यूम-वन्स (Consume-Once): यदि कोई इंसान जवाब देता है (जैसे "हाँ, फ्लाइट बुक करें"), तो रोबोट को उस जवाब का केवल एक बार उपयोग करना चाहिए। उसे गलती से एक ही "हाँ" का उपयोग दो फ्लाइट बुक करने के लिए नहीं करना चाहिए।
6. रिकवरी डिटरमिनिज्म (Recovery Determinism): यदि दो रोबोट एक ही मेमोरी लॉग के साथ जागते हैं, तो उन्हें बिल्कुल एक जैसे निर्णय लेने चाहिए।

जांच: कौन विफल हुआ?

लेखक ने पांच लोकप्रिय AI फ्रेमवर्क का परीक्षण करने के लिए एक अत्यंत सटीक, रोबोट-मुक्त परीक्षण मशीन ("हार्नेस") बनाई। परीक्षण में कोई मानव मस्तिष्क या AI मॉडल शामिल नहीं थे, केवल शुद्ध कोड था। परिणाम चौंकाने वाले थे: कोई भी दो फ्रेमवर्क एक जैसा व्यवहार नहीं करते थे।

• LangGraph: यह फ्रेमवर्क एक ऐसे रोबोट की तरह है जो अपना होमवर्क भूल जाता है। जब यह क्रैश होता है और फिर से शुरू होता है, तो यह उस काम को दोबारा करता है जो इसने पहले ही पूरा कर लिया था (यह "इफेक्ट एक्जेक्टली-वन्स" का उल्लंघन करता है)। इसमें एक गड़बड़ी भी है जहाँ यदि आप अपना मन बदलने की कोशिश करते हैं (एक "फोर्क"), तो यह आपके नए चुनाव को अनदेखा कर देता है और पुराने को दोहराता है।
• CrewAI: यह और भी अधिक अराजक है। यह दावा करता है कि यह पूरा हो चुके काम को छोड़ देता है, लेकिन जब यह फिर से शुरू होता है, तो यह फिर से सब कुछ कर देता है। यह एक ऐसे शेफ की तरह है जो कहता है, "मैंने प्याज काट लिए हैं," लेकिन फिर वह उन्हें फिर से काटता है, जिससे समय और सामग्री बर्बाद होती है।
• LlamaIndex Workflows: यह फ्रेमवर्क अपने भ्रम के बारे में ईमानदार है। यह स्वीकार करता है, "हे, यदि आप रुकते हैं, तो मैं रुकने से पहले के काम को दोबारा कर सकता हूँ।" यह कोई बग नहीं है; यह एक फीचर है जिसे उन्होंने प्रलेखित (document) किया है, लेकिन यह अभी भी जोखिम भरा है।
• pydantic-graph: यह रोबोट इतना नाजुक है कि यदि यह किसी कार्य के बीच में क्रैश हो जाता है, तो यह जागने से ही इनकार कर देता है। यह एक ऐसी कार की तरह है जो स्टार्ट नहीं होती यदि आप इंजन चालू रहते हुए उसे बंद कर दें।
• AutoGen: यह एकमात्र ऐसा है जो जोर से कहता है, "हे, आपने एक खराब सेव फाइल लोड करने की कोशिश की है!" और चलने से मना कर देता है। यह वह सख्त शिक्षक है जो आपको वैलिडेशन चेक को बायपास करने नहीं देता।

"डबल-बुकिंग" की आपदा

सबसे खतरनाक निष्कर्षों में से एक Consume-Once के बारे में था। कल्पना कीजिए कि आपके पास एक "पार्किंग स्पॉट" है जहाँ एक इंसान जवाब देता है। यदि दो लोग एक ही समय में (कन्करेंटली) जवाब देने की कोशिश करते हैं, तो वर्तमान सिस्टम उन्हें दोनों को पार्क करने की अनुमति दे देते हैं। रोबोट फिर सोचता है कि उसे दो जवाब मिले हैं और वह कार्य को दो बार करता है।
लेखक ने इसका परीक्षण 16 "रेसरों" के साथ किया जो एक साथ जवाब देने की कोशिश कर रहे थे। 40 में से 36 परीक्षणों में, सिस्टम पूरी तरह से विफल रहा, जिससे सभी 16 रेसरों ने क्रिया को ट्रिगर कर दिया। यह एक टिकट बूथ की तरह है जहाँ 16 लोग एक ही टिकट खरीदते हैं, और सिस्टम उन्हें सभी को अंदर जाने देता है।

प्रमाण और समाधान

लेखक ने केवल अनुमान नहीं लगाया; उन्होंने लाखों परिदृश्यों को सिम्युलेट करने और यह साबित करने के लिए कि ये विफलताएं वास्तविक थीं न कि केवल बुरा भाग्य, TLA+ नामक एक गणितीय उपकरण का उपयोग किया। उन्होंने एक "परफेक्ट" रोबोट इंजन बनाने के लिए एक औपचारिक सत्यापन उपकरण Verus का भी उपयोग किया, जिसे REMIT कहा जाता है।

REMIT एक संदर्भ इंजन (reference engine) है जो नियमों का पूरी तरह से पालन करता है। यह "फोर्क" की समस्या को ठीक करता है क्योंकि यह याद रखता है कि आपने कौन सा रास्ता चुना था, और यह "डबल-बुकिंग" की समस्या को ठीक करता है क्योंकि यह जवाब को लॉक कर देता है ताकि केवल एक व्यक्ति ही इसे दे सके। लेखक ने दिखाया कि जब आप REMIT का उपयोग करते हैं, तो रोबोट सही ढंग से व्यवहार करता है, भले ही 64 अलग-अलग थ्रेड्स एक साथ उससे बात करने की कोशिश कर रहे हों।

मुख्य निष्कर्ष (The Takeaway)

बड़ा सबक यह है कि सिर्फ इसलिए कि एक AI फ्रेमवर्क कहता है कि इसमें "चेकपॉइंटिंग" (रोकने और फिर से शुरू करने की क्षमता) है, इसका मतलब यह नहीं है कि यह पैसे या संदेश भेजने जैसे महत्वपूर्ण कार्यों के लिए सुरक्षित है। वर्तमान में, कई AI टूल्स पर "रिज्यूम" बटन इस तरह से टूटा हुआ है कि इसके कारण डबल-चार्ज या डेटा का नुकसान हो सकता है।

यह शोध पत्र सिद्ध करता है कि हमें एक मानक नियम पुस्तिका (Resume Contract) की आवश्यकता है ताकि डेवलपर्स को पता चल सके कि उनका AI जागने पर वास्तव में क्या करेगा। तब तक, यदि आप एक ऐसा AI बना रहे हैं जो वास्तविक दुनिया के कार्य करता है, तो आप केवल फ्रेमवर्क पर भरोसा नहीं कर सकते कि वह याद रखेगा कि उसने क्या किया है—आपको अपना स्वयं का सुरक्षा जाल (safety net) बनाना होगा। लेखक ने एक मुफ्त टूल (REMIT) भी जारी किया है जिसे डेवलपर्स अपने सिस्टम को सुरक्षित बनाने के लिए उपयोग कर सकते हैं, जो यह सिद्ध करता है कि एक पूर्ण, नियम मानने वाला रिज्यूम संभव है, भले ही वर्तमान लोकप्रिय उपकरण अभी ऐसा नहीं कर रहे हों।