TraceCompiler: Skill-Guided Mining and Compilation of LLM Agent Traces into Mostly Deterministic Workflows
यह शोधपत्र TraceCompiler प्रस्तुत करता है, जो एक कौशल-निर्देशित (skill-guided) प्रणाली है जो शोर युक्त (noisy) LLM एजेंट ट्रेसेस को ऑडिट योग्य साक्ष्यों के माध्यम से टूल-अंतर्निर्भरताओं को कठोरता से निष्कर्ष निकालकर उन्हें मुख्य रूप से नियत (deterministic), निष्पादन योग्य वर्कफ्लो में संकलित करती है, जिससे निर्भरता रिकवरी में उच्च सटीकता बनाए रखते हुए रनटाइम API कॉल्स को काफी कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भुलक्कड़ रोबोट बटलर को अपना पसंदीदा सैंडविच बनाना सिखा रहे हैं। आप उसे एक बार प्रक्रिया दिखाते हैं: वह ब्रेड लेता है, फिर चीज़ लेता है, फिर चाकू लेता है, फिर भूल जाने के कारण दोबारा चाकू लेता है, फिर लेबल चेक करने के लिए दोबारा चीज़ लेता है, और अंत में ब्रेड। उसे सैंडविच मिल जाता है, लेकिन उसका रास्ता बार-बार कोशिश करने, दोबारा जांचने और इधर-उधर भटकने का एक उलझा हुआ ज़िगज़ैग था। अब, कल्पना कीजिए कि आप उस रोबोट को वही सैंडविच सौ बार बनाने के लिए कहते हैं। यदि आप इसे हर बार करने के माध्यम से "सीखने" देते हैं, तो यह हर बार उस उलझे हुए ज़िगज़ैग की कीमत चुकाता रहेगा, जिससे ऊर्जा और समय बर्बाद होगा क्योंकि वह उन चरणों को फिर से खोजने की कोशिश करता रहेगा जिन्हें वह पहले से जानता है। यह बिल्कुल वैसा ही है जैसा आधुनिक AI एजेंटों के साथ होता है जो टूल्स (जैसे कैलेंडर चेक करना या संदेश भेजना) का उपयोग करते हैं। वे मौके पर चीज़ों को सुलझाने में माहिर हैं, लेकिन वे अक्सर पहिए का पुन: आविष्कार करते हैं, निर्देशों को बार-बार पढ़ते हैं और विफल प्रयासों को बार-बार दोहराते हैं। बड़ा सवाल कंप्यूटर विज्ञान के इस क्षेत्र में यह है: क्या हम उन बिखरे हुए, दोहराव वाले "डायरी" (logs) को ले सकते हैं, उन्हें साफ कर सकते हैं, और उन्हें एक सख्त, कुशल रेसिपी में बदल सकते हैं जिसे AI हर बार उतनी मेहनत किए बिना पालन कर सके? यह एक ऐसे रोबोट के बीच का अंतर है जिसे हर सुबह चलना सीखने की ज़रूरत होती है बनाम एक जिसके पास चलने के लिए एक पूर्व-निर्धारित 'मसल मेमोरी' है।
यहाँ TraceCompiler आता है, एक नया सिस्टम जिसे उन बिखरी हुई रोबोट डायरियों को साफ, निष्पादन योग्य (executable) रेसिपी में बदलने वाला "शेफ" बनाया गया है। इस कार्य के पीछे के शोधकर्ताओं ने महसूस किया कि जबकि AI एजेंट खोज करने में अच्छे हैं, वे अपने स्वयं के कुशल रास्तों को याद रखने में खराब हैं। TraceCompiler एक जासूस और एक संपादक के मेल की तरह काम करता है। यह एक ही कार्य (जैसे Venmo पर पैसे मांगना या प्लेलिस्ट में गाना जोड़ना) को करने के सैकड़ों शोर भरे प्रयासों को देखता है और यह पता लगाने की कोशिश करता है कि कौन से चरण वास्तव में आवश्यक थे और कौन से केवल AI के भटकने के प्रयास थे।
TraceCompiler का मुख्य जादू "कारण और प्रभाव" (cause and effect) का एक सख्त नियम है। एक बिखरे हुए लॉग में, दो क्रियाएं संयोग से एक के बाद एक हो सकती हैं, जैसे रोबोट का ब्रेड लेना और फिर चीज़ लेना। TraceCompiler यह मानने से इनकार करता है कि ब्रेड लेने से चीज़ ली गई। इसके बजाय, यह प्रमाण मांगता है: "क्या चीज़ को वास्तव में किसी विशिष्ट जानकारी की आवश्यकता थी जो केवल ब्रेड लेने वाले चरण ने प्रदान की थी?" यदि उत्तर 'नहीं' है, तो वह लिंक काट दिया जाता है। यदि उत्तर 'हाँ' है, और कोई अन्य चरण वह जानकारी प्रदान नहीं कर सकता था, तो लिंक को रखा जाता है। यह सिस्टम को "शोर" (noise)—जैसे दोबारा प्रयास करना, आकस्मिक जांच, और अनावश्यक चेक्स—को हटाने की अनुमति देता है, और पीछे एक सुव्यवस्थित वर्कफ़्लो छोड़ देता है।
परिणाम प्रभावशाली हैं लेकिन वे कुछ महत्वपूर्ण चेतावनियों के साथ आते हैं। जब यात्रा संबंधी कार्यों के एक डेटासेट पर परीक्षण किया गया, तो सिस्टम के स्वचालित नियम ने चरणों के बीच आवश्यक कनेक्शनों को लगभग 93% शुद्धता (precision) और 94% रिकॉल (recall) के साथ सही ढंग से पहचाना। यह एक बहुत बड़ी छलांग है, साधारण तरीकों की तुलना में जो केवल अगले क्रम में होने वाली घटनाओं को देखते हैं (जो केवल 71% सही थे) या उन तरीकों की तुलना में जो केवल चरणों के साथ आने की आवृत्ति को गिनते हैं। एक विशिष्ट परीक्षण में, जिसमें Venmo के माध्यम से पैसे मांगने का कार्य शामिल था, सिस्टम ने एक बिखरी हुई प्रक्रिया को जो 34 API कॉल्स की मांग करती थी, केवल 11 आवश्यक कॉल्स तक सिकोड़ दिया। यह काम में एक बहुत बड़ी कमी है!
हालाँकि, पेपर बहुत सावधानी से यह दावा करने से बचता है कि यह एक पूर्ण, जादुई समाधान है। यह सिस्टम केवल एक "ब्लैक बॉक्स" नहीं है जो हर बार काम करता है; यह एक सतर्क संपादक है। उदाहरण के लिए, प्लेलिस्ट में गाने जोड़ने के वर्कफ़्लो को कंपाइल करने की कोशिश करते समय, सिस्टम एक दीवार से टकरा गया। इसे एहसास हुआ कि AI के लॉग्स स्पष्ट रूप से यह नहीं दिखा रहे थे कि गाने जोड़े जा रहे थे या हटाए जा रहे थे, और चूंकि ये विपरीत और अपरिवर्तनीय क्रियाएं हैं, सिस्टम ने रेसिपी कंपाइल करने से इनकार कर दिया। इसने यह कहने के लिए रुकना चुना कि, "मैं सुनिश्चित नहीं हूँ, इसलिए मैं अनुमान नहीं लगाऊंगा," बजाय इसके कि वह कोई ऐसी गलती करे जिससे उपयोगकर्ता का संगीत डिलीट हो जाए। यह "कंपाइल करने से इनकार करना" वास्तव में एक फीचर है, बग नहीं, जो यह साबित करता है कि सिस्टम गति के ऊपर सुरक्षा को प्राथमिकता देता है।
इसके अलावा, शोधकर्ता स्वीकार करते हैं कि हालांकि कंपाइल किए गए वर्कफ़्लो कुशल हैं, उन्होंने यह नहीं मापा कि उन वर्कफ़्लो को बनाने में कितना समय या पैसा लगा। यह ऐसा ही है जैसे यह कहना कि "इस नई कार का माइलेज बहुत अच्छा है," बिना यह बताए कि इंजन बनाने की लागत कितनी थी। उन्होंने यह भी पाया कि हालांकि सिस्टम सिंथेटिक डेटा (कंप्यूटर-जनरेटेड उदाहरणों) पर अच्छा काम करता है, यह पैटर्न पहचानने की AI की क्षमता पर बहुत अधिक निर्भर करता है, और यह अभी भी हर संभव प्रकार के बिखरे हुए लॉग को पूरी तरह से संभालने में सक्षम नहीं है।
अंत में, TraceCompiler दिखाता है कि हम AI एजेंटों के अराजक, दोहराव वाले व्यवहार को साफ, नियतात्मक (deterministic) प्रोग्रामों में बदल सकते हैं, लेकिन केवल तभी जब हम इस बात के प्रति सख्त हों कि "प्रमाण" क्या है। यह उन AI की ओर एक कदम है जो हर बार केवल "पता लगाने" की कोशिश नहीं करता, बल्कि वास्तव में एक विश्वसनीय, कुशल पथ का पालन करना सीखता है—बशर्ते कि हम यह सिद्ध कर सकें कि वह पथ सुरक्षित और आवश्यक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।