TSCG: Deterministic Tool-Schema Compilation for Agentic LLM Deployments
TSCG एक नियत (deterministic), निर्भरता-मुक्त (dependency-free) टूल-स्कीमा कंपाइलर है जो अक्षम JSON स्कीमा को टोकन-कुशल संरचित टेक्स्ट में परिवर्तित करके उत्पादन परिवेशों (production environments) में छोटे और उन्नत LLMs के लिए टूल-उपयोग सटीकता में महत्वपूर्ण सुधार करता है, जिससे उस फॉर्मेट मिसमैच को हल किया जाता है जो वर्तमान में टूल-उपयोग की अधिकांश त्रुटियों का कारण बनता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन आसानी से घबरा जाने वाले सहायक को निर्देशों की एक श्रृंखला देने की कोशिश कर रहे हैं।
समस्या: "JSON" भाषा की बाधा
वर्तमान में, कंप्यूटर प्रोग्राम (जैसे कि AI एजेंट), जब वे अपने पास मौजूद टूल्स (जैसे कि "इंटरनेट पर खोजें" या "मौसम की जाँच करें") के बारे में एक-दूसरे से संवाद करते हैं, तो वे JSON नामक एक फॉर्मेट का उपयोग करते हैं। JSON एक जिद्दी, तकनीकी फाइलिंग सिस्टम की तरह है जिसे कंप्यूटर द्वारा तेजी से पढ़ा जा सके, इसके लिए डिज़ाइन किया गया है। यह ब्रैकेट, उद्धरण चिह्नों (quotation marks) और दोहराव वाले लेबल से भरा हुआ है।
मानवीय गुणों वाले AI मॉडल्स के लिए, विशेष रूप से छोटे और तेज़ मॉडल्स के लिए, इस JSON को पढ़ना ऐसा है जैसे किसी ऐसी किताब को पढ़ने की कोशिश करना जहाँ हर एक शब्द को एक भारी, भ्रमित करने वाले प्लास्टिक कंटेनर में लपेटा गया हो। AI उस "प्लास्टिक" (अतिरिक्त प्रतीकों और संरचना) के कारण इतना अटक जाता है कि वह वास्तविक निर्देशों को ही भूल जाता है। लेख इसे एक "प्रोटोकॉल मिसमैच" कहता है। AI एक कंप्यूटर फ़ाइल को पढ़ने की कोशिश कर रहा है, न कि एक वाक्य को।
समाधान: TSCG (एक "अनुवादक" और "संपादक")
लेखक, फुरकान साकिज़ली (Furkan Sakizli) ने TSCG (टोकन-कॉन्टेक्स्ट सिमेंटिक ग्रामर) नामक एक टूल विकसित किया है। TSCG को कंप्यूटर और AI के बीच बैठे एक सुपर-फास्ट, नियत (deterministic) संपादक के रूप में कल्पना करें।
AI के सामने निर्देश पहुँचने से पहले ही, TSCG उस अराजक JSON फ़ाइल को लेता है और तुरंत उसे एक साफ, स्वाभाविक रूप से सुनाई देने वाले टेक्स्ट फॉर्मेट में फिर से लिख देता है। यह एक सघन कानूनी अनुबंध को एक स्पष्ट, बुलेटेड निर्देशों की सूची में फिर से लिखने जैसा है।
यह कैसे काम करता है (8 "संपादक")
TSCG बिना किसी जादू या अनुमान के काम करता है। यह टेक्स्ट को साफ करने के लिए नियमों का एक निश्चित सेट (जिन्हें "ऑपरेटर" कहा जाता है) का उपयोग करता है:
- यह बोझ हटा देता है: यह उन विनम्र शब्दों को हटा देता है जैसे कि "निम्नलिखित आइटम" या वे अनावश्यक वाक्यांश जिन्हें पढ़ने की मनुष्यों को आवश्यकता नहीं होती।
- यह फर्नीचर को व्यवस्थित करता है: यह निर्देश के सबसे महत्वपूर्ण हिस्सों को बिल्कुल शुरुआत में और बिल्कुल अंत में ले जाता है, क्योंकि AI मॉडल वाक्य की शुरुआत और अंत पर सबसे अधिक ध्यान देते हैं (जैसे कहानी के "बुकएंड्स")।
- यह AI की भाषा बोलता है: यह प्रतीकों को ऐसे प्रतीकों में बदल देता है जिन्हें AI का आंतरिक शब्दकोश कई टूटे हुए हिस्सों के बजाय एकल "ब्लॉक" के रूप में पहचानता है, जिससे जगह बचती है।
परिणाम: छोटे मॉडल्स के लिए एक चमत्कार
लेख में इसका परीक्षण 12 अलग-अलग AI मॉडल्स पर किया गया, जो छोटे (4 बिलियन से 14 बिलियन "मस्तिष्क कोशिकाओं") से लेकर विशाल, शीर्ष स्तर के मॉडल्स तक थे।
- छोटे मॉडल्स के लिए: परिणाम नाटकीय थे। बिना TSCG के, छोटे मॉडल्स लगभग पूरी तरह विफल रहे (0% सटीकता) जब उन्हें 20 टूल्स की सूची दी गई क्योंकि JSON बहुत भ्रमित करने वाला था। TSCG के साथ, उनकी सटीकता बढ़कर 84% हो गई। यह ऐसा है जैसे AI अचानक "जाग गया" हो और अंततः कार्य को समझने में सक्षम हो गया हो।
- बड़े मॉडल्स के लिए: यहाँ तक कि सुपर-स्मार्ट मॉडल्स भी बेहतर हुए। वे अधिक सटीक हो गए और कम "टोकन" (AI के सोचने के समय की मुद्रा) का उपयोग करने लगे, जिससे पैसा और समय दोनों की बचत हुई।
"आहा!" क्षण: यह केवल संपीड़न (Compression) के बारे में नहीं, बल्कि फॉर्मेट के बारे में है
लेख का एक सबसे दिलचस्प परिणाम यह है कि यह क्यों काम करता है। लेखक ने महसूस किया कि कई छोटे मॉडल्स के लिए, समस्या केवल यह नहीं थी कि टेक्स्ट बहुत लंबा था; बल्कि समस्या यह थी कि फॉर्मेट (JSON) ही दुश्मन था।
जब लेखक ने "JSON टेक्स्ट" की तुलना "प्लेन टेक्स्ट" (बिना किसी फैंसी कंप्रेशन के) से की, तो प्लेन टेक्स्ट ने ही अधिकांश समस्या को हल कर दिया। TSCG इसका अंतिम संस्करण है: यह फॉर्मेट को भी ठीक करता है और टेक्स्ट को कंप्रेस भी करता है।
"एक ही आकार सबके लिए सही" (One-Size-Fits-All) का मिथक
लेख ने यह भी पता लगाया कि सभी AI मॉडल्स एक जैसा व्यवहार नहीं करते हैं।
- कुछ मॉडल्स "भूखे" होते हैं: वे TSCG द्वारा लागू किए गए हर एक नियम को पसंद करते हैं और हर बदलाव के साथ स्मार्ट होते जाते हैं।
- कुछ मॉडल्स "संवेदनशील" होते हैं: वे कुछ नियमों को पसंद करते हैं लेकिन अन्य से भ्रमित हो जाते हैं। यदि आप उन्हें बहुत अधिक बदलाव देते हैं, तो वे वास्तव में खराब हो जाते हैं।
- कुछ मॉडल्स "मजबूत" (Robust) होते हैं: उन्हें कोई फर्क नहीं पड़ता; वे चाहे जो भी हो, अच्छा काम करते हैं।
इसका मतलब है कि हर AI के लिए कोई एक "परफेक्ट" सेटिंग नहीं है। आपको इस आधार पर संपादक को ट्यून करना होगा कि आप किस AI का उपयोग कर रहे हैं।
संक्षेप में
TSCG एक मुफ्त, ओपन-सोर्स टूल है जो एक अनुवादक के रूप में कार्य करता है। यह टूल परिभाषाओं की कठोर, केवल कंप्यूटर वाली भाषा को तुरंत ऐसे फॉर्मेट में बदल देता है जिसे AI मॉडल वास्तव में समझ सकते हैं। यह छोटे, सस्ते AI मॉडल्स को उन वास्तविक दुनिया के अनुप्रयोगों में प्रभावी ढंग से काम करने में सक्षम बनाता है जहाँ वे पहले विफल हो जाते थे, और सबसे बड़े मॉडल्स को तेज़ और अधिक सटीक बनाता है। यह एक भ्रमित करने वाली समस्या का एक सरल समाधान है: AI से कंप्यूटर कोड में बात करना बंद करें और उससे स्पष्ट टेक्स्ट में बात करना शुरू करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।