MANTRA: Synthesizing SMT-Validated Compliance Benchmarks for Tool-Using LLM Agents
यह शोध पत्र MANTRA को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो प्राकृतिक भाषा वाले प्रक्रियात्मक मैनुअल (procedural manuals) से प्रतीकात्मक विश्व मॉडल (symbolic world models) और SMT-सत्यापित ट्रेस-स्तरीय जाँच (trace-level checks) उत्पन्न करके, टूल-उपयोग करने वाले LLM एजेंटों के लिए स्वचालित रूप से संश्लेषित और औपचारिक रूप से मान्य, स्केलेबल, मशीन-जांच योग्य अनुपालन बेंचमार्क का संश्लेषण करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सहायक रोबोट असिस्टेंट (एक AI एजेंट) है जो आपके लिए काम कर सकता है, जैसे कि उड़ान बुक करना, हार्डवेयर ऑर्डर करना, या मरीजों के रिकॉर्ड प्रबंधित करना। हालाँकि, यह रोबोट एक सख्त कार्यालय वातावरण में काम कर रहा है जहाँ इसे साधारण अंग्रेजी में लिखी गई एक विशाल, 50 पन्नों की नियम पुस्तिका का पालन करना अनिवार्य है।
समस्या क्या है? नियम पुस्तिका मनुष्यों के लिए लिखी गई है, लेकिन रोबोट "टूल कॉल्स" (डिजिटल कमांड) में बात करता है। यह जांचना कि क्या रोबोट ने नियमों का पालन किया है, यह किसी छात्र के निबंध को केवल उसके रफ वर्क (स्क्रैच पेपर) को देखकर ग्रेड देने जैसा है, बिना यह जाने कि क्या उसने वास्तव में शिक्षक के निर्देशों का पालन किया था।
समाधान: MANTRA
इस शोध पत्र के लेखकों ने MANTRA (Manual-to-Test-Translation) नामक एक प्रणाली बनाई है। MANTRA को इन रोबोट सहायकों के लिए एक "टेस्ट ड्राइव" बनाने वाले एक स्वचालित, अत्यंत सख्त गुणवत्ता नियंत्रण निरीक्षक के रूप में समझें।
यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:
1. रेसिपी और शेफ
- नियम पुस्तिका (द मैनुअल): एक जटिल सूफ़्ले (soufflé) की रेसिपी की कल्पना करें जिसमें लिखा है, "यदि अंडे ताजे हैं, तो उन्हें फेंटें; यदि नहीं, तो और खरीदें। 20 मिनट से पहले ओवन का दरवाजा कभी न खोलें।"
- रोबoid (द एजेंट): यह वह शेफ है जो सूफ़्ले बनाने की कोशिश करता है।
- समस्या: आप कैसे जानेंगे कि क्या शेफ ने रेसिपी का पालन किया है? क्या उन्होंने फेंटने से पहले अंडे चेक किए? क्या उन्होंने बहुत जल्दी ओवन में झाँका?
2. टेस्ट बनाना (द "वर्ल्ड मॉडल")
केवल एक इंसान द्वारा रेसिपी पढ़ने और फिर शेफ को देखने के बजाय (जो धीमा है और जिसमें मानवीय त्रुटि की संभावना होती है), MANTRA कुछ चतुर करता है। यह रेसिपी और शेफ के पास उपलब्ध उपकरणों की सूची (फेंटनी, ओवन, टाइमर) को लेता है और स्वचालित रूप से रसोई का एक डिजिटल सिमुलेशन बनाता है।
- वर्ल्ड मॉडल (The World Model): यह नियमों का एक डिजिटल जुड़वां है। यह जानता है कि, "यदि अंडे ताजे नहीं हैं, तो फेंटने वाले टूल (whisk tool) का उपयोग अभी नहीं किया जा सकता है।"
- चेक (The Checks): MANTRA उन विशिष्ट चीजों की एक सूची भी बनाता है जिन्हें देखना है, जैसे "क्या शेफ ने फेंटने से पहले अंडे चेक किए?"
3. "मैथ डिटेक्टिव" (SMT Solver)
यही जादुई हिस्सा है। चूंकि रेसिपी और चेक्स दोनों एक AI द्वारा लिखे गए हैं (जो कभी-कभी गलतियाँ कर सकता है या भ्रमित हो सकता है), MANTRA केवल उन पर भरोसा नहीं करता है। यह एक गणितीय तर्क इंजन (जिसे SMT सॉल्वर कहा जाता है) का उपयोग करता है जो एक "मैथ डिटेक्टिव" के रूप में कार्य करता है।
- क्रॉस-चेक: डिटेक्टिव पूछता है: "क्या ऐसा कोई तरीका है जिससे शेफ चेक्स की सूची का पालन कर सके लेकिन वर्ल्ड मॉडल के नियमों को तोड़ दे?"
- रिपेयर लूप (The Repair Loop): यदि डिटेक्टिव एक खामी (जैसे, चेक्स कहते हैं "अंडों को फेंटें" लेकिन वर्ल्ड मॉडल कहता है "पहले अंडे ताजे होने चाहिए") पाता है, तो यह स्वचालित रूप रूप से टेस्ट को ठीक करता है। यह तब तक इसे करता रहता है जब तक कि टेस्ट गणितीय रूप से पूर्ण न हो जाए।
- मानवीय बैकअप: केवल तभी जब गणितीय डिटेक्टिव फंस जाता है, एक इंसान अंतिम विवरणों को ठीक करने के लिए आगे आता है।
4. परिणाम: एक परफेक्ट एग्जाम
अंतिम उत्पाद एक बेंचमार्क सूट है। यह 6 अलग-अलग क्षेत्रों (जैसे एयरलाइन बुकिंग, अस्पताल सुरक्षा और हार्डवेयर ऑर्डरिंग) में 285 विभिन्न "परीक्षा प्रश्नों" का एक संग्रह है।
- डिटरमिनिस्टिक ग्रेडिंग (Deterministic Grading): अन्य परीक्षणों के विपरीत जहाँ एक इंसान या दूसरा AI यह अनुमान लगाने की कोशिश करता है कि रोबोट ने अच्छा काम किया या नहीं, MANTRA के परीक्षण एक 'मल्टीपल च्वाइस स्कैंट्रोन' की तरह हैं। रोबोट या तो आवश्यक टूल कॉल के सटीक क्रम का पालन करता है, या नहीं करता। इसमें कोई अनुमान नहीं है।
- ग्लिच ढूंढना: जब लेखकों ने 6 अलग-अलग AI मॉडलों का इन परीक्षाओं पर परीक्षण किया, तो उन्होंने पाया कि अधिकांश रोबोट इसलिए विफल रहे क्योंकि वे "पढ़ने" वाले चरणों को छोड़ देते थे। उदाहरण के लिए, वे आइटम स्टॉक में है या नहीं, यह "चेक" करने से पहले ही ऑर्डर "लिखने" का प्रयास करते थे। MANTRA के विस्तृत परीक्षणों ने इन विशिष्ट गलतियों को पकड़ा, जिससे पता चला कि रोबोट वास्तव में कहाँ विफल हो रहे थे।
संक्षेप में
MANTRA एक ऐसा ढांचा है जो अव्यवस्थित, मानव-लिखित नियम पुस्तिकाओं को AI एजेंटों के लिए स्वच्छ, गणितीय रूप से सत्यापित परीक्षणों में बदल देता है। यह यह सुनिश्चित करने के लिए एक "जनरेट, क्रॉस-चेक और रिपेयर" लूप का उपयोग करता है कि परीक्षण निष्पक्ष और सटीक हैं, जिससे हम विश्वसनीय रूप से देख सकते हैं कि AI एजेंट वास्तव में नियमों का पालन कर रहे हैं या बस अंदाज़े से काम चला रहे हैं।
मुख्य निष्कर्ष: जिस तरह आप बिना कठोर, गणितीय रूप से सत्यापित क्रैश टेस्ट के सेल्फ-ड्राइविंग कार पर भरोसा नहीं करेंगे, उसी तरह आपको टूल-उपयोग करने वाले AI पर MANTRA जैसे सिस्टम के बिना भरोसा नहीं करना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।