When JSON Is Not Enough: Semantic Reliability of Schema-Constrained LLM Ordering Agents
यह शोध पत्र OrderBench प्रस्तुत करता है, जो यह प्रदर्शित करता है कि जबकि JSON स्कीमा बाधाएं (constraints) LLM ऑर्डरिंग एजेंटों के लिए सिंटैक्टिक वैधता सुनिश्चित करती हैं, वे सिमेंटिक विश्वसनीयता या सुरक्षा की गारंटी देने में विफल रहती हैं, जिसके लिए अतिरिक्त डोमेन सत्यापन और फेल-क्लोज्ड निष्पादन तंत्र (fail-closed execution mechanisms) की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त रेस्तरां में अपना ऑर्डर लेने के लिए एक बहुत ही प्रतिभाशाली, सुपर-फास्ट रोबोट शेफ को काम पर रख रहे हैं। आप उससे साधारण अंग्रेजी में बात करते हैं, जैसे, "मुझे एक बर्गर चाहिए, बिना अचार (pickles) के, और सुनिश्चित करें कि यह ग्लूटेन-मुक्त हो।" रोबोट का काम आपके शब्दों को एक सख्त, डिजिटल टिकट में अनुवाद करना है जिसे रसोई का कंप्यूटर पढ़ सके। लंबे समय तक, बड़ी चिंता यह थी कि कहीं रोबोट टिकट को ऐसे बिखरे हुए प्रारूप में न लिख दे जिसे कंप्यूटर समझ न सके—जैसे कि फॉर्म भरने के बजाय नैपकिन पर कुछ घसीट देना। इसे ठीक करने के लिए, इंजीनियरों ने रोबोट को एक कठोर टेम्पलेट (जिसे "स्कीमा" कहा जाता है) दिया ताकि उसे टिकट को पूरी तरह से लिखने के लिए मजबूर किया जा सके, जिससे यह सुनिश्चित हो सके कि हर बॉक्स भरा गया है और हर नंबर सही जगह पर है।
लेकिन यहाँ एक मोड़ है: भले ही टिकट फॉर्म पर एकदम सटीक दिखे, इसका मतलब यह नहीं है कि ऑर्डर वास्तव में सही है। रोबोट फॉर्म को त्रुटिहीन रूप से भर सकता है लेकिन फिर भी "अचार डालें" लिख सकता है जब आपने "बिना अचार के" कहा था, या वह मांस खत्म होने पर भी बर्गर का ऑर्डर दे सकता है। यह शोध पत्र इसी विशिष्ट खतरे के बारे में है। यह पूछता है: यदि रोबोट फॉर्म के नियमों का पूरी तरह से पालन करता है, तो क्या हम इस पर भरोसा कर सकते हैं कि वह वास्तव में भोजन का ऑर्डर सही ले रहा है? शोधकर्ताओं ने यह देखने के लिए एक टेस्ट किचन बनाया कि क्या ये स्मार्ट रोबोट वास्तव में विश्वसनीय हैं या वे केवल कागजी कार्रवाई करने में बहुत अच्छे हैं।
शोध पत्र: जब फॉर्म परफेक्ट होता है, लेकिन ऑर्डर गलत होता है
"जब JSON पर्याप्त नहीं है" (When JSON Is Not Enough) शीर्षक वाला यह शोध पत्र इस महत्वपूर्ण अंतर की जांच करता है कि हम वास्तविक दुनिया के कार्यों, जैसे भोजन ऑर्डर करने के लिए AI एजेंटों का उपयोग कैसे करते हैं। लेखकों ने, जो बर्मिंघम विश्वविद्यालय के यिन ली (Yin Li) के नेतृत्व में थे, एक परीक्षण बनाया जिसे OrderBench कहा जाता है। OrderBench को एक सख्त, बिना किसी औपसी बात वाले परीक्षा के रूप में समझें, जो रेस्तरां के ऑर्डर लेने की कोशिश कर रहे AI रोबोटों के लिए है। उन्होंने केवल यह नहीं पूछा, "क्या रोबोट ने एक वैध टिकट लिखा?" बल्कि उन्होंने पूछा, "क्या रोबोट वास्तव में समझ गया कि आप क्या चाहते थे?"
शोधकर्ताओं ने 300 विशिष्ट परिदृश्यों का उपयोग करके चार अलग-अलग AI मॉडल का परीक्षण किया। इन परिदृश्यों में जटिल स्थितियां शामिल थीं जैसे:
- निषेध (Negation): "मुझे एक पिज्जा चाहिए जिसमें पनीर न हो।"
- दायरा (Scope): "मुझे दो बर्गर चाहिए, लेकिन केवल पहले वाले में अतिरिक्त सॉस होनी चाहिए।"
- सुरक्षा (Safety): "मुझे मूंगफली से एलर्जी है, लेकिन मेनू कहता है कि इस सॉस में मूंगफली है।"
- उपलब्धता (Availability): "मैं आज का विशेष (special of the day) चाहता हूँ," जबकि वह विशेष व्यंजन बिक चुका है।
उन्होंने इन परीक्षणों को दो तरीकों से चलाया:
- प्रॉम्प्ट-ओनली (Prompt-only): रोबोट को बताना, "कृपया अपना उत्तर JSON प्रारूप में लिखें" (एक मानक डेटा प्रारूप)।
- JSON-स्कीमा मोड (JSON-schema mode): रोबोट को एक सख्त, पूर्व-निर्धारित टेम्पलेट का उपयोग करने के लिए मजबूर करना जो यह गारंटी देता है कि आउटपुट तकनीकी रूप से वैध है।
बड़ा आश्चर्य
परिणाम इंजीनियरों के लिए एक चेतावनी की तरह थे। अध्ययन से पता चला कि आउटपुट को परफेक्ट दिखाना (स्कीमा वैधता) यह सुनिश्चित नहीं करता कि सामग्री सही है (सिमेंटिक विश्वसनीयता)।
डेटा ने क्या दिखाया:
- "परफेक्ट" कागजी कार्रवाई का जाल: परीक्षण किए गए सबसे मजबूत AI मॉडल, GPT-OSS 120B-fast ने भी दोनों मोड में तकनीकी रूप से परफेक्ट टिकट बनाने में 100% सफलता प्राप्त की। हालांकि, जब वास्तविक ऑर्डर को सही करने की बात आई, तो इसकी सफलता दर प्रॉम्प्ट-ओनली मोड में 83.0% और सख्त स्कीमा मोड में 81.3% तक गिर गई।
- खतरनाक भ्रम: सबसे चौंकाने वाला निष्कर्ष छोटे, कमजोर मॉडलों से आया। Gemma-2-2B मॉडल ने सख्त स्कीमा का उपयोग करने पर 100% तकनीकी रूप से वैध टिकट बनाए। फिर भी, इसने वास्तविक ऑर्डर को केवल 2.0% बार ही सही पाया। इससे भी बदतर, इसने असुरक्षित स्वीकार्यताएं (unsafe acceptances) कीं—यानी ऐसे ऑर्डर स्वीकार किए जिन्हें खारिज कर दिया जाना चाहिए था (जैसे किसी एलर्जी वाले व्यक्ति के लिए एलर्जी युक्त व्यंजन का ऑर्डर लेना)—जो कि 41.7% बार हुआ।
- मध्यम मार्ग: एक अन्य मॉडल, Qwen3-30B-A3B ने भी तकनीकी वैधता परीक्षण में 100% हासिल किया, लेकिन वास्तविक दुनिया की सफलता केवल 30% के आसपास थी, और असुरक्षित स्वीकार्यताएं लगभग 15% के करीब थीं।
भविष्य के लिए इसका क्या अर्थ है
यह शोध पत्र तर्क देता है कि केवल "स्ट्रक्चर्ड आउटपुट" (AI को एक फॉर्म भरने के लिए मजबूर करना) पर निर्भर रहना पर्याप्त नहीं है। यह एक ऐसे रोबोट की तरह है जो बिना किसी टाइपो के टैक्स फॉर्म भर सकता है, लेकिन जो नंबर वह लिख रहा है वे पूरी तरह से गलत हैं।
लेखक निष्कर्ष निकालते हैं कि स्कीमा वैधता एक आवश्यक पहला कदम है, लेकिन यह अर्थ (meaning) की जांच करने का विकल्प नहीं है। सिर्फ इसलिए कि एक AI एजेंट एक पूरी तरह से फॉर्मेट किया गया JSON ऑब्जेक्ट बना सकता है, इसका मतलब यह नहीं है कि आप उस एजेंट को अपना क्रेडिट कार्ड चार्ज करने या आपका भोजन रिजर्व करने देने के लिए सुरक्षित हैं। अध्ययन सुझाव देता है कि हमें एक "फेल-क्लोज्ड" (fail-closed) सिस्टम की आवश्यकता है: यदि AI 100% सुनिश्चित नहीं है कि ऑर्डर सही और सुरक्षित है, तो उसे केवल टिकट नहीं भेजना चाहिए; उसे रुकना चाहिए और स्पष्टीकरण मांगना चाहिए।
संक्षेप में, यह शोध पत्र हमें चेतावनी देता है कि फॉर्म की सुंदरता से धोखा न खाएं। एक रोबोट जो फॉर्म के नियमों का पूरी तरह से पालन करता है, वह फिर भी एक बुरा शेफ हो सकता है। हमें ऑर्डर की सामग्री को सत्यापित करने की आवश्यकता है, न कि केवल उसके प्रारूप को।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।