SemPlan: Benchmarking Structured Semantic Planning for LLM-Based Queries over Enterprise Data

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट लाइब्रेरियन से एक विशिष्ट पुस्तक के बारे में पूछने की कोशिश कर रहे हैं, लेकिन आपको लाइब्रेरी का गुप्त कोड सिस्टम नहीं पता है। आप बस कहते हैं, "मुझे लाल शेल्फ वाली ड्रैगन वाली किताब चाहिए।" रोबोट को यह समझना होगा कि आपका वास्तव में क्या मतलब है, यह जांचना होगा कि क्या आपको वह शेल्फ देखने की अनुमति है और फिर किताब ढूंढनी होगी। यह नेचुरल लैंग्वेज इंटरफेस टू एंटरप्राइज डेटा (Natural Language Interfaces to Enterprise Data) की दुनिया है। यह आम लोगों को कंप्यूटर कोड के बजाय सामान्य वाक्यों का उपयोग करके जटिल डेटाबेस से बात करने देने का विज्ञान है।

लंबे समय से, वैज्ञानिक इस बात को लेकर चिंतित रहे हैं कि ये रोबोट सिंटैक्स (एक वैध कंप्यूटर कमांड लिखना) तो सही कर सकते हैं (सही कोड लिखना), लेकिन अर्थ (मतलब) गलत निकाल सकते हैं (गलत किताब ढूंढना), या वे नियमों को तोड़कर आपको वे किताबें देखने दे सकते हैं जिन्हें छूने की आपको अनुमति नहीं है। बड़ा सवाल यह है: हम इस रोबोट के लिए सबसे अच्छा "दिमाग" कैसे बनाएं? क्या हमें रोबोट को सीधे कंप्यूटर कोड लिखने देना चाहिए? क्या हमें उसे कुछ विशिष्ट उपकरणों (tools) का उपयोग करने के लिए देना चाहिए? या क्या हमें उसे कुछ भी करने से पहले एक विस्तृत योजना लिखने के लिए मजबूर करना चाहिए? यह पेपर, जिसे SemPlan कहा जाता है, यह पता लगाने के लिए एक विशाल प्रयोग है कि इनमें से कौन सा "ब्रेन डिज़ाइन" वास्तव में सबसे अच्छा काम करता है जब दांव बहुत ऊंचे हों और डेटा जटिल हो।

महान रोबिक ब्रेन-ऑफ (The Great Robot Brain-Off)

शोधकर्ताओं ने एक नकली लेकिन बहुत ही वास्तविक "नॉर्थस्टार कॉमर्स" ब्रह्मांड में एक विशाल, नियंत्रित युद्ध आयोजित किया। उन्होंने अंग्रेजी और ब्राजीलियाई पुर्तगाली दोनों में 1,800 अलग-अलग प्रश्न बनाए, जो सरल अनुरोधों जैसे "हमने कितना पैसा कमाया?" से लेकर पेचीदा, बहु-भाग वाले पहेलियों तक थे जो रोबोट को धोखा देने की कोशिश करते हैं। उन्होंने फिर चार अलग-अलग रोबोट आर्किटेटेक्चर (आइए उन्हें टीम A, B, C और D कहें) का परीक्षण किया, जिसमें तुलना निष्पक्ष रहे इसके लिए एक ही सुपर-स्मार्ट मॉडल (एक विशिष्ट AI संस्करण gpt-5.6-luna) का उपयोग किया गया।

यहाँ चारों टीमों ने खेल खेला:

• टीम A (द डायरेक्ट राइटर - सीधा लिखने वाला): यह रोबोट आपका प्रश्न सुनता है और तुरंत उत्तर प्राप्त करने के लिए कंप्यूटर कोड (SQL) लिखने की कोशिश करता है। यह ऐसा है जैसे किसी छात्र को अपना काम दिखाए बिना व्हाइटबोर्ड पर गणित की समस्या हल करने के लिए कहना।
• टीम B (द टूल यूजर - उपकरण का उपयोग करने वाला): यह रोबोट कोड नहीं लिखता। इसके बजाय, इसके पास एक टूलबॉक्स है। इसे सही उपकरणों (जैसे "संख्या जोड़ना" या "तारीख के अनुसार क्रमबद्ध करना") को चुनना होता है और उन्हें सही क्रम में क्लिक करना होता है। यह एक ऐसे शेफ की तरह है जो केवल पहले से बने हुए अवयवों और विशिष्ट किचन गैजेट्स का उपयोग कर सकता है।
• टीम C (द प्लानर - योजना बनाने वाला): यह रोबोट न तो कोड लिखता है और न ही उपकरण चुनता है। इसके बजाय, यह एक सख्त, संरचित सिमेंटिक रिक्वेस्ट (semantic request) लिखता है—एक बहुत ही विशिष्ट, व्यवस्थित योजना जो बताती है कि किस डेटा की आवश्यकता है। एक अलग, उबाऊ-लेकिन-परफेक्ट कंप्यूटर प्रोग्राम फिर इस योजना को लेता है और इसे कोड में बदल देता है। यह एक ऐसे छात्र की तरह है जो एक आदर्श रूपरेखा (outline) लिखता है, और एक दूसरा व्यक्ति उस रूपरेखा के आधार पर अंतिम निबंध लिखता है।
• टीम D (द क्लेरिफायर - स्पष्ट करने वाला): यह टीम C का बड़ा भाई है। यह भी एक योजना लिखता है, लेकिन यदि प्रश्न भ्रमित करने वाला है, तो इसे स्पष्टीकरण मांगने या बातचीत में कही गई बातों को याद रखने की अनुमति है। यह एक जासूस की तरह है जो वापस जाकर पूछ सकता है, "रुको, क्या तुम्हारा मतलब लाल ड्रैगन से था या नीले वाले से?"

परिणाम: कोई पूर्ण विजेता नहीं

कुल 4,800 परीक्षण (प्रत्येक टीम के लिए 1,200 प्रश्न) चलाने के बाद, परिणाम आश्चर्यजनक थे। मुख्य निष्कर्ष? कोई एक "सर्वश्रेष्ठ" रोबोट नहीं है। यह एक समझौता (trade-off) है, जैसे स्पोर्ट्स कार, ट्रक और ईंधन-कुशल सेडान के बीच चयन करना। आप एक ही वाहन में स्पोर्ट्स कार की गति, ट्रक की भार ढोने की क्षमता और सेडान का माइलेज नहीं पा सकते।

डेटा ने दिखाया:

1. सटीकता की दौड़ (The Accuracy Race)
यदि आप केवल सही उत्तर चाहते हैं, तो टीम C (द प्लानर) विजेता थी, लेकिन यह कोई भारी अंतर नहीं था।

• टीम C ने 25.67% बार सही उत्तर दिया।
• टीम D (द क्लेरिफायर) 24.25% के साथ दूसरे स्थान पर आई।
• टीम B (टूल यूजर) 22.58% पर थी।
• टीम A (डायरेक्ट राइटर) 22.25% के साथ सबसे नीचे थी।

हालांकि टीम C सांख्यिकीय रूप से अन्य टीमों से बेहतर थी, लेकिन पेपर नोट करता है कि केवल 4 में से 1 बार सही उत्तर मिलना अभी भी काफी कम है। यहाँ तक कि "सर्वश्रेष्ठ" डिज़ाइन भी प्रश्नों की जटिलता के साथ संघर्ष कर रहा था।

2. सुरक्षा और नियमों की दौड़ (The Safety and Rules Race)
यहाँ टीमें आपस में बदल गईं।

• टीम A (डायरेक्ट राइटर) सबसे सुरक्षित थी। इसने नियमों (पॉलिसी) का सबसे अच्छा पालन किया (43.67%) और इसके असुरक्षित या अमान्य होने की संभावना सबसे कम (31.00%) थी। यह बहुत रूढ़िवादी थी; यदि यह सुनिश्चित नहीं थी, तो इसने गलती करने के जोखिम के बजाय अक्सर कह दिया "मैं यह नहीं कर सकता" (एक "फॉल्स रिफ्यूज़ल")।
• टीम D (द क्लेरिफायर) सबसे विनम्र थी (केवल 0.17% बार मना करना) लेकिन सबसे जोखिम भरी थी। इसमें असुरक्षित या अमान्य कार्यों की दर सबसे अधिक (64.08%) थी। इसने मदद करने की इतनी कोशिश की कि इसने कभी-कभी नियमों को तोड़ दिया।

3. लागत और स्थिरता (The Cost and Stability)

• टीम D को चलाना सबसे सस्ता था, जिसका औसत खर्च प्रति प्रश्न केवल $0.000469 था।
• टीम C सबसे स्थिर थी। जब उन्होंने एक ही प्रश्न तीन बार पूछा, तो टीम C ने 98.67% बार एक ही सही उत्तर दिया। टीम B सबसे कम स्थिर थी, जो केवल 92.00% बार सही ढंग से दोहरा सकी।

4. "भाषा" का आश्चर्य (The "Language" Surprise)
शोधकर्ताओं ने यह भी देखा कि हर टीम ने अंग्रेजी की तुलना में ब्राजीलियाई पुर्तगाली में खराब प्रदर्शन किया। उदाहरण के लिए, टीम C ने अंग्रेजी में 31.00% सही उत्तर दिए लेकिन पुर्तगाली में केवल 20.33% सही। यह सुझाव देता है कि सर्वोत्तम डिज़ाइन के साथ भी, भाषा के अंतर बड़ी समस्याएं पैदा करते हैं।

भविष्य के लिए इसका क्या अर्थ है

यह पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि "अधिक संरचना हमेशा बेहतर होती है।" आप सोच सकते हैं कि रोबोट को एक विस्तृत योजना लिखने (टीम C) या स्पष्टीकरण मांगने (टीम D) के लिए मजबूर करने से सब कुछ ठीक हो जाएगा। डेटा कहता है नहीं। संरचना जोड़ने से रोबोटों के विफल होने का तरीका बदल गया, लेकिन इसने इस तथ्य को जादू से ठीक नहीं किया कि वे अभी भी अधिकांश समय गलत उत्तर दे रहे थे।

• टीम A सुरक्षित है लेकिन अक्सर हार मान लेती है।
• टीम B ठीक है लेकिन असंगत है।
• टीम C सबसे सटीक और स्थिर है, लेकिन यह भी पूर्ण नहीं है।
• टीम D सस्ती और विनम्र है, लेकिन खतरनाक और कम सटीक है।

लेखक का निष्कर्ष है कि हमें केवल उच्चतम सटीकता स्कोर वाले एक "विजेता" को नहीं देखना चाहिए। हमें पूरे चित्र को देखना चाहिए: क्या हमें सुरक्षा की चिंता है (टीम A)? क्या हमें सही उत्तर पाने की चिंता है (टीम C)? या क्या हमें पैसा बचाने की चिंता है (टीम D)?

अध्ययन बताता है कि फिलहाल, यहाँ तक कि सबसे स्मार्ट AI डिज़ाइन भी जटिल व्यावसायिक प्रश्नों को पूरी तरह से समझने के लिए संघर्ष कर रहे हैं। आगे का रास्ता केवल एक "बेहतर" रोबोट बनाने के बारे में नहीं है; यह प्रत्येक डिज़ाइन के विशिष्ट समझौतों (trade-offs) को समझने और विशिष्ट कार्य के लिए सही उपकरण चुनने के बारे में है। जैसा कि पेपर में कहा गया है, यह अभी तक "हल की गई समस्या" नहीं है; यह एक मानचित्र है जो हमें उन गड्ढों को दिखाता है ताकि हम भविष्य में बेहतर सिस्टम बना सकें।