LEDGER: Deterministic Checks and Auditable Evaluation for Business AI Systems
यह शोध पत्र LEDGER को प्रस्तुत करता है, जो एक ऐसा मूल्यांकन मंच है जो कंपनियों को उनके प्रोप्राइटरी डेटा का उपयोग करके अपने बिजनेस एआई सिस्टम के लिए नियत (deterministic), ऑडिट योग्य और लागत-सचेत परीक्षण बनाने में सक्षम बनाता है, यह प्रदर्शित करते हुए कि कैसे एक सेल्फ-होस्टेड ओपन-वेट मॉडल प्रोप्राइटरी विकल्पों की तुलना में बहुत कम लागत पर फ्रंटियर-स्तर की सटीकता प्राप्त कर सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कार्यस्थल में, कंपनियाँ अपने स्वयं के आंतरिक डेटा के बारे में प्रश्नों के उत्तर देने के लिए तेजी से आर्टिफिशियल इंटेलिजेंस पर निर्भर हो रही हैं। एक इंजीनियरिंग मैनेजर पूछ सकता है कि पिछले सप्ताह कितने कोड परिवर्तन (code changes) की समीक्षा की गई थी, या एक वित्तीय विश्लेषक किसी विशिष्ट प्रकार की त्रुटि को हल करने में लगने वाले औसत समय का अनुरोध कर सकता है। ये प्रणालियाँ केवल एक अकेला कंप्यूटर प्रोग्राम नहीं हैं जो शून्य में सोच रहा हो; वे जटिल संयोजन हैं जहाँ एक लैंग्वेज मॉडल को कंपनी के निजी डेटाबेस से जोड़ा जाता है, जो सख्त नियमों द्वारा निर्देशित होता है कि वह क्या प्रकट कर सकता है और क्या नहीं, और इसे ऐसे सॉफ़्टवेयर द्वारा प्रबंधित किया जाता है जो यह तय करता है कि किन उपकरणों का उपयोग करना है। किसी भी व्यवसाय के लिए चुनौती यह है कि ये प्रणालियाँ नाजुक होती हैं। मॉडल, नियमों या डेटाबेस से बात करने के तरीके में एक छोटा सा बदलाव अचानक उत्तरों को गलत बना सकता है। हालाँकि सामान्य कार्यों पर विभिन्न आर्टिफिशियल इंटेलिजेंस मॉडलों की बुद्धिमत्ता को रैंक करने के लिए सार्वजनिक परीक्षण मौजूद हैं, लेकिन वे स्कोर यह भविष्यवाणी नहीं करते कि एक विशिष्ट कंपनी की प्रणाली अपने स्वयं के अनूठे डेटा और नियमों के साथ कितनी अच्छी तरह काम करेगी। कंपनियों को अपने स्वयं के सिस्टम का हर एक बदलाव के बाद बार-बार परीक्षण करने के तरीके की आवश्यकता है, यह सुनिश्चित करते हुए कि उत्तर सही बने रहें और उन उत्तरों को प्राप्त करने की लागत प्रबंधनीय बनी रहे।
इंटरवल (Interval) की शोधकर्ताओं की एक टीम ने, जो बिजनेस इंटेलिजेंस टूल्स बनाने वाली एक कंपनी है, इस समस्या को हल करने के लिए LEDGER नामक एक नई विधि विकसित की है। सार्वजनिक स्कोर पर भरोसा करने के बजाय, LEDGER कंपनी के अपने डेटा, प्रश्नों और नियमों को एक दोहराने योग्य, कठोर परीक्षण में बदल देता है। यह प्रणाली विशिष्ट परिदृश्य (scenarios) बनाकर काम करती है: एक प्रश्न पूछा जाता है, एक विशिष्ट सही उत्तर पहले से ही परिभाषित किया जाता है, और यह सिद्ध करने के लिए साक्ष्य (evidence) तैयार किया जाता है कि उत्तर सही है या नहीं। यह साक्ष्य एक डेटाबेस क्वेरी का एक स्थिर स्नैपशॉट, एक नीति नियम, या एक सॉफ्टवेयर डैशबोर्ड में दर्ज परिवर्तन हो सकता है। जब आर्टिफिशियल इंटेलिजेंस सिस्टम प्रश्न का उत्तर देने का प्रयास करता है, तो LEDGER प्लेटफॉर्म परिणाम की जाँच करता है। यदि उत्तर एक सरल संख्या या स्पष्ट तथ्य है, तो एक नियतात्मक जाँच (deterministic check)—एक कंप्यूटर प्रोग्राम जो अनुमान लगाने के बजाय सख्त तर्क का पालन करता है—इसे तुरंत स्कोर करता है। यदि उत्तर जटिल गद्य (prose) में लिखा गया है जिसे कंप्यूटर आसानी से पार्स (parse) नहीं कर सकता, तो एक अलग आर्टिफिशियल इंटेलिजेंस जज इसकी समीक्षा करता है, लेकिन केवल तभी जब एक नियतात्मक जाँच यह पुष्टि कर दे कि साक्ष्य दावे का समर्थन करते हैं। प्रत्येक स्कोर को उस विशिष्ट साक्ष्य से जोड़ा जाता है जिसने उसे उत्पन्न किया है, जिससे एक स्पष्ट, ऑडिट योग्य मार्ग बनता है जो सटीक रूप से दिखाता है कि उत्तर को सही या गलत क्यों माना गया।
शोधकर्ताओं ने इस प्लेटफॉर्म का उपयोग DeepSeek V4 Flash द्वारा संचालित एक बिजनेस इंटेलिजेंस असिस्टेंट बनाने और परीक्षण करने के लिए किया, जो एक शक्तिशाली ओपन-वेट मॉडल है जिसे कंपनी अपने निजी सर्वर पर होस्ट करती है। उन्होंने इस कस्टम-निर्मित सिस्टम की तुलना सात अन्य अग्रणी मॉडलों के साथ की, जिसमें प्रमुख प्रौद्योगिकी कंपनियों के पाँच प्रोप्रायटरी (proprietary) सिस्टम और एक अन्य ओपन-वेट मॉडल शामिल था। तुलना सख्त थी: प्रत्येक सिस्टम को बिल्कुल समान उपकरण, समान डेटा और प्रश्नों का एक ही सेट दिया गया था। परिणामों ने दिखाया कि जब ओपन-वेट मॉडल को कंपनी के विशिष्ट उपकरणों और नियमों में लपेटा गया था, तो इसने सबसे उन्नत प्रोप्रायटरी मॉडलों के समान प्रदर्शन किया। 97 सावधानीपूर्वक चुने गए परिदृश्यों के एक टेस्ट सेट पर, कस्टम सिस्टम ने 96 सही उत्तर दिए, जबकि अन्य शीर्ष मॉडलों ने 94 से 97 के बीच सही उत्तर दिए। इसने प्रदर्शित किया कि मॉडल के चारों ओर मौजूद उपकरणों और नियमों का "हार्नेस" (harness) उतना ही महत्वपूर्ण था जितना कि स्वयं मॉडल। इन विशिष्ट उपकरणों और परिभाषाओं के बिना, ओपन मॉडल थोड़ा खराब प्रदर्शन करता था, लेकिन इनके साथ, इसने सबसे महंगे, अत्याधुनिक सिस्टम के समान सटीकता प्राप्त की।
हालाँकि, सबसे महत्वपूर्ण निष्कर्ष लागत से संबंधित था। जबकि सटीकता सभी में समान थी, सही उत्तर प्राप्त करने की कीमत काफी भिन्न थी। शोधकर्ताओं ने प्रत्येक सिस्टम के लिए प्रति सही उत्तर की लागत की गणना की। प्रोप्रायटरी मॉडल, जो महंगे क्लाउड सेवाओं के माध्यम से एक्सेस किए जाते हैं, इंटरवल द्वारा उपयोग किए गए सेल्फ-होस्टेड ओपन-वेट मॉडल की तुलना में प्रति सही उत्तर छह से सतहत्तर गुना अधिक लागत रखते थे। यहाँ तक कि जब शोधकर्ताओं ने प्रोप्रायटरी मॉडलों के लिए उपलब्ध सबसे सस्ते मूल्य निर्धारण स्तरों (pricing tiers) को लागू किया, तब भी वे कंपनी के अपने निजी सेटअप की तुलना में काफी अधिक महंगे थे। यह सुझाव देता है कि विशिष्ट डेटा आवश्यकताओं वाले व्यवसायों के लिए, मॉडल का चयन केवल एक एकल "सबसे स्मार्ट" मस्तिष्क खोजने के बारे में नहीं है, बल्कि सटीकता, नियंत्रण और लागत के बीच सही संतुलन खोजने के बारे में है। अध्ययन का तर्क है कि LEDGER जैसे कठोर, ऑडिट योग्य परीक्षण सिस्टम का उपयोग करके, कंपनियाँ प्रदर्शन से समझौता किए बिना सस्ते, सेल्फ-होस्टेड मॉडल चुनने का विश्वासपूर्वक निर्णय ले सकती हैं, बशर्ते वे उन्हें निर्देशित करने के लिए सही उपकरणों और नियमों में निवेश करें।
शोधकर्ता सावधानीपूर्वक यह नोट करते हैं कि उनके परिणाम उनके अपने वर्कलोड और उनके परीक्षणों को संरचित करने के विशेष तरीके के विशिष्ट हैं। उन्होंने यह दावा नहीं किया कि यह ओपन-वेट मॉडल सभी स्थितियों में अन्य सभी से सार्वभौमिक रूप से बेहतर है, न ही उन्होंने यह सुझाव दिया कि लागत बचत हर कंपनी के लिए समान होगी। अध्ययन ने व्यावसायिक प्रश्नों के एक विशिष्ट सेट पर प्रदर्शन को मापा और पाया कि, इस प्रकार के कार्य के लिए, एक सस्ते मॉडल के चारों ओर बना एक अच्छी तरह से डिज़ाइन किया गया सिस्टम सबसे महंगे विकल्पों के परिणाम के बराबर हो सकता है। मुख्य निष्कर्ष यह है कि व्यावसायिक अनुप्रयोगों में सटीकता केवल आर्टिफिशियल इंटेलिजेंस मॉडल का गुण नहीं है, बल्कि इसके आसपास निर्मित संपूर्ण प्रणाली का गुण है। परीक्षण प्रक्रिया को पारदर्शी और दोहराने योग्य बनाकर, कंपनियाँ सूचित इंजीनियरिंग निर्णय ले सकती हैं, जिससे वे आँख मूंदकर सबसे महंगे मॉडलों के लिए भुगतान करने के बजाय ऐसे सिस्टम बनाने की ओर बढ़ सकती हैं जो सटीक और आर्थिक रूप से टिकाऊ दोनों हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।