Trace Integrity for LLM Data Agents: A Vision for Auditable Structured Reasoning in Real-World Systems
यह शोध पत्र LLM डेटा एजेंटों के लिए "ट्रेस इंटीग्रिटी" (Trace Integrity) को एक महत्वपूर्ण विश्वसनीयता मीट्रिक के रूप में प्रस्तावित करता है, यह तर्क देते हुए कि केवल उत्तर की सटीकता अपर्याप्त है क्योंकि वैध उत्तर अमान्य रीजनिंग ट्रेसेस से भी उत्पन्न हो सकते हैं, और यह सुनिश्चित करने के लिए कि आउटपुट ऑडिट करने योग्य, स्कीमा-वैध और निष्पादन योग्य गणनाओं द्वारा समर्थित हैं, संरचित निष्पादन अनुबंधों और CAIT दर को पेश करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कार्यस्थल में, कंप्यूटर शक्तिशाली सहायकों के रूप में उभरे हैं जो डेटा के विशाल पुस्तकालयों को पढ़ सकते हैं और जटिल प्रश्नों के उत्तर दे सकते हैं। जब एक बिजनेस एनालिस्ट ग्राहकों के एक विशिष्ट समूह के औसत राजस्व (average revenue) के बारे में पूछता है, तो एक कंप्यूटर सिस्टम लाखों रिकॉर्ड्स को स्कैन कर सकता है और एक एकल संख्या लौटा सकता है। वर्षों तक, यह परखने का मानक तरीका कि क्या ये सिस्टम काम कर रहे थे, सरल था: क्या उनके द्वारा दी गई संख्या सही उत्तर से मेल खाती थी? यदि संख्याएँ मेल खाती थीं, तो सिस्टम को सफल माना जाता था। हालाँकि, इस पद्धति में एक अदृष्टि दोष (blind spot) है। एक कंप्यूटर गलत रास्ता अपनाकर, गलत डेटा का उपयोग करके, या किसी महत्वपूर्ण चरण को छोड़कर सही संख्या तक पहुँच सकता है, ठीक उसी तरह जैसे एक छात्र गणित की परीक्षा में बिना कोई कार्य दिखाए सही उत्तर का अनुमान लगा लेता है। यदि अंतिम संख्या सही है, तो प्रक्रिया में हुई गलती अक्सर अनसुनी रह जाती है, जिससे उपयोगकर्ता के पास एक ऐसा परिणाम बचता है जिस पर वह भरोसा नहीं कर सकता क्योंकि उसे नहीं पता कि इसे कैसे बनाया गया।
यह समस्या WAI USA रिसर्च लैब्स के शोधकर्ताओं के एक नए अध्ययन द्वारा संबोधित की गई है। उनका तर्क है कि वास्तविक दुनिया के डेटा को संभालने वाले कंप्यूटर सिस्टम के लिए, केवल सही उत्तर प्राप्त करना पर्याप्त नहीं है। सिस्टम को यह भी सिद्ध करना चाहिए कि वहाँ पहुँचने के लिए उसने सही चरणों का पालन किया है। शोधकर्ता इस आवश्यकता को "ट्रेस इंटीग्रिटी" (Trace Integrity) कहते हैं। यह सुनिश्चित करने का एक तरीका है कि कंप्यूटर द्वारा छोड़ी गई डिजिटल छाप—जिसमें उसके द्वारा उपयोग किए गए विशिष्ट फिल्टर, उपयोग किए गए टेबल्स और किए गए गणनाएँ शामिल हैं—वास्तव में वही दर्शाती है जो उपयोगकर्ता ने वास्तव में पूछा था। इसके बिना, एक सिस्टम आत्मविश्वास के साथ रिपोर्ट कर सकता है कि एक निश्चित क्षेत्र में उच्चतम राजस्व था, जबकि वास्तव में, इसने गलती से ट्रायल अकाउंट्स को शामिल कर लिया था या डेटा को गलत कार्यालय के आधार पर समूहबद्ध कर दिया था। उत्तर सही दिखता है, लेकिन उसके पीछे का तर्क त्रुटिपूर्ण है।
यह छिपा हुआ विफलता कितनी बार होती है, इसका परीक्षण करने के लिए, शोधकर्ताओं ने एक सौ वास्तविक दुनिया के डेटाबेस प्रश्नों के संग्रह का उपयोग करके एक नियंत्रित प्रयोग स्थापित किया। उन्होंने एक कंप्यूटर सिस्टम को इन प्रश्नों का उत्तर देने के लिए तीन अलग-अलग तरीकों का उपयोग करने के लिए कहा। पहला तरीका सीधा था: सिस्टम बस उत्तर प्राप्त करने के लिए कोड लिखने का प्रयास करता था। दूसरा तरीका सिस्टम को कोड लिखने से पहले अपनी योजना का एक संक्षिप्त सारांश लिखने के लिए कहता था। तीसरे तरीके में सिस्टम के लिए पहले एक विस्तृत, संरचित अनुबंध (contract) बनाना आवश्यक था जिसमें स्पष्ट रूप से उन डेटा टेबल्स, फिल्टरों और गणितीय ऑपरेशनों को सूचीबद्ध किया गया था जिन्हें वह उपयोग करने का इरादा रखता था, इससे पहले कि उसे कोड चलाने की अनुमति दी जाए।
परिणामों ने सही उत्तर प्राप्त करने और कार्य को सही ढंग से करने के बीच एक महत्वपूर्ण अंतर का खुलासा किया। जब सिस्टम ने सीधे तरीके का उपयोग किया, तो वह केवल बीस प्रतिशत समय ही सही अंतिम संख्या प्राप्त कर सका। जब सिस्टम ने सारांश पद्धति का उपयोग किया, तो वह संख्या थोड़ा बढ़कर बाईस प्रतिशत हो गई। अनुबंध पद्धति ने सबसे अच्छा प्रदर्शन किया, जो चौबीस प्रतिशत सटीकता तक पहुँच गई। हालाँकि, उन उत्तरों के पीछे के कार्य की गुणवत्ता को देखते हुए कहानी बदल जाती है। शोधकर्ताओं ने पाया कि भले ही सिस्टम ने सही संख्या बनाई, लेकिन इसके द्वारा लिए गए चरण अक्सर अमान्य थे। सीधे तरीके के लिए, लगभग पचपन प्रतिशत सही उत्तर त्रुटिपूर्ण या अपूर्ण तर्क द्वारा समर्थित थे। सारांश पद्धति के लिए, यह छिपा हुआ विफलता दर और भी अधिक थी, जो लगभग साठ प्रतिशत थी। केवल अनुबंध पद्धति ही इस जोखिम को कम करने में सफल रही, हालांकि इसकी विफलता दर अभी भी लगभग छियालीस प्रतिशत थी।
ये निष्कर्ष दर्शाते हैं कि एक सिस्टम गलती से सही हो सकता है। शोधकर्ताओं ने पाया कि कई सही उत्तर वास्तव में "साइलेंट फेल्योर" (silent failures) थे, जहाँ कंप्यूटर ने एक विश्वसनीय परिणाम तो दिया लेकिन अंतर्निहित गणना उपयोगकर्ता के अनुरोध से मेल नहीं खाती थी। यह खतरनाक है क्योंकि एक मानव जो उत्तर की समीक्षा कर रहा है, उसके पास त्रुटि का संदेह करने का कोई कारण नहीं होता यदि अंतिम संख्या सही दिखती है। एक निष्पादन अनुबंध (execution contract) पेश करके—जो कार्य शुरू होने से पहले की योजना का एक स्पष्ट, संरचित रिकॉर्ड है—शोधकर्ताओं ने दिखाया कि इन त्रुटियों को पकड़ना संभव है। अनुबंध एक चेकपॉइंट के रूप में कार्य करता है, जो सिस्टम को यह घोषित करने के लिए मजबूर करता है कि वह किस डेटा को शामिल करने का इरादा रखता है और परिणाम की गणना कैसे करेगा, इससे पहले कि उसे आगे बढ़ने की अनुमति दी जाए।
अध्ययन निष्कर्ष निकालता है कि वित्त, स्वास्थ्य सेवा या व्यवसाय प्रबंधन जैसे क्षेत्रों में कंप्यूटर सिस्टम को वास्तव में विश्वसनीय होने के लिए, हमें केवल उनके अंतिम उत्तरों से निर्णय लेना बंद करना होगा। इसके बजाय, हमें उस पथ की अखंडता का मूल्यांकन करना होगा जो उन्होंने वहाँ तक पहुँचने के लिए लिया है। एक सिस्टम जो अपना कार्य दिखा सकता है, यह सिद्ध कर सकता है कि उसने सही डेटा का उपयोग किया है, और यह प्रदर्शित कर सकता है कि उसके चरण मूल प्रश्न से मेल खाते हैं, वह उस सिस्टम की तुलना में कहीं अधिक विश्वसनीय है जो केवल एक सही संख्या प्रदान करता है। शोधकर्ताओं का सुझाव है कि भविष्य में, इन सिस्टमों के लिए अपने कंप्यूटेशन का एक ऑडिट योग्य रिकॉर्ड छोड़ना आवश्यक होना चाहिए, जिससे मनुष्य प्रत्येक निर्णय के पीछे के तर्क का निरीक्षण, पुनरावृत्ति और सत्यापन कर सकें। केवल परिणाम की जाँच करने से प्रक्रिया की जाँच करने की ओर यह बदलाव उन उपकरणों के निर्माण के लिए आवश्यक है जिन पर लोग महत्वपूर्ण निर्णय लेते समय भरोसा कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।