Consistency as a Testable Property: Statistical Methods to Evaluate AI Agent Reliability
यह शोध पत्र U-सांख्यिकी (U-statistics) और कर्नेल-आधारित मेट्रिक्स का उपयोग करते हुए एक कठोर सांख्यिकीय ढांचे को प्रस्तुत करता है जो एक एआई एजेंट की मूल क्षमताओं और उसकी निष्पादन सुदृढ़ता (execution robustness) के बीच अंतर करता है, यह प्रदर्शित करते हुए कि उच्च-जोखिम वाले वातावरण में विश्वसनीयता संबंधी समस्याओं की पहचान करने के लिए प्रक्षेपवक्र-स्तरीय निरंतरता (trajectory-level consistency) माप पारंपरिक pass@1 दरों की तुलना में बेहतर नैदानिक संवेदनशीलता प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक जटिल पहेली सुलझाने के लिए एक अत्यंत बुद्धिमान रोबोट सहायक को काम पर रखा है। आप उसे एक विशिष्ट प्रकार का पुल बनाने के लिए कहते हैं। वह इसे पूरी तरह से बनाता है। आप खुश हैं।
लेकिन फिर, आप ठीक वही सवाल फिर से पूछते हैं, बस पूछने का तरीका थोड़ा सा बदल देते हैं: "क्या आप इस विशिष्ट डिज़ाइन का एक पुल बना सकते हैं?" रोबोट, पुल बनाने के बजाय, अचानक एक नाव बनाने का निर्णय लेता है, या भ्रमित होकर ब्लूप्रिंट खाने लगता है।
यही वह समस्या है जिसे यह शोध पत्र (paper) हल करता है। यह तर्क देता है कि सिर्फ इसलिए कि एक AI एजेंट (रोबोट सहायक) ने एक बार सही उत्तर दे दिया है, इसका मतलब यह नहीं है कि वह विश्वसनीय है। यह एक "वन-हिट वंडर" (एक बार सफल होने वाला) हो सकता है जो आपके अनुरोध के शब्दों को बदलने या उस वातावरण को बदलने पर टूट जाता है जिसमें वह काम कर रहा है।
यहाँ उनके समाधान का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. समस्या: "चंचल शेफ" (The Fickle Chef)
AI के परीक्षण करने के वर्तमान तरीके एक रेस्टोरेंट क्रिटिक की तरह हैं जो केवल एक व्यंजन चखता है। यदि शेफ एक बार परफेक्ट स्टेक बनाता है, तो क्रिटिक उसे 5-स्टार रेटिंग दे देता है। लेकिन क्या होगा अगर शेफ एक "चंचल शेफ" है?
- यदि आप "मीडियम-रेयर" के लिए कहते हैं, तो वे इसे पूरी तरह से बनाते हैं।
- यदि आप "मीडियम रेयर" (एक स्पेस के साथ) मांगते हैं, तो वे इसे जला देते हैं।
- यदि आप इसे किसी अलग भाषा में मांगते हैं, तो वे आपको सूप परोस देते हैं।
पेपर कहता है: हमें यह परीक्षण करने की आवश्यकता है कि शेफ सुसंगत (consistent) है या नहीं, न कि केवल यह कि क्या वह एक बार खाना बना सकता है।
2. समाधान: "निरंतरता परीक्षण" (The Consistency Test)
लेखकों ने AI एजेंटों के लिए एक नया सांख्यिकीय "फिटनेस टेस्ट" बनाया है। AI से एक बार कार्य करने के लिए कहने के बजाय, वे उसे एक ही कार्य को कई बार करने के लिए कहते हैं, लेकिन थोड़े से हानिरहित बदलावों के साथ (जैसे फॉन्ट बदलना, टाइपो जोड़ना, या वाक्य को फिर से लिखना)।
वे दो चीजें मापते हैं:
- परिणाम (Output Consistency): क्या उसने हर बार एक ही उत्तर दिया?
- यात्रा (Trajectory Consistency): क्या उसने वहां तक पहुँचने के लिए एक ही तरह के कदम उठाए?
3. "नक्शा" बनाम "गंतव्य" (The "Map" vs. The "Destination")
यह पेपर की सबसे महत्वपूर्ण खोज है। उन्होंने पाया कि एक AI सही गंतव्य (सही उत्तर) तक पहुँच सकता है लेकिन हर बार एक पूरी तरह से अलग नक्शा (वहाँ तक पहुँचने के कदम) ले सकता है।
- उपमा: कल्पना कीजिए कि आप GPS से हवाई अड्डे के लिए निर्देश मांगते हैं।
- परिदृश्य A: यह हर बार आपको एक ही रास्ता बताता है। (सुसंगत)
- परिदृश्य B: यह आपको हवाई अड्डे तक तो पहुँचा देता है, लेकिन आज यह हाईवे लेता है, कल यह बैक रोड्स लेता है, और अगले दिन यह एक पार्क के बीच से होकर गुजरता है। (असंगत)
पेपर दिखाता है कि पारंपरिक परीक्षण केवल यह देखते हैं कि क्या आप हवाई अड्डे पर पहुँचे (पास/फेल)। उनका नया परीक्षण यह जांचता है कि क्या GPS एक विश्वसनीय नक्शे का उपयोग कर रहा है। उन्होंने पाया कि भले ही AI सही उत्तर प्राप्त कर लेता है, लेकिन अक्सर वह हर बार एक अराजक (chaotic), अलग रास्ता अपनाता है, जो वास्तविक दुनिया के उपयोग के लिए खतरनाक है।
4. "ड्रिफ्ट" डिटेक्टर (The "Drift" Detector)
लेखकों ने इस "ड्रिफ्ट" को मापने के लिए एक गणितीय उपकरण विकसित किया है (जिसे "U-statistics" और "kernels" कहा जाता है)।
- संरचनात्मक ड्रिफ्ट (Composition Drift): क्या AI ने उन्हीं उपकरणों का उपयोग किया? (उदाहरण के लिए, क्या उसने हथौड़ा और आरी का उपयोग किया, या हथौड़ा और चम्मच का?)
- क्रम ड्रिफ्ट (Ordering Drift): क्या AI ने चीजों को उसी क्रम में किया? (उदाहरण के लिए, क्या उसने लकड़ी को पेंट करने पहले काटा, या पहले पेंट किया?)
उन्होंने पाया कि AI एजेंट अक्सर सही उपकरण चुनने में अच्छे होते हैं (Composition) लेकिन उन्हें उपयोग करने के क्रम (Ordering) को याद रखने में बहुत खराब होते हैं। यदि आप वातावरण को थोड़ा सा बदलते हैं (जैसे किसी फ़ाइल का नाम बदलना या डेटाबेस कॉलम बदलना), तो AI सही उपकरण तो चुन सकता है लेकिन उनका उपयोग गलत क्रम में कर सकता है, जिससे पूरी योजना ध्वस्त हो सकती है।
5. "टाइम ट्रैवल" निदान (The "Time Travel" Diagnosis)
पेपर एक चतुर तरीका भी पेश करता है जिससे यह देखा जा सके कि AI कब गलती करता है।
- शुरुआती त्रुटियां (Front-loaded errors): AI शुरुआत में ही भ्रमित हो जाता है।
- अंतिम त्रुटियां (Back-loaded errors): AI शुरुआत में ठीक चलता है लेकिन अंत में अपनी सोच खो देता है।
उन्होंने पाया कि कुछ AI एजेंट शुरुआत में काफी स्थिर होते हैं लेकिन अंत में बिखर जाते हैं। यह एक ऐसे छात्र की तरह है जो निबंध में एक शानदार प्रस्तावना लिखता है लेकिन निष्कर्ष लिखना ही भूल जाता है। उनका नया "वेटेड" (weighted) टेस्ट इस विशिष्ट कमजोरी को पकड़ सकता है, जबकि पुराने परीक्षण केवल यह कहेंगे कि "निबंध विफल रहा" बिना यह बताए कि क्यों।
6. "विकृत आउटपुट" का आश्चर्य (The "Malformed Output" Surprise)
एक विशिष्ट प्रयोग में, उन्होंने एक AI को अलग प्रारूप (JSON के बजाय XML) में डेटा आउटपुट करने के लिए कहा। AI ने केवल गलत उत्तर ही नहीं दिया; बल्कि वह पूरी तरह से टूट गया, और ऐसा कचरा (gibberish) पैदा किया जिसे पढ़ा ही नहीं जा सकता था। इससे पता चला कि AI खराब "तर्क" (reasoning) नहीं कर रहा था; बल्कि वह एक प्रारूप (JSON) के प्रति अत्यधिक पक्षपाती था और बदलाव को संभाल नहीं सका।
सारांश
पेपर का दावा है कि निरंतरता (consistency) एक मापने योग्य, परीक्षण योग्य गुण है जो वर्तमान में AI मूल्यांकन में गायब है।
- पुराना तरीका: "क्या इसने सही उत्तर दिया?" (हाँ/नहीं)
- नया तरीका: "यदि हम एक ही प्रश्न को 100 अलग-अलग तरीकों से 100 बार पूछते हैं, तो क्या यह एक ही रास्ता अपनाता है और एक ही परिणाम देता है?"
वे सिद्ध करते हैं कि कई AI एजेंट "भंगुर" (brittle) हैं। वे एक मानक परीक्षण पर स्मार्ट लग सकते हैं, लेकिन यदि आप प्रॉम्प्ट में थोड़ा सा बदलाव करते हैं, तो उनका आंतरिक तर्क बिखर जाता है। उनका नया ढांचा डेवलपर्स को वे गणितीय उपकरण देता है जिससे वे ठीक से जान सकें कि AI कहाँ और क्यों टूटता है, ताकि वे स्वास्थ्य सेवा या वित्त जैसे उच्च-जोखिम वाले क्षेत्रों में तैनात करने से पहले इसके आर्किटेक्चर को ठीक कर सकें।
संक्षेप में: केवल इसलिए कि AI ने एक बार सही उत्तर दे दिया है, उस पर भरोसा न करें। सुनिश्चित करें कि जब आप अपने प्रश्न का फॉन्ट बदल दें, तो वह घबरा न जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।