Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact
यह शोध पत्र "स्ट्रक्चरल एब्स्टेंशन" (structural abstention) का प्रस्ताव करता है, जो एआई प्रणालियों के लिए एक आर्किटेक्चरल पैटर्न है जो एक जनरेटिव शेल (generative shell) को एक डिटरमिनिस्टिक कर्नेल (deterministic kernel) से अलग करता है ताकि यह सुनिश्चित किया जा सके कि अनुत्तरित या अस्पष्ट अनुरोधों को भ्रमित करने (hallucinate) के बजाय स्पष्ट रूप से अस्वीकार कर दिया जाए, जिससे एंटरप्राइज और एजेंटिक डिप्लॉयमेंट में तथ्यात्मक विश्वसनीयता की गारंटी मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भरोसे का जाल: जब AI बहुत सहजता से झूठ बोलता है
कल्पना कीजिए कि आप अपने होमवर्क में मदद के लिए एक बहुत बुद्धिमान, बहुत बातूनी रोबोट से कुछ पूछ रहे हैं। आप पूछते हैं, "हमारे सौर मंडल में कितने ग्रह हैं?" रोबोट तुरंत जवाब देता है, "प्लूटो सहित नौ ग्रह हैं!" यह सुनने में आत्मविश्वास से भरा लगता है, व्याकरण एकदम सही है, और लहजा दोस्ताना है। लेकिन आप जानते हैं कि प्लूटो अब ग्रह नहीं रहा। समस्या यह नहीं है कि रोबोट मूर्ख है; समस्या यह है कि वह सही दिखने में बहुत माहिर है। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) के मामले में, यह एक खतरनाक जाल है। ये मॉडल इस बात का अनुमान लगाने में बहुत अच्छे हैं कि अगला शब्द क्या होना चाहिए, लेकिन वे गणित करने या तथ्यों की जांच करने में बहुत खराब हैं। जब वे किसी सवाल का गलत जवाब देते हैं, तो वे यह नहीं कहते, "मुझे नहीं पता।" इसके बजाय, वे एक "हैलुसिनेशन" (hallucination)—एक बनावटी उत्तर—पैदा करते हैं जो इतना सुरीला और आत्मविश्वासी लगता है कि आप उस पर विश्वास कर सकते हैं।
यह व्यवसायों और उन टूल्स के लिए एक बड़ी समस्या है जो डेटा पर निर्भर करते हैं। यदि एक रोबोट स्टोर मैनेजर को बताता है, "हमने 500 यूनिट बेचीं," लेकिन वास्तविक संख्या 400 है, तो मैनेजर उस झूठ के आधार पर गलत निर्णय ले सकता है। डरावनी बात यह है कि वह झूठ बिल्कुल सच जैसा दिखता है। आप केवल वाक्य पढ़कर अंतर नहीं कर सकते। वैज्ञानिक और इंजीनियर रोबोट को अधिक स्मार्ट या अधिक सावधान बनाकर इसे ठीक करने की कोशिश कर रहे हैं, लेकिन यह पेपर तर्क देता है कि असली समाधान रोबोट को बेहतर अनुमान लगाने में सक्षम बनाना नहीं है; बल्कि रोबोट को नंबरों का अनुमान लगाने से रोकना है।
कभी भी नंबर नहीं: "ट्रस्टेड कर्नल" (Trusted Kernel) समाधान
यह पेपर AI सिस्टम बनाने का एक चतुर नया तरीका पेश करता है जो डेटा (जैसे बिक्री रिपोर्ट या अस्पताल के बेड की संख्या) को संभालते हैं। लेखक इस दृष्टिकोण को "स्ट्रक्चरल एब्स्टेंशन" (Structural Abstention) कहते हैं। यह एक फैंसी तरीका है यह कहने का: "यदि आप गणित के बारे में 100% सुनिश्चित नहीं हैं, तो उसे करने की कोशिश भी न करें।"
इसे समझने के लिए, एक उच्च श्रेणी के रेस्टोरेंट के किचन की कल्पना करें।
- जेनरेटिव शेल (वेटर): यह सिस्टम का मैत्रीपूर्ण, बातूनी हिस्सा है। यह आपसे बात करता है, आपके उलझे हुए सवालों को समझता है, और यह पता लगाता है कि आप वास्तव में क्या चाहते हैं। यदि आप कहते हैं, "मुझे पिछले हफ्ते के लाल सामान के बारे में जानना है," तो वेटर उस आदेश को एक विशिष्ट विवरण में बदल देता है: "ग्राहक को 'पिछले सप्ताह' के 'लाल सेब' की बिक्री के आंकड़े चाहिए।" वेटर को रचनात्मक होने, गलतियाँ करने और स्पष्टीकरण मांगने की अनुमति है। यदि वेटर ऑर्डर गलत समझ लेता है, तो आप बस उन्हें सुधार सकते हैं, और इससे कोई नुकसान नहीं होता।
- डिटरमिनिस्टिक कर्नल (शेफ): यह सिस्टम का सख्त, नियम मानने वाला हिस्सा है। वेटर ऑर्डर को शेफ को सौंप देता है। शेफ कभी अनुमान नहीं लगाता। शेफ केवल वही व्यंजन बनाता है जो एक पूर्व-अनुमोदित मेनू में हैं। यदि ग्राहक कुछ ऐसा मांगता है जो मेनू में नहीं है (जैसे "चांद से लाल सेब"), तो शेफ कोई नई रेसिपी बनाने की कोशिश नहीं करता। शेफ बस कहता है, "मैं यह नहीं बना सकता।" फिर शेफ एक कैलकुलेटर (डेटाबेस) का उपयोग करके सटीक संख्या की गणना करता है और उसे लिख देता है।
इस प्रणाली का जादुई नियम "पेरिमीटर इनवेरिएंट" (Perimeter Invariant) है। यह कहता है: सिस्टम का वह हिस्सा जो चीजें बना सकता है (वेटर), यह तय कर सकता है कि कौन सा प्रश्न पूछना है, लेकिन वह कभी भी यह तय नहीं कर सकता कि उत्तर क्या होगा। उत्तर हमेशा उस सख्त शेफ से आना चाहिए जो एक निश्चित रेसिपी का पालन करता है।
यह वास्तविक जीवन में कैसे काम करता है
लेखकों ने इस विचार का परीक्षण एक वास्तविक सिस्टम के साथ किया जिसका उपयोग बिक्री प्रबंधकों द्वारा दो वर्षों तक किया गया। यहाँ वह चरण-दर-चरण प्रक्रिया है जिसका उन्होंने उपयोग किया:
- आप पूछते हैं: एक मैनेजर पूछता है, "पिछले मंगलवार को रिवर्टन स्टोर ने कितने फोन बेचे?"
- वेटर (शेल) सुनता है: AI सुनता है। हो सकता कि उसे न पता हो कि "रिवर्टन" का क्या अर्थ है या क्या "पिछले मंगलवार" कंपनी के कैलेंडर में एक वैध तिथि है। इसलिए, वह पूछता है, "क्या आपका मतलब रिवर्टन स्टोर से था, या रिवर्टन क्षेत्र से? और क्या आपका मतलब वित्तीय सप्ताह से था?"
- पुष्टि (Confirmation): एक बार जब AI को लगता है कि वह समझ गया है, तो वह केवल एक नंबर नहीं थमाता। वह कहता है, "ठीक है, मैं गणना करने जा रहा हूँ: वित्तीय सप्ताह के 20 जनवरी के दौरान रिवर्टन स्टोर के लिए फोन की बिक्री। क्या यह सही है?"
- आप 'हाँ' कहते हैं: आप वाक्य पढ़ते हैं। यदि यह सही है, तो आप "हाँ" कहते हैं।
- शेफ (कर्नल) गणना करता है: आपके "हाँ" कहने के बाद ही सिस्टम एक सख्त, पूर्व-लिखित कंप्यूटर कोड चलाता है ताकि संख्या प्राप्त की जा सके। वह अनुमान नहीं लगाता। वह बस डेटा को देखता है और उसे जोड़ता है।
- परिणाम: सिस्टम आपको नंबर देता है। क्योंकि "शेफ" ने कभी अनुमान नहीं लगाया, इसलिए आप जानते हैं कि नंबर वास्तविक है।
क्या होता है जब AI अटक जाता है?
यदि आप ऐसा प्रश्न पूछते हैं जिसे सिस्टम संभाल नहीं सकता—जैसे "हमने एक ऐसे स्टोर में कितनी बिक्री की जो अभी अस्तित्व में ही नहीं आया?"—तो "वेटर" को एहसास होता है कि "शेफ" के पास उसके लिए कोई रेसिपी नहीं है। इसके बजाय, सिस्टम रुक जाता है और कहता है, "मैं इसका उत्तर नहीं दे सकता। यहाँ तीन प्रश्न दिए गए हैं जिनका मैं उत्तर दे सकता हूँ।"
इसे स्ट्रक्चरल एब्स्टेंशन (Structural Abstention) कहा जाता है। सिस्टम उत्तर देने से इनकार कर देता है क्योंकि अनुरोध उसके सख्त नियमों में फिट नहीं बैठता। यह अन्य AI विधियों से अलग है जो आत्मविश्वास स्कोर (जैसे "मैं 80% निश्चित हूँ") का अनुमान लगाने की कोशिश करती हैं और फिर निर्णय लेती हैं कि उत्तर देना है या नहीं। इस सिस्टम को अनुमान लगाने की आवश्यकता नहीं है; यह बस गणित नहीं कर सकता यदि प्रश्न उसके मेनू में फिट नहीं बैठता।
यह क्यों महत्वपूर्ण है
यह पेपर इस "वेटर और शेफ" सिस्टम की तुलना दो अन्य प्रकार के AI से करता है:
- "एंड-टू-एंड" मॉडल: यह एक रोबोट है जो खुद सब कुछ करने की कोशिश करता है। वह सुनता है, उत्तर का अनुमान लगाता है, और कोड लिखता है। यह तेज़ है और कई विषयों को कवर करता है, लेकिन जब यह गलत होता है, तो यह बहुत सहजता से झूठ बोलता है। आप सही उत्तर और गलत उत्तर के बीच अंतर नहीं कर सकते।
- "टूल-यूज़िंग" एजेंट: यह एक रोबोट है जो उत्तर खोजने के लिए टूल्स का उपयोग करता है। यह बेहतर है, लेकिन यह अभी भी भ्रमित हो सकता है कि किस टूल का उपयोग कैसे किया जाए या परिणामों को कैसे जोड़ा जाए।
लेखकों ने पाया कि व्यावसायिक निर्णयों के लिए, "वेटर और शेफ" वाला सिस्टम सबसे सुरक्षित है। भले ही यह कम प्रश्नों के उत्तर दे सकता है (इसका मेनू छोटा है), लेकिन जो उत्तर यह देता है वे भरोसेमंद होते हैं। पेपर नोट करता है कि उनके दो साल के परीक्षण में, उन्होंने एक ऐसा "कर्नल-फर्स्ट" सिस्टम बनाया जो इतना विश्वसनीय था कि इसने अंततः बाद में एक स्मार्ट AI को प्रशिक्षित करने के लिए पर्याप्त डेटा उत्पन्न किया। लेकिन फिर भी, उन्होंने अंतिम नंबर के लिए सख्त नियमों को बनाए रखा।
कमी (The Catch)
यह सिस्टम हर किसी के लिए उपयुक्त नहीं है। यदि आप एक वैज्ञानिक हैं जो एक बिल्कुल नए डेटासेट की खोज कर रहे हैं और आप अजीब, रचनात्मक प्रश्न पूछना चाहते हैं, तो यह सिस्टम बहुत कठोर लग सकता है। यह बहुत बार कहेगा "मैं यह नहीं कर सकता।" लेकिन उन स्थितियों के लिए जहाँ गलत नंबर किसी कंपनी को पैसा नुकसान पहुँचा सकता है या किसी मरीज को चोट पहुँचा सकता है, पेपर का तर्क है कि यह कहना कि "मुझे नहीं पता", यह कहने से कहीं बेहतर है कि "यहाँ एक नकली नंबर है जो असली लगता है।"
संक्षेप में, पेपर सुझाव देता है कि महत्वपूर्ण डेटा के लिए, हमें AI को नंबरों का अनुमान लगाने में अधिक स्मार्ट बनाने की कोशिश करना बंद कर देना चाहिए। इसके बजाय, हमें ऐसे सिस्टम बनाने चाहिए जहाँ AI को केवल प्रश्न पूछने की अनुमति हो, और एक सख्त, गैर-रचनात्मक मशीन ही गणित करने के लिए एकमात्र पात्र हो। यह एक समझौता है: आपको कम उत्तर मिलते हैं, लेकिन जो मिलते हैं वे सच होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।