Prior laundering: learned priors with inherited, undetectable overconfidence
यह शोध पत्र चेतावनी देता है कि जनरेटिव प्रायर्स (generative priors) के लिए प्रशिक्षण डेटा के रूप में लीगेसी रिकंस्ट्रक्शंस (legacy reconstructions) का उपयोग करना—एक ऐसी प्रक्रिया जिसे "प्रायर लॉन्ड्रिंग" (prior laundering) कहा जाता है—इल-पोस्ड इनवर्स प्रॉब्लम्स (ill-posed inverse problems) में न पकड़ में आने वाले अति-आत्मविश्वास और खराब अनिश्चितता परिमाणीकरण (uncertainty quantification) की ओर ले जाता है क्योंकि मॉडल वास्तविक डेटा से सीखने के बजाय आर्काइव के पूर्वाग्रहों को विरासत में प्राप्त करता है और उन्हें बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अदृश्य मानचित्र का रहस्य
कल्पना कीजिए कि आप एक अपराध को सुलझाने की कोशिश कर रहे एक जासूस हैं, लेकिन आपके पास केवल घटनास्थल की एक धुंधली, अधूरी तस्वीर है। आप भौतिकी के नियमों (प्रकाश कैसे मुड़ता है, ध्वनि कैसे चलती है) को जानते हैं, लेकिन फोटो में जानकारी के बड़े हिस्से गायब हैं। इन रिक्त स्थानों को भरने के लिए, आपको एक "प्रायर" (prior) की आवश्यकता है—यानी शिक्षित अनुमानों का एक सेट कि गायब हिस्से आमतौर पर कैसे दिखते हैं। विज्ञान की दुनिया में, इसे इनवर्स प्रॉब्लम (inverse problem) कहा जाता है: एक अस्त-व्यस्त परिणाम से पीछे की ओर काम करके मूल कारण का पता लगाना।
दशकों तक, वैज्ञानिकों ने इन अनुमानों के लिए हाथ से बनाए गए नियमों का उपयोग किया, जैसे कि "मान लें कि छवि चिकनी है" या "मान लें कि वस्तु सरल है।" लेकिन हाल ही में, उन्होंने इन नियमों को सीखने के लिए AI का उपयोग करना शुरू कर दिया है। AI पिछले हजारों समाधानों को देखता है और सीखता है कि एक "तर्कसंगत" उत्तर कैसा दिखता है, जिससे एक जेनरेटिव प्रायर (generative prior) बनता है। यह एक शक्तिशाली उपकरण है, लेकिन इसमें एक पेंच है: AI को प्रशिक्षित करने के लिए, आपको वास्तविक उत्तर (जिसे "ग्राउंड ट्रुथ" कहा जाता है) जानने की आवश्यकता होती है। भूकंप विज्ञान (पृथ्वी के भीतर देखना) या मेडिकल इमेजिंग (मानव शरीर के भीतर देखना) जैसे क्षेत्रों में, वास्तविक उत्तर लगभग कभी उपलब्ध नहीं होता। आप बिना किसी आक्रामक सर्जरी के जमीन के नीचे चट्टानों की सटीक परतें या रोगी के भीतर के स्वस्थ ऊतकों को नहीं देख सकते।
तो, वैज्ञानिक क्या करते हैं? वे थोड़ा "चीटिंग" करते हैं, या कम से कम उन्हें ऐसा लगता है। वे पिछले तरीकों द्वारा किए गए पुराने अनुमानों को लेते हैं, उन्हें ऐसे व्यवहार करते हैं जैसे कि वे सत्य हों, और फिर अपने नए AI को उन पर प्रशिक्षित करते हैं। यह शोध पत्र इस प्रक्रिया को "प्रायर लॉन्ड्रिंग" (prior laundering) कहता है। यह एक पहले के कलाकार द्वारा बनाए गए स्केच को लेने, उसे एक मशीन में धोने ताकि वह फोटोग्राफ जैसा दिखने लगे, और फिर यह दावा करने जैसा है कि नया फोटो वास्तविक डेटा पर आधारित है। बड़ा सवाल यह है: क्या यह चाल काम करती है, या यह एक खतरनाक रहस्य को छिपाती है?
लॉन्ड्री साइकिल: कैसे एक "साफ" AI गंदा होता है
"प्रायर लॉन्ड्रिंग: लेर्नड प्रायर्स विद इनहेरिटेड, अनडिटेक्टेबल ओवरकॉन्फिडेंस" नामक यह शोध पत्र इस बात की जांच करता है कि जब आप अपने नए AI को वास्तविक सत्यों के बजाय इन "लेगेसी" (विरासत में मिले) पुनर्निर्माणों पर प्रशिक्षित करते हैं, तो वास्तव में क्या होता है। लेखक, अली सियाकोही और सिना अलेमोहमद ने एक परेशान करने वाली घटना की खोज की: AI न केवल डेटा से सीखता है; बल्कि वह उस पुराने तरीके के अंधे मोड़ों (blind spots) और झूठी धारणाओं (false confidence) को भी विरासत में प्राप्त करता है जिस पर उसे प्रशिक्षित किया गया था।
यहाँ समस्या का मूल, एक सरल उपमा के माध्यम से समझाया गया है:
कल्पना कीजिए कि आप एक सीलबंद बॉक्स की सामग्री का अनुमान लगाने की कोशिश कर रहे हैं। आप इसे हिला सकते हैं और कुछ खड़खड़ाने की आवाज सुन सकते हैं (यह मापन/measurements है)।
- सुलझे हुए दिशाएँ (The Resolved Directions): यदि बॉक्स के अंदर एक ढीला सिक्का है, तो आप उसे स्पष्ट रूप से सुन सकते हैं। डेटा आपको बताता है कि सिक्का ठीक कहाँ है।
- अंधे मोड़ (The Blind Directions): लेकिन उस बॉक्स में सीसे (lead) का एक भारी, शांत ब्लॉक भी है जो बिल्कुल भी खड़खड़ाता नहीं है। आप बॉक्स को कितनी भी जोर से हिला लें, डेटा आपको उस सीसे के ब्लॉक के बारे में कुछ भी नहीं बताता।
एक आदर्श दुनिया में, जब डेटा शांत होता है, तो आपको कहना चाहिए, "मुझे नहीं पता कि सीसे का ब्लॉक कैसा दिखता है; यह कुछ भी हो सकता है।" लेकिन यहीं पर "लॉन्ड्रिंग" होती है।
वैज्ञानिकों ने अपने AI को पुराने अनुमानों के संग्रह पर प्रशिक्षित किया। उन पुराने अनुमानों में, उन्हें बनाने वाले लोगों ने एक नियम (एक रेगुलराइज़र) का उपयोग किया था जो यह मानता था कि वह शांत सीसे का ब्लॉक हमेशा एक चिकना, पूर्ण घन (cube) होता है। क्योंकि डेटा इस बात का खंडन नहीं कर सकता था (चूंकि सीसा शांत था), पुराने अनुमानों में हमेशा एक चिकना घन दिखाई देता था।
जब नए AI को इन पुराने अनुमानों पर प्रशिक्षित किया गया, तो उसने एक बहुत ही विशिष्ट सबक सीखा: "जब डेटा शांत होता है, तो उत्तर एक चिकना घन होता है।" AI ने यह नहीं सीखा कि बॉक्स को हिलाने से क्या हुआ (डेटा); उसने इसे पुराने स्केच (संग्रह) से सीखा।
निश्चितता का खतरनाक भ्रम
शोध पत्र पाता है कि इससे अदृश्य अति-आत्मविश्वास (undetectable overconfidence) पैदा होता है।
जब AI को एक नई समस्या को हल करने के लिए तैनात किया जाता है, तो वह डेटा के शांत हिस्सों को देखता है और आत्मविश्वास से रिपोर्ट करता है, "मुझे 99% यकीन है कि सीसे का ब्लॉक एक चिकना घन है!" वह अपने अनुमान के चारों ओर एक बहुत ही संकीकर, कड़ा घेरा बनाता है। सांख्यिकी में, इसे क्रेडिबल इंटरवल (credible interval) कहा जाता है। यदि अंतराल बहुत संकीर्ण है, तो AI "ओवरकॉन्फिडेंट" (अति-आत्मविश्वासी) है।
डरावनी बात यह है कि कोई भी यह नहीं बता सकता कि AI झूठ बोल रहा है।
- डेटा चेक विफल हो जाता है: यदि आप AI के उत्तर की जांच बॉक्स को हिलाने के विरुद्ध करते हैं, तो यह पास हो जाता है। AI का अनुमान आवाज के साथ पूरी तरह फिट बैठता है क्योंकि आवाज सीसे के ब्लॉक की परवाह नहीं करती।
- सेल्फ-चेक विफल हो जाता है: वैज्ञानिक अक्सर यह देखने के लिए सिमुलेशन-बेस्ड कैलिब्रेशन नामक परीक्षण का उपयोग करते हैं कि क्या उनका AI ईमानदार है। वे AI से अनुमान लगाने को कहते हैं, फिर देखते हैं कि क्या सत्य AI के विश्वास घेरे के भीतर आता है। लेकिन क्योंकि AI को पुराने "स्मूथ क्यूब" नियम पर प्रशिक्षित किया गया था, इसलिए यह अपने स्वयं के प्रशिक्षण के साथ पूरी तरह सुसंगत है। यह हर बार परीक्षण पास कर लेता है, भले ही वह शांत हिस्सों के बारे में आत्मविश्वास से गलत हो।
यह शोध पत्र गणितीय रूप से सिद्ध करता है कि इन "अंधे मोड़ों" पर, AI की अनिश्चितता स्थिर (frozen) हो जाती है। यह ठीक उसी तरह है जैसा कि वह पुराना, हाथ से बना नियम था जिस पर इसे प्रशिक्षित किया गया था। यदि पुराना नियम बहुत संकीर्ण (बहुत आत्मविश्वासी) था, तो नया AI भी बहुत संकीर्ण है। यदि पुराना नियम गलत था, तो नया AI भी गलत है। डेटा इसे ठीक नहीं कर सकता क्योंकि डेटा ने उन हिस्सों को कभी "देखा" ही नहीं था।
"सिंगल-बेस्ट" का जाल
स्थिति तब और भी खराब हो जाती है जब "सिंगल-बेस्ट क्यूरेशन" नामक एक सामान्य अभ्यास का उपयोग किया जाता है। अक्सर, संग्रह केवल संभावनाओं की एक सीमा (एक "बादल" जैसा अनुमान) संग्रहीत नहीं करते हैं; वे केवल एक सबसे अच्छा अनुमान (मैक्सिमम ए पोस्टीरिओरी या MAP अनुमान) संग्रहीत करते हैं।
शोध पत्र दिखाता है कि यदि आप इन एकल, पूर्ण दिखने वाले चित्रों पर एक AI को प्रशिक्षित करते हैं, तो अंधे मोड़ों पर AI का आत्मविश्वास शून्य चौड़ाई तक गिर जाता है। यह पूरी तरह से निश्चित हो जाता है। यह कहता है, "मुझे 100% यकीन है कि सीसे का ब्लॉक एक चिकना घन है।"
वास्तविकता में, सीसे का ब्लॉक एक गोला, एक पिरामिड या एक ऊबड़-खाबड़ चट्टान हो सकता है। लेकिन क्योंकि संग्रह में केवल एक ही घन दिखाया गया था, इसलिए AI को लगता है कि घन ही एकमात्र संभावना है। शोध पत्र दर्शाता है कि यह शून्य कवरेज (zero coverage) की ओर ले जाता है: यदि आप एक परीक्षण चलाते हैं, तो वास्तविक उत्तर लगभग कभी भी AI के छोटे, आत्मविश्वासी घेरे के भीतर नहीं आएगा।
प्रयोगों ने क्या दिखाया
यह साबित करने के लिए कि यह केवल कागज पर गणित नहीं था, लेखकों ने दो वास्तविक दुनिया के परिदृश्यों पर सिमुलेशन चलाए:
- सीस्मिक इमेजिंग (Seismic Imaging): भूमिगत चट्टानों की परतों को देखना। उन्होंने पुराने "माइग्रेटेड" चित्रों पर एक AI को प्रशिक्षित किया। परिणाम? AI उन गहरे, अंधे हिस्सों के बारे में अविश्वसनीय रूप से आत्मविश्वासी था जहाँ प्रकाश (डेटा) कमजोर था। इसने अनिश्चितता के बहुत संकीर्ण बैंड बनाए जो बहुत छोटे थे। "सत्य" (जिसे उन्होंने परीक्षण के लिए बनाया था) अक्सर इन बैंडों के बाहर था।
- भूजल प्रवाह (Groundwater Flow): भूमिगत पानी का मानचित्रण करना। उन्होंने एक अलग प्रकार के AI (नॉर्मलाइजिंग फ्लो) का उपयोग किया जिसे पुराने "बेस्ट गेस" मानचित्रों पर प्रशिक्षित किया गया था। फिर से, AI अंधे मोड़ों में अति-आत्मविश्वासी था, और वहां शून्य अनिश्चितता रिपोर्ट कर रहा था जहां बड़ी अनिश्चितता होनी चाहिए थी।
दोनों मामलों में, "सत्य" (नियंत्रण समूह) पर प्रशिक्षित AI बहुत अधिक ईमानदार था। इसने स्वीकार किया कि वह नहीं जानता, और व्यापक, धुंधले बैंड दिखाए। हालाँकि, "लॉन्ड्रर्ड" (धोया हुआ) AI अधिक स्पष्ट और आत्मविश्वासी दिखता था, लेकिन वह एक निश्चितता का मतिभ्रम (hallucination of certainty) था।
निष्कर्ष: सबसे साफ छवि पर भरोसा न करें
शोध पत्र निष्कर्ष निकालता है कि प्रायर लॉन्ड्रिंग एक संरचनात्मक दोष पैदा करती है जो मानक जाँचों के लिए अदृश्य है। AI पुराने तरीके के "अंध विश्वास" को विरासत में प्राप्त करता है।
लेखक एक सरल, व्यावहारिक समाधान का सुझाव देते हैं: जो डेटा वास्तव में देखता है, उसे रिपोर्ट करें।
AI की अनिश्चितता पर भरोसा करने से पहले, वैज्ञानिकों को यह गणना करनी चाहिए कि छवि के कौन से हिस्से डेटा वास्तव में हल कर सकता है ("रिजॉल्व्ड सबस्पेस") और कौन से हिस्से अंधे हैं। उन्हें अंधे हिस्सों के लिए आत्मविश्वास को "पाइपलाइन से विरासत में मिला" के रूप में रिपोर्ट करना चाहिए, न कि "डेटा द्वारा समर्थित" के रूप में।
यदि आप भूमिगत मानचित्र या रोगी का स्कैन देख रहे हैं, और AI कहता है, "मुझे इस अंधे, धुंधले कोने के बारे में 100% यकीन है," तो आपको संदिग्ध होना चाहिए। वह आत्मविश्वास डेटा से नहीं आया; वह लॉन्ड्रिंग से आया है। डेटा चुप था, और AI ने बस पुराने अनुमान को एक नई, चमकदार चमक के साथ दोहरा दिया।
शोध पत्र यह नहीं कहता कि हमें AI का उपयोग करना बंद कर देना चाहिए। यह कहता है कि हमें यह मानना बंद करना होगा कि पुराने अनुमानों पर प्रशिक्षण देने से AI उन शांत कोनों में "डेटा-संचालित" बन जाता है। डेटा की एक सीमा होती है, और जब डेटा बोलना बंद कर देता है, तो AI का आत्मविश्वास अतीत का केवल एक भूत होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।