आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, मशीनें तेजी से उसी सामग्री से सीख रही हैं जो वे स्वयं बनाती हैं। यह चक्र, जिसे 'रिकर्सिव ट्रेनिंग' (पुनरावर्ती प्रशिक्षण) कहा जाता है, तब होता है जब एक मॉडल नया डेटा उत्पन्न करता है, और उस नए डेटा को फिर अगले मॉडल संस्करण को प्रशिक्षित करने के लिए सिस्टम में वापस डाल दिया जाता है। हालांकि यह ज्ञान को अनंत रूप से विस्तारित करने का एक तरीका लग सकता है, वैज्ञानिक लंबे समय से "मॉडल कोलैप्स" (मॉडल पतन) नामक घटना के बारे में चिंतित रहे हैं। इस परिदृश्य में, मशीन वास्तविकता से संपर्क खोने लगती है, धीरे-धीरे उस दुनिया की वास्तविक विविधता को भूल जाती है जिसे समझने के लिए उसे बनाया गया था, और इसके बजाय एक संकीर्ण, विकृत औसत पर केंद्रित हो जाती है। यह चिकित्सा के क्षेत्र में विशेष रूप से खतरनाक है, जहाँ दुर्लभ बीमारियों पर शोध करने या गोपनीयता की रक्षा करने के लिए एआई (AI) सिस्टम का उपयोग सिंथेटिक रोगी रिकॉर्ड बनाने के लिए किया जा रहा है। यदि ये सिंथेटिक रिकॉर्ड त्रुटिपूर्ण हैं, तो उन पर प्रशिक्षित मॉडल खतरनाक गलतियाँ कर सकते हैं, फिर भी इन खामियों को पहचानने के उपकरण अक्सर अस्पष्ट रहे हैं।

नॉर्वे के शोधकर्ताओं की एक टीम ने ठीक इसी बात की जांच करने के लिए हाथ में ली कि जब मशीनें बार-बार मेडिकल डेटा उत्पन्न करती हैं, तो यह गिरावट वास्तव में कैसे होती है। उन्होंने एक विशिष्ट प्रकार की त्रुटि पर ध्यान केंद्रित किया जिसे अक्सर "हैलुसिनेशन" (भ्रम) कहा जाता है, जो मेडिकल रिकॉर्ड के संदर्भ में एक ऐसा रोगी प्रविष्टि है जो असंभव विवरण देती है, जैसे कि किसी व्यक्ति की मृत्यु होने के बाद भी उसे दिल का दौरा पड़ना। शोधकर्ता जानना चाहते थे कि क्या ये स्पष्ट, रिकॉर्ड-स्तरीय त्रुटियाँ मुख्य समस्या थीं, या कुछ अधिक सूक्ष्म कारण था जिसकी वजह से डेटा विफल हो रहा था। यह पता लगाने के लिए, उन्होंने एक बड़े गहन देखभाल इकाई (ICU) डेटाबेस के वास्तविक डेटा का उपयोग करके एक कठोर प्रयोग बनाया। उन्होंने इस वास्तविक डेटा को लिया और चार अलग-अलग प्रकार के एआई जनरेटरों का उपयोग करके नए, सिंथेटिक रोगी रिकॉर्ड बनाए। फिर उन्होंने उन सिंथेटिक रिकॉर्डों को लिया और उनका उपयोग नए मॉडल को प्रशिक्षित करने के लिए किया, इस प्रक्रिया को बीस बार दोहराया, जिससे पीढ़ियों की एक ऐसी श्रृंखला बनी जहाँ प्रत्येक चरण पिछले आउटपुट पर पूरी तरह से निर्भर था।

परिणामों ने एक चौंकाने वाला सच उजागर किया: डेटा इसलिए विफल नहीं हुआ क्योंकि मशीनों ने असंभव रोगियों के बारे में बेतुकी कहानियाँ लिखना शुरू कर दिया था। इसके बजाय, डेटा इसलिए विफल हुआ क्योंकि इसने अपनी विविधता खो दी। जैसे-जैसे पीढ़ियाँ आगे बढ़ीं, सिंथेटिक रिकॉर्ड एक-दूसरे के अधिक समान होते गए, जिससे वास्तविक जीवन में मौजूद लक्षणों और स्थितियों के अनूठे संयोजन मिट गए। शोधकर्ताओं ने पाया कि केवल पांच पीढ़ियों के भीतर, डेटा इतना एकसमान हो गया था कि वह कंप्यूटर को रोगी के परिणामों की भविष्यवाणी करना नहीं सिखा सका, जिससे वह अपने इच्छित उद्देश्य के लिए प्रभावी रूप से बेकार हो गया। मशीनों ने नई, विचित्र त्रुटियाँ पैदा नहीं की थीं; उन्होंने बस कुछ भी नया बनाना बंद कर दिया था। वे एक संकीर्ण, दोहराव वाले पैटर्न में सिमट गए जो सांख्यिकीय रूप से सुरक्षित दिखता था लेकिन चिकित्सकीय रूप से मृत था।

यह निष्कर्ष वैज्ञानिकों और नियामकों द्वारा वर्तमान में त्रुटियों को खोजने के तरीके को चुनौती देता है। अध्ययन ने दिखाया कि "हैलुसिनेशन" को गिनने के लिए उपयोग किए जाने वाले मानक उपकरण—जो यह जाँचते हैं कि क्या कोई विशिष्ट रिकॉर्ड वास्तविक लोगों के डेटाबेस में मौजूद है—भ्रामक थे। ये उपकरण अक्सर कई रिकॉर्डों को त्रुटि के रूप में चिह्नित करते थे क्योंकि वे दुर्लभ या अनदेखे थे, भले ही वे रिकॉर्ड चिकित्सकीय रूप से तर्कसंगत थे। वास्तव में, शोधकर्ताओं ने पाया कि मानक उपकरणों द्वारा "हैलुसिनेशन" के रूप में चिह्नित किए गए रिकॉर्ड अक्सर वे ही थे जो डेटा को जीवित रख रहे थे। वास्तविक विफलता इन उपकरणों के लिए अदृश्य थी: जटिल, परस्पर जुड़े पैटर्न का नुकसान जो मेडिकल डेटा को उपयोगी बनाते हैं। मशीनें झूठ नहीं बोल रही थीं; वे बस उबाऊ होती जा रही थीं, और ऐसा करके, उन्होंने डेटा की भविष्य कहने वाली शक्ति को नष्ट कर दिया।

शोधकर्ताओं ने चार अलग-अलग प्रकार के एआई जनरेटरों का परीक्षण किया यह देखने के लिए कि क्या वे अलग तरह से व्यवहार करते हैं। एक प्रकार का, एक मजबूत 'वेरिएशनल ऑटोएनकोडर' (variational autoencoder), सबसे तेजी से विफल हुआ, जिसने उन रोगियों के बीच अंतर करने की क्षमता पूरी तरह से खो दी जो अस्पताल में दोबारा भर्ती होने वाले थे और जो नहीं होने वाले थे। इसने अपने सभी डेटा को एक एकल, औसत दिखने वाली प्रोफाइल में समेटकर ऐसा किया। अन्य जनरेटरों ने, जैसे कि 'एडवर्सरियल रैंडम फॉरेस्ट' (adversarial random forests) और 'कंडीशनल जेनेरेटिव एडवर्सरियल नेटवर्क' (conditional generative adversarial networks) पर आधारित, अधिक धीरे विफल हुए लेकिन फिर भी उन्होंने परिणामों की भविष्यवाणी करने की क्षमता खो दी। उन्होंने डेटा के चरम मानों (extreme values) की ओर बढ़ने या लक्षणों के नए, अवास्तविक पैटर्न बनाने के माध्यम से ऐसा किया। एक 'डिफ्यूजन मॉडल' (diffusion model), जो एक नया प्रकार का जनरेटर है, अलग तरह से व्यवहार करता है; यह डेटा वितरण के चरम सीमाओं की ओर बढ़ा, ऐसे रिकॉर्ड बनाए जिनमें बहुत उच्च या बहुत कम मान थे जो तकनीकी रूप से संभव थे लेकिन सांख्यिकीय रूप से दुर्लभ थे। विफलता के इन विभिन्न रास्तों के बावजूद, अंत परिणाम वही था: डेटा ने वास्तविक दुनिया का प्रतिनिधित्व करने की क्षमता खो दी।

महत्वपूर्ण रूप से, अध्ययन में पाया गया कि वे "हैलुसिनेशन" जिनकी नियामकों और जनता को चिंता थी—स्पष्ट रूप से असंभव या निरर्थक रिकॉर्ड—वास्तव में बहुत दुर्लभ थे। कई मामलों में, एक प्रतिशत से भी कम सिंथेटिक रिकॉर्ड में ऐसे मान थे जो चिकित्सकीय रूप रूप से असंभव थे। असली खतरा असंभव रिकॉर्ड की उपस्थिति नहीं था, बल्कि विविध, यथार्थवादी रिकॉर्डों की अनुपस्थिति थी। मशीनें काल्पनिक कहानियाँ नहीं बना रही थीं; वे एक ऐसी दुनिया बना रही थीं जो बहुत आदर्श, बहुत औसत और बहुत एकसमान थी ताकि उपयोगी हो सके। यह सुझाव देता है कि सिंथेटिक डेटा में व्यक्तिगत त्रुटियों को पकड़ने पर वर्तमान ध्यान बड़े चित्र को मिस कर रहा है। इन प्रणालियों की सुरक्षा इस बात पर कम निर्भर करती है कि डेटा की एक पंक्ति तथ्यात्मक रूप से सही है या नहीं, और इस बात पर अधिक निर्भर करती है कि पूरा डेटासेट मानवीय अनुभव की समृद्ध, जटिल विविधता को संरक्षित करता है या नहीं।

इस कार्य के निहितार्थ केवल चिकित्सा अनुसंधान तक ही सीमित नहीं हैं। शोधकर्ताओं का तर्क है कि स्ट्रक्चर्ड डेटा (संरचित डेटा) के मामले में "हैलुसिनेशन" शब्द अक्सर गलत शब्द है। टेक्स्ट (पाठ) की दुनिया में, हैलुसिनेशन एक बनावटी तथ्य है। मेडिकल डेटा की दुनिया में, विफलता अक्सर 'फिडेलिटी' (fidelity - सटीकता/निष्ठा) की हानि है, जहाँ डेटा जनसंख्या के वास्तविक वितरण को प्रतिबिंबित करना बंद कर देता है। अध्ययन बताता है कि हमें अपना ध्यान असंभव रिकॉर्डों को गिनने से हटाकर डेटा की विविधता और संरचना को मापने की ओर ले जाने की आवश्यकता है। यदि हम केवल स्पष्ट त्रुटियों की तलाश करेंगे, तो हम उस गुणवत्ता के मौन क्षरण को मिस कर सकते हैं जो डेटा को बेकार बनाता है। शोधकर्ता इस बात पर जोर देते हैं कि स्पष्ट लेबल और 'प्रोवेनेंस' (उत्पत्तिकरण) आवश्यक हैं। हमें जानना चाहिए कि डेटा सिंथेटिक है और हमें इसके पूरे जीवनचक्र के दौरान इसकी गुणवत्ता की निगरानी करनी चाहिए ताकि भविष्य की प्रणालियों के ज्ञान आधार को चुपचाप खराब होने से बचाया जा सके।

अंत में, यह अध्ययन इस धारणा के विरुद्ध एक चेतावनी है कि अधिक डेटा हमेशा बेहतर होता है। जब एआई सिस्टम को बिना किसी सुरक्षा उपायों के अपने स्वयं के आउटपुट पर फीड होने की अनुमति दी जाती है, तो वे आवश्यक रूप से अधिक रचनात्मक या अधिक सटीक नहीं बनते हैं। इसके बजाय, वे अपने स्वयं के बनाए गए लूप में फंसने का जोखिम उठाते हैं, जिससे ऐसा डेटा उत्पन्न होता है जो वास्तविक दिखता है लेकिन जिसने वास्तविकता के सार को खो दिया है। शोधकर्ता निष्कर्ष निकालते हैं कि डेटा की विविधता को बनाए रखना केवल एक तकनीकी आवश्यकता नहीं है बल्कि कृत्रिम बुद्धिमत्ता की विश्वसनीयता के लिए एक मौलिक आवश्यकता है। इसके बिना, सिंथेटिक डेटा का वादा चिकित्सा जैसे क्षेत्रों में क्रांति लाने के बजाय, उन्हीं प्रणालियों द्वारा कमजोर किया जा सकता है जिन्हें इसे बनाने के लिए डिज़ाइन किया गया है। आगे का मार्ग एक नए शब्दावली और नए मेट्रिक्स की मांग करता है जो डेटा के पूरी तरह से ढहने से पहले उसकी विविधता के नुकसान का पता लगा सकें, यह सुनिश्चित करते हुए कि हमारे द्वारा बनाई गई मशीनें उस जटिल, विविध दुनिया को दर्शाती रहें जिसकी वे सेवा करने के लिए बनी हैं।