The Loss Floor of Denoising Score Matching: Fisher Geometry from Schrödinger Bridges

पिछले कुछ वर्षों में, एक नए प्रकार की कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) उभरी है जो सरल टेक्स्ट विवरणों से आश्चर्यजनक रूप से यथार्थवादी चित्र, वीडियो और ध्वनियाँ बना सकती है। डिफ्यूजन मॉडल के रूप में ज्ञात ये सिस्टम, क्रमिक विनाश की प्रक्रिया को उलटने (रिवर्स करने) को सीखकर काम करते हैं। कल्पना कीजिए कि आप एक स्पष्ट तस्वीर ले रहे हैं और उसमें धीरे-धीरे स्टैटिक शोर (static noise) जोड़ रहे हैं जब तक कि वह एक दानेदार, अपरिचित ढेर में न बदल जाए। एक डिफ्यूज़ मॉडल इसके विपरीत सीखना सीखता है: शुद्ध शोर से शुरू करके, यह सीखता है कि कैसे धीरे-धीरे स्टैटिक को हटाया जाए, चरण दर चरण, जब तक कि एक स्पष्ट छवि फिर से प्रकट न हो जाए। ऐसा करने के लिए, मॉडल को यह अनुमान लगाने के लिए प्रशिक्षित किया जाता है कि शोर वाली छवि को स्पष्टता की ओर वापस कैसे धकेला जाए। इस प्रशिक्षण प्रक्रिया एक गणितीय लक्ष्य पर निर्भर करती है जिसे "स्कोर" कहा जाता है, जो अनिवार्य रूप से उस दिशा की ओर संकेत करता है जहाँ स्वच्छ डेटा स्थित है। वर्षों से, शोधकर्ताओं ने मॉडल को यह कौशल सिखाने के लिए एक मानक पद्धति का उपयोग किया है, यह मानते हुए कि यदि मॉडल औसत रूप से सही दिशा का अनुमान लगाना सीख लेता है, तो वह अंततः नई छवियां उत्पन्न करने के कार्य में महारत हासिल कर लेगा।

हालाँकि, एक नया अध्ययन प्रकट करता है कि इस मानक प्रशिक्षण पद्धति में एक छिपा हुआ, अपरिहार्य खर्च (cost) है जिसे अनदेखा किया गया है। शोधकर्ताओं ने पाया कि वह लक्ष्य जिसे मॉडल सीखने की कोशिश कर रहा है, वह एक एकल, स्थिर दिशा नहीं है, बल्कि एक यादृच्छिक चर (random variable) है जो हर बार बदल जाता है जब मॉडल एक शोर वाली छवि को देखता है। क्योंकि मॉडल को इस बदलते लक्ष्य का अनुमान लगाने के लिए मजबूर किया जाता है, इसलिए प्रशिक्षण प्रक्रिया में हमेशा त्रुटि की एक आधारभूत मात्रा शामिल होती है जिसे बेहतर सीखने या अधिक शक्तिशाली हार्डवेयर द्वारा कभी समाप्त नहीं किया जा सकता। यह त्रुटि मॉडल के डिज़ाइन में कोई दोष नहीं है; यह उस गणित का एक अंतर्निहित गुण है जिसका उपयोग इसे सिखाने के लिए किया जाता है। अध्ययन इस अपरिहार्य त्रुटि को डेटा के 'फिशर-राओ मेट्रिक' (Fisher–Rao metric) के 'ट्रेस' के रूप में पहचानता है, जो यह मापता है कि शोर जोड़ने पर मूल छवि के बारे में कितनी जानकारी खो जाती है। इस छिपे हुए खर्च को अलग करके, शोधकर्ताओं ने दिखाया है कि विभिन्न मॉडलों के कच्चे प्रशिक्षण स्कोर (raw training scores) की तुलना करना भ्रामक हो सकता है, क्योंकि स्कोर इस बात पर बहुत अधिक निर्भर करता है कि शोर कैसे जोड़ा गया था, न कि इस पर कि मॉडल कितना अच्छा है।

इस खोज का मूल तत्व यह समझने में निहित है कि मॉडल को क्या जानने की आवश्यकता है और वास्तव में उससे क्या सीखने के लिए कहा जा रहा है। मॉडल के लिए आदर्श लक्ष्य उस औसत दिशा को सीखना है जो उन सभी संभावित स्वच्छ छवियों की ओर संकेत करती है जो एक विशिष्ट शोर वाली अवस्था को उत्पन्न कर सकती थीं। यह औसत दिशा डेटा वितरण का वास्तविक "स्कोर" है। हालाँकि, व्यवहार में, इस औसत की गणना करना असंभव है। इसके बजाय, प्रशिक्षण प्रक्रिया मॉडल को एक एकल, यादृच्छिक स्वच्छ छवि के आधार पर दिशा का अनुमान लगाने के लिए कहती है जिसका उपयोग शोर बनाने के लिए किया गया था। जबकि कई प्रयासों में यह अनुमान औसत रूप से सही होता है, कोई भी एकल अनुमान शोर भरा और अनिश्चित होता है। अध्ययन यह सिद्ध करता है कि इन यादृच्छिक अनुमानों का उपयोग करने से उत्पन्न होने वाली अतिरिक्त त्रुटि ठीक उतनी ही है जितनी कि 'कंडीशनल एंडपॉइंट फैमिली' के फिशर-राओ मेट्रिक का ट्रेस है। सरल शब्दों में, यह इस बात का माप है कि शोर वाली छवि हमें उस विशिष्ट स्वच्छ छवि के बारे में कितनी जानकारी देती है जिससे वह आई है। जैसे-जैसे शोर बढ़ता है, यह जानकारी फीकी पड़ती जाती है, और अध्ययन दिखाता है कि कुल प्रशिक्षण त्रुटि ठीक उसी दर पर संचित होती है जिस दर पर यह जानकारी लुप्त होती है।

यह खोज इन शक्तिशाली एआई सिस्टम के प्रशिक्षण को देखने के हमारे नजरिए को बदल देती है। शोधकर्ताओं ने प्रदर्शित किया कि रिपोर्ट की गई कुल त्रुटि वास्तव में दो अलग-अलग भागों का योग है: वह त्रुटि जिसे मॉडल बेहतर सीखकर वास्तव में ठीक कर सकता है, और वह अपरिहार्य त्रुटि जो प्रशिक्षण लक्ष्य की यादृच्छिकता के कारण होती है। इस अपरिहार्य भाग को, जिसे वे "लॉस फ्लोर" (loss floor) कहते हैं, डेटा और प्रशिक्षण के दौरान उपयोग किए गए शोर के शेड्यूल पर निर्भर करता है, न कि स्वयं मॉडल पर। फलस्वरूप, यदि दो मॉडलों को अलग-अलग शोर शेड्यूल या शोर की अलग-अलग श्रेणियों के साथ प्रशिक्षित किया जाता है, तो उनके कच्चे प्रशिक्षण स्कोर की सीधे तुलना नहीं की जा सकती। एक मॉडल जिसे शोर की विस्तृत श्रृंखला के साथ प्रशिक्षित किया गया है, वह केवल इसलिए उच्च त्रुटि वाला दिखाई दे सकता है क्योंकि उसे एक बड़ा "फ्लोर" खर्च उठाना पड़ता है, भले ही वह वास्तव में एक बेहतर मॉडल हो। अध्ययन इस छिपे हुए खर्च को घटाने का एक तरीका प्रदान करता है, जिससे मॉडल के वास्तविक प्रदर्शन का पता चलता है। परीक्षणों में, इस फ्लोर को हटाने से मॉडलों की रैंकिंग सुधर गई, जिससे यह स्पष्ट हुआ कि बेहतर मॉडल वास्तव में बेहतर था, एक तथ्य जो प्रशिक्षण प्रक्रिया के गणितीय शोर के कारण पहले अस्पष्ट था।

शोध इस प्रशिक्षण त्रुटि को डेटा की मौलिक ज्यामिति (geometry) से भी जोड़ता है। अध्ययन दिखाता है कि अपरिहार्य त्रुटि उस स्थान के आकार से संबंधित है जहाँ डेटा स्थित है। उदाहरण के लिए, यदि डेटा उच्च-आयामी स्थान के भीतर निचले-आयामी सतह पर स्थित छवियों का समूह है, तो त्रुटि बढ़ने की दर उस सतह की विमा (dimensionality) को प्रकट करती है। इसका अर्थ है कि प्रशिक्षण प्रक्रिया में स्वयं डेटा की जटिलता का एक अंतर्निहित माप शामिल है। इसके अलावा, अध्ययन स्पष्ट करता है कि जिस तरह से हम शोर को शेड्यूल करते हैं—कि हम इसे कितनी तेजी से जोड़ते हैं और विभिन्न चरणों को कितना भार देते हैं—वह इस कुल अपरिहार्य त्रुटि की मात्रा को नहीं बदलता है। यह केवल इस बात को बदलता है कि त्रुटि पथ के किस हिस्से में होती है। यह सुझाव देता है कि हालांकि हम प्रशिक्षण प्रक्रिया को अधिक कुशल बनाने के लिए इसे पुनर्व्यवस्थित कर सकते हैं, लेकिन हम शोर वाले डेटा से सीखने के मौलिक खर्च को समाप्त नहीं कर सकते।

इस कार्य का एक सबसे व्यावहारिक निहितार्थ विभिन्न एआई मॉडलों का मूल्यांकन और तुलना करने का एक नया तरीका है। लेखक दिखाते हैं कि इस छिपे हुए फ्लोर की गणना करके और इसे घटाकर, शोधकर्ता इस बात का वास्तविक माप प्राप्त कर सकते हैं कि एक मॉडल कितनी अच्छी तरह सीख रहा है। उन्होंने इसे सिंथेटिक डेटा पर परखा जहाँ मॉडलों की गुणवत्ता पहले से ज्ञात थी। कच्चे प्रशिक्षण नंबरों को देखते समय, मॉडलों की रैंकिंग कभी-कभी उलट जाती थी, जिससे एक खराब मॉडल, शोर शेड्यूल के कारण एक अच्छे मॉडल से बेहतर दिखने लगता था। एक बार फ्लोर को घटाने के बाद, सही रैंकिंग बहाल हो गई। यह सुझाव देता है कि प्रशिक्षण प्रगति की रिपोर्ट करने का वर्तमान मानक अधूरा है और भविष्य की तुलनाओं में इस ज्यामितीय लागत को ध्यान में रखा जाना चाहिए। अध्ययन किसी नए प्रशिक्षण एल्गोरिदम या छवि उत्पन्न करने के नए तरीके का प्रस्ताव नहीं करता है, बल्कि मौजूदा प्रणालियों की एक स्पष्ट समझ प्रदान करता है। यह प्रशिक्षण प्रक्रिया की एक छिपी हुई परत को उजागर करता है जो हमेशा से वहां थी, मापने की प्रतीक्षा कर रही थी।

शोधकर्ताओं ने यह भी पता लगाया कि यह अवधारणा अन्य प्रकार के डेटा, जैसे कि टेक्स्ट (पाठ), पर कैसे लागू होती है, जहाँ प्रक्रिया शब्दों को मास्क करने (छिपाने) से जुड़ी है न कि गॉसियन शोर जोड़ने से। उन्होंने पाया कि वहां भी एक समान छिपा हुआ खर्च मौजूद है, जो डेटा की एंट्रॉपी (entropy) या अनिश्चितता से जुड़ा है। यह इंगित करता है कि यह सिद्धांत विभिन्न प्रकार के जनरेटिव मॉडलों में सार्वभौमिक है। अध्ययन निष्कर्ष निकालता है कि डेटा की ज्यामिति, सूचना का प्रवाह और प्रशिक्षण उद्देश्य, ये सभी एक ही अंतर्निहित वास्तविकता के अलग-अलग विवरण हैं। "लॉस फ्लोर" कोई बग नहीं है जिसे ठीक किया जाना चाहिए, बल्कि सूचना के ब्रह्मांड की एक विशेषता है जिसे स्वीकार किया जाना चाहिए। मॉडल की सीखने की क्षमता को प्रशिक्षण पद्धति के अपरिहार्य खर्च से अलग करके, हम इन कृत्रिम बुद्धिमत्ता प्रणालियों के वास्तव में क्या हासिल करने में सक्षम होने की अधिक ईमानदार और सटीक तस्वीर प्राप्त करते हैं।