Fréchet inception distance under finite sampling between real image sets

आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, कंप्यूटर ऐसी छवियां बनाना सीख रहे हैं जो आश्चर्यजनक रूप से वास्तविक लगती हैं। उन लोगों के चित्र बनाने से लेकर जो कभी अस्तित्व में ही नहीं थे, लेकर नए वास्तुशिल्प परिदृश्यों को डिजाइन करने तक, ये सिस्टम कलाकारों और वैज्ञानिकों दोनों के लिए शक्तिशाली उपकरण बनते जा रहे हैं। हालांकि, यह प्रगति एक महत्वपूर्ण प्रश्न खड़ा करती है: हमें कैसे पता चलेगा कि कंप्यूटर अच्छा काम कर रहा है? इसका उत्तर देने के लिए, शोधकर्ता 'फ्रेचेट इनसेप्शन डिस्टेंस' (Fréchet inception distance) नामक एक मानक मापने वाले पैमाने पर भरोसा करते हैं। इस मीट्रिक को चित्रों के दो समूहों की तुलना करने वाले एक परिष्कृत पैमाने के रूप में समझें। यह प्रत्येक छवि को संख्याओं की एक जटिल सूची में बदलकर काम करता है जो इसकी दृश्य विशेषताओं, जैसे कि आकार, बनावट और रंगों का वर्णन करती है। इसके बाद सिस्टम वास्तविक तस्वीरों के एक सेट के औसत संख्यात्मक विवरण और कंप्यूटर द्वारा बनाई गई तस्वीरों के एक सेट के औसत विवरण के बीच की दूरी की गणना करता है। यदि दोनों समूह बहुत समान हैं, तो दूरी कम होती है; यदि वे भिन्न हैं, तो दूरी अधिक होती है। वर्षों से, यह विधि इस बात का निर्णय करने के लिए स्वर्ण मानक रही है कि क्या एक आर्टिफिशियल इंटेलिजेंस सफलतापूर्वक वास्तविकता की नकल कर रहा है।

यूनाइटेड किंगडम की नेशनल फिजिकल लेबोरेटरी और डच एक्सपर्ट सेंटर फॉर स्क्रीनिंग की एक टीम ने इस पैमाने की विश्वसनीयता का परीक्षण करने का निर्णय लिया। उनका लक्ष्य वास्तविक और नकली छवियों की तुलना करना नहीं था, बल्कि यह देखना था कि क्या होता है जब यह पैमाना वास्तविक छवियों के दो समूहों को एक-दूसरे के विरुद्ध मापता है। तार्किक रूप से, यदि आप एक ही दुनिया से वास्तविक तस्वीरों के दो अलग-अलग समूह लेते हैं, तो उनके बीच की दूरी शून्य होनी चाहिए, या कम से कम इतनी कम होनी चाहिए कि उसे नगण्य माना जा सके। यदि यह पैमाना वास्तविक तस्वीरों के दो समूहों के बीच एक बड़ा अंतर दिखाता है, तो यह संकेत देता है कि स्वयं वह उपकरण त्रुटिपूर्ण हो सकता है। इसकी जांच करने के लिए, शोधकर्ताओं ने सरल हस्तलिखित अंकों और सामान्य वस्तुओं से लेकर त्वचा के घावों और मैमोग्राम जैसे जटिल मेडिकल स्कैन तक, छवियों का एक विविध संग्रह एकत्र किया। उन्होंने इन बड़े संग्रहों को छोटे, संतुलित समूहों में विभाजित किया और उनके बीच की दूरी को मापा, और सावधानीपूर्वक यह ट्रैक किया कि प्रत्येक समूह में अधिक या कम चित्र जोड़ने पर परिणाम कैसे बदलते हैं।

परिणामों ने एक आश्चर्यजनक और निरंतर पैटर्न का खुलासा किया। यहाँ तक कि जब एक ही स्रोत से ली गई वास्तविक छवियों के दो समूहों की तुलना की गई, तब भी मापने वाला उपकरण लगातार एक गैर-शून्य (non-zero) दूरी दर्ज करता रहा। यह अंतर केवल अधिक चित्र जोड़ने मात्र से समाप्त नहीं हुआ। वास्तव में, शोधकर्ताओं ने पाया कि चित्रों की संख्या बढ़ने के साथ रिपोर्ट की गई दूरी बहुत धीरे-धीरे कम हुई। जब उन्होंने गणितीय तरीकों का उपयोग यह अनुमान लगाने के लिए किया कि यदि उनके पास लगभग अनंत चित्र होते—अरबों या खरबों—तो क्या होगा, तब भी उपकरण ने वास्तविक फोटो के दो समूहों के बीच एक उल्लेखनीय दूरी का अनुमान लगाया। यह निष्कर्ष बताता है कि उपकरण दो वास्तविक समूहों को, जो मूल रूप से एक ही हैं, पहचानने के लिए पूरी तरह से कैलिब्रेटेड नहीं है। शोधकर्ताओं ने देखा कि यह व्यवहार छवियों के प्रकार पर निर्भर करता था। सरल, सु conocidas डेटासेट के लिए, दूरी एक अनुमानित तरीके से गिरी, लेकिन मेडिकल स्कैन जैसी जटिल, वास्तविक दुनिया की छवियों के लिए, गिरावट बहुत धीमी और कम सुसंगत थी।

एक विशेष रूप से चिंताजनक खोज यह थी कि उपकरण अक्सर उन छवियों के लिए कम स्कोर देता था जो उसके प्रशिक्षण के विषय से काफी भिन्न थीं। यह प्रणाली मूल रूप से प्राकृतिक फोटोग्राफ, जैसे कि बिल्लियाँ, कारें और परिदृश्य, के एक विशाल डेटाबेस पर प्रशिक्षित की गई थी। जब शोधकर्ताओं ने मेडिकल छवियों पर इसका परीक्षण किया, जो प्राकृतिक फोटो से बहुत अलग दिखती हैं, तो उपकरण ने रिपोर्ट किया कि मेडिकल स्कैन के दो समूह प्राकृतिक फोटो के समूहों की तुलना में एक-दूसरे के अधिक समान थे। शोधकर्ताओं को संदेह है कि ऐसा इसलिए है क्योंकि उपकरण की आंतरिक "दृष्टि" मेडिकल डेटा के लिए अनुकूलित नहीं है, जिससे यह उन छवियों के अनूठे विवरणों को एक सामान्य, एकरूप दृश्य में धुंधला कर देता है। यह एक जोखिम पैदा करता है जहाँ एक निम्न-गुणवत्ता वाली कृत्रिम छवि को अच्छा स्कोर मिल सकता है क्योंकि वह वास्तविक मेडिकल छवियों की तरह ही विवरणों की कमी साझा करती है, जिससे डेवलपर्स को यह विश्वास दिलाने में भ्रम हो सकता है कि उनका सिस्टम अच्छा प्रदर्शन कर रहा है जबकि वह वास्तव में नहीं है।

अध्ययन ने गणना की गणितीय स्थिरता की भी जांच की, विशेष रूप से यह देखते हुए कि क्या होता है जब छवियों की संख्या उन विशेषताओं की संख्या से कम होती है जिनका सिस्टम विश्लेषण करता है। एक सैद्धांतिक बिंदु है जहाँ गणना अस्थिर हो जाती है, लेकिन शोधकर्ताओं ने पाया कि इस सीमा को पार करने पर उपकरण के आउटपुट में कोई नाटकीय बदलाव या चेतावनी का संकेत नहीं दिखा। दूरी के मान और उनकी परिवर्तनशीलता स्थिर रही, चाहे गणना गणितीय रूप से "अल्प-निर्धारित" (under-determined) हो या पूरी तरह से स्थिर। स्पष्ट चेतावनी संकेत की इस कमी का अर्थ है कि छोटे डेटासेट के साथ काम करते समय उपयोगकर्ता यह नहीं समझ पाएंगे कि उनके परिणाम कमजोर गणितीय आधार पर आधारित हैं।

अंततः, यह शोध इस धारणा को चुनौती देता है कि यह मापने वाला उपकरण छवि गुणवत्ता का एक पूर्ण, निष्पक्ष दृश्य प्रदान करता है। तथ्य यह है कि यह वास्तविक छवियों के दो सेटों के बीच एक महत्वपूर्ण अंतर दर्ज करता है, जिसका अर्थ है कि यह एक वास्तव में उच्च-गुणवत्ता वाली कृत्रिम छवि और एक औसत दर्जे की छवि के बीच अंतर करने के लिए पर्याप्त संवेदनशील नहीं हो सकता है, विशेष रूप से चिकित्सा जैसे विशिष्ट क्षेत्रों में। लेखक निष्कर्ष निकालते हैं कि हालांकि यह उपकरण एक उपयोगी बेंचमार्क बना हुआ है, इसके स्कोर को सावधानी के साथ समझा जाना चाहिए। यह दूरी जो यह मापता है, न केवल इस बात का प्रतिबिंब है कि एक आर्टिफिशियल इंटेलिजेंस वास्तविकता की कितनी अच्छी तरह नकल कर रहा है, बल्कि यह उपकरण की अपनी सीमाओं और परीक्षण की जा रही छवियों की विशिष्ट प्रकृति का भी प्रतिबिंब है। वैज्ञानिकों और डेवलपरों के लिए, इसका अर्थ है कि कम स्कोर पूर्णता की गारंटी नहीं देता है, और उच्च स्कोर हमेशा विफलता का संकेत नहीं होता है, विशेष रूप से तब जब उनके द्वारा उत्पन्न की जाने वाली छवियां उस प्राकृतिक दुनिया से बाहर की हों जिसे समझने के लिए उपकरण को डिजाइन किया गया था।