कल्पना कीजिए कि आप एक रोबोट को बिल्ली का चित्र बनाना सिखाने की कोशिश कर रहे हैं। आप उसे केवल एक फोटो नहीं थमा देते; बल्कि आप एक कैनवास से शुरुआत करते हैं जो स्टैटिक शोर (static noise) से ढका हुआ है, जैसे कि कोई टीवी चैनल खराब सिग्नल के कारण चल रहा हो। रोबोट का काम उस शोर को पिक्सेल दर पिक्सेल धीरे-धीरे हटाना है, जब तक कि एक सटीक बिल्ली उभर न आए। डिफ्यूजन मॉडल (diffusion models) इसी तरह काम करते हैं, जो एक प्रकार की आर्टिफिशियल इंटेलिजेंस है जो शानदार चित्र बनाने के लिए प्रसिद्ध हुई है। लेकिन यहाँ एक बड़ा सवाल है: रोबोट निर्देश कहाँ रखता है? उसे यह जानने के लिए कि उस बिखरे हुए शोर को एक विशिष्ट बिल्ली, कुत्ते या परिदृश्य (landscape) में कैसे बदला जाए, अपने मस्तिष्क में भारी मात्रा में "ज्ञान" संग्रहीत करना पड़ता है।

इसे समझने के लिए, हमें दो अलग-अलग प्रकार की जानकारी के बारे में सोचने की आवश्यकता है। पहली है सिमेंटिक जानकारी (semantic information): वे बड़ी-चित्र वाली विचार जो रोबट को बताती हैं, "यह एक कुत्ता है, बिल्ली नहीं।" यह "क्या" (what) है। दूसरा है परसेप्चुअल जानकारी (perceptual information): वे सूक्ष्म, बिखरे हुए विवरण जो कुत्ते को वास्तविक बनाते हैं, जैसे कि उसके बालों की बनावट, उसके कान का विशिष्ट घुमाव, और नाक पर पड़ती रोशनी का तरीका। यह "कैसे" (how) है। लंबे समय तक, वैज्ञानिकों ने यह जानने के लिए विचार किया कि रोबट के मस्तिष्क का कितना हिस्सा यह जानने के लिए समर्पित है कि क्या बनाना है बनाम यह जानने के लिए कि इसे स्पष्ट कैसे दिखाना है। क्या रोबोट अवधारणाओं (concepts) के बारे में सोचने वाला एक दार्शनिक है, या वह सूक्ष्म विवरणों के प्रति जुनूनी एक अति-केंद्रित कलाकार है?

यह शोध पत्र, जिसे अखिल प्रेमकुमार ने लिखा है, इस प्रश्न का उत्तर देने के लिए रोबोट के मस्तिष्क की गहराई में जाता है। लेखक "सूचना" (information) को मापने का एक चतुर तरीका (सोचिए कि यह गिनती करने जैसा है कि रोबोट को शोर को चित्र में बदलने के लिए कितनी मेहनत करनी पड़ती है) उपयोग करता है ताकि यह देखा जा सके कि उसका ध्यान कहाँ केंद्रित है। निष्कर्ष थोड़े आश्चर्यजनक हैं: रोबोट अपनी लगभग पूरी ऊर्जा सूक्ष्म, उबाऊ विवरणों पर खर्च करता है, जिससे बड़े विचारों के लिए बहुत कम जगह बचती है। यह सच है कि बिल्ली और कुत्ते के बीच अंतर जानना एक यथार्थवादी चित्र बनाने के लिए आवश्यक कार्य का एक बहुत छोटा हिस्सा है। यह खोज बताती है कि इन रोबोटों को निर्देशों को बेहतर ढंग से सुनने के लिए उपयोग किए जाने वाले कुछ तरीके (जिन्हें "गाइडेंस" कहा जाता है) वास्तव में कैसे काम करते हैं, और यह सुझाव देती है कि रोबोट का मस्तिष्क एक बहुत ही विशिष्ट, स्तरित (layered) तरीके से संरचित है।

महान विभाजन: बड़े विचार बनाम सूक्ष्म विवरण

शोध पत्र इन मॉडलों के प्रशिक्षण (training) को देखकर शुरू होता है। कल्पना कीजिए कि रोबोट एक "मैनिफोल्ड" (manifold) के आकार को सीखने की कोशिश कर रहा है। सरल शब्दों में, मैनिफोल्ड एक मुड़े हुए कागज की शीट की तरह है जो एक विशाल, खाली कमरे में तैर रही है। बिल्लियों के सभी संभावित चित्र उस मुड़े हुए कागज पर कहीं मौजूद हैं। रोबोट का काम उस शीट को खोजना और उस पर बने रहना है।

लेखक का तर्क है कि सफल होने के लिए रोबोट को दो बहुत अलग चीजें करनी पड़ती हैं:

1. शीट को खोजना: उसे यह समझना होगा कि चित्र "बिल्लीपन" की इस विशिष्ट मुड़ी हुई शीट पर होना चाहिए, न कि "कुत्तेपन" या "रैंडम शोर" की शीट पर। यह सिमेंटिक हिस्सा है।
2. शीट पर बने रहना: एक बार जब वह शीट पर पहुँच जाता है, तो उसे फर की बनावट और आँखों के रंग को बिल्कुल सही करने के लिए सूक्ष्म सिलवटों और मोड़ों के बीच रास्ता बनाना होता है। यह परसेप्चुअल हिस्सा है।

शोध पत्र का मुख्य निष्कर्ष यह है कि रोबोट दूसरे कार्य के प्रति अत्यधिक जुनूनी है। इमेज जनरेशन की दुनिया में, "सूचना बजट" (वह कुल मस्तिष्क शक्ति जो मॉडल उपयोग करता है) लगभग पूरी तरह से बारीक विवरणों को सही करने की आवश्यकता में खर्च हो जाता है। गणित दिखाता है कि बिल्ली और कुत्ते के बीच अंतर करने के लिए आवश्यक सूचना (सिमेंटिक भाग) उस सूचना की तुलना में बहुत कम है जो फर को वास्तविक दिखाने के लिए आवश्यक है।

इसे सिद्ध करने के लिए, लेखक सरल आकृतियों वाले एक खिलौना मॉडल (toy model) का उपयोग करता है और फिर वास्तविक छवियों जैसे कि हस्तलिखित अंकों (MNIST) और वस्तुओं की छोटी तस्वीरों (CIFAR-10) पर जाता है। उन्होंने पाया कि इन इमेज मॉडलों में, "न्यूरल एंट्रॉपी" (एक फैंसी तरीका यह मापने का कि नेटवर्क कितनी सूचना संग्रहीत करता है) बहुत बड़ी है। हालाँकि, "म्युचुअल इंफॉर्मेशन" (छवि और लेबल के बीच का विशिष्ट संबंध, जैसे "बिल्ली") आश्चर्यजनक रूप से छोटा है। वास्तव में, CIFAR-10 जैसे डेटासेट के लिए, संग्रहीत कुल सूचना क्लास लेबल (जैसे "बिल्ली") को जानने के लिए आवश्यक सूचना से हजारों गुना अधिक है।

सूचना की "ऑर्थोगोनैलिटी" (Orthogonality)

यह शोध पत्र इस बात को समझाने के लिए एक शानदार दृश्य रूपक (metaphor) का उपयोग करता है। कल्पना कीजिए कि "बिल्ली" का मैनिफोल्ड एक कमरे में तैरती एक लंबी, पतली रिबन की तरह है।

• सिमेंटिक सूचना (Semantic Information) यह जानने जैसा है कि आप कौन सी रिबन पर हैं। यह आपको बताता है कि "बिल्ली" की रिबन पर रहने के लिए बाईं या दদিকে कैसे मुड़ना है, न कि "कुत्ते" की रिबन पर।
• परसेप्चुअल सूचना (Perceptual Information) यह जानने जैसा है कि आप उस रिबन के अनुदिश (along) ठीक कहाँ हैं। यह आपको बताता है कि मूंछों को सही करने के लिए कैसे मुड़ना और घूमना है।

लेखक दिखाता है कि ये दोनों प्रकार की जानकारी "ऑर्थोगोनल" हैं, जिसका अर्थ है कि वे पूरी तरह से अलग दिशाओं में काम करती हैं। रोबोट अपना अधिकांश समय और ऊर्जा रिबन के साथ मुड़ने और घूमने (विवरणों) को समझने में बिताता है, जबकि वह दिशा जो "बिल्ली" की रिबन की ओर संकेत करती है, एक बहुत छोटा, अलग कार्य है।

यह उस घटना को समझाता है जिसे क्लासिफायर-फ्री गाइडेंस (Classifier-Free Guidance - CFG) कहा जाता है, जो AI छवियों को टेक्स्ट प्रॉम्प्ट के साथ बेहतर ढंग से मिलाने के लिए उपयोग की जाने वाली एक लोकप्रिय तकनीक है। जब आप CFG का उपयोग करते हैं, तो आप अनिवार्य रूप से रोबोट को कह रहे होते हैं, "शोर को अनदेखा करो, लेबल पर ध्यान केंद्रित करो!" शोध पत्र का सुझाव है कि यह इसलिए काम करता है क्योंकि गाइडेंस वेक्टर (निर्देश) प्रक्रिया के शुरुआती चरण में सिमेंटिक सिग्नल को बढ़ाता है। यह रोबोट को सही रिबन जल्दी खोजने में मदद करता है। लेकिन जैसे-जैसे रोबोट प्रक्रिया के अंत के करीब पहुँचता है, उसे "बिल्ली" लेबल को सुनना बंद करना होता है और पूरी तरह से फर के सूक्ष्म विवरणों पर ध्यान केंद्रित करना शुरू करना होता है। यदि वह अंत में लेबल को बहुत अधिक ध्यान से सुनता रहता, तो वह बनावट (texture) को खराब कर देता। शोध पत्र दिखाता है कि गाइडेंस प्रभाव स्वाभाविक रूप से विवरण भरने के दौरान "कम" (taper out) हो जाता है, यही कारण है कि यह इतना अच्छा काम करता है।

"डिफ्यूजन ऑटोएनकोडर" प्रयोग

इस विभाजन को वास्तव में देखने के लिए, लेखक ने "डिफ्यूजन ऑटोएनकोडर" नामक एक विशेष प्रयोग बनाया। कल्पना कीजिए कि एक रोबोट न केवल एक चित्र बनाता है, बल्कि पहले चित्र को एक गुप्त कोड (एक लेटेंट वेरिएबल) में संकुचित (compress) करता है और फिर उसे वापस बनाने की कोशिश करता है। लेखक ने इस कोड को दो भागों में विभाजित किया:

• Z_sem (सिमेंटिक कोड): यह कोड केवल तभी चित्र को "देख" सकता है जब वह अभी बहुत शोर भरा (प्रक्रिया के शुरुआती चरण में) हो।
• Z_per (परसेप्चुअल कोड): यह केवल तभी चित्र को "देख" सकता है जब वह लगभग समाप्त होने वाला हो (प्रक्रिया के अंतिम चरण में)।

जब उन्होंने देखा कि इन कोडों ने क्या सीखा, तो परिणाम स्पष्ट थे। Z_sem कोड (शुरुआती वाला) ने छवियों को उनकी क्लास के आधार पर समूहित करना सीखा। यदि आप एक कुत्ते की तस्वीर के लिए "Z_sem" कोड देखते, तो वह बिल्ली के कोड से बहुत अलग दिखता। वह बड़े विचारों को जानता था।

हालाँकि, Z_per कोड (बाद वाला) एक अलग कहानी थी। उसे इस बात से ज्यादा फर्क नहीं पड़ता था कि छवि बिल्ली की है या कुत्ते की। इसके बजाय, वह बनावट (texture) के प्रति जुनूनी था। बिल्ली और कुत्ते के लिए "Z_per" कोड एक जैसे दिखते थे क्योंकि सूक्ष्म विवरण (जैसे कि पिक्सेल कैसे क्लस्टर होते हैं) लगभग सभी छवियों के लिए समान होते हैं, चाहे वे कुछ भी हों। शोध पत्र में पाया गया कि "Z_per" कोड में क्लास लेबल के बारे में लगभग कोई जानकारी नहीं थी। यह पूरी तरह से छवि के "दाने" (grain) के बारे में था।

यह शोध पत्र के केंद्रीय सिद्धांत की पुष्टि करता है: रोबोट "क्या" (semantics) बहुत जल्दी सीख जाता है, जब छवि अभी धुंधली होती है और बड़े आकार दिखाई देते हैं। लेकिन वह अपना अधिकांश समय और मेमोरी "कैसे" (perception) सीखने में बिताता है, जहाँ उसे उन सूक्ष्म, उच्च-आवृत्ति (high-frequency) विवरणों को हल करना होता है जो छवि को वास्तविक बनाते हैं।

यह क्यों महत्वपूर्ण है

यह शोध पत्र केवल यह नहीं बताता कि रोबोट कैसे सोचता है; यह यह भी समझाता है कि कुछ चीजें काम क्यों करती हैं और कुछ क्यों नहीं। उदाहरण के लिए, यह सुझाव देता है कि यदि आप चरणों को हटाकर (जिसे डिस्टिलेशन कहा जाता है) रोबोट को तेज़ बनाने की कोशिश करते हैं, तो आप सूक्ष्म विवरण खो सकते हैं। क्यों? क्योंकि रोबोट को मैनिफोल्ड की सूक्ष्म सिलवटों को हल करने के लिए उन अंतिम, उच्च-प्रयास वाले चरणों की आवश्यकता होती है। यदि आप उन्हें छोड़ देते हैं, तो छवि धुंधली हो जाती है क्योंकि रोबोट कभी भी परसेप्चुअल विवरणों का भारी काम नहीं कर पाता।

यह यह भी समझाता है कि "गाइडेंस" का तरीका एक सीमा तक ही क्यों काम करता है। आप रोबोट को बेहतर ढंग से सुनने के लिए गाइडेंस के नॉब को अनंत काल तक बढ़ा नहीं सकते। यदि आप ऐसा करते हैं, तो आप रोबोट को लेबल पर इतना अधिक ध्यान केंद्रित करने के लिए मजबूर कर सकते हैं कि वह बनावट बनाने का कठिन काम करना भूल जाए, या यह छवि को विकृत कर सकता है क्योंकि लेबल में हर एक पिक्सेल का वर्णन करने के लिए पर्याप्त जानकारी नहीं होती है। शोध पत्र का सुझाव है कि रोबोट का मस्तिष्क स्वाभाविक रूप से इन कार्यों को अलग करने के लिए संरचित है, और उन्हें एक साथ या गलत क्रम में करने के लिए मजबूर करना जादू को बिगाड़ सकता है।

अंत में, शोध पत्र एक ऐसे डिफ्यूजन मॉडल की तस्वीर पेश करता है जो एक मास्टर पेंटर की तरह है जो एक अकेले फूल की पंखुड़ी के लिए नीले रंग का सही शेड मिलाने में 99% समय बिताता है, और केवल 1% समय यह तय करने में कि पेंटिंग एक फूल की है न कि एक पेड़ की। "क्या" आसान है; "कैसे" वह है जहाँ असली काम होता है।