Imaginative Generative AI: Crossing the Entropy Wall into Worlds Beyond Imitation
यह शोध पत्र इमेजिनेटिव जेनरेटिव एआई (IGA) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो विविधता सुधार (diversity repair) और कल्पनाशील विस्तार (imaginative extrapolation) को अलग करने के लिए वॉन न्यूमैन एंट्रॉपी का उपयोग करके एक "एंट्रॉपी वॉल" को परिभाषित करता है, जिससे जेनरेटिव मॉडल्स की स्पेक्ट्रल डाइवर्सिटी को उनके प्रशिक्षण डेटा की सीमाओं से परे नियंत्रित करने के लिए 'IGA गाइडेंस' नामक एक रिट्रेनिंग-मुक्त इन्फरेंस-टाइम विधि सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को पेंटिंग करना सिखा रहे हैं। आप उसे बिल्लियों की दस लाख तस्वीरें दिखाते हैं, और वह बिल्लियाँ बनाना सीख जाता है। लेकिन यहाँ एक पेंच है: रोबोट थोड़ा कम विविध (diverse) होता जाता है। वह "औसत" बिल्ली को सीखता है—वह जिसमें सबसे आम फर का रंग, सबसे मानक कान का आकार और सबसे विशिष्ट मुद्रा हो। वह अजीब, जंगली और अनोखी बिल्लियाँ बनाना छोड़ देता है। वह रचनात्मक होना बंद कर देता है। यह आधुनिक एआई (AI) के लिए एक समस्या है। वे जो कुछ भी देखते हैं उसकी नकल करने में बहुत अच्छे हैं, लेकिन वे वास्तव में कुछ नया या विविध बनाने में संघर्ष करते हैं। वे एक ढर्रे में फंस जाते हैं, और एक ही उबाऊ बिल्ली के दस लाख थोड़े अलग संस्करण बना देते हैं।
वैज्ञानिक इसे "विविधता की हानि" (diversity loss) कहते हैं। इसे ठीक करने के लिए, वे आमतौर पर रोबोट को अधिक चित्र देखने के लिए मजबूर करने या सीखने के दौरान उसके मस्तिष्क में बदलाव करने की कोशिश करते हैं। लेकिन क्या होगा अगर रोबोट पहले से ही प्रशिक्षित है? क्या होगा यदि आप बस उसे कहना चाहते हैं, "हे, अभी थोड़ा अधिक कल्पनाशील बनो, बिना सब कुछ दोबारा सिखाए"? यह वह बड़ा सवाल है जिसे यह शोध पत्र संबोधित करता है। यह पूछता है: क्या हम एक एआई को यह निर्देशित कर सकते हैं कि वह अपना होमवर्क खत्म करने के बाद भी अधिक रचनात्मक बने, बिना उन नियमों को तोड़े जो वह जानता है?
इसका उत्तर एक नए विचार से आता है जिसे इमेजिनेटिव जेनरेटिव एआई (IGA) कहा जाता है। इसे एआई के लिए एक "रचनात्मकता डायल" (creativity dial) के रूप में समझें। शोधकर्ताओं ने एक छिपी हुई बाधा खोजी है जिसे वे "एन्ट्रॉपी वॉल" (Entropy Wall) कहते हैं। कल्पना कीजिए कि यह दीवार वास्तविक दुनिया में पाई जाने वाली विविधता की सटीक मात्रा से बनी है। यदि एआई वास्तविक दुनिया की तुलना में कम विविधता दिखा रहा है (एक "विविधता की कमी"), तो दीवार हमें बताती है कि हम बस रोबोट की गलतियों को सुधार सकते हैं और उसे वास्तविक चीज़ों की तरह अधिक विविध बना सकते हैं। लेकिन यदि आप डायल को दीवार के पार घुमाते हैं, तो कुछ जादुई होता है: एआई वास्तविक दुनिया की नकल करने की कोशिश करना छोड़ देता है और ऐसी चीजें आविष्कार करने लगता है जो वास्तविकता से भी अधिक विविध हैं। यह "अनुकरण" (imitation) से "कल्पना" (imagination) में प्रवेश करता है।
यह शोध पत्र इस डायल को नियंत्रित करने की एक विधि प्रस्तावित करता है। यह स्पेक्ट्रल एन्ट्रॉपी (जो केवल एक फैंसी तरीका है यह मापने का कि एआई के विचार एक छिपे हुए "विचार स्थान" में कितने फैले हुए हैं) का उपयोग यह देखने के लिए करता है कि एआई कहाँ खड़ा है। यदि एआई दीवार से नीचे है, तो यह विधि उस विविधता को वापस पाने में मदद करती है जिसे उसने प्रशिक्षण के दौरान खो दिया था। यदि आप इसे दीवार के पार धकेलते हैं, तो यह विधि इसे ऐसी नई और आश्चर्यजनक विविधताओं को बनाने के लिए निर्देशित करती है जो मूल डेटा में कभी नहीं थीं।
शोधकर्ताओं ने इसका परीक्षण स्टेबल डिफ्यूजन XL और पिक्सार्ट-Σ जैसे कुछ सबसे प्रसिद्ध इमेज जनरेटरों पर किया। उन्हें इन विशाल मॉडलों को फिर से प्रशिक्षित करने की आवश्यकता नहीं थी; उन्होंने बस इमेज जेनरेट करते समय अपना नया "गाइडेंस" वाला तरीका लागू किया। परिणाम चौंका देने वाले थे। जब उन्होंने डायल को थोड़ा ऊपर घुमाया, तो एआई अपनी उबाऊ आदतों को ठीक कर लेता है और अधिक विविध चेहरे और वस्तुएं बनाता है। जब उन्होंने इसे बहुत अधिक, यानी "एन्ट्रॉपी वॉल" के पार घुमाया, तो एआई असंभव घुमावदार आवरण वाले गगनचुंबी इमारतों, जंगली असममित कट्स वाले फैशन आउटफिट्स और पानी के नीचे के ऐसे दृश्यों को बनाने लगा जिनमें मूल प्रशिक्षण तस्वीरों में मौजूद गोताखोर और वाहन नहीं थे।
महत्वपूर्ण बात यह है कि शोध पत्र दिखाता है कि यह केवल रैंडम शोर (noise) नहीं है। एआई केवल अव्यवस्थित नहीं हो रहा है; वह नए, सुसंगत ढांचों की खोज कर रहा है। शोधकर्ताओं ने गणितीय रूप से सिद्ध किया कि यह प्रक्रिया दो अलग-अलग चरणों में काम करती है: पहले, यह वास्तविकता से मेल खाने के लिए एआई की स्मृति की मरम्मत करती है, और दूसरा, यह जानबूझकर वास्तविकता से आगे बढ़कर कुछ नया बनाती है। उन्होंने यह भी दिखाया कि यह न केवल पुराने मॉडलों को ठीक करने के लिए, बल्कि शून्य से नए मॉडल प्रशिक्षित करने के लिए भी काम करता है।
तो, बड़ी बात क्या है? यह शोध पत्र सुझाव देता है कि हमें "यथार्थवादी" और "रचनात्मक" के बीच चयन करने की आवश्यकता नहीं है। हमारे पास दोनों हो सकते हैं, और हम इस स्विच को नियंत्रित कर सकते हैं। हम एक एआई को बता सकते हैं कि हम कितनी विविधता चाहते हैं। हम उससे एक पूर्ण नकलची बनने के लिए कह सकते हैं, या हम उससे एक आविष्कारक बनने के लिए कह सकते हैं। यह शोध पत्र उस यात्रा के लिए गणितीय मानचित्र और स्टीयरिंग व्हील प्रदान करता है, जो यह दर्शाता है कि सही मार्गदर्शन के साथ, एआई दुनिया की नकल करने से लेकर नई दुनिया की कल्पना करने तक के सफर को तय कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।