DiffImaginE: Imagine to Verify Entity Types with Diffusio
यह शोध पत्र DiffImaginE को प्रस्तुत करता है, जो एक नवीन मल्टीमॉडल नामित इकाई पहचान (named entity recognition) ढांचा है जो नियत विजुअल सत्यापनकर्ताओं (deterministic visual verifiers) को प्रकार-सशर्त लेटेंट डिफ्यूजन मॉडल (type-conditioned latent diffusion model) से बदल देता है ताकि संभाव्यता-आधारित अनुकूलता स्कोर उत्पन्न किए जा सकें, जिससे एंटिटी प्रकारों के विविध विजुअल निरूपणों को बेहतर ढंग से कैप्चर करके ट्विटर डेटासेट पर निरंतर प्रदर्शन लाभ प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक भीड़भाड़ वाले कमरे में किसी रहस्य को सुलझाने की कोशिश कर रहे हैं। आप एक व्यक्ति को देखते हैं, लेकिन आप सुनिश्चित नहीं हैं कि वह कोई प्रसिद्ध अभिनेता है, कोई स्थानीय राजनेता है, या बस एक साधारण पर्यटक। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "नेम्ड एंटिटी रिकग्निशन" (Named Entity Recognition) कहा जाता है। जब हम इसमें चित्रों को भी शामिल कर देते हैं—जैसे कि उस व्यक्ति के बगल में रेड कार्पेट या चुनावी पोस्टर देखना—तो यह "मल्टीमॉडल नेम्ड एंटिटी रिकग्निशन" बन जाता है। लक्ष्य टेक्स्ट और इमेज दोनों का उपयोग करके सही श्रेणी का अनुमान लगाना है। लेकिन यहाँ पेचीदा बात यह है कि एक ही शब्द अलग-अलग दृश्य संकेतों के आधार पर बहुत अलग चीजें हो सकता है। "जॉर्डन" (Jordan) की एक तस्वीर एक बास्केटबॉल खिलाड़ी, एक जूते का ब्रांड, या एक जगह हो सकती है। AI को एक ऐसा जासूस होना चाहिए जो केवल अनुमान न लगाए, बल्कि वास्तव में यह जांच करे कि क्या उसका अनुमान सबूतों के साथ मेल खाता है।
लंबे समय तक, AI जासूसों ने "इमेजिनेशन" (कल्पना) नामक एक विधि का उपयोग किया। वे एक शब्द और एक श्रेणी को देखते थे, फिर उस श्रेणी के लिए एक आदर्श चित्र की कल्पना करते थे कि उसे कैसा दिखना चाहिए। यदि वास्तविक फोटो उस कल्पित चित्र से थोड़ी मिलती-जुलती थी, तो AI कहता, "हाँ, यही है!" लेकिन इस दृष्टिकोण में एक दोष है: यह बहुत कठोर है। एक "व्यक्ति" एक चेहरा, एक छाया (silhouette), या दूर खड़ा कोई व्यक्ति हो सकता है। केवल एक आदर्श संस्करण की कल्पना करने से अन्य सभी संभावनाओं को अनदेखा कर दिया जाता है, जिससे AI कमजोर हो जाता है जब वास्तविक दुनिया अव्यवस्थित होती है। यह नया पेपर, DiffImaginE, इस अनुमान लगाने के खेल को खेलने का एक स्मार्ट तरीका प्रस्तावित करता है। एक स्थिर चित्र की कल्पना करने के बजाय, AI एक "डिफ्यूजन" (diffusion) प्रक्रिया का उपयोग करता है—एक ऐसी तकनीक जो कला बनाने वाले AI के समान है जो धीरे-धीरे रैंडम स्टैटिक (static) को एक स्पष्ट छवि में बदल देता है। शोर (noise) से पीछे की ओर काम करके, AI यह समझ सकता है कि एक श्रेणी वास्तव में कितनी विविध हो सकती है, न कि केवल एक स्थिर स्नैपशॉट।
"वन-साइज़-फिट्स-ऑल" इमेजिनेशन के साथ समस्या
इस पेपर के लेखकों ने गौर किया कि पुराना तरीका ऐसा था जैसे किसी दोस्त को केवल तब याद रखना जब उसने एक विशिष्ट टोपी पहनी हो। यदि आपका दोस्त बिना टोपी के, या अलग टोपी के साथ आता है, तो आपकी पुरानी मानसिक छवि विफल हो जाती है। तकनीकी शब्दों में, पुराने मॉडल हर प्रकार की एंटिटी (जैसे "व्यक्ति" या "संगठन") को गणितीय स्थान में एक एकल, निश्चित बिंदु पर मैप करते थे। वे वास्तविक छवि की तुलना उस एकल बिंदु से करते थे। यदि वास्तविक छवि थोड़ी अलग थी—जैसे कि एक "व्यक्ति" जिसे सामने के बजाय बगल से देखा गया हो—तो तुलना विफल हो जाती थी, और AI भ्रमित हो जाता था।
पेपर का तर्क है कि यह "डिटरमिनिस्टिक" (deterministic) दृष्टिकोण बहुत नाजुक है। यह एक एंटिटी के प्रकट होने के समृद्ध और विविध तरीकों को एक एकल, उबाऊ बिंदु में संकुचित कर देता है। यह एक पूरे जंगल का वर्णन केवल एक पेड़ की ओर इशारा करके करने जैसा है। पुराना तरीका वास्तव में यह भी नहीं बता सकता था कि कोई अनुमान कितना संभावित था; यह केवल इस आधार पर स्कोर देता था कि छवि उस एक कल्पित बिंदु के कितने करीब थी।
नया जासूस: DiffImaginE
इसे ठीक करने के लिए, टीम ने DiffImaginE बनाया। एक स्थिर चित्र की कल्पना करने के बजाय, यह नया मॉडल एक ऐसे जासूस की तरह काम करता है जो संदिग्ध के कई अलग-अलग संस्करणों की कल्पना कर सकता है। यह एक "डिफ्यूजन" मॉडल का उपयोग करता है, जो एक प्रकार का AI है जो एक स्पष्ट छवि को प्रकट करने के लिए शोर (जैसे पुराने टीवी पर दिखने वाला स्टैटिक) को हटाने के बारे में सीखता है।
यह सरल शब्दों में इस प्रकार काम करता है:
- साक्ष्य: AI वाक्य में एक विशिष्ट शब्द (एक "स्पैन") और उससे मेल खाने वाले चित्र के हिस्से को देखता है।
- शोर परीक्षण (Noise Test): एक एकल आदर्श चित्र के बजाय, AI उस छवि को लेता है और उसमें रैंडम "शोर" जोड़ देता है, जिससे वह धुंधली हो जाती है।
- अनुमान: AI फिर पूछता है, "यदि यह धुंधली छवि 'व्यक्ति' श्रेणी की है, तो मैं शोर को साफ करके वापस एक स्पष्ट 'व्यक्ति' की छवि कितनी अच्छी तरह प्राप्त कर सकता हूँ?" यह प्रत्येक संभावित श्रेणी (व्यक्ति, स्थान, संगठन, आदि) के लिए यह प्रयास करता है।
- स्कोर: जो श्रेणी शोर को "साफ करने" का सबसे अच्छा काम करती है, उसे उच्चतम स्कोर मिलता है। यदि छवि वास्तव में एक "व्यक्ति" है, तो "व्यक्ति" फ़िल्टर शोर को हटाने में बहुत अच्छा होगा। यदि आप एक व्यक्ति की तस्वीर पर "संगठन" फ़िल्टर का उपयोग करने की कोशिश करते हैं, तो उसे शोर साफ करने में संघर्ष करना पड़ेगा, और स्कोर कम होगा।
यह एक बहुत बड़ा बदलाव है। "क्या यह मेरे व्यक्ति के एक आदर्श विचार जैसा दिखता है?" पूछने के बजाय, AI पूछता है, "कौन सी श्रेणी इस अस्त-व्यस्त, वास्तविक तस्वीर को समझाने के लिए सबसे अच्छी है?" यह मॉडल इस तथ्य को संभालने में सक्षम बनाता है कि एक "व्यक्ति" एक चेहरा, एक पीछे का दृश्य, या एक दूर की आकृति हो सकता है, क्योंकि डिफ्यूजन प्रक्रिया संभावनाओं की विविधता को समझती है।
उन्होंने क्या पाया
शोधकर्ताओं ने अपने नए मॉडल का परीक्षण सोशल मीडिया पोस्ट के दो प्रसिद्ध डेटासेट्स (Twitter-2015 और Twitter-2017) पर किया, जो छोटे, शोर वाले टेक्स्ट और उनके साथ वाली छवियों से भरे हुए हैं। उन्होंने DiffImaginE की तुलना अपने स्वयं के "सिंगल-पॉइंट इमेजिनेशन" मॉडल के संस्करण से की, यह सुनिश्चित करते हुए कि AI का मस्तिष्क और प्रशिक्षण विधियाँ बिल्कुल समान हों ताकि केवल सत्यापन विधि ही अंतर हो।
परिणामों ने दिखाया कि DiffImaginE लगातार बेहतर प्रदर्शन करता है। Twitter-2015 डेटासेट पर, इसने सटीकता स्कोर (F1) में 1.73 अंक का सुधार किया, जो 77.17% तक पहुँच गया। Twitter-2017 पर, इसने 0.72 अंक का सुधार किया, जो 88.44% तक पहुँच गया। पेपर में उल्लेख किया गया है कि ये सुधार सांख्यिकीय रूप से महत्वपूर्ण थे, जिसका अर्थ है कि इसकी संभावना बहुत कम है कि ये केवल भाग्य से हुए हों।
मॉडल "लोग" (PER) और "संगठन" (ORG) को पहचानने में विशेष रूप रूप से अच्छा था। उदाहरण के लिए, इसने विजुअल संकेत ट्रिकी होने पर भी एक व्यक्ति के नाम और एक ब्रांड के नाम के बीच अंतर करने में बेहतर प्रदर्शन किया। लेखकों ने पाया कि पुराना तरीका संघर्ष करता था जब विजुअल साक्ष्य विविध या शोर वाले होते थे, लेकिन नया डिफ्यूजन तरीका उन स्थितियों में फलता-फूलता था क्योंकि यह एक कठोर छवि पर निर्भर नहीं था।
यह क्यों महत्वपूर्ण है
यह पेपर यह दावा नहीं करता है कि इसने सभी AI समस्याओं को हल कर दिया है, लेकिन यह दिखाता है कि AI विजुअल अस्पष्टता (visual ambiguity) को कैसे संभालता है, इसके लिए एक स्पष्ट मार्ग है। एक कठोर, एकल-बिंदु अनुमान को एक लचीली, संभावना-आधारित "डिनोइजिंग" (denoising) प्रक्रिया से बदलकर, AI अधिक मजबूत हो जाता है। यह एक ऐसे जासूस और एक ऐसे जासूस के बीच का अंतर है जो केवल एक विशिष्ट पोशाक में संदिग्ध को पहचानता है बनाम एक ऐसा जासूस जो संदिग्ध को पहचान सकता है चाहे वह कुछ भी पहने या कहीं भी खड़ा हो।
लेखकों ने यह भी दिखाया कि वे "क्लासिफायर-फ्री गाइडेंस" (classifier-free guidance) नामक एक तकनीक का उपयोग करके प्रक्रिया को और भी स्मार्ट बना सकते हैं, जो AI के आत्मविश्वास को तेज करती है, और "एंटीथेटिक सैंपलिंग" (antithetic sampling), जो परिणामों को अधिक स्थिर बनाने के लिए गणित में रैंडमनेस को कम करती है। इन सुधारों ने मॉडल को और भी अधिक सटीकता हासिल करने में मदद की।
संक्षेप में, DiffImaginE साबित करता है कि जब अस्त-व्यस्त, वास्तविक दुनिया को समझने की बात आती है, तो एक एकल, पूर्ण कल्पना पर टिके रहने के बजाय संभावनाओं के पूरे स्पेक्ट्रम की कल्पना करना बेहतर है। मॉडल सुझाव देता है कि "शोर" और वास्तविक जीवन की छवियों की विविधता को अपनाकर, AI एक बहुत बेहतर जासूस बन सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।