ProFocus: Interpreting Affective Experience in Artistic Images with Progressive Visual Focusing
प्रोफोकस (ProFocus) एक नवीन ढांचा है जो एक पदानुक्रमित कला समीक्षक (Hierarchical Art Critic) के माध्यम से संरचित भाषाई पूर्ववृत्त (linguistic priors) उत्पन्न करने और एक प्रगतिशील संकेत संलयन मॉड्यूल (Progressive Hint Fusion module) के माध्यम से इन संकेतों को दृश्य विशेषताओं में क्रमिक रूप से इंजेक्ट करने के लिए एक पदानुक्रमित कला समीक्षक का उपयोग करके कलात्मक छवियों में भावनात्मक प्रतिक्रियाओं की व्याख्या को बढ़ाता है, जिससे मानव संज्ञानात्मक धारणा की नकल की जाती है ताकि मौजूदा विधियों की तुलना में बेहतर भावना पहचान और स्पष्टीकरण प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को एक पेंटिंग को समझने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं, न कि केवल नीले पिक्सेल गिनने या एक पेड़ को पहचानने के माध्यम से, बल्कि उस मूड (भाव) को महसूस करने के माध्यम से जिसे कलाकार ने चाहा है। यह अफेक्टिव कंप्यूटिंग (affective computing) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जो मशीनों को मानवीय भावनाओं को पहचानने और व्याख्या करने में मदद करने के लिए समर्पित है। हालांकि कंप्यूटर फोटो में मुस्कुराते चेहरे या वीडियो में उदास चेहरे को पहचानने में पहले से ही काफी अच्छे हैं, लेकिन वे दृश्य कला (visual art) के सामने अक्सर लड़खड़ा जाते हैं। क्यों? क्योंकि कला जटिल होती है। यह आपको केवल यह नहीं दिखाती कि वहां "क्या" है; यह आपको डर, विस्मय या उदासी जैसी चीजें महसूस कराने के लिए अमूर्त रंगों, अजीब आकृतियों और छिपे हुए रूपकों का उपयोग करती है। इस अंतर को पाटने के लिए, शोधकर्ता ऐसे सिस्टम बना रहे हैं जो केवल छवियों को "देखते" नहीं हैं बल्कि उनके बारे में वैसे ही "सोचने" की कोशिश करते हैं जैसे एक इंसान करता है, एक सामान्य अहसास से लेकर विशिष्ट विवरणों तक पहुँचकर भावनात्मक कहानी को समझने के लिए।
यहाँ प्रोफोकस (ProFocus) आता है, जो शोधकर्ताओं की एक टीम द्वारा विकसित एक नई विधि है जो कंप्यूटर के लिए एक सुपर-स्मार्ट कला समीक्षक की तरह कार्य करती है। मूल विचार यह है कि जब मनुष्य किसी पेंटिंग को देखते हैं, तो हम उसे एक साथ नहीं देखते। हमारे पास इसे संसाधित करने का एक स्वाभाविक, चरण-दर-चरण तरीका है: पहले, हमें समग्र वातावरण के बारे में एक सहज अहसास होता है (क्या यह अंधेरा और तूफानी है? क्या यह उज्ज्वल और खुशनुमा है?); इसके बाद, हम मुख्य पात्रों या वस्तुओं और उनके बीच होने वाली अंतःक्रियाओं को देखते हैं; और अंत में, हम सूक्ष्म, विशिष्ट विवरणों पर ध्यान केंद्रित करते हैं जो भावना की कुंजी हो सकते हैं। शोध पत्र सुझाव देता है कि अधिकांश मौजूदा एआई मॉडल पूरी छवि को एक बड़े निवाले की तरह निगलने की कोशिश करते हैं, उन सामान्य उपकरणों का उपयोग करते हैं जो रोजमर्रा की वस्तुओं (जैसे "एक कुत्ता" या "एक कार") को पहचानने में तो बेहतरीन हैं लेकिन कला की जटिल, अमूर्त भावनाओं को सुलझाने में बहुत खराब हैं।
प्रोफोकस इस प्रक्रिया की नकल करके इस कमी को ठीक करता है। यह एक विशेष "आर्ट क्रिटिक" (एक लार्ज लैंग्वेज मॉडल) का उपयोग करता है जो पेंटिंग को तीन स्तरों के विवरण में तोड़ता है: एटमॉस्फेरिक स्टाइल (मूड/वातावरण), नैरेटिव सब्जेक्ट्स (कहानी के पात्र), और कंक्रीट डिटेल्स (विशिष्ट सुराग)। फिर, इसमें एक "प्रोग्रेसिव हिंट फ्यूजन" मॉड्यूल है जो इन सुरागों को कंप्यूटर के विज़न सिस्टम को एक-एक करके, व्यापक से विशिष्ट की ओर फीड करता है। इसे एक रहस्य सुलझाने जैसा समझें: सभी सुरागों को एक साथ मेज पर फेंकने के बजाय, आप पहले दृश्य सेट करते हैं, फिर संदिग्धों को पेश करते हैं, और अंत में 'धुआं छोड़ने वाली बंदूक' (smoking gun) की ओर इशारा करते हैं। ऐसा करके, मॉडल पेंटिंग के सही हिस्सों पर ध्यान केंद्रित करना सीखता है ताकि वह भावना को समझ सके।
परिणाम बताते हैं कि यह दृष्टिकोण काम करता है। जब आर्टेमिस (ArtEmis) v1.0 और v2.0 नामक दो विशाल कला संग्रहों पर परीक्षण किया गया, तो प्रोफोकस ने लगातार मौजूदा सर्वश्रेष्ठ तरीकों को पछाड़ दिया। v1.0 डेटासेट पर, इसने 66.1% बार सही ढंग से भावना का अनुमान लगाया, जो पिछले लीडर से उल्लेखनीय अंतर से बेहतर था। लेकिन इसने केवल लेबल ही सही नहीं बताया; इसने यह समझाने में भी बेहतर प्रदर्शन किया कि क्यों। उन परीक्षणों में जहाँ मनुष्यों ने व्याख्याओं को रेट किया, प्रोफsोकस ने "विजुअल रेलिवेंस" (दृश्य प्रासंगिकता) और "डिटेल रिचनेस" (विवरण की प्रचुरता) पर उच्च स्कोर किया, जिसका अर्थ है कि इसके मनगढ़ंत बातें (हैलुसिनेट) बनाने की संभावना कम थी और यह वास्तव में पेंटिंग के उन हिस्सों की ओर इशारा करने में अधिक सक्षम था जो भावना को न्यायोचित ठहराते थे। उदाहरण के लिए, जहाँ अन्य मॉडल एक अंधेरे टॉवर को देखकर "विस्मय" (awe) का अनुमान लगा सकते हैं क्योंकि वह बड़ा दिखता है, वहीं प्रोफोकस, "गहरे रंगों" और "धुएं" पर अपने चरण-दर-चरण फोकस के माध्यम से, सही ढंग से पहचान लेता है कि वह भावना "डर" है। शोध पत्र निष्कर्ष निकालता है कि मशीनों द्वारा कला को संसाधित करने के तरीके को मानवीय प्रशंसा के प्राकृतिक तरीके के साथ संरेखित करके, हम ऐसा एआई बना सकते हैं जो वास्तव में एक पेंटिंग की भावनात्मक शक्ति को समझ सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।