Learning visual representations for compositional analysis of artworks and photographs
यह शोध पत्र संरचनात्मक विश्लेषण के लिए फाइन-ट्यून किए गए फाउंडेशन मॉडल्स की तुलना धारणात्मक समूहीकरण (perceptual grouping) पर आधारित एक मानव-प्रेरित, व्याख्या योग्य दृष्टिकोण से करता है, जिसमें यह पाया गया है कि जहाँ बाद वाला पर्याप्त डेटा के साथ बेहतर प्रदर्शन प्राप्त करता है, वहीं पूर्व पर्याप्त डेटा के बिना भी प्रतिस्पर्धी परिणाम प्रदान करता है और एनकोडर्स के फ्रीज होने पर बेहतर व्याख्यात्मकता और सामान्यीकरण (generalization) प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पेंटिंग या तस्वीर देख रहे हैं। आपका मस्तिष्क केवल रंगों की एक सपाट दीवार नहीं देखता; यह तुरंत दृश्य को एक कहानी में व्यवस्थित कर देता है। यह चीजों को एक साथ समूहबद्ध करता है, इस बात पर ध्यान देता है कि एक व्यक्ति एक पेड़ के सापेक्ष कैसे खड़ा है, और संतुलन या तनाव का अनुभव करता है। दृष्टि (vision) का यह "कहानी सुनाने वाला" हिस्सा कंपोजिशन (composition) कहलाता है। यह वह गुप्त सूत्र है जो किसी छवि को सुंदर, नाटकीय या बिल्कुल सटीक बनाता है। लंबे समय तक, कंप्यूटर इस बात को समझने में बहुत खराब रहे हैं। वे यह पहचानने में माहिर हैं कि चित्र में क्या है (एक कुत्ता, एक कार, एक सूर्यास्त), लेकिन वे यह समझने में संघर्ष करते हैं कि अर्थ बनाने के लिए उन चीजों को कैसे व्यवस्थित किया गया है। यह शोध पत्र इसी अंतर की गहराई में जाता है, और एक बड़ा सवाल पूछता है: कंप्यूटर को कलाकार की तरह "देखना" सिखाने के लिए, क्या हमें एक ऐसा मस्तिष्क बनाना होगा जो इंसान की तरह सोचता हो, या क्या हम बस एक सुपर-स्मार्ट कंप्यूटर को पर्याप्त उदाहरण खिला सकते हैं जब तक कि वह खुद ही इसे समझ न ले?
शोधकर्ताओं, बेल्जियम की केयू लूवेन यूनिवर्सिटी (KU Leuven University) के फतेमेह बेह्राद, टिने ट्यूटेलार्स और जोहान वेगेमन्स ने कंप्यूटर को कंपोजिशन के बारे में सिखाने के दो बहुत अलग तरीकों का परीक्षण करने के लिए यह प्रयोग किया। इसे एक छात्र को पहेली सुलझाना सिखाने की तरह समझें।
दो दृष्टिकोण
पहला दृष्टिकोण "मानव-शैली" (Human-Style) विधि है। पूरी छवि को पिक्सेल के एक धुंधले ढेर के रूप में देखने के बजाय, यह विधि छवि को अलग-अलग, अर्थपूर्ण टुकड़ों में तोड़ने की कोशिश करती है—जैसे किसी फोटो में आकाश, पहाड़ और व्यक्ति को अलग करना। यह टुकड़ों को स्वचालित रूप से खोजने के लिए ऑब्जेक्ट-सेंट्रिक लर्निंग (Object-Centric Learning) नामक एक विशेष तकनीक का उपयोग करता है—यह एक स्मार्ट सॉर्टर की तरह है जो कहता है, "यह धब्बा एक व्यक्ति है, वह धब्बा एक नाव है।" फिर, यह इन टुकड़ों के बीच अदृश्य रेखाएं खींचने के लिए एक ग्राफ अटेंशन नेटवर्क (Graph Attention Network) का उपयोग करता है, और विश्लेषण करता है कि वे एक-दूसरे से कैसे संबंधित हैं। यह एक जासूस की तरह है जो अपराध स्थल को देख रहा है, यह नोट कर रहा है कि बंदूक पीड़ित के पास है और खिड़की मेज के ऊपर है। यह विधि पारदर्शी होने के लिए डिज़ाइन की गई है; हम देख सकते हैं कि कंप्यूटर छवि के किन हिस्सों को देख रहा है और उन्हें कैसे जोड़ रहा है।
दूसरा दृष्टिकोण "बिग डेटा" (Big Data) विधि है। यह विशाल, प्री-ट्रेंड एआई मॉडल्स (जिन्हें फाउंडेशन मॉडल्स कहा जाता है) का उपयोग करता है जिन्होंने पहले ही लाखों छवियां देखी हैं। शोधकर्ता बस इन दिग्गजों को तस्वीरों और पेंटिंग्स के एक विशिष्ट डेटासेट पर "फाइन-ट्यून" (fine-tune) करते हैं, इस उम्मीद में कि पर्याप्त अभ्यास के साथ, कंप्यूटर खुद ही कंपोजिशन के नियमों को सीख जाएगा। यह एक छात्र को कला इतिहास की हर किताब वाली लाइब्रेरी में छोड़ने और उन्हें यह कहने जैसा है कि "बस इसे खुद समझ लो।" यह शक्तिशाली है, लेकिन यह एक "ब्लैक बॉक्स" भी है—हमें वास्तव में पता नहीं चलता कि कंप्यूटर अपने निर्णय कैसे ले रहा है, और यह संभव है कि वह चित्र में मौजूद वस्तुओं को पहचानने पर अधिक निर्भर हो बजाय उनके अरेंजमेंट (व्यवस्था) को समझने के।
उन्होंने क्या पाया
टीम ने दोनों विधियों का परीक्षण दो बड़ी चुनौतियों पर किया: एक फोटो की "शैली" (जैसे "केंद्रित" या "विकर्ण/डायगोनल") की भविष्यवाणी करना और एक छवि के कंपोजिशन को स्कोर देना। उन्होंने यह भी जांचा कि क्या कंप्यूटर चित्र के सबसे महत्वपूर्ण हिस्सों (सैलियंसी/saliency) को ढूंढ सकता है और लेआउट के आधार पर समान छवियों को खोज सकता है।
यहाँ एक मोड़ है: यह इस पर निर्भर करता है कि आपके पास कितना डेटा है।
जब शोधकर्ताओं ने बड़े एआई मॉडल्स को फ्रीज (नया सीखने से रोकना) रखा और केवल "मानव-शैली" विधि का उपयोग किया, तो इसने आश्चर्यजनक रूप से अच्छा प्रदर्शन किया। यह वस्तुओं को समूहबद्ध करने और उनके संबंधों को समझने में सक्षम था, और अक्सर फ्रीज किए गए बड़े मॉडल्स से बेहतर रहा। सबसे अच्छी बात? यह समझना आसान था कि इसने निर्णय क्यों लिया। आप वास्तव में इसके द्वारा बनाए गए कनेक्शनों के "ग्राफ" को देख सकते थे।
हालाँकि, जब उनके पास फाउंडेशन मॉडल्स को पूरी तरह से "फाइन-ट्यून" करने के लिए पर्याप्त डेटा था, तो उन दिग्गजों ने बढ़त बना ली। वे स्कोर और श्रेणियों की भविष्यवाणी करने में काफी बेहतर हो गए। लेकिन एक पेच था। बड़े मॉडल्स कम व्याख्या योग्य (समझने में कठिन) थे और विभिन्न प्रकार की छवियों के बीच स्विच करने में संघर्ष करते थे, जैसे कि फोटो से पेंटिंग की ओर जाना। वे वस्तुओं को पहचानने (जैसे, "यह एक बिल्ली है") पर बहुत अधिक निर्भर लग रहे थे बजाय व्यवस्था को समझने के (जैसे, "बिल्ली एक त्रिकोण आकार में बैठी है")।
निर्णय
यह शोध पत्र सुझाव देता है कि यदि आपके पास लेबल किया गया डेटा का एक विशाल भंडार है और आप केवल सर्वोत्तम संभव स्कोर चाहते हैं, तो "बिग डेटा" दृष्टिकोण जीतता है। लेकिन यदि आपको एक ऐसी प्रणाली की आवश्यकता है जो कुशल हो, विभिन्न प्रकार की कला (फोटो से पेंटिंग तक) पर काम करे, और वास्तव में यह समझा सके कि वह क्यों मानती है कि एक छवि अच्छी तरह से कंपोज की गई है, तो "मानव-शैली" वाला दृष्टिकोण विजेता है।
दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि "मानव-शैली" विधि छवि के सबसे महत्वपूर्ण हिस्सों को पहचानने में उत्कृष्ट थी। अपने ग्राफ में कनेक्शनों को देखकर, यह कह सकती थी, "यह व्यक्ति सबसे महत्वपूर्ण हिस्सा है क्योंकि यह बाकी सब से जुड़ा हुआ है," जो कि मानवीय आंखों के वास्तविक दृश्य के साथ मेल खाता था। बड़े मॉडल्स, हालांकि शक्तिशाली थे, इस संबंध में थोड़े अस्पष्ट थे।
अंत में, यह पेपर किसी एक पक्ष को पूर्ण विजेता घोषित नहीं करता है। इसके बजाय, यह दिखाता है कि जबकि बड़े एआई मॉडल पर्याप्त डेटा मिलने पर अविश्वसनीय रूप से शक्तिशाली होते हैं, फिर भी ऐसे सिस्टम बनाने का एक अनूठा मूल्य है जो स्वाभाविक रूप से मानव की तरह दृश्य तत्वों को समूहित करते हैं और उनसे संबंधित होते हैं। यह एक याद दिलाता है कि कभी-कभी, कला को समझने के लिए, आपको कलाकार के देखने के तरीके को समझना आवश्यक होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।