VIGIL: Tackling Hallucination Detection in Image Recontextualization
यह शोध पत्र VIGIL प्रस्तुत करता है, जो एक नवीन बेंचमार्क डेटासेट और बहु-चरणीय डिटेक्शन फ्रेमवर्क है जो इमेज रीकॉन्टेक्स्टुअलाइजेशन में मतिभ्रम (hallucinations) को पांच सूक्ष्म फिडेलिटी प्रकारों में वर्गीकृत करता है ताकि मौजूदा तरीकों की तुलना में अधिक सटीक त्रुटि पहचान और स्पष्टीकरण सक्षम किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक फिल्म सेट पर निर्देशक हैं, लेकिन अभिनेताओं को काम पर रखने के बजाय, आप एक जादुई, अति-बुद्धिमान रोबोट चित्रकार को निर्देश दे रहे हैं। आप रोबोट को अपने पसंदीदा लाल स्नीकर की एक फोटो और एक धूप वाले पार्क की एक फोटो देते हैं और कहते हैं, "स्नीकर को पार्क में रख दो।" रोबोट घरघराहट करता है, एक उत्कृष्ट कृति बनाता है, और उसे वापस सौंप देता है। लेकिन कभी-कभी, रोबोट बहुत अधिक रचनात्मक हो जाता है। शायद वह आपके लाल स्नीकर को नीले बूट में बदल देता है, या वह स्नीकर को पेंट करना ही भूल जाता है, या वह जूते को हवा में किसी भूत की तरह तैरता हुआ रख देता है। यह मल्टीमॉडल इमेज रीकॉन्टेक्स्टुअलाइजेशन (multimodal image recontextualization) की दुनिया है, जो एक फैंसी शब्द है जिसका अर्थ है आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग करके एक तस्वीर से किसी वस्तु को लेना और आपके निर्देशों के आधार पर उसे एक नए दृश्य में डालना।
लंबे समय से, वैज्ञानिक यह पता लगाने की कोशिश कर रहे हैं कि कैसे पहचानें कि इन AI कलाकारों ने कब गलतियाँ की हैं, जिन्हें हैलुसिनेशन (hallucinations) कहा जाता है। इसे एक सपने के रूप में नहीं, बल्कि एक झूठ के रूप में सोचें जो कंप्यूटर खुद से बोल रहा है। अतीत में, शोधकर्ता मुख्य रूप से सरल टेक्स्ट-टू-इमेज कार्यों (जहाँ आप एक विवरण टाइप करते हैं और एक चित्र प्राप्त करते हैं) पर ध्यान केंद्रित करते थे। उन्होंने ऐसे उपकरण बनाए जो एक सिंगल "स्कोर" देते थे यह बताने के लिए कि चित्र कितना अच्छा था, जैसे कि एक शिक्षक टेस्ट को "B-" ग्रेड देता है। लेकिन यह आपको यह नहीं बताता कि जूता लाल के बजाय नीला क्यों है, या छाया गलत दिशा में क्यों है। जैसे-जैसे AI यथसनीय चित्र बनाने में बेहतर हो रहा है, हमें इन विशिष्ट, चालाकी भरी त्रुटियों को पकड़ने के लिए एक तरीके की आवश्यकता है ताकि हम विज्ञापन या डिजाइन जैसी चीजों के लिए इन चित्रों पर भरोसा कर सकें।
यहाँ विजिल (VIGIL) आता है, जो शोधकर्ताओं की एक टीम द्वारा बनाया गया एक नया सिस्टम है जो एक अत्यंत सख्त, बारीकियों पर ध्यान देने वाले कला समीक्षक की तरह कार्य करता है। केवल AI को एक ग्रेड देने के बजाय, विजिल चित्र को पांच विशिष्ट श्रेणियों की गलतियों में तोड़ देता है और विस्तार से बताता है कि क्या गलत हुआ। शोधकर्ताओं ने 1,269 उदाहरणों का एक विशाल डेटासेट बनाया जहाँ उन्होंने मैन्युअल रूप से AI-जनरेटेड छवियों की जाँच की कि किस प्रकार की त्रुटियाँ सबसे अधिक होती हैं। उन्होंने पाया कि AI मुख्य रूप से पांच तरीकों से संघर्ष करता है: यह वस्तु के रूप (look) को बदल सकता है (ऑब्जेक्ट विजुअल फिडेलिटी), बैकग्राउंड के साथ गड़बड़ी कर सकता है (बैकग्राउंड फिडेलिटी), वस्तु को गलत जगह पर रख सकता है (स्पेशियल एंड इंस्ट्रक्शनल फिडेलिटी), वस्तु को ऐसा दिखा सकता है कि वह भौतिक रूप से वहां नहीं होनी चाहिए (फिजिकल एंड इंटीग्रेशन फिडेलिटी), या बस वस्तु को बनाना ही भूल सकता है (ऑब्जेक्ट ओमिशन)।
यह पेपर एक चतुर पाइपलाइन पेश करता है जो चरण-दर-चरण चित्र की जाँच करने के लिए ओपन-सोर्स AI टूल्स की एक टीम का उपयोग करता है। पहले, यह वस्तुओं को काटने के लिए एक "सेगमेंटेशन" टूल (डिजिटल कैंची की तरह) का उपयोग करता है। फिर, यह कटे हुए टुकड़ों की मूल संदर्भ फोटो के साथ तुलना करता है कि क्या आकार या रंग बदला है। यह जाँचता है कि क्या बैकग्राउंड वैसा ही रहा, क्या लाइटिंग और शैडो समझ में आने वाले हैं, और क्या वस्तु वास्तव में वहां है। यदि AI ने कोई गलती की है, तो विजिल केवल "त्रुटि" नहीं कहता; यह एक नोट लिखता है, जैसे, "कुर्सी अब एक रॉकिंग चेयर है, लेकिन आपने लकड़ी की आर्मचेयर मांगी थी," या "सोफा हवा में तैर रहा है।"
जब शोधकर्ताओं ने अपने सिस्टम का परीक्षण किया, तो उन्होंने पाया कि यह चरण-दर-चरण दृष्टिकोण त्रुटियों को पकड़ने में बहुत अच्छा था, और अक्सर अन्य ओपन-सोर्स AI डिटेक्टरों से बेहतर प्रदर्शन करता था। वास्तव में, फर्नीचर की छवियों पर, विजिल गलतियों को पकड़ने में सर्वश्रेष्ठ था। हालाँकि, पेपर नोट करता है कि यह सिस्टम अभी भी पूर्ण नहीं है। यह कभी-कभी सूक्ष्म विवरणों को मिस कर देता है, जैसे कार पर विकृत नंबर प्लेट या इलेक्ट्रॉनिक डिवाइस पर धुंधला लोगो, क्योंकि वे विवरण क्रॉप होने के बाद AI के लिए देखने में बहुत छोटे होते हैं। लेखक सुझाव देते हैं कि हालांकि उनकी विधि एक बड़ा कदम है, लेकिन सबसे बड़ी चुनौती अब यह सुनिश्चित करना है कि AI बड़े चित्र को खोए बिना उन छोटे, हाई-डेफिनिशन विवरणों पर ज़ूम इन करके जाँच कर सके। अंतिम लक्ष्य केवल यह अनुमान लगाने से आगे बढ़ना है कि चित्र "अच्छा" है या नहीं, बल्कि यह जानना है कि वह क्यों टूटा हुआ है, ताकि हम इसे ठीक कर सकें और जो हम देखते हैं उस पर भरोसा कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।