आर्टिफिशियल इंटेलिजेंस की आधुनिक दुनिया में, कंप्यूटर दो अलग-अलग चीजों में उल्लेखनीय रूप से कुशल हो गए हैं: देखने और बोलने में। एक ओर, विजन सिस्टम (vision systems) किसी तस्वीर को देखकर आश्चर्यजनक सटीकता के साथ वर्णन कर सकते हैं कि वहां क्या हो रहा है। दूसरी ओर, भाषा मॉडल (language models) विशाल मात्रा में टेक्स्ट को प्रोसेस करके कहानियाँ लिख सकते हैं, सवालों के जवाब दे सकते हैं और बातचीत कर सकते हैं। हाल ही में, वैज्ञानिकों ने इन दोनों क्षमताओं को जोड़ना शुरू किया है, जिससे ऐसे सिस्टम बनाए जा रहे हैं जो एक ही समय में एक छवि और एक वाक्य को समझ सकते हैं। ये हाइब्रिड उपकरण, जिन्हें विजन-लैंग्वेज मॉडल (vision-language models) कहा जाता है, पहले से ही किसी तस्वीर के बारे में सवाल पूछने या किसी दृश्य के लिए कैप्शन लिखने जैसे कार्य कर सकते हैं। हालाँकि, इनमें से अधिकांश सिस्टम को एक एकल छवि को देखने और उसका वर्णन करने, या एक तस्वीर और एक प्रश्न को देखकर उत्तर देने के लिए प्रशिक्षित किया गया है। उन्हें अभी तक 'बिफोर-एंड-आफ्टर' (पहले और बाद की) जोड़ी वाली छवियों को देखने और यह समझने के लिए प्रशिक्षित नहीं किया गया है कि उनके बीच वास्तव में क्या बदला है, विशेष रूप से जब वह बदलाव ब्राइटनेस (चमक), कंट्रास्ट (विभेद) या कलर बैलेंस (रंग संतुलन) जैसे विशिष्ट समायोजनों से संबंधित हो।

समझ की यह कमी शोधकर्ता वाहिद अज़ीज़ी और फतिमा कूचाकी के एक नए अध्ययन का केंद्र है। उन्होंने यह देखने के लिए प्रयास किया कि क्या एक शक्तिशाली, ओपन-सोर्स विजन-लैंग्वेज मॉडल जिसे मिनीजीपीटी-4 (MiniGPT-4) कहा जाता है, को एक कार्य सिखाया जा सकता है जिसे वे "रिवर्स डिजाइनिंग" (reverse designing) कहते हैं। कल्पना कीजिए कि आपके पास सूर्यास्त की एक फोटो है, और फिर आपके पास उसी फोटो का दूसरा संस्करण है जहाँ आकाश को अधिक नारंगी और पानी को अधिक गहरा बनाया गया है। एक मानव संपादक जान सकता है कि उस लुक को प्राप्त करने के लिए किन स्लाइडर्स को घुमाया गया होगा। शोधकर्ता यह जानना चाहते थे कि क्या एक कंप्यूटर मूल और संपादित संस्करण को देख सकता है, शायद "इसे और अधिक नाटकीय बनाएं" जैसे एक अस्पष्ट संकेत के साथ, और फिर उस संपादन को बनाने के लिए उपयोग किए गए विशिष्ट तकनीकी चरणों और संख्याओं की भविष्यवाणी कर सकता है। यह एक जटिल चुनौती है क्योंकि कंप्यूटर को दो अलग-अलग छवियों और उनके बीच के संबंध को एक साथ समझना होगा, जो केवल एक तस्वीर में मौजूद चीजों का वर्णन करने से कहीं आगे का कार्य है।

इस परीक्षण के लिए, शोधकर्ताओं ने मिनीजीपीटी-4 मॉडल को लिया, जो पहले से ही छवियों और टेक्स्ट को समझने के लिए प्रशिक्षित था, और इसे I-MAD-Dense नामक एक विशिष्ट डेटासेट का उपयोग करके फाइन-ट्यून (fine-tune) किया। इस डेटासेट में लगभग 22,000 उदाहरण हैं, जिनमें से प्रत्येक में एक स्रोत छवि, उस छवि का एक संपादित संस्करण और संपादन के पीछे के रचनात्मक विचार का एक उच्च-स्तरीय विवरण शामिल है। महत्वपूर्ण रूप से, इस डेटासेट में "ग्राउंड ट्रुथ" (ground truth) भी शामिल है, जो उन सटीक ऑपरेशनों और उनके संख्यात्मक मानों की सूची है जो मूल छवि को नया बनाने के लिए लागू किए गए थे। शोधकर्ताओं ने इन तकनीकी ऑपरेशनों की सूचियों को वाक्यों में परिवर्तित किया ताकि मॉडल का भाषा वाला हिस्सा उन्हें पढ़ सके। इसके बाद उन्होंने मॉडल को छवियों की जोड़ियाँ और वैकल्पिक टेक्स्ट विवरण दिए और उससे उन परिवर्तनों की सूची की भविष्यवाणी करने को कहा जिन्होंने पहली छवि को दूसरी में बदल दिया।

टीम ने यह देखने के लिए कई प्रयोग चलाए कि मॉडल इस कौशल को कितनी अच्छी तरह सीख सकता है। अपने पहले प्रयास में, उन्होंने बिना इसकी संरचना बदले मौजूदा मॉडल को केवल फाइन-ट्यून किया। परिणामों ने दिखाया कि मॉडल कार्य सीख सकता था, और औसतन 72 प्रतिशत बार सफलतापूर्वक परिवर्तनों की भविष्यवाणी कर सका। हालाँकि, शोधकर्ताओं ने देखा कि मॉडल कभी-कभी गलत संख्या में बदलाव बताता था या विशिष्ट मानों (values) को थोड़ा गलत प्राप्त करता था। इसे सुधारने के लिए, उन्होंने प्रशिक्षण प्रक्रिया में एक गणितीय दंड (mathematical penalty) जोड़ने का प्रयास किया जब भी मॉडल द्वारा अनुमानित संख्याएँ सही मानों से बहुत दूर होती थीं। इस छोटे से सुधार ने मॉडल को संख्याएं अधिक सटीक प्राप्त करने में मदद की, जिससे उसके अनुमानों में औसत त्रुटि कम हो गई। उन्होंने यह भी परीक्षण किया कि क्या टेक्स्ट में एक विशिष्ट कमांड देना, जैसे कि "ब्राइटनेस को एडजस्ट करें," मदद करेगा। परिणामों ने पुष्टि की कि इस अतिरिक्त टेक्स्ट संदर्भ का होना मॉडल की सही बदलाव खोजने की क्षमता में काफी सुधार करता है, विशेष रूप से जब निर्देश स्पष्ट हों।

शोधकर्ताओं ने यह भी पता लगाया कि क्या छवियों को शब्दों से अलग करने के लिए टेक्स्ट में विशेष मार्कर जोड़ने से मॉडल को विभिन्न इनपुट को ट्रैक करने में मदद मिलेगी। उन्होंने एक विशिष्ट टोकन डालने का प्रयास किया जो यह संकेत दे कि एक छवि कहाँ समाप्त होती है और अगली कहाँ से शुरू होती है, लेकिन इसने मॉडल के प्रदर्शन को वास्तव में खराब कर दिया। यह निष्कर्ष बताता है कि मॉडल का मौजूदा तरीका छवियों और टेक्स्ट को संभालने के लिए पर्याप्त था और अतिरिक्त, कृत्रिम मार्कर जोड़ने से स्पष्ट होने के बजाय भ्रम पैदा हुआ। एक अन्य प्रयोग में मॉडल को परिवर्तनों की संख्या अधिक सटीक रूप से बताने के लिए बहुत अधिक या बहुत कम अनुमान लगाने पर दंडित करने का प्रयास शामिल था, लेकिन यह दृष्टिकोण भी सुधार करने में विफल रहा और कुछ मामलों में इसने परिणामों को और खराब कर दिया।

उनके सिस्टम का सबसे सफल संस्करण, जिसने फाइन-ट्यून किए गए मॉडल को संख्यात्मक त्रुटियों को संभालने के एक विशिष्ट तरीके के साथ जोड़ा, ने दिखाया कि ये विजन-लैंग्वेज मॉडल वास्तव में छवियों के बीच जटिल, बहु-चरणीय संबंधों को सीखने में सक्षम हैं। मॉडल तब सबसे अच्छा प्रदर्शन करता था जब उसे संपादन का एक टेक्स्ट विवरण दिया जाता था, जो दृश्य समझ को निर्देशित करने में भाषा के महत्व को रेखांकित करता था। हालांकि यह प्रणाली अभी भी पूर्ण नहीं है और अभी भी कुछ जटिल परिदृश्यों में संघर्ष करती है, यह अध्ययन दर्शाता है कि 'ऑफ-द-शेल्फ' (तैयार) मॉडल को इमेज एडिटिंग जैसे परिष्कृत कार्यों को संभालने के लिए विस्तारित किया जा सकता है। शोधकर्ता निष्कर्ष निकालते हैं कि जबकि उनके वर्तमान परिणाम उत्साहजनक हैं, अभी भी सुधार की गुंजाइश है, जैसे कि सूक्ष्म विवरणों को पकड़ने के लिए उच्च-रिज़ॉल्यूशन वाली छवियों का उपयोग करना या मॉडल को और भी अधिक सावधानीपूर्वक क्यूरेट किए गए मानव-जनित डेटा पर प्रशिक्षित करना। यह कार्य भविष्य के उन उपकरणों के लिए एक द्वार खोलता है जो संपादकों को उनके अपने वर्कफ़्लो को समझने में मदद कर सकते हैं या कंप्यूटर को इस इतिहास से सीखने की अनुमति दे सकते हैं कि छवियों को कैसे बनाया जाता है।