InterCoG: Towards Spatially Precise Image Editing with Interleaved Chain-of-Grounding Reasoning
यह शोध पत्र InterCoG प्रस्तुत करता है, जो एक नवीन टेक्स्ट-विज़न इंटरलीव्ड चेन-ऑफ-ग्राउंडिंग रीजनिंग फ्रेमवर्क है जो विज़ुअल ग्राउंडिंग और आउटकम स्पेसिफिकेशन करने से पहले टेक्स्ट-आधारित स्थानिक तर्क के माध्यम से लक्षित स्थानों का स्पष्ट रूप से निष्कर्ष निकालकर जटिल मल्टी-एंटिटी दृश्यों में सूक्ष्म-स्तरीय इमेज एडिटिंग को बढ़ाता है, जिसे स्थानिक सटीकता सुनिश्चित करने के लिए एक नए डेटासेट और सहायक प्रशिक्षण मॉड्यूल द्वारा समर्थित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक आर्ट डायरेक्टर हैं जो एक बहुत ही प्रतिभाशाली, लेकिन थोड़े शाब्दिक अर्थ निकालने वाले (literal-minded) डिजिटल पेंटर को निर्देश दे रहे हैं।
समस्या: "कौन सा वाला?" का भ्रम
आप एक भीड़भाड़ वाले सड़क के दृश्य की फोटो की ओर इशारा करते हुए कहते हैं, "दो बच्चों के बीच खड़ी महिला की शर्ट का रंग बदलकर हरा कर दो।"
पुराने AI मॉडल इसमें भ्रमित हो जाते हैं। वे सोच सकते हैं, "कौन सी महिला? वहाँ तो दस महिलाएँ हैं!" या "कौन से बच्चे? क्या वे बाईं ओर वाले हैं या दाईं ओर वाले?" क्योंकि वे वस्तुओं के बीच के संबंधों (जैसे "बीच में", "बगल में", या "हाथ थामना") को समझने में संघर्ष करते हैं। वे पेंटिंग करने में तो माहिर हैं, लेकिन यह पहचानने में कमजोर हैं कि ठीक कहाँ पेंट करना है। वे गलत व्यक्ति की शर्ट का रंग हरा कर सकते हैं, या गलती से पूरी सड़क का रंग बदल सकते हैं।
समाधान: InterCoG (द "डिटेक्टिव पेंटर")
InterCoG एक ऐसा फ्रेमवर्क है जो केवल एक पेंटर नहीं है, बल्कि एक डिटेक्टिव भी है जो पेंटर का काम भी करता है। आपके निर्देश को सीधे लागू करने के बजाय, InterCoG कैनवास को छूने से पहले एक सख्त, चरण-दर-चरण जासूसी प्रक्रिया का पालन करता है।
यह इस प्रकार काम करता है, एक सरल उदाहरण के माध्यम से:
1. द टेक्स्टुअल डिटेक्टिव (द "मेंटल मैप")
सबसे पहले, InterCoG आपके निर्देश को पढ़ता है और फोटो को देखता है, लेकिन वह अभी तक इमेज को छूता नहीं है। यह एक जासूस की तरह व्यवहार करता है जो अपनी नोटबुक में रिपोर्ट लिख रहा है।
- यह सोचता है: "ठीक है, मुझे लोगों का एक समूह दिख रहा है। बीच में एक महिला है। वह एक बच्चे का हाथ थामे हुए है। उसके दोनों ओर दो अन्य बच्चे हैं। तो निश्चित रूप से लक्ष्य वही होनी चाहिए।"
- उदाहरण: यह एक नक्शा पढ़ने जैसा है और यह कहना कि, "खजाना बड़े ओक के पेड़ के नीचे, लाल बेंच के बगल में है," इससे पहले कि आप खुदाई शुरू करें। यह दृश्य के तर्क (logic) को शब्दों के माध्यम से समझता है।
2. द विजुअल डिटेक्टिव (द "हाईलाइटर")
एक बार जब जासूस स्थान के बारे में आश्वस्त हो जाता है, तो वह केवल अनुमान नहीं लगाता। वह एक हाईलाइटर निकालता है और उस विशिष्ट व्यक्ति पर एक बॉक्स और मास्क बनाता जिसे उसने चरण 1 में पहचाना था।
- यह करता है: यह स्क्रीन पर लाल रंग में उस महिला को हाईलाइट करता है।
- उदाहरण: यह स्क्रीन पर सटीक व्यक्ति पर "टारगेट एक्वायर्ड" (लक्ष्य प्राप्त) का स्टिकर लगाने जैसा है। यह खुद को सिद्ध करता है, "हाँ, मैं इसी के बारे में बात कर रहा था।"
3. द रीराइटर (द "क्लैरिफायर")
अब जब इसे ठीक-ठीक पता है कि किसे एडिट करना है, तो यह आपके मूल निर्देश को बेहद सटीक बनाने के लिए फिर से लिखता है।
- यह बदल देता है: "बच्चों के बीच खड़ी महिला की शर्ट बदलो" बन जाता है "लाल बॉक्स में हाईलाइट की गई विशिष्ट महिला की नीली शर्ट को हरा कर दो।"
- उदाहरण: यह एक अनुवादक जैसा है जो यह सुनिश्चित करता है कि पेंटर अनुरोध की सटीक बारीकियों को समझे, जिससे किसी भी प्रकार का भ्रम दूर हो जाए।
4. द पेंटर (द "एक्जीक्यूशन")
अंत में, लक्ष्य लॉक होने, तर्क की पुष्टि होने और निर्देश स्पष्ट होने के बाद, पेंटर काम शुरू करता है। क्योंकि वह जानता है कि कहाँ देखना है, परिणाम एकदम सटीक होता है। महिला की शर्ट हरी हो जाती है, और उसके बगल में खड़े बच्चे बिल्कुल वैसे ही रहते हैं।
यह विशेष क्यों है?
अधिकांश अन्य AI मॉडल तुरंत स्थान का अनुमान लगाने की कोशिश करते हैं। यदि दृश्य जटिल है (जैसे भीड़, व्यस्त बाजार, या जंगल), तो वे खो जाते हैं।
InterCoG विशेष है क्योंकि यह इंटरलीव (interleave) करता है (सोचने और देखने को मिलाता है)। यह केवल "सोचता" नहीं है और फिर "करता" नहीं है। यह सोचता है, अपने काम की जांच करता है, फिर से सोचता है, और फिर करता है। यह एक ऐसे शेफ की तरह है जो सूप को चखता है, उसमें चुटकी भर नमक डालता है, फिर से चखता है, और फिर उसे परोसता है, न कि केवल एक बार रेसिपी का अनुमान लगाकर यह उम्मीद करता है कि सब ठीक होगा।
"ट्रेनिंग स्कूल" (GroundEdit-45K)
इस AI को इतना अच्छा जासूस बनाने के लिए, शोधकर्ताओं ने एक विशाल प्रशिक्षण स्कूल बनाया जिसे GroundEdit-45K कहा जाता है।
- उन्होंने AI को केवल तस्वीरें दिखाकर यह नहीं कहा कि "इसे ठीक करो।"
- उन्होंने AI को तस्वीरें दिखाईं और उसे तस्वीर ठीक करने से पहले जासूस की रिपोर्ट (तर्क के चरण) लिखने के लिए मजबूर किया।
- उन्होंने एक "टेस्ट एग्जाम" (GroundEdit-Bench) भी बनाया जहाँ AI को कठिन स्थितियों में छिपे हुए लक्ष्यों को खोजना होता है।
परिणाम
पेपर दिखाता है कि InterCoG इन पेचीदा, "भूसे के ढेर में सुई खोजने" वाले कार्यों में पिछले मॉडलों की तुलना में बहुत बेहतर है। यह केवल पिक्सेल नहीं बदलता; यह छवि के कथानक (story) को समझता है और कहानी के बाकी हिस्सों को खराब किए बिना सही हिस्से को एडिट करता है।
संक्षेप में, InterCoG एक ऐसा AI है जो अनुमान लगाने से इनकार करता है। यह सोचता है, पुष्टि करता है, और फिर कार्य करता है, यह सुनिश्चित करता है कि जब आप भीड़भाड़ वाले कमरे में किसी विशिष्ट बदलाव के लिए कहें, तो यह ठीक वही बदले जिसका आपका अर्थ था, और कुछ भी नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।