Iterative Visual Thinking: Teaching Vision-Language Models Spatial Self-Correction through Visual Feedback
यह शोध पत्र इटरेटिव विजुअल थिंकिंग (IVT) को प्रस्तुत करता है, जो एक क्लोज्ड-लूप फ्रेमवर्क है जो विजन-लैंग्वेज मॉडल्स को सिंथेटिक सुधारात्मक तर्क और ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन से जुड़ी दो-चरणीय प्रशिक्षण रणनीति का लाभ उठाकर उनके स्थानिक भविष्यवाणियों को स्वयं सुधारने में अक्षम होने की समस्या को दूर करने में सक्षम बनाता है, जिससे न्यूनतम डेटा और कंप्यूटेशनल संसाधनों के साथ ग्राउंडिंग सटीकता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप "हॉट एंड कोल्ड" (Hot and Cold) का एक खेल खेल रहे हैं जहाँ आपको किसी फोटो में छिपी हुई वस्तु को ढूँढना है, जिसका विवरण कुछ इस तरह हो: "बाईं ओर देखते हुए जेब्रा को ढूँढो।"
समस्या: "अंधा" विशेषज्ञ
वर्तमान AI मॉडल (विज़न-लैंग्वेज मॉडल्स) ऐसे विशेषज्ञों की तरह हैं जो एक ही बार में सही उत्तर का अनुमान लगाने में अविश्वसनीय रूप से कुशल हैं। यदि आप उनसे पूछते हैं, तो वे आमतौर पर 80% बार सही होते हैं।
हालाँकि, शोधकर्ताओं ने एक अजीब दोष पाया: ये विशेषज्ञ अपनी गलतियों से नहीं सीख सकते जब वे उस गलती को देख सकते हैं।
यदि आप AI से कहें, "यहाँ आपकी कल्पना को लाल रंग में चित्र पर बनाया गया है। इसे देखें, और फिर से प्रयास करें," तो AI स्मार्ट नहीं होता है। इसके बजाय, वह भ्रमित हो जाता है और उसका प्रदर्शन 80% से गिरकर 48% हो जाता है। यह एक मास्टर शेफ की तरह है जो एक बेहतरीन भोजन बना सकता है, लेकिन अगर आप उन्हें अपने पकवान की फोटो दिखाएं और कहें, "देखो, यह जल गया है," तो वे तुरंत खाना बनाना भूल जाते हैं और अगले प्रयास में सब खराब कर देते हैं। उनमें दृश्य रूप से "स्वयं-सुधार" (self-correct) करने की क्षमता का अभाव है।
समाधान: "इटरेटिव विजुअल थिंकिंग" (IVT)
लेखकों ने एक नया प्रशिक्षण तरीका बनाया जिसे इटरेटिव विजुअल थिंकिंग (IVT) कहा जाता है। इसे AI को एक नया कौशल सिखाने के रूप में समझें: "स्केच और इरेज़" (Sketch and Erase) लूप।
केवल एक बार अनुमान लगाने के बजाय, AI को यह सिखाया जाता है:
- अनुमान लगाना (Guess): उस वस्तु के चारों ओर एक बॉक्स बनाएँ जिसे वह लगता है कि वह वस्तु है।
- देखना (See): कंप्यूटर उस बॉक्स को चित्र पर लाल रंग में बनाता है और उसे वापस AI को दिखाता है।
- सोचना (Think): AI उस लाल बॉक्स को देखता है, और महसूस करता है, "ओह, मैं बाईं ओर बहुत दूर था," या "मैंने गलत जेब्रा को पकड़ लिया।"
- सुधारना (Refine): यह एक नया, बेहतर बॉक्स बनाता है।
उन्होंने इसे कैसे सिखाया (दो चरणों वाली रेसिपी)
आप केवल AI को यह करने के लिए नहीं कह सकते; इसे विशेष रूप से इसके लिए प्रशिक्षित किया जाना चाहिए। शोधकर्ताओं ने एक दो-चरणीय "कोचिंग" प्रक्रिया का उपयोग किया:
चरण 1: "शिक्षक" का पाठ (SFT)
कल्पना कीजिए कि एक छात्र (AI) एक गलत अनुमान लगाता है। एक "शिक्षक" AI उस गलत अनुमान को देखता है, लाल बॉक्स बनाता है, और फिर एक नोट लिखता है, "उस लाल बॉक्स को देखो? यह बहुत बड़ा है और गलत जानवर को कवर कर रहा है। आपको इसे बाईं ओर ले जाने की आवश्यकता है।"
फिर छात्र AI को हजारों ऐसे उदाहरणों पर प्रशिक्षित किया जाता है। वह लाल बॉक्स को देखने और अपनी गलती सुधारने की आदत सीख जाता है। यह सबसे महत्वपूर्ण हिस्सा है; इस पाठ के बिना, AI यह नहीं जान पाता कि विजुअल फीडबैक को कैसे पढ़ा जाए।चरण 2: "अभ्यास ड्रिल" (GRPO)
एक बार जब AI को बुनियादी आदत का पता चल जाता है, तो शोधकर्ता इसे एक रिवॉर्ड सिस्टम का उपयोग करके अपने आप अभ्यास करने देते हैं। हर बार जब AI एक अनुमान लगाता है, तो उसे एक स्कोर मिलता है जो इस आधार पर होता है कि बॉक्स वास्तविक वस्तु के कितने करीब है।- लक्ष्य: AI को सुधार करते समय खराब होने से रोकना। शुरुआती प्रशिक्षण में, AI अक्सर पहला अनुमान ठीक लगाता था, फिर दूसरा अनुमान और खराब कर देता था, और तीसरा और भी खराब।
- समाधान: इस दूसरे चरण ने AI को अपनी स्थिति बनाए रखने के लिए प्रशिक्षित किया। इसने सीखा कि जंगली बदलावों के बजाय छोटे, सावधानीपूर्ण समायोजन कैसे किए जाएं। इसने "स्लिपेज" (हर चरण के साथ बदतर होना) को 5 गुना कम कर दिया।
परिणाम
इस विधि का उपयोग एक अपेक्षाकृत छोटे डेटासेट (केवल 2,400 उदाहरण, जो AI मानकों के अनुसार बहुत छोटा है) और केवल एक ग्राफिक्स कार्ड पर करके, उन्होंने एक उल्लेखनीय उपलब्धि हासिल की:
- उन्होंने क्रैश को ठीक कर दिया: AI अब विफल नहीं होता है जब वह अपनी गलतियों को देखता है।
- वे बेहतर हुए: वे एक बार में 79.6% सही होने से बढ़कर अपने उत्तर को सुधारने के बाद 82.0% सही होने लगे।
- यह कठिन समस्याओं पर काम करता है: AI ने सबसे पेचीदा, सबसे भ्रमित करने वाले विवरणों पर सबसे अधिक सुधार दिखाया, जहाँ एक एकल अनुमान आमतौर पर विफल हो जाता है।
बड़ी सीख
यह पेपर सिद्ध करता है कि स्थानिक स्व-सुधार (spatial self-correction) एक सीखने योग्य कौशल है, लेकिन यह स्वाभाविक रूप से नहीं होता है। आपको AI को स्पष्ट रूप से यह सिखाना होगा कि अपनी खुद की "लाल बॉक्स" की गलतियों को कैसे देखा जाए और उन्हें कैसे सुधारा जाए। यह एक "वन-शॉट गेसर" को एक "विचारक" में बदल देता है जो देख सकता है, जांच सकता है और सुधार सकता है, बिल्कुल वैसे ही जैसे एक इंसान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।