Listener-Rewarded Thinking in VLMs for Image Preferences
यह शोध पत्र विज़न-लैंग्वेज मॉडल्स के लिए एक लिसनर-ऑगमेंटेड ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) फ्रेमवर्क प्रस्तुत करता है जो रीजनिंग ट्रेसेस को मान्य करने और रिवॉर्ड सिग्नल्स को आकार देने के लिए एक स्वतंत्र "लिसनर" मॉडल का उपयोग करता है, जिससे सामान्यीकरण में महत्वपूर्ण सुधार होता है, रीजनिंग विरोधाभासों में कमी आती है, और इमेज प्रेफरेंस अलाइनमेंट कार्यों पर अत्याधुनिक प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी तस्वीर: AI को बोलने से पहले "सोचना" सिखाना
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े जल्दबाज कला समीक्षक (मान लीजिए कि उसका नाम द रीज़नर (The Reasoner) है) को प्रशिक्षित कर रहे हैं। आपका लक्ष्य उसे दो AI-जनरेटेड चित्रों को दिखाना और यह बताना सिखाना है कि इंसान उनमें से किसे अधिक पसंद करेंगे।
अतीत में, हम समीक्षकों को हजारों उदाहरण दिखाकर सिखाते थे और कहते थे, "यह अच्छा है, वह बुरा है।" इसे सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) कहा जाता है। समस्या क्या थी? समीक्षक ने एक छात्र की तरह रट्टा मार लिया था जो परीक्षा के लिए रट रहा हो। यदि आप उसे किसी ऐसे नए प्रकार का चित्र दिखाते जिसे उसने पहले नहीं देखा था, तो वह भ्रमित हो जाता और असफल हो जाता।
फिर, शोधकर्ताओं ने रीइन्फोर्समेंट लर्निंग (RL) का प्रयास किया। केवल रटने के बजाय, उन्होंने समीक्षक को अभ्यास करने, गलतियाँ करने और परिणामों से सीखने दिया। इसने उसे बेहतर तरीके से सामान्यीकरण (generalize) करने में मदद की। लेकिन, उन्हें एक नई समस्या मिली: समीक्षक खुद से झूठ बोलने लगा।
समस्या: "आत्मविश्वासी लेकिन गलत" समीक्षक
यहाँ वह विशिष्ट मुद्दा है जिसे इस शोध पत्र ने खोजा है:
कभी-कभी, 'द रीज़नर' दो चित्रों को देखता, यह बताने के लिए एक लंबा, तार्किक स्पष्टीकरण लिखता कि चित्र A क्यों बेहतर है, और फिर निष्कर्ष निकालता, "चित्र A विजेता है!"
लेकिन यहाँ पेंच यह है: यदि आप एक दूसरे, स्वतंत्र विशेषज्ञ (मान लीजिए कि उसका नाम द लिसनर (The Listener) है) से उसी स्पष्टीकरण को पढ़ने के लिए कहते, तो वह कहती, "एक मिनट रुकिए। आपका स्पष्टीकरण वास्तव में यह साबित करता है कि चित्र B बेहतर है!"
'द रीज़नर' आत्मविश्वासी तो था, लेकिन उसका तर्क उसके निष्कर्ष से मेल नहीं खाता था। यह एक वकील की तरह है जो एक शानदार भाषण देता है जो अनजाने में प्रतिवादी को दोषी सिद्ध कर देता है, फिर भी "निर्दोष" के लिए बहस करता रहता है।
शोध पत्र इसे "लिसनर डिसएग्रीमेंट" (Listener Disagreement) कहता है। जब रीज़नर का तर्क लिसनर की समझ के विपरीत होता है, तो अंतिम उत्तर आमतौर पर गलत होता है।
समाधान: "लिसनर-ऑगमेंटेड" सिस्टम
इसे ठीक करने के लिए, लेखकों ने "लिसनर-रिवॉर्डेड थिंकिंग" (Listener-Rewarded Thinking) नामक एक नई प्रशिक्षण विधि पेश की।
एक कक्षा की स्थिति की कल्पना करें:
- छात्र (The Reasoner): एक निबंध लिखता है जिसमें वह समझाता है कि उसने एक विशिष्ट उत्तर क्यों चुना।
- शिक्षक (The Listener): एक अलग, स्थिर (अपरिवर्तित) AI जो अंतिम उत्तर देखने से पहले निबंध को पढ़ता है।
- ग्रेड:
- यदि छात्र उत्तर सही पाता है लेकिन शिक्षक को लगता है कि निबंध निरर्थक है, तो छात्र को कम स्कोर मिलता है।
- यदि छात्र उत्तर सही पाता है और शिक्षक निबंध से सहमत है, तो छात्र को उच्च स्कोर मिलता है।
- यदि छात्र गलत उत्तर देता है, तो उसे कम स्कोर मिलता है।
मुख्य नवाचार यह है कि शिक्षक की राय रिवॉर्ड (पुरस्कार) को आकार देती है। छात्र यह सीखता है कि केवल सही उत्तर का अनुमान लगाना ही काफी नहीं है; उसे एक ऐसा स्पष्टीकरण लिखना होगा जो इतना स्पष्ट और तार्किक हो कि एक स्वतंत्र विशेषज्ञ भी उससे सहमत हो।
व्यवहार में यह कैसे काम करता है
शोधकर्ताओं ने छात्र के रूप में एक शक्तिशाली AI मॉडल (Qwen 2.5 VL) और शिक्षक के रूप में इसके ही एक अन्य संस्करण का उपयोग किया।
- सेटअप: उन्होंने छात्र को चित्रों की जोड़ियाँ दिखाईं और पूछा, "कौन सा बेहतर है?"
- ट्विस्ट: छात्र को अपने तर्क (Chain-of-Thought) पहले लिखने थे।
- चेक: शिक्षक ने तर्क को पढ़ा (अंतिम उत्तर को अनदेखा करते हुए) और एक "कॉन्फिडेंस स्कोर" दिया।
- क्या तर्क समझ में आया?
- क्या यह वास्तव में निष्कर्ष का समर्थन करता है?
- रिवॉर्ड: छात्र को "इनाम" (रिवॉर्ड सिग्नल) तभी मिला जब तर्क शिक्षक के लिए प्रभावशाली था और उत्तर सही था।
परिणाम: यह क्यों मायने रखता है
इस छोटे से बदलाव के बड़े प्रभाव पड़े:
- बेहतर सटीकता: मॉडल अपने काम में मानक परीक्षणों (ImageReward) पर सर्वश्रेष्ठ बन गया, और 67.4% स्कोर किया।
- अज्ञात के प्रति बेहतर: जब इसे उन ब्रांड-न्यू प्रकार के चित्रों (Out-of-Distribution) को दिखाया गया जिन्हें उसने पहले कभी नहीं देखा था, तो इसने पिछले तरीकों की तुलना में काफी बेहतर प्रदर्शन किया। उसने केवल अनुमान नहीं लगाया; उसने वास्तव में तर्क को समझा।
- कम झूठ बोलना: मॉडल ने ऐसी गलतियाँ कम कीं जहाँ स्पष्टीकरण निष्कर्ष के विपरीत था। यह अधिक ईमानदार और सुसंगत बन गया।
निष्कर्ष
इसे एक डिबेट टीम (वाद-विवाद टीम) को प्रशिक्षित करने की तरह समझें। अतीत में, हमें केवल इस बात की परवाह थी कि वे बहस जीत गए। अब, हमें इस बात की परवाह है कि वे जीते भी और उनके तर्क इतने ठोस थे कि एक तटस्थ न्यायाधीश भी उनसे सहमत हुआ।
एक "लिसनर" का उपयोग करके AI के सोचने को उसके निष्कर्षों के साथ संरेखित करके, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई जो न केवल स्मार्ट है बल्कि जटिल मानवीय प्राथमिकताओं से निपटने के लिए अधिक विश्वसनीय और भरोसेमंद भी है। यह AI को स्पष्ट रूप से सोचना सिखाने का एक स्केलेबल तरीका है, भले ही हमारे पास हर कदम पर निगरानी रखने के लिए कोई मानव शिक्षक न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।