Dr. Seg: Revisiting GRPO Training for Visual Large Language Models through Perception-Oriented Design
डॉ. सेग इस धारणा को चुनौती देते हैं कि भाषा-आधारित GRPO प्रशिक्षण दृश्य धारणा में निर्बाध रूप से स्थानांतरित होता है, और एक 'लुक-टू-कन्फर्म' तंत्र और 'डिस्ट्रीब्यूशन-रैंक्ड रिवॉर्ड' मॉड्यूल के साथ एक प्लग-एंड-प्ले फ्रेमवर्क पेश करते हैं जो बिना किसी संरचनात्मक संशोधन के जटिल दृश्य परिदृश्यों में प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े कठोर छात्र (एक विजुअल लार्ज लैंग्वेज मॉडल) को एक बिखरे हुए कमरे में विशिष्ट वस्तुओं को खोजना सिखा रहे हैं।
लंबे समय तक, शोधकर्ताओं ने इस छात्र को सिखाने के लिए उन्हीं तरीकों का उपयोग किया जिनका उपयोग वे गणित की समस्याओं के लिए करते थे। गणित में, उत्तर तक पहुँचने का मार्ग आमतौर पर एक सीधी रेखा होता है: चरण A से चरण B तक जाता है, जो समाधान की ओर ले जाता है। इसे रीजनिंग (Reasoning) कहा जाता है।
लेकिन एक फोटो को देखना और उसमें बिल्ली या कार को खोजना अलग है। यह परसेप्शन (Perception - बोध) है। आप केवल एक सीधी रेखा का अनुसरण नहीं करते; आप कमरे को स्कैन करते हैं, कालीन की बनावट देखते हैं, रोशनी की जांच करते हैं, छाया के आकार पर ध्यान देते हैं, और शायद दीवार के रंग को भी देखते हैं। बिल्ली को खोजने के कई अलग-अलग तरीके हो सकते हैं।
यह पेपर तर्क देता है कि छात्र को "देखना" सिखाने के पिछले प्रयास इसलिए विफल रहे क्योंकि उन्होंने इसे गणित की समस्या की तरह माना। डॉ. सेग (Dr. Seg) और उनकी टीम ने इस बात को समझा, और एक नई प्रशिक्षण पद्धति बनाई जिसे डॉ. सेग (Dr. Seg) कहा गया।
यहाँ डॉ. सेग कैसे काम करता है, इसे दो सरल रूपकों के माध्यम through समझाया गया है:
1. "लुक-टू-कन्फर्म" रणनीति (जासूस की चेकलिस्ट)
समस्या:
पुराने तरीके में, छात्र तुरंत उत्तर का अनुमान लगा लेता था। यदि उसका अनुमान गलत होता, तो उसे केवल एक साधारण "गलत!" मिलता और वह आगे बढ़ जाता। वह यह नहीं सीख पाता था कि वह क्यों गलत था या उसने किन सुरागों को छोड़ दिया था। वह बहुत जल्दी परिणाम देने के लिए उतावला रहता था।
डॉ. सेग का समाधान:
डॉ. सेग छात्र को एक ऐसे जासूस की तरह कार्य करने के लिए मजबूर करता है जिसे अंतिम निर्णय लेने से पहले अपना काम दिखाना (show their work) अनिवार्य है।
- उपमा: कल्पना कीजिए कि एक जासूस अपराध को सुलझा रहा है। केवल संदिग्ध की ओर इशारा करने के बजाय, जासूस को यह कहने के लिए मजबूर किया जाता है, "मैं कीचड़ भरे जूतों, टूटी हुई खिड़की और गायब घड़ी को देख रहा हूँ।"
- यह कैसे मदद करता है: मॉडल को अंतिम निर्णय कहने से पहले स्पष्ट रूप से दृश्य सुरागों (जैसे "आकार को देखें" या "बनावट को देखें") की ओर इशारा करने के लिए मजबूर करके, मॉडल पूरे चित्र को एक्सप्लोर करने के लिए मजबूर होता है। यह अनुमान लगाना बंद कर देता है और स्कैन करना शुरू कर देता है। इससे यह उन वस्तुओं को खोजने में मदद मिलती है जिन्हें उसने पहले कभी नहीं देखा है, क्योंकि इसने केवल यह नहीं सीखा कि क्या देखना है, बल्कि यह सीखा है कि कैसे देखना है।
2. "डिस्ट्रीब्यूशन-रैंक्ड रिवॉर्ड" (एक निष्पक्ष कोच)
समस्या:
पुराने तरीके में, शिक्षक पुरस्कार जैसे कि एक साधारण "अच्छा काम" (1 अंक) या "बुरा काम" (0 अंक) देते थे।
- दोष: कल्पना कीजिए कि एक छात्र लक्ष्य को हिट करने की कोशिश कर रहा है। यदि वह 1 मिलीमीटर से चूक जाता है, तो उसे "0" मिलता है। यदि वह 1 मीटर से चूक जाता है, तो भी उसे "0" ही मिलता है। छात्र को पता ही नहीं चलता कि वह कितना करीब था! साथ ही, यदि शिक्षक एक ही समय में "दूरी" (0 से 100) और "गिनती" (0 से 10) को ग्रेड दे रहा है, तो "दूरी" का स्कोर इतना बड़ा हो सकता है कि वह "गिनती" के स्कोर को दबा दे। छात्र केवल दूरी को ठीक करने के लिए सीखता है और गिनती को अनदेखा कर देता है।
डॉ. सेग का समाधान:
डॉ. सेग एक निष्पक्ष कोच (Fair Coach) का उपयोग करता है जो सभी के हालिया प्रदर्शन का एक लॉग रखता है।
- उपमा: कच्चा स्कोर देने के बजाय, कोच कहता है, "आप आज के अपने प्रयासों में शीर्ष 10% में हैं।"
- यह कैसे मदद करता है: यह प्रणाली भ्रमित करने वाली संख्याओं (जैसे कि स्कोर 0.9 है या 0.1) को अनदेखा करती है और सापेक्ष प्रगति (relative progress) पर ध्यान केंद्रित करती है। यह मॉडल को बताता है, "आप 5 मिनट पहले की तुलना में बेहतर कर रहे हैं," चाहे विशिष्ट मीट्रिक कुछ भी हो। यह मॉडल को एक सुचारू, स्थिर संकेत देता है, न कि बड़े और छोटे नंबरों का एक अराजक मिश्रण जो उसे भ्रमित करता है।
परिणाम: एक सुपर-स्टूडेंट
जब आप इन दोनों को मिलाते हैं:
- मॉडल को पहले चारों ओर देखने के लिए मजबूर करना (लुक-टू-कन्फर्म)।
- उसे उसकी अपनी प्रगति के आधार पर एक निष्पक्ष, स्थिर स्कोर देना (डिस्ट्रीब्यूशन-रैंक्ड रिवॉर्ड)।
मॉडल चीजें खोजने में अविश्वसनीय रूप से अच्छा हो जाता है। पेपर के परीक्षणों में, डॉ. सेग न केवल उन चीजों को खोजने में बेहतर हुआ जिन्हें उसने पहले देखा था; बल्कि यह नई, अजीब स्थितियों (जैसे कपड़ों के ढेर में छिपी बिल्ली) में चीजें खोजने में भी बहुत बेहतर हुआ जहाँ अन्य मॉडल विफल रहे थे।
संक्षेप में: डॉ. सेग ने AI को एक गणित रोबोट की तरह मानना बंद कर दिया और एक जिज्ञासु खोजकर्ता की तरह व्यवहार करना शुरू किया, जिससे उसे सावधानी से देखने के लिए सही उपकरण और निरंतर सीखने के लिए सही फीडबैक मिला।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।