On Asymmetric Optimization of Reasoning and Perception in Vision-Language Model Post-Training
यह शोध पत्र एक नैदानिक ढांचे (diagnostic framework) को पेश करके उस पोस्ट-ट्रेनिंग बाधा की पहचान करता है और उसे संबोधित करता है जहाँ विजन-लैंग्वेज मॉडल धारणा (perception) की तुलना में तर्क (reasoning) में अधिक सुधार करते हैं, जो सुपरवाइज्ड फाइन-ट्यूनिंग और रिइन्फोर्समेंट लर्निंग में इस विषमता के विशिष्ट कारणों को प्रकट करता है, और एंड-टू-एंड प्रदर्शन को महत्वपूर्ण रूप से बढ़ाने के लिए डायनेमिक लॉस रीवेटिंग और परसेप्शन-अवेयर रिवार्ड्स जैसे लक्षित हस्तक्षेपों का प्रस्ताव करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी तस्वीर: "तेज़ लेकिन अंधा" छात्र
कल्पive कि आपके पास एक बहुत ही प्रतिभाशाली छात्र है जो एक बहुत कठिन परीक्षा दे रहा है, जिसमें उसे एक तस्वीर देखनी होती है और फिर उसके आधार पर एक तर्क संबंधी पहेली (logic puzzle) हल करनी होती है।
हाल ही में, शिक्षकों (शोधकर्ताओं) ने इन छात्रों को तर्क करने (reasoning - तर्क संबंधी पहेली सुलझाने) में बेहतर बनाने के लिए विशेष प्रशिक्षण विधियों का उपयोग किया है। छात्र गणित और तर्क के हिस्सों में अविश्वसनीय रूप से स्मार्ट हो गए हैं।
हालाँकि, यह शोध एक अजीब समस्या की खोज करता है: जबकि छात्र सोचने में तो स्मार्ट हो रहे हैं, वे देखने में बिल्कुल भी बेहतर नहीं हो रहे हैं। वास्तव में, वे तस्वीर को गलत समझने या "भ्रमित" (hallucinate) होने लगे हैं। यह एक ऐसे जासूस की तरह है जो अपराध सुलझाने में तो जीनियस है, लेकिन फोटो में संदिग्ध व्यक्ति को पहचानने में बार-बार गलती करता रहता है।
लेखक इसे "असममित अनुकूलन" (Asymmetric Optimization) कहते हैं। प्रशिक्षण मस्तिष्क के "सोचने" वाले हिस्से को बहुत अधिक महत्व दे रहा है, जबकि "देखने" वाले हिस्से की अनदेखी कर रहा है।
प्रयोग: एक नियंत्रित कक्षा
यह समझने के लिए कि क्यों ऐसा हो रहा है, शोधकर्ता वास्तविक दुनिया की तस्वीरों का उपयोग नहीं कर सके (जो बहुत अव्यवस्थित होती हैं और जिन्हें पूरी तरह से ग्रेड करना कठिन है)। इसके बजाय, उन्होंने दो विशिष्ट खेलों के साथ एक डिजिटल सैंडबॉक्स बनाया:
- ग्राफ कलरिंग (Graph Coloring): बिंदुओं और रेखाओं से जुड़े एक जाल की तस्वीर। कार्य यह है कि बिंदुओं को इस तरह रंगना कि कोई भी दो जुड़े हुए बिंदुओं का रंग समान न हो।
- सुडोकू (Sudoku): एक नंबर ग्रिड की तस्वीर जिसे सही ढंग से भरना आवश्यक है।
चूंकि ये कंप्यूटर द्वारा जनरेट किए गए थे, इसलिए शोधकर्ताओं को ठीक-ठीक पता था कि तस्वीर कैसी दिखती है (अनुभूति/Perception) और उसे हल करने के लिए सही तर्क क्या है (Reasoning)। इसने उन्हें दोनों कौशलों को अलग करने और यह देखने की अनुमति दी कि छात्र कहाँ विफल हो रहा है।
उन्होंने दो प्रकार के प्रशिक्षण का परीक्षण किया:
- SFT (Supervised Fine-Tuning): जैसे एक शिक्षक छात्र को सही उत्तर कुंजी दिखाकर कहता है, "इसे याद कर लो।"
- RL (Reinforcement Learning): जैसे एक वीडियो गेम जहाँ छात्र को अंक तभी मिलते हैं जब वह अंतिम स्कोर सही प्राप्त करता है, लेकिन शिक्षक यह नहीं बताता कि वह कहाँ गलत हुआ।
खोज: दो अलग-अलग अपराधी
शोधकर्ताओं ने पाया कि दोनों प्रशिक्षण विधियों ने "देखने" की समस्या पैदा की, लेकिन अलग-अलग कारणों से।
1. SFT की समस्या: "वॉल्यूम" (मात्रा) का मुद्दा
उपमा: कल्पना करें कि एक छात्र एक लंबा निबंध लिख रहा है। शिक्षक निबंध को कुल शब्दों की संख्या के आधार पर ग्रेड देता है।
- छात्र 95% समय तर्क (Reasoning) समझाने में बिताता है।
- छात्र केवल 5% समय तस्वीर का वर्णन करने में बिताता है।
क्या हुआ: क्योंकि "अनुभूति" (Perception) वाला हिस्सा बहुत छोटा था, इसलिए शिक्षक का फीडबैक (प्रशिक्षण संकेत) उस हिस्से के लिए बहुत कमजोर था। छात्र ने तर्क को पूरी तरह से सीख लिया क्योंकि उसे 95% ध्यान मिला, लेकिन उसने तस्वीर का वर्णन करना मुश्किल से सीखा क्योंकि उसे केवल 5% ध्यान मिला।
समाधान: शोधकर्ताओं ने लॉस रीवेटिंग (Loss Reweighting) का प्रयास किया। यह ऐसा है जैसे शिक्षक को कहना: "भले ही वर्णन छोटा है, लेकिन इसे ऐसे ग्रेड दें जैसे कि यह निबंध का 50% हो।"
- परिणाम: जब उन्होंने मॉडल को "देखने" वाले हिस्से पर अधिक ध्यान देने के लिए मजबूर किया, तो छात्र देखने और पहेली सुलझाने दोनों में बहुत बेहतर हो गया। कुल स्कोर में 18.2 अंक तक की उछाल आई।
2. RL की समस्या: "शोर युक्त इनाम" (Noisy Reward) का मुद्दा
उपमा: कल्पना करें कि एक छात्र वीडियो गेम खेल रहा है। उसे केवल अंत में "गेम ओवर" या "विजय" का स्क्रीन मिलता है। उसे विशिष्ट चालों के लिए अंक नहीं मिलते।
- यदि छात्र तस्वीर का गलत अनुमान लगाता है लेकिन फिर भी भाग्य से पहेली सुलझा लेता है, तो भी उसे "विजय" का स्क्रीन मिलता है।
- यदि छात्र तस्वीर को पूरी तरह से देखता है लेकिन एक छोटी सी तर्क संबंधी गलती करता है, तो उसे "गेम ओवर" मिलता है।
क्या हुआ: "विजय" का संकेत (इनाम) तर्क (Reasoning) से मजबूती से जुड़ा था, लेकिन तस्वीर के वर्णन (Perception) से बहुत कमजोर रूप से जुड़ा था। मॉडल ने सीखा: "मुझे तस्वीर देखने में परफेक्ट होने की जरूरत नहीं है; मुझे बस तर्क का अनुमान लगाने में अच्छा होना है।" देखने के लिए मिलने वाला संकेत सीखने के लिए बहुत शोर भरा (noisy) था।
समाधान: शोधकर्ताओं ने रिवॉर्ड ऑग्मेंटेशन (Reward Augmentation) का प्रयास किया। उन्होंने तस्वीर को सही ढंग से वर्णित करने के लिए एक विशिष्ट "बोनस अंक" जोड़ा, भले ही अंतिम तर्क गलत हो।
- परिणाम: इसने मॉडल को अपनी दृष्टि सुधारने के लिए एक स्पष्ट संकेत दिया। समग्र स्कोर में 6.0 अंक तक का सुधार हुआ।
- अतिरिक्त खोज: उन्होंने यह भी पाया कि यदि आपके पास सटीक "बोनस अंक" (ग्राउंड ट्रुथ) नहीं हैं, तो आप एक "सरोगेट" रिवॉर्ड (जैसे किसी स्मार्ट AI से तस्वीर के वर्णन को ग्रेड करवाना) का उपयोग कर सकते हैं। रिवॉर्ड के एक रफ अनुमान ने भी स्कोर में 3.2 अंक सुधारने में मदद की।
ट्रेड-ऑफ: तराजू को संतुलित करना
शोधपत्र ने एक नाजुक संतुलन की भी खोज की।
- यदि आप मॉडल को देखने पर बहुत अधिक ध्यान केंद्रित करने के लिए मजबूर करते हैं, तो वह सोचने में कमजोर हो जाता है।
- यदि आप उसे सोचने पर बहुत अधिक ध्यान केंद्रित करने देते हैं, तो वह देखने में कमजोर हो जाता है।
सही स्थान (sweet spot) "देखने" वाले हिस्से को मध्यम रूप से अधिक महत्व देकर पाया गया। आप तर्क को नजरअंदाज नहीं करना चाहते, लेकिन आप दृष्टि (vision) को केवल एक गौण विचार भी नहीं छोड़ सकते।
मुख्य निष्कर्ष
- समस्या: वर्तमान AI प्रशिक्षण मॉडल को तर्क करने में तो माहिर बनाता है लेकिन धारणा (perception) में कमजोर, जिससे एक बाधा उत्पन्न होती है जहाँ मॉडल समस्या को हल नहीं कर पाता क्योंकि वह इनपुट को सही ढंग से "देख" नहीं पाता।
- कारण (SFT): उत्तर का "देखने" वाला हिस्सा बहुत छोटा है, इसलिए मानक प्रशिक्षण के दौरान इसे अनदेखा कर दिया जाता है। समाधान: इसे अधिक भार (weight) दें।
- कारण (RL): अंतिम स्कोर यह नहीं बताता कि मॉडल ने तस्वीर को सही देखा या नहीं, बल्कि यह बताता है कि अंतिम उत्तर सही है या नहीं। समाधान: तस्वीर को सही ढंग से देखने के लिए विशिष्ट इनाम जोड़ें।
- परिणाम: इन विशिष्ट असंतुलनों को ठीक करके, मॉडल पूरे कार्य (End-to-End) में काफी बेहतर हो गए, जिससे यह साबित हुआ कि आप केवल "सोचने" के लिए प्रशिक्षण देकर यह उम्मीद नहीं कर सकते कि "देखने" की क्षमता अपने आप सुधर जाएगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।