LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models
LaViDa-R1 एक एकीकृत मल्टीमॉडल डिफ्यूजन लैंग्वेज मॉडल है जो एक नवीन पोस्ट-ट्रेनिंग फ्रेमवर्क के भीतर सुपरवाइज्ड फाइनट्यूनिंग और मल्टी-टास्क रीइन्फोर्समेंट लर्निंग को एकीकृत करके तर्क क्षमताओं को उन्नत करता है, जो विविध विजुअल अंडरस्टैंडिंग और जनरेशन कार्यों में मजबूत प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली कलाकार है जो चित्र भी बना सकता है और कहानियाँ भी लिख सकता है। इस कलाकार का नाम LaViDa-O है, जो निर्देशों का पालन करने में अच्छा है, लेकिन जब उसे कोई कठिन पहेली सुलझाने या यह समझाने के लिए कहा जाता है कि उसने एक निश्चित चुनाव क्यों किया, तो वह कभी-कभी बस अंदाज़ा लगा लेता है या जल्दबाजी में उत्तर दे देता है।
यह शोध पत्र एक नई प्रशिक्षण विधि पेश करता है जिसे LaViDa-R1 कहा जाता है। इसे कलाकार को नए तथ्य सिखाने के रूप में नहीं, बल्कि उसे सोचना सिखाने के रूप में समझें। यह एक "सोचने वाली टोपी" (thinking cap) देने जैसा है जो उसे रुकने, अपने तर्क का खाका तैयार करने, अपने काम की जाँच करने और फिर अंत में अपना उत्कृष्ट मास्टरपीस दिखाने के लिए मजबूर करती है।
उन्होंने इसे कैसे किया, इसके लिए कुछ सरल उपमाओं का उपयोग किया गया है:
1. "एकीकृत जिम" (Unified Gym - Unified Post-Training)
आमतौर पर, यदि आप किसी AI को गणित में बेहतर बनाने चाहते हैं, तो आप उसे केवल गणित की समस्याएँ दिखाते हैं। यदि आप चाहते हैं कि वह फोटो एडिटिंग में बेहतर हो जाए, तो आप उसे केवल फोटो एडिटिंग के कार्य दिखाते हैं। यह एक छात्र को सुबह गणित की क्लास में भेजने और दोपहर में फोटोग्राफी की क्लास में भेजने जैसा है, लेकिन उन्हें दोनों कौशलों को आपस में मिलने नहीं दिया जाता।
LaViDa-R1 इन सबको एक विशाल "जिम" में रखता है। यह मॉडल को गणित, फोटो एडिटिंग, चित्रों में वस्तुओं को खोजने और प्रश्न पूछने जैसे सभी कार्यों पर एक साथ प्रशिक्षित करता है। शोध पत्र का दावा है कि यह "एकीकृत" दृष्टिकोण मॉडल को केवल एक क्षेत्र का विशेषज्ञ बनाने के बजाय समग्र रूप से अधिक स्मार्ट बनाता है।
2. "उत्तर-बलदान" की तकनीक (जब छात्र फंस जाता है)
कल्पना कीजिए कि कलाकार गणित की एक समस्या हल करने की कोशिश कर रहा है। वह तीन बार प्रयास करता है, लेकिन तीनों उत्तर गलत होते हैं। एक सामान्य प्रशिक्षण सत्र में, शिक्षक केवल कहेगा, "फिर से कोशिश करो," और कलाकार निराश हो सकता है या कुछ सीख भी नहीं पाएगा क्योंकि उसे यह नहीं पता कि वह कहाँ विफल हुआ।
LaViDa-R1 एक तकनीक का उपयोग करता है जिसे Answer-Forcing (उत्तर-बलदान) कहा जाता है।
- परिदृश्य: मॉडल समस्या को हल करने में विफल रहता है।
- तकनीक: शिक्षक गुप्त रूप से कागज के बिल्कुल अंत में सही उत्तर लिख देता है।
- जादू: क्योंकि यह मॉडल एक "डिफ्यूजन" (diffusion) मॉडल की तरह बना है (जो रिक्त स्थानों को भरने का काम करता है), यह अंत में दिए गए सही उत्तर को देख सकता है और बीच में गायब तर्क चरणों (reasoning steps) को भरने के लिए पीछे की ओर काम कर सकता है।
- परिणाम: मॉडल सीखता है, "ओह, यदि मुझे यह उत्तर चाहिए, तो मुझे इस तरह से सोचना होगा।" यह खुद को सिखाने के लिए शून्य से एक पूर्ण "विचार प्रक्रिया" (thought process) बना लेता है।
3. "ट्री सर्च" (जंगल की खोज करना)
कभी-कभी, जाँचने के लिए कोई एक "सही उत्तर" नहीं होता (जैसे कि किसी फोटो को "अधिक उष्णकटिबंधीय/tropical" दिखने के लिए एडिट करना)। मॉडल को बस यह अंदाज़ा लगाना होता है कि क्या अच्छा दिखेगा।
यदि मॉडल 10 बार प्रयास करता है और सभी 10 खराब दिखते हैं, तो उसे कोई उपयोगी फीडबैक नहीं मिलता।
LaViDa-R1 Tree Search (ट्री सर्च) का उपयोग करता है।
- कल्पना कीजिए कि मॉडल एक यात्रा शुरू करता है और 10 अलग-अलग रास्ते चुनता है।
- वह जाँचता है कि कौन सा रास्ता सबसे अच्छा दिखता है।
- शुरुआत से शुरू करने के बजाय, वह उस सबसे अच्छे रास्ते को लेता है, थोड़ा पीछे जाता है, और फिर उस विशिष्ट बिंदु से 10 नए बदलावों को आज़माने के लिए शाखाएँ निकालता है।
- यह एक ऐसे हाइकर (पगडंडी पर चलने वाले) जैसा है जिसे एहसास होता है, "वह रास्ता जो मैंने लिया था वह बेहतरीन था," इसलिए वह वापस उसी स्थान पर जाता है और वहां से 10 नए दिशाओं को आज़माता है, न कि पूरे पहाड़ के नीचे से फिर से शुरू करता है। यह उसे तेजी से सबसे अच्छा समाधान खोजने में मदद करता है।
4. "संतुलित स्कोरकार्ड" (बेहतर ग्रेडिंग)
इन मॉडलों को प्रशिक्षित करते समय, कंप्यूटर को यह गणना करनी होती है कि एक अनुमान कितना "अच्छा" था। आमतौर पर, यह गणना अव्यवस्थित और असमान होती है—जैसे एक शिक्षक द्वारा टेस्ट ग्रेड करना जहाँ कुछ प्रश्नों के अंक 10 हैं और दूसरों के 1 अंक, जो कि गलती से हो जाता है।
शोध पत्र एक Complementary Likelihood Estimator पेश करता है।
- इसे एक ऐसी ग्रेडिंग प्रणाली के रूप में सोचें जो यह सुनिश्चित करती है कि मॉडल के उत्तर का प्रत्येक शब्द एक निष्पक्ष ग्रेड प्राप्त करे।
- यह उत्तर के दो अलग-अलग "दृष्टिकोणों" का उपयोग करता है ताकि यह सुनिश्चित हो सके कि तर्क के किसी भी हिस्से को अनदेखा न किया जाए। यह मॉडल को असमान फीडबैक से भ्रमित होने से बचाता है।
परिणाम: उन्होंने क्या हासिल किया?
शोध पत्र का दावा है कि इन तकनीकों का उपयोग करके, LaViDa-R1 निम्नलिखित कार्यों में काफी बेहतर हो गया है:
- विजुअल मैथ (Visual Math): चित्रों और चार्ट्स से जुड़ी गणित की समस्याओं को हल करना।
- ऑब्जेक्ट ग्राउंडिंग (Object Grounding): जटिल विवरणों के आधार पर चित्र में विशिष्ट वस्तुओं को खोजना (जैसे, "उस व्यक्ति को खोजें जो खिलाड़ी होने की संभावना नहीं रखता है")।
- इमेज एडिटिंग (Image Editing): निर्देशों के आधार पर फोटो को बदलना (जैसे, "इस जंगल के केबिन को समुद्र तट के घर में बदलें"), पहले यह तर्क देकर कि क्या बदलने की आवश्यकता है।
संक्षेप में: यह शोध पत्र एक मल्टीमॉडल AI (जो देख और पढ़ सकता है) को "बोलने से पहले सोचने" के लिए प्रशिक्षित करने का एक नया तरीका प्रस्तुत करता है। विभिन्न प्रकार के कार्यों को मिलाकर, सही उत्तरों को मार्गदर्शक के रूप में उपयोग करके मॉडल को अपनी गलतियों से सीखने के लिए मजबूर करके, और स्मार्ट खोज रणनीतियों का उपयोग करके, उन्होंने एक ऐसा मॉडल बनाया है जो पिछले संस्करणों की तुलना में तर्क करने में बहुत बेहतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।