EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards
EvoLMM एक स्व-विकसित (self-evolving) फ्रेमवर्क है जो दो सहयोगात्मक एजेंटों का उपयोग करके, इमेज-ग्राउंडेड प्रश्न उत्पन्न करने और आंतरिक निरंतरता (internal consistency) के माध्यम से उन्हें हल करने द्वारा, विशुद्ध रूप से अनसुपरवाइज्ड तरीके से लार्ज मल्टीमॉडल मॉडल्स की तर्क क्षमताओं को बढ़ाता है, जिससे बिना किसी एनोटेटेड डेटा या बाहरी रिवॉर्ड मॉडल पर निर्भर हुए मल्टीमॉडल मैथ बेंचमार्क पर महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास इवो (Evo) नाम का एक अत्यंत प्रतिभाशाली लेकिन शर्मीला छात्र है। इवो चित्रों को देखने और टेक्स्ट को पढ़ने में अविश्वसनीय रूप से स्मार्ट है, लेकिन वह एक ऐसे क्लासरूम में फंसा हुआ है जहाँ शिक्षक (इंसान) उसे होमवर्क देना बंद कर चुके हैं। शिक्षक कहते हैं, "मैं आपके पेपर चेक करने या यह बताने के लिए बहुत व्यस्त हूँ कि आपके उत्तर सही हैं या नहीं। आपको खुद से सीखना होगा।"
ज्यादातर छात्र बस वहीं बैठे रहेंगे और कुछ नहीं करेंगे। लेकिन इवो के पास एक गुप्त सुपरपावर है: सेल्फ-प्ले (Self-Play)।
यह पेपर EvoLMM को पेश करता है, जो एक कंप्यूटर मॉडल को बिना किसी मानवीय मदद के स्मार्ट बनने का तरीका सिखाता है, जिसमें एक ही दिमाग के भीतर दो "व्यक्तित्वों" का एक चतुर उपयोग किया गया है।
दो व्यक्तित्व: प्रश्नकर्ता और समाधानकर्ता
एक अकेले दिमाग के सब कुछ करने के बजाय, EvoLMM मॉडल को दो सहयोगी भूमिकाओं में विभाजित करता है जो आपस में बात करते हैं:
- प्रपोजर (प्रश्नकर्ता - The Proposer): यह व्यक्तित्व एक कच्ची छवि (जैसे कोई चार्ट, भूलभुलैया, या ज्यामितीय आरेख) को देखता है और उसके बारे में एक प्रश्न बनाता है।
- उपमा: इसे एक रोल-प्लेइंग गेम में गेम मास्टर की तरह समझें। वे मानचित्र (छवि) को देखते हैं और कहते हैं, "ठीक है, यहाँ तुम्हारे लिए हल करने के लिए एक पहेली है!"
- सॉल्वर (समाधानकर्ता - The Solver): यह व्यक्तित्व प्रश्न का उत्तर देने का प्रयास करता है।
- उपमा: यह खिलाड़ी (Player) है। वे मानचित्र और पहेली को देखते हैं, गहराई से सोचते हैं, और एक उत्तर देते हैं।
जादुई तत्व: निरंतर पुरस्कार (Continuous Rewards)
अतीत में, यदि कोई कंप्यूटर इस तरह सीखने की कोशिश करता, तो वह जल्दी ही विफल हो जाता। ऐसा क्यों है? यहाँ कारण दिए गए हैं:
पुराना तरीका (डिस्क्रीट रिवॉर्ड - Discrete Reward): कल्पना कीजिए कि गेम मास्टर एक प्रश्न पूछता है, और खिलाड़ी एक उत्तर देता है। यदि उत्तर पूरी तरह सही है, तो खिलाड़ी को एक गोल्ड स्टार (पुरस्कार = 1) मिलता है। यदि वह थोड़ा भी गलत है, तो उसे शून्य (पुरस्कार = 0) मिलता है।
- समस्या: शुरुआत में, खिलाड़ी गणित और तर्क में कमजोर होता है। उसे लगभग हर बार "शून्य" मिलता है। यह साइकिल चलाने की कोशिश करने जैसा है लेकिन हर बार डगमगाने पर झटका मिलना। आप हार मान लेते हैं क्योंकि आपको कभी "अच्छा काम किया" नहीं सुनने को मिलता।
नया तरीका (कंटीन्यूअस रिवॉर्ड - Continuous Reward): EvoLMM एक कंटीन्यूअस रिवॉर्ड का उपयोग करता है।
- उपमा: पास या फेल के ग्रेड के बजाय, कल्पना कीजिए कि गेम मास्टर प्रोत्साहन का एक सुचारू, स्लाइडिंग स्केल देता है।
- यदि खिलाड़ी 5 अलग-अलग उत्तर देता है और उनमें से 3 समान हैं, तो सिस्टम कहता है, "हे, तुम सही दिशा में बढ़ रहे हो! यह 1.0 में से 0.6 है।"
- यदि उत्तर पूरी तरह से अलग-अलग हैं, तो यह कहता है, "यह 0.2 है। कोशिश करते रहो।"
- यह क्यों काम करता है: भले ही मॉडल गलत हो, उसे एक छोटा सा "धक्का" (ग्रेडिएंट) मिलता है जो बताता है कि वह सही उत्तर के कितने करीब कैसे पहुँच सकता है। यह एक कोच की तरह है जो कहता है, "तुम कुछ डिग्री इधर-उधर हो, अपना निशाना थोड़ा ठीक करो," बजाय इसके कि केवल "गलत!" चिल्लाए।
"स्व-विकसित" लूप (The "Self-Evolving" Loop)
यहाँ बताया गया है कि यह सिस्टम समय के साथ कैसे विकसित होता है, चरण-दर-चरण:
- प्रपोजर भूलभुलैया की एक तस्वीर देखता है और पूछता है, "कौन सा रास्ता निकास की ओर जाता है?"
- सॉल्वर उत्तर देने का प्रयास करता है। वह शायद 5 अलग-अलग रास्तों का अनुमान लगाता है।
- स्कोर: सिस्टम जांचता है कि क्या 5 अनुमान आपस में सहमत हैं। यदि वे ज्यादातर एक ही पथ पर सहमत हैं, तो प्रपोजर को एक "अच्छा" प्रश्न पूछने के लिए पुरस्कार मिलता है। यदि सॉल्वर के उत्तर बहुत अलग-अलग हैं, तो सिस्टम को पता चल जाता है कि प्रश्न बहुत कठिन या भ्रमित करने वाला था, और वह इसे समायोजित करता है।
- पाठ्यक्रम (Curriculum): समय के साथ, प्रपोजर ऐसे प्रश्न पूछना सीख जाता है जो बिल्कुल सही हों—न बहुत आसान (जहाँ सॉल्वर रैंडम अनुमान लगाता है) और न बहुत कठिन (जहाँ सॉल्वर भ्रमित हो जाता है)। यह स्वचालित रूप से अपना "स्कूल करिकुलम" खुद बनाता है।
- परिणाम: सॉल्वर तर्क करने में बेहतर होता है, और प्रपोजर दिलचस्प पहेलियाँ खोजने में बेहतर होता है। वे बिना किसी मानव शिक्षक के, हर दिन साथ मिलकर स्मार्ट बनते हैं।
उन्होंने क्या खोजा?
शोधकर्ताओं ने Qwen2.5-VL पर इसका परीक्षण किया, जो एक शक्तिशाली AI मॉडल है। उन्होंने इसे हजारों कच्ची छवियां (चार्ट, आरेख, गणित की समस्याएं) दीं, लेकिन शून्य सही उत्तर या लेबल दिए।
- परिणाम: मॉडल ने कई कठिन परीक्षणों में अपने गणित और तर्क कौशल में लगभग 2% से 3% का सुधार किया।
- आश्चर्य: मॉडल ने केवल उत्तरों को रटा नहीं। इसने सोचना सीखा। इसने अधिक जटिल प्रश्न उत्पन्न करना और उन्हें अधिक संरचित तर्क के साथ हल करना शुरू कर दिया, ठीक वैसे ही जैसे एक मानव छात्र जो स्वयं अभ्यास करता है।
यह क्यों महत्वपूर्ण है?
आमतौर पर, AI को स्मार्ट बनाने के लिए हमें हजारों इंसानों की आवश्यकता होती है जो प्रश्न लिखें और उत्तरों को ग्रेड दें। यह महंगा और धीमा है।
EvoLMM एक AI को स्व-चालित शिक्षण इंजन (self-driving learning engine) देने जैसा है। यह दुनिया (छवियों) को देख सकता है, खुद से सवाल पूछ सकता है, अपने काम की जांच कर सकता है, और अपने आप बेहतर हो सकता है। यह ऐसे AI की ओर एक बड़ा कदम है जो इंसानों की तरह निरंतर सीख सकता है, बिना किसी शिक्षक के हाथ पकड़ने की जरूरत के।
संक्षेप में: EvoLMM एक ऐसा कंप्यूटर है जो अपने ही दिमाग के साथ "प्रश्न और उत्तर" का खेल खेलकर खुद को सिखाता है, और एक सौम्य, निरंतर फीडबैक लूप का उपयोग करता है ताकि वह कभी न फंसे या हार न माने।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।