All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models
यह शोध पत्र यह पहचान करता है कि जबकि सुदृढीकरण अधिगम (Reinforcement Learning) विजन-लैंग्वेज मॉडल्स में तर्क क्षमता को बढ़ाता है, यह अक्सर तर्क के मार्गों को संकुचित करके विविधता के पतन (diversity collapse) का कारण बनता है, और विविध सोच को प्रोत्साहित करने तथा स्थानीय इष्टतमों (local optima) पर समयपूर्व अभिसरण को रोकने के लिए मल्टी-ग्रुप पॉलिसी ऑप्टिमाइज़ेशन (MUPO) का प्रस्ताव देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ शोध पत्र "All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models" का सरल अवधारणाओं और रचनात्मक उपमाओं के साथ विवरण दिया गया है।
बड़ी तस्वीर: "ओवर-थिंकर" (ज्यादा सोचने वाला) बनाम "वाइल्ड एक्सप्लोरर" (अतरंगी खोजकर्ता)
कल्पना कीजिए कि आप एक कठिन पहेली सुलझाने की कोशिश कर रहे हैं, जैसे कि एक बंद दरवाजे को खोलने के लिए सही चाबी ढूँढना। आपके पास आपकी मदद के लिए दो प्रकार के सहायक हैं:
बेस मॉडल (द वाइल्ड एक्सप्लोरर - अतरंगी खोजकर्ता): यह सहायक थोड़ा अव्यवस्थित है। वे सब कुछ आज़माते हैं। वे ताले में चाबी लगाकर देख सकते हैं, फिर ताला तोड़ने की कोशिश कर सकते हैं, फिर दरवाजे को लात मारकर तोड़ने की कोशिश कर सकते हैं, और फिर ताला बनाने वाले (locksmith) को बुलाने की कोशिश कर सकते हैं। वे हमेशा कदम पूरी तरह से सही नहीं उठाते, लेकिन क्योंकि वे इतनी सारी अलग-अलग चीजें आजमाते हैं, इसलिए वे अक्सर गलती से सही समाधान तक पहुँच जाते हैं।
आरएल मॉडल (द ओवर-थिंकर - ज्यादा सोचने वाला): इस सहायक को रीइन्फोर्समेंट लर्निंग (विशेष रूप से GRPO) नामक विधि का उपयोग करके प्रशिक्षित किया गया है। वे बहुत बुद्धिमान और अनुशासित हैं। जब वे कोई समस्या देखते हैं, तो वे अपनी जानी-पहचानी "सर्वश्रेष्ठ" रणनीति चुनते हैं (जैसे "हमेशा ताला तोड़ो") और वे इसे अत्यधिक सटीकता के साथ करते हैं। वे उस एक ही रास्ते के बारे में बहुत गहराई से सोचते हैं।
समस्या:
शोधकर्ताओं ने एक पकड़ (catch) पाई। जबकि "ओवर-थिंकर" एक एकल पथ का पालन करने में माहिर है, उनकी एक बुरी आदत है: वे अन्वेषण (exploring) करना बंद कर देते हैं।
यदि उनके द्वारा सीखी गई "सर्वश्रेष्ठ" रणनीति (ताला तोड़ना) किसी विशेष दरवाजे के लिए काम नहीं करती है, तो ओवर-थिंकर बार-बार ताला तोड़ने की ही कोशिश करता रहता है, और वहीं फंस जाता है। वे दरवाजा तोड़ने या ताला बनाने वाले को बुलाने का तरीका भूल चुके होते हैं। तकनीकी शब्दों में, वे "डाइवर्सिटी कोलैप्स" (विविधता का पतन) का शिकार होते हैं। वे एक संकीर्ण पथ पर केंद्रित हो जाते हैं और अन्य सभी संभावनाओं को अनदेखा कर देते हैं, जिससे वे एक "लोकल ऑप्टिमम" (एक छोटी पहाड़ी जो पहाड़ जैसी दिखती है, लेकिन वास्तव में नहीं है) में फंस जाते हैं।
वहीं दूसरी ओर, "वाइल्ड एक्सप्लोरर" (बेस मॉडल), भले ही वे कम सटीक हों, लेकिन वे अलग-अलग कोणों से प्रयास करते रहते हैं। यदि एक तरीका विफल होता है, तो वे दूसरा तरीका आजमाते हैं। यह "डाइवर्जेंट थिंकिंग" (विचलित सोच) उन्हें उन समस्याओं को हल करने में सक्षम बनाती है जिन्हें ओवर-थिंकर मिस कर देता है।
समाधान: MUPO (द "टीम ऑफ स्पेशलिस्ट्स" - विशेषज्ञों की टीम)
लेखकों ने पूछा: क्या हम ओवर-थिंकर को अनुशासित बना सकते हैं और साथ ही वाइल्ड एक्सप्लोरर की अलग-अलग चीजें आज़माने की क्षमता भी बनाए रख सकते हैं?
उन्होंने MUPO (मल्टी-ग्रुप पॉलिसी ऑप्टिमाइज़ेशन) नामक एक नई विधि बनाई।
उपमा: "फोकस ग्रुप" मीटिंग
कल्पना कीजिए कि आप एक समस्या सुलझाने की कोशिश कर रहे बॉस हैं।
- पुराना तरीका (GRPO): आप अपनी टीम को विचार-मंथन (brainstorming) करने के लिए कहते हैं। वे सभी सोचना शुरू करते हैं, और अंततः, वे सभी एक ही विचार पर सहमत हो जाते हैं क्योंकि वह सबसे सुरक्षित लगता है। वे किसी और चीज़ के बारे में सोचना बंद कर देते हैं।
- नया तरीका (MUPO): आप अपनी टीम को तीन अलग-अलग समूहों में विभाजित करते हैं (ग्रुप A, ग्रुप B, ग्रुप C)।
- ग्रुप A को कहा जाता है: "आपको यह रणनीति 1 का उपयोग करके इसे हल करना होगा।"
- ग्रुप B को कहा जाता है: "आपको यह रणनीति 2 का उपयोग करके इसे हल करना होगा।"
- ग्रुप C को कहा जाता है: "आपको यह रणनीति 3 का उपयोग करके इसे हल करना होगा।"
MUPO का जादू यह है कि यह समूहों को न केवल सही होने के लिए, बल्कि एक-दूसरे से अलग होने के लिए भी पुरस्कृत करता है।
- यदि ग्रुप A और ग्रुप B बिल्कुल एक जैसा सोचना शुरू कर देते हैं, तो सिस्टम कहता है, "अरे, आप दोनों बहुत समान हैं! जाओ और कोई दूसरा नजरिया ढूँढो!"
- यह AI को एक साथ सोचने के कई "मोड्स" बनाए रखने के लिए मजबूर करता है। यह ओवर-थिंकर का अनुशासन बनाए रखता है और वाइल्ड एक्सप्लोरर की भावना को जीवित रखने के लिए मजबूर करता है।
यह क्यों मायने रखता है: "ऑल रोड्स लीड टू रोम" (सभी सड़कें रोम ले जाती हैं) की अवधारणा
शोध पत्र का शीर्षक "ऑल रोड्स लीड टू रोम" इस पेपर के लिए एक आदर्श रूपक है।
- लक्ष्य: सही उत्तर (रोम) प्राप्त करना।
- पुराने RL मॉडल: उन्होंने एक रास्ता खोजा और उसे पूरी तरह से पक्का कर दिया। लेकिन यदि वह रास्ता अवरुद्ध हो जाता है, तो वे फंस जाते हैं।
- MUPO मॉडल: यह कई सड़कों का एक नक्शा बनाता है। कुछ ऊबड़-खाबड़ हैं, कुछ सीधी हैं, कुछ घुमावदार हैं। उन सभी का अन्वेषण करके, मॉडल के रोम तक पहुँचने की संभावना बहुत अधिक होती है, भले ही मुख्य राजमार्ग बंद हो।
परिणाम: क्या हुआ?
जब शोधकर्ताओं ने इस नई विधि का परीक्षण किया:
- बेहतर सटीकता: नए मॉडल (MUPO-Thinker) पिछले सर्वश्रेष्ठ मॉडलों की तुलना में अधिक प्रश्नों के सही उत्तर देते हैं।
- बेहतर "टेस्ट-टाइम स्केलिंग": यह एक फैंसी तरीका है यह कहने का कि: "यदि आप AI को सोचने के लिए अधिक समय या अधिक प्रयास देते हैं, तो यह बहुत स्मार्ट हो जाता है।" क्योंकि AI के पास कई रणनीतियाँ तैयार हैं, इसे सोचने के अधिक अवसर देने से यह अपने विविध टूलकिट में से सही रणनीति चुन सकता है।
- "फंस जाने वाली" सोच का अंत: मॉडल उन लूपों में फंसना बंद कर देते हैं जहाँ वे बार-बार एक ही तार्किक त्रुटि करते रहते हैं। वे गियर बदलना और पूरी तरह से अलग दृष्टिकोण अपनाना सीख गए।
एक वाक्य में सारांश
शोध पत्र ने खोजा कि AI को सोचने के एक "परफेक्ट" तरीके पर बहुत अधिक केंद्रित करने से वह नाजुक (fragile) हो जाता है; AI को एक साथ कई अलग-अलग तरीकों से सोचने के लिए मजबूर करके (विशेषज्ञों की एक टीम की तरह), यह अधिक स्मार्ट, अधिक लचीला और कठिन समस्याओं को हल करने में बेहतर बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।