Do Reasoning Models Enhance Embedding Models?
यह शोध पत्र यह प्रदर्शित करता है कि एम्बेडिंग मॉडल्स को रीजनिंग-एन्हांस्ड LLMs के साथ इनिशियलाइज़ करने से बेस मॉडल्स की तुलना में कोई प्रदर्शन लाभ नहीं मिलता है क्योंकि वेरिफिएबल रिवार्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) ग्लोबल सिमेंटिक मैनिफोल्ड को सुरक्षित रखता है, जिससे बाद वाली कंट्रास्टिव लर्निंग इनिशियलाइजेशन के बावजूद रिप्रेजेंटेशन्स को पुन: संरेखित करने की अनुमति देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ एक सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र का विवरण दिया गया है।
बड़ा सवाल: क्या "सोचना" किसी मानचित्र को बेहतर बनाता है?
कल्पना कीजिए कि आपके पास दुनिया का एक विशाल, अविश्वसनीय रूप से विस्तृत मानचित्र है (यह एक लार्ज लैंग्वेज मॉडल है)। यह मानचित्र आपको रास्ता खोजने, शहरों के बीच संबंधों को समझने और जटिल इलाकों में नेविगेट करने में मदद करता है।
हाल ही में, वैज्ञानिकों ने इस मानचित्र का एक नया संस्करण बनाया है, जिसमें मॉडल को जवाब देने से पहले "गहराई से सोचने" के लिए सिखाया गया है। उन्होंने इसके लिए RLVR (वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग) नामक विधि का उपयोग किया। यह एक सख्त कोच देने जैसा है जो कहता है, "सिर्फ अंदाज़ा मत लगाओ; हर कदम की गणना करो, अपने गणित की जाँच करो, और केवल तभी आगे बढ़ो जब तुम 100% सुनिश्चित हो कि तुम सही हो।"
लेखकों ने जो बड़ा सवाल पूछा वह यह था: यदि मानचित्र "सोचने" में बेहतर हो जाता है, तो क्या वह मानचित्र स्वयं नेविगेशन के लिए एक बेहतर उपकरण बन जाता है?
विशेष रूप से, वे जानना चाहते थे कि क्या ये "सोचने वाले" मॉडल बेहतर एम्बेडिंग्स (Embeddings) बनाते हैं। सरल शब्दों में, एम्बेडिंग एक वाक्य को मानचित्र पर एक बिंदु में बदलने का तरीका है। यदि दो वाक्यों का अर्थ एक ही है, तो उनके बिंदु एक-दूसरे के बिल्कुल बगल में होने चाहिए।
चौंकाने वाला उत्तर: मानचित्र में कोई बदलाव नहीं
लेखकों ने इन "सोचने वाले" मॉडलों को एम्बेडिंग टूल में बदलकर इसका परीक्षण किया। उन्होंने उनकी तुलना मूल, बिना "सोचने वाले" मॉडलों से की।
परिणाम: "सोचने वाले" मॉडल मूल मॉडलों के बिल्कुल समान प्रदर्शन करते रहे।
- उपमा: कल्पना कीजिए कि आपके पास एक GPS ऐप है। आप ऐप को अपग्रेड करते हैं ताकि ड्राइवर गाड़ी चलाते समय जटिल गणितीय समस्याओं को हल कर सके। आप उम्मीद कर सकते हैं कि ड्राइवर बेहतर रास्ते चुनेगा। लेकिन जब आप GPS का परीक्षण करते हैं, तो रास्ते बिल्कुल समान होते हैं। "सोचने" ने मानचित्र को बिल्कुल भी नहीं बदला।
यह इसलिए आश्चर्यजनक था क्योंकि सभी ने यह मान लिया था कि यदि कोई मॉडल तर्क करने (reasoning) में स्मार्ट होता है, तो उसकी भाषा की आंतरिक समझ (उसका "मानचित्र") भी बेहतर होनी चाहिए।
जासूसी कार्य: ऐसा क्यों हुआ?
यह पता लगाने के लिए कि प्रदर्शन में बदलाव क्यों नहीं हुआ, लेखकों ने एक नया टूल बनाया जिसे HRSA (हायरार्किकल रिप्रेजेंटेशन सिमिलैरिटी एनालिसिस) कहा जाता है। HRSA को एक तीन-परतीय एक्स-रे मशीन के रूप में समझें जो मॉडल के मस्तिष्क को अलग-अलग कोणों से देखती है:
- कोऑर्डिनेट सिस्टम (प्रतिनिधित्व स्तर): क्या मानचित्र के अक्ष (axes) एक ही दिशा में इशारा कर रहे हैं?
- ज़मीन का आकार (ज्यामिति स्तर): क्या पहाड़ों और घाटियों का आकार एक जैसा है?
- गंतव्य (कार्यात्मक स्तर): क्या मॉडल अभी भी उन्हीं जगहों तक पहुँचने का तरीका जानता है?
उन्होंने क्या पाया: "मैनिफोल्ड रीयलाइनमेंट" (Manifold Realignment)
अपने एक्स-रे का उपयोग करते हुए, उन्होंने मैनिफोल्ड रीयलाइनमेंट नामक एक दिलचस्प चीज़ की खोज की।
"सोचने" की प्रक्रिया (RLVR) एक हाइकर (पगडंडी यात्री) की तरह है:
जब मॉडल "सोचना" (RLLR) सीखता है, तो वह पूरे मानचित्र को फिर से नहीं बनाता। वह पहाड़ों को नहीं हटाता या समुद्र को नहीं बदलता। इसके बजाय, वह बस मौजूदा इलाके में चलने के लिए एक बेहतर रास्ता सीखता है।- ग्लोबल शेप (वैश्विक आकार): दुनिया का समग्र आकार ("ग्लोबल ज्योमेट्री") बिल्कुल वैसा ही रहता है।
- लोकल शेप (स्थानीय आकार): हालाँकि, हाइकर अपने पैरों के नीचे की छोटी झाड़ियों और पत्थरों को पुनर्व्यवस्थित कर सकता है ("लोकल ज्योमेट्री") ताकि विशिष्ट यात्रा आसान हो सके।
"एम्बेडिंग" की प्रक्रिया (कॉन्ट्रास्टिव लर्निंग) एक दिशा सूचक यंत्र (Compass) की तरह है:
जब उन्होंने इन मॉडलों को एम्बेडिंग टूल में बदला, तो उन्होंने "कॉन्ट्रास्टिव लर्निंग" नामक प्रशिक्षण विधि का उपयोग किया। यह एक कंपास की तरह है जो मानचित्र को एक मानक ग्रिड के साथ संरेखित (align) करने के लिए मजबूर करता है।- क्योंकि "सोचने वाला" मॉडल केवल छोटी झाड़ियों को बदलता है और पहाड़ों (ग्लोबल ज्योमेट्री) को नहीं, इसलिए कंपास आसानी से मानचित्र को मूल मॉडल के मानचित्र के साथ पुनः संरेखित (re-align) कर सकता था।
- कंपास ने छोटे बदलावों को अनदेखा कर दिया और "सोचने वाले" मॉडल के मानचित्र को मूल मॉडल के मानचित्र के साथ सटीक रूप से संरेखित कर दिया।
तुलना: "सोचना" बनाम "रटना"
लेखकों ने SFT (सुपरवाइज्ड फाइन-ट्यूनिंग) नामक एक अलग विधि के साथ भी इसकी तुलना की, जो मॉडल को उत्तरों की एक विशिष्ट सूची रटने के लिए मजबूर करने जैसा है।
- SFT मानचित्र पर हथौड़ा चलाने जैसा है। यह पहाड़ों को तोड़ देता है और घाटियों को नया आकार देता है। यह पूरी तरह से एक अलग मानचित्र बनाता है, यही कारण है कि SFT मॉडल अक्सर एम्बेडिंग कार्यों पर अलग (कभी-कभी खराब) प्रदर्शन करते हैं।
- RLVR (सोचना) कोमल है। यह मानचित्र की संरचना को बरकरार रखता है, बस मार्ग को अनुकूलित (optimize) करता है।
निष्कर्ष
लेखक निष्कर्ष निकालते हैं कि RLVR ("सोचने" वाला प्रशिक्षण) अंतर्निहित मानचित्र में मौलिक सुधार नहीं करता है।
- यह ट्रैजेक्टरी (वह पथ जो मॉडल समस्या को हल करने के लिए लेता है) को अनुकूलित करता है।
- यह लैंडस्केप (जिस तरह से मॉडल भाषा को समझता है) को पुनर्गठित नहीं करता है।
इसलिए, यदि आप एक बेहतर एम्बेडिंग मॉडल (समान टेक्स्ट खोजने के लिए एक बेहतर मानचित्र) की तलाश में हैं, तो केवल मॉडल को अधिक "सोचने" के लिए प्रशिक्षित करना मदद नहीं करेगा। आपको मानचित्र को बदलना होगा, न कि केवल उस पर चलने के तरीके को। "सोचने वाले" मॉडल उसी पुराने मानचित्र पर चल रहे हैं, लेकिन वे उसी गंतव्य तक पहुँचने के लिए थोड़ा अलग, अधिक सावधानीपूर्ण रास्ता ले रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।