Divergence Decoding: Training-Free Capability Fusion

कल्पना कीजिए कि आपके पास दो प्रतिभाशाली मित्र हैं जो एक बहुत बड़ी, कठिन परीक्षा देने जा रहे हैं। एक मित्र, मान लीजिए कि वह "विशेषज्ञ" (The Specialist) है, उसने रसायन विज्ञान की पाठ्यपुस्तक के हर तथ्य को रट लिया है। वह हर अणु का नाम और प्रत्येक प्रतिक्रिया का सटीक सूत्र जानती है। हालाँकि, कभी-कभी वह विवरणों में इतना खो जाती है कि वह तार्किक रूप से सोचना भूल जाती है, जिससे एक जटिल पहेली को हल करने के लिए आवश्यक चरणों में लड़खड़ाने लगती है। दूसरा मित्र, "सामान्यज्ञ" (The Generalist), तर्क और विवेक का उस्ताद है। वह लगभग किसी भी समस्या को हल करने के चरणों का पता लगा सकता है, लेकिन उसे विशिष्ट रासायनिक नामों या तथ्यों का ज्ञान नहीं है; वह गलत सामग्री का अनुमान लगा सकता है क्योंकि उसने पहले कभी उसे नहीं देखा है।

लंबे समय से, वैज्ञानिक इन दोनों के बीच चुनाव करने में फंसे हुए हैं। यदि आपको रसायन विज्ञान के प्रश्न का उत्तर चाहिए, तो आपको आमतौर पर या तो एक को चुनना होगा या दूसरे को। लेकिन क्या होगा यदि आप उन्हें वास्तविक समय में एक साथ काम करने के लिए प्रेरित कर सकें? क्या होगा यदि आप विशेषज्ञ को उत्तर लिखने के लिए कह सकें, लेकिन सामान्यज्ञ उसके ठीक बगल में खड़ा हो, फुसफुसाते हुए, "रुको, यह चरण समझ में नहीं आ रहा है," और केवल तभी हस्तक्षेप करे जब आवश्यक हो ताकि उसे ठीक किया जा सके? यही डाइवर्जेंस डिकोडिंग (Divergence Decoding) नामक एक नई विधि के पीछे का मूल विचार है। यह एक विशेषज्ञ के गहरे ज्ञान को एक सामान्यज्ञ के तीक्ष्ण तर्क के साथ जोड़ने का एक तरीका है, बिना उन्हें कुछ नया सिखाए या उन्हें एक साथ प्रशिक्षित किए।

---

समस्या: "स्मार्ट लेकिन अनाड़ी" बनाम "तार्किक लेकिन अनभिज्ञ" की दुविधा

आर्टिफिशियल इंटेलिजेंस की दुनिया में, हमारे पास दो मुख्य प्रकार के "मस्तिष्क" हैं। पहला, जनरलिस्ट लार्ज लैंग्वेज मॉडल्स (LLMs) हैं। ये इंटरनेट के सर्वज्ञ विश्वकोशों की तरह हैं। वे तर्क करने, तर्क की लंबी श्रृंखलाओं का पालन करने और गलतियों से उबरने में अविश्वसनीय रूप से अच्छे हैं। वे लगभग किसी भी विषय पर बात कर सकते हैं। दूसरी ओर, डोमेन-स्पेशलिस्ट मॉडल्स (क्षेत्र-विशेषज्ञ मॉडल) हैं। वे विशेषज्ञ हैं। उन्हें विशेष रूप से विज्ञान, जैसे कि रसायन विज्ञान या जीव विज्ञान पर प्रशिक्षित किया गया है। वे तकनीकी शब्दावली और तथ्यों को किसी भी अन्य व्यक्ति से बेहतर जानते हैं।

समस्या यह है कि अकेले उनमें से कोई भी पूर्ण नहीं है। सामान्यज्ञ (Generalist) तर्क तो पूरी तरह से दे सकता है लेकिन विशिष्ट तथ्यों की कमी के कारण विज्ञान गलत कर सकता है। विशेषज्ञ (Specialist) तथ्यों को जानता है लेकिन अक्सर अपने तार्किक प्रवाह को खो देता है, जिससे एक जटिल व्याख्या के बीच में मूर्खतापूर्ण गलतियाँ होती हैं। वैज्ञानिक जानना चाहते थे: क्या हम इन दोनों की शक्तियों को सटीक उसी क्षण मिला सकते हैं जब कंप्यूटर सोच रहा होता है, ताकि दोनों का सर्वश्रेष्ठ परिणाम मिल सके?

समाधान: "जेएस गेट" (JS Gate) और "ड्राफ्ट-एंड-वेरिफाई" (Draft-and-Verify) नृत्य

इस शोध पत्र के लेखकों ने, पेकिंग यूनिवर्सिटी और अन्य संस्थानों से, एक चतुर प्रशिक्षण-मुक्त (training-free) तकनीक विकसित की जिसे डाइवर्जेंस डिकोडिंग कहा जाता है। इसे "टेलीफोन" के एक उच्च गति वाले खेल की तरह समझें जो दो लोगों द्वारा खेला जाता है, लेकिन एक ट्विस्ट के साथ।

आमतौर पर, जब एक कंप्यूटर टेक्स्ट लिखता है, तो वह एक-एक करके अगले शब्द का अनुमान लगाता है। इस नई विधि में, विशेषज्ञ (रसायन विज्ञान विशेषज्ञ) नेतृत्व करता है। वह कुछ शब्द आगे की ओर "ड्राफ्ट" करता है, जैसे कि एक लेखक तेजी से एक वाक्य लिख रहा हो। लेकिन उन शब्दों को आधिकारिक रूप से लिखे जाने से पहले, सामान्यज्ञ (तर्क विशेषज्ञ) उनकी जाँच करता है।

जादुई हिस्सा यहाँ है: सिस्टम केवल यह नहीं पूछता कि "क्या सामान्यज्ञ अगले शब्द से सहमत है?" बल्कि, यह पूछता है कि "उनके विचार कितने अलग हैं?" यह जेन्सन-शैनन (Jensen-Shannon - JS) डाइवर्जेंस नामक एक गणितीय उपकरण का उपयोग करता है। आप इसे एक "असहमति मीटर" के रूप में देख सकते हैं।

• कम असहमति (ग्रीन लाइट): यदि विशेषज्ञ और सामान्यज्ञ अगले शब्द के बारे में लगभग एक ही बात सोच रहे हैं, तो सिस्टम मानता है कि विशेषज्ञ सही है। यह शब्द को स्वीकार करता है और आगे बढ़ जाता है। यह वैज्ञानिक तथ्यों को सटीक रखता है।
• उच्च असहमति (रेड लाइट): यदि दोनों मॉडलों के अनुमान पूरी तरह से अलग हैं, तो सिस्टम इसे एक चेतावनी संकेत के रूप में लेता है। इसका अर्थ है कि विशेषज्ञ शायद एक तार्किक त्रुटि करने वाला है। इस स्थिति में, सिस्टम तुरंत नियंत्रण सामान्यज्ञ को सौंप देता है, जो तर्क को पटरी पर रखने के लिए एक बेहतर शब्द चुनता है।

यह प्रक्रिया व्यक्तिगत शब्दों (टोकेन्स) के स्तर पर होती है, प्रति सेकंड हजारों बार, जिससे एक निर्बाध संवाद बनता है जहाँ विशेषज्ञ तथ्य प्रदान करता है और सामान्यज्ञ सुरक्षा जाल (safety net) प्रदान करता है।

उन्होंने क्या पाया: "A + B > A" प्रभाव

शोधकर्ताओं ने इस विचार का परीक्षण कुछ बहुत कठिन रसायन विज्ञान और विज्ञान की पहेलियों पर किया, जिसमें ChemBench, ChemCoTBench, और GPQA जैसे बेंचमार्क शामिल थे। उन्होंने विभिन्न मॉडलों, जैसे कि Qwen और Llama श्रृंखलाओं को जोड़ा, यह देखने के लिए कि क्या यह "फ्यूजन" काम करता है।

परिणाम रोमांचक थे। संयुक्त प्रणाली (Divergence Decoding) लगातार अकेले विशेषज्ञ और अकेले सामान्यज्ञ दोनों से बेहतर प्रदर्शन करती रही।

• अणुओं को समझने और उन्हें संपादित करने वाले रसायन विज्ञान कार्यों में, फ्यूज्ड मॉडल ने अकेले काम करने वाले किसी भी मॉडल की तुलना में उच्च स्कोर किया।
• उदाहरण के लिए, "रिंग सिस्टम स्कैफोल्ड" (अणुओं में जटिल रिंग संरचनाओं की पहचान करना) नामक कार्य पर, फ्यूज्ड मॉडल ने 0.70 का स्कोर प्राप्त किया, जिसने विशेषज्ञ के 0.58 और सामान्यज्ञ के 0.67 को पीछे छोड़ दिया।
• कठिन GPQA (स्नातक-स्तरीय गूगल-प्रूफ प्रश्नोत्तर) रसायन विज्ञान के प्रश्नों पर, फ्यूज्ड मॉडल ने 37.50% सटीकता हासिल की, जबकि विशेषज्ञ को केवल 15.28% और सामान्यज्ञ को 23.61% प्राप्त हुआ।

यह सुझाव देता है कि दोनों मॉडलों को सहयोग करने देकर, वे एक "सुपर-ब्रेन" बनाते हैं जो अपने हिस्सों के योग से भी अधिक स्मार्ट है।

जादू "कब" और "कहाँ" होता है

शोध पत्र ने इस बात पर भी बारीकी से नज़र डाली कि यह स्विचिंग कब होती है। उन्होंने पाया कि सिस्टम ज्यादातर उत्तर की शुरुआत में ही हस्तक्षेप करता है (पहले 0% से 25% के बीच)। यह वह समय है जब तर्क का मार्ग निर्धारित किया जा रहा होता है। यदि विशेषज्ञ जल्दी में गलत तार्किक पथ पर चल पड़ता है, तो सामान्यज्ञ गलती फैलने से पहले दिशा को सुधारने के लिए हस्तक्षेप करता है।

दिलचस्प बात यह है कि जिन शब्दों को बदला जाता है, वे अक्सर कठिन वैज्ञानिक शब्द (जैसे "बेंजीन" या "उत्प्रेरक") नहीं होते, बल्कि जोड़ने वाले शब्द और तार्किक वाक्यांश (जैसे "इसलिए," "हालाँकि," या "एक बार इन विशेषताओं को पहचानने के बाद") होते हैं। यह बताता है कि सामान्यज्ञ का मुख्य काम कहानी के तर्क को सीधा रखना है, जबकि विशेषज्ञ तथ्यों को भरता है।

यह क्या नहीं है (और क्या नहीं है)

यह ध्यान रखना महत्वपूर्ण है कि यह विधि क्या नहीं है। यह "स्पेक्टिवल डिकोडिंग" (Speculative Decoding) नहीं है, जो चीजों को तेज़ बनाने के लिए उपयोग की जाने वाली एक सामान्य तकनीक है। स्पेक्टिवल डिकोडिंग चीजों को तेज़ करने के लिए अगले शब्द का अनुमान लगाने की कोशिश करती है जबकि एक ही मॉडल होने का नाटक करती है। डाइवर्जेंस डिकोडिंग को गति की परवाह नहीं है; इसे गुणवत्ता की परवाह है। यह उत्तर को बेहतर बनाने के लिए सक्रिय रूप से बदलता है, भले ही इसका मतलब यह हो कि कंप्यूटर को थोड़ा अधिक सोचना पड़े।

साथ ही, शोध पत्र सुझाव देता है कि यह इसलिए काम करता है क्योंकि दोनों मॉडल अलग-अलग प्रकार की गलतियाँ करते हैं। जब वे असहमत होते हैं, तो यह आमतौर पर इस बात का संकेत होता है कि विशेषज्ञ तर्क में संघर्ष कर रहा है, न कि इस बात का कि सामान्यज्ञ भ्रमित है। सिस्टम इस असहमति का उपयोग गियर बदलने के संकेत के रूप में करता है।

निष्कर्ष

डाइवोजन डिकोडिंग एक नया तरीका है जिससे बिना किसी नए, विशाल मॉडल को प्रशिक्षित किए महीनों खर्च किए बिना स्मार्ट AI बनाया जा सकता है। यह बस एक विशेषज्ञ और एक तर्कशास्त्री को लेता है, उन्हें एक-दूसरे से बात करने देता है, और यह तय करने के लिए कि अगला शब्द कौन बोलेगा, एक "असहमति मीटर" का उपयोग करता है। परिणाम बताते हैं कि यह सरल, प्रशिक्षण-मुक्त तकनीक एक ऐसा सिस्टम बना सकती है जो अकेले किसी भी मॉडल की तुलना में अधिक विश्वसनीय और सटीक है, जो विज्ञान और खोज के लिए बेहतर AI उपकरण बनाने के लिए एक आशाजनक मार्ग प्रदान करती है।