Logit Arithmetic Elicits Long Reasoning Capabilities Without Training
यह शोध पत्र ThinkLogit को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) डिकोडिंग-टाइम विधि है जो एक छोटे "गाइडर" (guider) मॉडल से एक बड़े गैर-तर्कसंगत लक्ष्य (non-reasoning target) में लंबी-श्रृंखला तर्क क्षमताओं (long-chain reasoning capabilities) को स्थानांतरित करने के लिए लॉजिट अंकगणित (logit arithmetic) का लाभ उठाता है, जिससे बिना किसी ग्रेडिएंट अपडेट की आवश्यकता के या पर्याप्त इन्फरेंस ओवरहेड के बिना गणित, विज्ञान और कोडिंग बेंचमार्क में महत्वपूर्ण प्रदर्शन लाभ प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन आलसी जीनियस (एक विशाल AI मॉडल) है जो बहुत सारे तथ्यों को जानता है, लेकिन जटिल पहेलियों को सुलझाने में बहुत बुरा है। वे जल्दी से उत्तर देने की कोशिश करते हैं, गलतियाँ करते हैं, और अपने काम की जाँच कभी नहीं करते। आपके पास एक छोटा, फुर्तीला और अत्यधिक केंद्रित प्रशिक्षु (एक छोटा AI मॉडल) भी है जो पहेलियाँ सुलझाने में अविश्वसनीय रूप से अच्छा है, अपना काम दोबारा जाँचता है, और समस्याओं पर चरण-दर-चरण विचार करता है।
आमतौर पर, आलसी जीनियस को प्रशिक्षु जितना कुशल बनाने के लिए, आपको इस जीनियस को शून्य से फिर से प्रशिक्षित करने में महीनों और लाखों डॉलर खर्च करने होंगे। यह महंगा और धीमा है।
यह शोध पत्र THINKLOGIT नामक एक चतुर तकनीक पेश करता है। जीनियस को फिर से प्रशिक्षित करने के बजाय, यह केवल प्रशिक्षु को जीनियस के सोचने के दौरान वास्तविक समय में सलाह "फुसफुसाने" (whisper) की अनुमति देता है।
यह यहाँ कैसे काम करता है, सरल उपमाओं के साथ नीचे दिया गया है:
1. समस्या: "आलसी जीनियस"
बड़े AI मॉडल (जैसे कि अध्ययन में उल्लेखित 32-बिलियन-पैरामीटर वाला मॉडल) मस्तिष्क वाले विश्वकोश की तरह हैं। वे निबंध लिख सकते हैं और सरल प्रश्नों के उत्तर तुरंत दे सकते हैं। लेकिन जब उनके सामने कोई कठिन गणितीय समस्या या कोडिंग बग आता है, तो वे अक्सर:
- किसी निष्कर्ष पर पहुँचने की जल्दबाजी करते हैं।
- अपने स्वयं के तर्क की जाँच करने में विफल रहते हैं।
- बहुत आसानी से हार मान लेते हैं।
इसे ठीक करने के लिए, कंपनियाँ इन मॉडलों को "लंबे समय तक सोचने" (Chain-of-Thought) के लिए प्रशिक्षित करती हैं। लेकिन एक विशाल मॉडल को प्रशिक्षित करना एक व्हेल को नृत्य सिखाने जैसा है; इसमें भारी मात्रा में ऊर्जा और पैसा लगता है।
2. समाधान: "फुसफुसाता हुआ प्रशिक्षु"
लेखक एक ऐसी विधि प्रस्तावित करते हैं जहाँ एक छोटा, स्मार्ट मॉडल (प्रशिक्षु) एक बड़े, गैर-तर्क करने वाले मॉडल (जीनियस) का मार्गदर्शन करता है, बिना जीनियस के मस्तिष्क को बदले।
- सेटअप: छोटे मॉडल को गहराई से सोचना सिखाया गया है। वह पीछे हटना (backtrack), सत्यापन करना और त्रुटियों को सुधारना जानता है।
- ट्रिक (लॉगिट अंकगणित - Logit Arithmetic): हर बार जब बड़ा मॉडल अगला शब्द चुनने वाला होता है, तो छोटा मॉडल भी एक शब्द चुनता है। सिस्टम उस अंतर की गणना करता है जो छोटा मॉडल कहना चाहता है और उसके अपने "आलसी" संस्करण के बीच होता है।
- फुसफुसाहट (The Whisper): यह अंतर बड़े मॉडल के निर्णय में जोड़ दिया जाता है। यह जीनियस के कंधे पर झुककर कहने जैसा है, "रुको, वह शब्द मत चुनो। यदि तुम 'Wait' (रुको) चुनते हो, तो तुम्हें अपना गणित जाँचने की याद आएगी।"
बड़े मॉडल को कुछ भी नया सीखने की आवश्यकता नहीं है। वह बस उस संकेत (nudge) का पालन करता है।
3. अपग्रेड: "THINKLOGIT-DPO" (कोच)
कभी-कभी, प्रशिक्षु और जीनियस थोड़ी अलग "भाषाएँ" या अलग शैलियाँ बोल सकते हैं। फुसफुसाहट को और अधिक स्पष्ट बनाने के लिए, लेखकों ने प्रशिक्षु को एक बेहतर कोच बनने के लिए प्रशिक्षित किया है।
उन्होंने प्रशिक्षु को विशेष रूप से जीनियस की गलतियों को पहचानने और उन्हें सुधारने के लिए प्रशिक्षित किया, जबकि जीनियस की खूबियों को बरकरार रखा। यह एक विशेष कोच को नियुक्त करने जैसा है जो जानता है कि जीनियस कहाँ लड़खड़ाता है और विशेष रूप से उन जगहों को ठीक करने के लिए प्रशिक्षित है। यह संस्करण (THINKLOGIT-DPO) और भी बेहतर प्रदर्शन करता है।
4. परिणाम: बिना लागत के जादू
लेखक ने कठिन गणित, विज्ञान और कोडिंग समस्याओं पर इसका परीक्षण किया।
- लाभ: एक 32-बिलियन-पैरामीटर वाले मॉडल को गाइड करने के लिए एक नन्हे 1.5-बिलियन-पैरामीटर वाले मॉडल का उपयोग करके, उन्होंने बड़े मॉडल के प्रदर्शन में 21% से 24% का सुधार किया।
- दक्षता: उन्होंने ऐसे परिणाम प्राप्त किए जो विशाल मॉडल को पूरी तरह से फिर से प्रशिक्षित करने के करीब थे, लेकिन बिना किसी प्रशिक्षण लागत के।
- लचीलापन: छोटा "गाइड" मॉडल विभिन्न परिवारों के विशाल मॉडलों की भी मदद कर सकता है (जैसे कि एक Qwen मॉडल को Llama मॉडल की तरह सोचने में मदद करना)। यह तर्क के लिए एक सार्वभौमिक अनुवादक (universal translator) की तरह है।
5. यह क्यों मायने रखता है
इसे इस तरह सोचें:
- पुराना तरीका: कार को खुद चलने के लिए, आपको पूरे इंजन और ट्रांसमिशन को फिर से बनाना होगा (महंगा, धीमा, फैक्ट्री की आवश्यकता)।
- THINKLOGIT तरीका: आप बस एक GPS और एक सह-पायलट स्थापित करते हैं जो ड्राइवर को ठीक बताता है कि कब मुड़ना है और कब ब्रेक लगाना है। कार वही है, लेकिन अब वह पूरी तरह से चलती है।
संक्षेप में: यह शोध पत्र दिखाता है कि बड़े AI मॉडलों को बेहतर तरीके से "सोचने" के लिए आपको लाखों डॉलर जलाने की आवश्यकता नहीं है। आपको बस एक छोटे, स्मार्ट दोस्त की आवश्यकता है जो सही समय पर सही सलाह फुसफुसा सके। यह एक तेज़, लापरवाह विचारक को एक धीमे, सावधान और अत्यधिक सटीक समस्या समाधानकर्ता में तुरंत बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।