Reasoning Fine-Tuning Induces Persistent Latent Policy States
यह शोध पत्र यह प्रदर्शित करता है कि रीजनिंग फाइन-ट्यूनिंग (reasoning fine-tuning) भाषा मॉडलों की आंतरिक गतिशीलता को एक स्विचिंग डायनामिकल सिस्टम (switching dynamical system) के रूप में मॉडल किए गए विशिष्ट, कार्यात्मक रूप से विशिष्ट लेटेंट पॉलिसी स्टेट्स (latent policy states) में वैश्विक स्तर पर पुनर्गठित करती है, जिससे कारण हस्तक्षेपों (causal interventions) और विफलता-प्रवण रीजनिंग पथों के अधिक प्रभावी छंटनी (pruning) के माध्यम से बेहतर प्रदर्शन सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र को एक जटिल गणितीय समस्या हल करते हुए देख रहे हैं। कभी-कभी, वे बस उत्तर बोल देते हैं, या वे अनुमानों के कोहरे में भटकते रहते हैं, एक विचार के बाद दूसरा विचार आज़माते रहते हैं जब तक कि कुछ काम न कर जाए। अन्य समय में, उनके पास एक स्पष्ट, चरण-दर-चरण योजना होती है: वे प्रश्न को समझने के लिए रुकते हैं, उसे छोटे टुकड़ों में तोड़ते हैं, अपने काम की दोबारा जाँच करते हैं, और फिर आत्मविश्वास के साथ अंतिम समाधान लिखते हैं। वर्षों से, वैज्ञानिक सोच रहे थे कि कंप्यूटर प्रोग्राम जिन्हें "लार्ज लैंग्वेज मॉडल्स" (LLMs) कहा जाता है, वे दूसरे प्रकार की सोच कैसे सीखते हैं। इन मॉडल्स को विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया जाता है, लेकिन उन्हें तर्क करने में कुशल बनाने के लिए, शोधकर्ता उन्हें उन समस्याओं पर अतिरिक्त प्रशिक्षण देते हैं जिनमें अंतिम उत्तर से पहले "चेन ऑफ थॉट" (सोच की श्रृंखला)—यानी एक चरण-दर-चरण स्पष्टीकरण—की आवश्यकता होती है।
बड़ा रहस्य यह था: क्या यह अतिरिक्त प्रशिक्षण मॉडल को केवल वाक्य में अगले शब्द का अनुमान लगाने में थोड़ा बेहतर बनाता है? या क्या यह समय के साथ मॉडल के मस्तिष्क के काम करने के तरीके को मौलिक रूप से पुनर्गठित करता है? इसे एक अराजक भीड़ और एक सुव्यवस्थित ऑर्केस्ट्रा द्वारा बजाई जा रही सिम्फनी के बीच के अंतर के रूप में सोचें। यह शोध पत्र पूछता है कि क्या प्रशिक्षण मॉडल को एक ऐसे कंडक्टर में बदल देता है जो जानता है कि कब वायलिनों को लाना है और कब ड्रमों को हावी होने देना है, या यह केवल एक अधिक शोर मचाने वाली, अधिक आत्मविश्वासी भीड़ है। यह समझना महत्वपूर्ण है क्योंकि यदि हम जानते हैं कि ये मॉडल कैसे सोचते हैं, तो हम उन्हें तब ठीक कर पाएंगे जब वे अटक जाते हैं या उन्हें उन समस्याओं को हल करने में मदद कर पाएंगे जिन्हें वे वर्तमान में हल करने में विफल रहते हैं।
AI के मस्तिष्क के भीतर छिपा स्विचबोर्ड
इस शोध पत्र में, शोधकर्ता AI की सोचने की प्रक्रिया को एक स्विचिंग डायनामिकल सिस्टम (switching dynamical system) की तरह मानते हैं। यह कहने का एक फैंसी तरीका है कि मॉडल का मस्तिष्क केवल विचारों की एक चिकनी, बहती हुई नदी नहीं है, बल्कि एक ट्रेन है जो विभिन्न "ट्रैक्स" या लेटेंट पॉलिसी स्टेट्स (latent policy states) के बीच कूदती है।
कल्पना कीजिए कि AI एक लंबी यात्रा पर निकला एक यात्री है। एक "बेस" मॉडल (वह जो विशेष रूप से तर्क के लिए प्रशिक्षित नहीं है) एक पर्यटक की तरह है जो बिना किसी दिशा के घूमता है। वे एक कॉफी शॉप पर रुक सकते हैं, फिर एक पार्क में, फिर एक संग्रहालय में, लेकिन वे अक्सर उन्हीं स्थानों पर वापस आते हैं, भ्रमित होते हैं, या बिना किसी स्पष्ट गंतव्य के यादृच्छिक रूप से स्थान बदलते हैं। उनका मार्ग अव्यवस्थित और अप्रत्याशित होता है।
इसके विपरीत, रीज़निंग-फाइन-ट्यून्ड मॉडल (reasoning-fine-tuned model) एक अनुभवी गाइड की तरह है। इस गाइड के पास एक गुप्त मानचित्र है जिसमें विशिष्ट "मोड्स" या "स्टेट्स" हैं। जब गाइड "प्लानिंग मोड" (योजना मोड) में प्रवेश करता है, तो वह कुछ समय के लिए वहीं रहता है, सावधानीपूर्वक मार्ग की योजना बनाता है। फिर, वह "कैलकुलेशन मोड" (गणना मोड) में बदल जाता है, जहाँ वह संख्याओं की गणना करता है। अंत में, वह "एन्सर स्टेशन" (उत्तर स्टेशन) तक पहुँचने से पहले सब कुछ दोबारा जाँचने के लिए "वेरिफिकेशन मोड" (सत्यापन मोड) में जाता है। मुख्य निष्कर्ष यह है कि प्रशिक्षण केवल गाइड को स्मार्ट नहीं बनाता; यह उन्हें इन मोड्स के बीच स्विच करने का एक बहुत अधिक संगठित, संरचित तरीका भी देता है।
शोधकर्ताओं ने क्या पाया
टीम ने गणित और तर्क संबंधी पहेलियों को हल करते समय 1.5 बिलियन से 32 बिलियन पैरामीटर्स वाले AI मॉडल्स के आंतरिक "एक्टिवेशन्स" (विद्युत संकेतों) का अध्ययन किया। उन्होंने इस विशाल डेटा को एक सरल, निम्न-आयामी मानचित्र में संकुचित करने के लिए CEBRA नामक एक विशेष उपकरण का उपयोग किया, और फिर छिपे हुए "रेजीम्स" या अवस्थाओं को खोजने के लिए स्विचिंग डायनामिकल सिस्टम (SDS) नामक एक गणितीय ढांचे को लागू किया।
यहाँ उनकी खोज दी गई है:
- अधिक संगठित स्विचिंग: रीज़निंग-प्रशिक्षित मॉडल्स के पास न केवल अधिक स्टेट्स थे; बल्कि उनके बीच स्विच करने के लिए एक बहुत बेहतर संरचना भी थी। जबकि बेस मॉडल्स पास के स्टेट्स के बीच यादृच्छिक रूप से झपकी लेने की प्रवृत्ति रखते थे (जैसे एक लाइट स्विच जो फंसा हुआ हो), रीज़निंग मॉडल्स के पास गतिविधि के स्पष्ट, अच्छी तरह से अलग किए गए "क्लस्टर्स" थे। वे एक स्टेट में लंबे समय तक रहते थे (उच्च परसिस्टेंस) और फिर अगले आवश्यक स्टेट में एक जानबूझकर छलांग लगाते थे।
- कार्यात्मक विशेषज्ञता: शोधकर्ताओं ने पाया कि ये छिपे हुए स्टेट्स वास्तव में तर्क के चरणों से मेल खाते थे। कुछ स्टेट्स स्पष्ट रूप से "समस्या के बारे में सोच रहे थे", अन्य "गणित कर रहे थे", और कुछ "उत्तर की जाँच कर रहे थे"। रीज़निंग मॉडल्स सही समय के लिए सही स्टेट में टिके रहने में बहुत बेहतर थे।
- यह केवल सही होने के बारे में नहीं है: अध्ययन का एक महत्वपूर्ण हिस्सा इस विचार को खारिज करना था कि ये पैटर्न केवल इसलिए दिखाई दिए क्योंकि रीज़निंग मॉडल्स ने अधिक उत्तर सही दिए। शोधकर्ताओं ने केवल उन समस्याओं को देखकर इसका परीक्षण किया जहाँ बेस मॉडल और रीज़निंग मॉडल दोनों ने सही उत्तर दिया था। इन "परफेक्ट" मामलों में भी, रीज़निंग मॉडल ने अभी भी इस संगठित, बहु-अवस्था संरचना को दिखाया, जबकि बेस मॉडल अराजक बना रहा। यह सुझाव देता है कि संरचना उनके सोचने के तरीके में एक मौलिक परिवर्तन है, न कि बेहतर स्कोर प्राप्त करने का एक दुष्प्रभाव।
- कारण प्रमाण (द "ट्रांसप्लांट" प्रयोग): यह साबित करने के लिए कि ये स्टेट्स वास्तव में कुछ महत्वपूर्ण कर रहे थे, शोधकर्ताओं ने एक "सर्जरी" की। उन्होंने रीज़निंग मॉडल से "स्विचिंग रूल्स" (पॉलिसी) ली और उन्हें बेस मॉडल में डालने की कोशिश की। बेस मॉडल के मस्तिष्क को रीज़निंग मॉडल के पथ का अनुसरण करने के लिए धीरे से प्रेरित करके, वे बेस मॉडल को उन समस्याओं को हल करने में मदद करने में सक्षम हुए जिनमें वह पहले विफल रहा था। इसने सिद्ध किया कि संगठित स्विचिंग पैटर्न ही वह अंतर पैदा करने वाला कारक है।
एक व्यावहारिक सुपरपावर: "प्रिफिक्स गार्ड" (Prefix Guard)
इस खोज का सबसे रोमांचक व्यावहारिक अनुप्रयोग गलतियों को ठीक करने के लिए उपयोग करने से आया। शोधकर्ताओं ने देखा कि जब कोई मॉडल एक "बुरे पथ" (एक तर्क प्रिफिक्स जो विफलता की ओर ले जाता है) पर जाना शुरू करता है, तो वह एक विशिष्ट, अनुपयोगी स्टेट में फंस जाता है।
उन्होंने PREFIXGUARD नामक एक उपकरण बनाया। कल्पना कीजिए कि एक कोच धावक को देख रहा है। यदि धावक गलत दिशा में दौड़ना शुरू करता है, तो कोच बहुत अधिक ऊर्जा बर्बाद करने से पहले ही "रुको!" चिल्लाता है। PREFIXGUARD AI के लिए यही करता है। यह मॉडल के सोचने के दौरान उसके छिपे हुए स्टेट्स पर नज़र रखता है। यदि यह देखता है कि मॉडल एक "विफलता-प्रवण" (failure-prone) स्टेट में प्रवेश कर रहा है, तो यह उस विचार की श्रृंखला को काट देता है और मॉडल को एक बेहतर दृष्टिकोण के साथ पुनरारंभ करने के लिए मजबूर करता है।
परिणाम प्रभावशाली थे: 12 में से 11 अलग-अलग परीक्षण सेटिंग्स में (विभिन्न मॉडल्स और विभिन्न गणितीय डेटासेट को मिलाकर), इस पद्धति ने मानक तरीकों की तुलना में सटीकता में 12.5 प्रतिशत अंक तक सुधार किया। इसने केवल बेहतर अनुमान नहीं लगाया; इसने गलत मोड़ लेने से ही बच लिया।
इसका क्या अर्थ है
यह शोध पत्र सुझाव देता है कि जब हम एक AI को तर्क करना सिखाते हैं, तो हम उसे केवल नए तथ्य नहीं सिखा रहे होते हैं। हम इसके आंतरिक "ऑपरेटिंग सिस्टम" को मौलिक रूप से पुनर्गठित कर रहे होते हैं। हम इसे मानसिक मोड का एक सेट दे रहे हैं और इसे एक सुसंगत, समय-जागरूक अनुक्रम में उनके बीच स्विच करना सिखा रहे हैं।
लेखक सावधानीपूर्वक नोट करते हैं कि इसका मतलब यह नहीं है कि मॉडल में मानव जैसा चेतना है या वह दार्शनिक अर्थ में "जानता" है कि वह क्या कर रहा है। इसके बजाय, इसका अर्थ यह है कि इसके सोचने की गणितीय संरचना एक अराजक हलचल के बजाय एक सुव्यवस्थित नृत्य की तरह हो गई है। यह खोज हमें यह विश्लेषण करने के नए तरीके प्रदान करती है कि AI कैसे काम करता है और अधिक महत्वपूर्ण रूप से, हमें इन मॉडल्स को त्रुटियों से दूर ले जाने और बेहतर समाधानों की ओर ले जाने के लिए एक नया उपकरण देती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।