Stabilizing Recurrent Dynamics for Test-Time Scalable Latent Reasoning in Looped Language Models
यह शोध पत्र STARS को प्रस्तुत करता है, जो एक ऐसा प्रशिक्षण ढांचा (training framework) है जो जैकोबियन स्पेक्ट्रल रेडियस रेगुलराइजेशन (Jacobian Spectral Radius Regularization) के माध्यम से लेटेंट स्टेट्स को एसिम्प्टोटिकली स्टेबल फिक्स्ड पॉइंट्स तक सीमित करके लूप्ड लैंग्वेज मॉडल्स में रिकरेंट डायनेमिक्स को स्थिर करता है, जिससे विश्वसनीय टेस्ट-टाइम स्केलिंग और जटिल तर्क कार्यों पर बेहतर प्रदर्शन सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द बिग प्रॉब्लम: वह "थिंकिंग लूप" जो पागल हो जाता है
कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक मेधावी छात्र है जो गणित का एक कठिन सवाल हल करने की कोशिश कर रहा है। आमतौर पर, इसे हल करने के लिए, छात्र कागज पर अपने विचारों की एक लंबी श्रृंखला लिखता है (इसे "चेन ऑफ थॉट" कहा जाता है)।
हाल ही में, शोधकर्ताओं ने एक नया दृष्टिकोण अपनाया जिसे लूप्ड लैंग्वेज मॉडल्स (LoopLMs) कहा जाता है। विचारों की लंबी श्रृंखला लिखने के बजाय, इस छात्र को कागज का एक टुकड़ा दिया जाता है और कहा जाता है: "अपना ही उत्तर पढ़ो, उस पर विचार करो, उसका एक नया संस्करण लिखो, उसे फिर से पढ़ो, फिर से सोचो, और इस प्रक्रिया को 10 बार दोहराओ।"
विचार यह है कि एक ही मस्तिष्क को बार-बार "लूप" करके, छात्र हर बार बेहतर होता जाता है, बिना अधिक कागज या अधिक समय की आवश्यकता के अपने उत्तर को परिष्कृत (refine) करता है।
द कैच (समस्या):
शोधकर्ताओं ने पाया कि यह लूप अक्सर टूट जाता है।
- द पीक (शिखर): शुरुआत में, छात्र बेहतर होता है। उत्तर सुधरता है।
- द क्रैश (पतन): लेकिन यदि आप छात्र को बहुत अधिक बार (जैसे 4 के बजाय 8 या 10 बार) लूप करने के लिए कहते हैं, तो उत्तर अचानक बहुत खराब हो जाता है। छात्र मतिभ्रम (hallucinate) करने लगता है, भ्रमित हो जाता है, या संख्याएँ बेकाबू हो जाती हैं।
लेखक इसे "अनरिलेबल टेस्ट-टाइम स्केलिंग" कहते हैं। आप मॉडल को सोचने के लिए अधिक समय (अधिक लूप) देते हैं, लेकिन वह स्मार्ट नहीं होता; वह अराजक हो जाता है।
द डायग्नोसिस: लूप क्यों टूटता है?
शोधकर्ताओं ने डायनामिकल सिस्टम्स (गणित की एक शाखा जो अध्ययन करती है कि चीजें समय के साथ कैसे बदलती हैं) के लेंस का उपयोग करके इन मॉडल्स की "आंतरिक कार्यप्रणाली" को देखा। उन्होंने एक मौलिक ट्रेड-ऑफ (समझौता) पाया, जो एक सी-सॉ (seesaw) की तरह है:
- "वाइल्ड" स्टूडेंट (इंटरनल नॉर्मलाइजेशन): कुछ मॉडल्स को इस तरह डिज़ाइन किया गया है कि वे जानकारी को स्वतंत्र रूप से बहने दें। यह गहराई से सोचने (प्रभावशीलता) के लिए बहुत अच्छा है, लेकिन हर लूप के साथ छात्र के "विचार" (आंतरिक संख्याएँ) बड़े होते जाते हैं जब तक कि वे फट न जाएं। यह एक स्पीकर के बहुत करीब रखे गए माइक्रोफ़ोन की तरह है—आवाज़ तब तक तेज़ होती रहती है जब तक कि वह शोर में बदलकर शांत न हो जाए।
- "स्टक" स्टूडेंट (एक्सटर्नल नॉर्मलाइजेशन): अन्य मॉडल्स संख्याओं को छोटा और सुरक्षित रखने के लिए उन्हें सख्ती से नियंत्रित करते हैं (स्थिरता)। लेकिन यह छात्र को बहुत अधिक सतर्क बना देता है। वे गहराई से सोचना बंद कर देते हैं और केवल सतही विचार दोहराते हैं। वे सुरक्षित रहते हैं, लेकिन वे कठिन समस्या को कभी हल नहीं कर पाते।
निष्कर्ष: मौजूदा मॉडल्स या तो बहुत "वाइल्ड" (अस्थिर) हैं या बहुत "सतर्क" (अप्रभावी)। वे दोनों नहीं हो सकते।
द सॉल्यूशन: STARS (द "स्टेबल थिंकिंग" फ्रेमवर्क)
लेखक एक नई ट्रेनिंग विधि प्रस्तावित करते हैं जिसे STARS (STAbility-driven Recurrent Scaling) कहा जाता है।
मॉडल की सोचने की प्रक्रिया को एक पहाड़ी से नीचे लुढ़कती हुई गेंद के रूप में सोचें।
- लक्ष्य: आप चाहते हैं कि गेंद पहाड़ी के नीचे तक जाए (सही उत्तर) और वहीं रुक जाए।
- समस्या: वर्तमान मॉडल्स में, गेंद या तो दुनिया के किनारे से नीचे गिर जाती है (फट जाती है) या बीच में ही एक सपाट हिस्से पर फंस जाती है (सतही सोच)।
STARS इसे कैसे ठीक करता है:
STARS एक गणितीय उपकरण जैकोबियन स्पेक्ट्रल रेडियस रेगुलराइजेशन (Jacobian Spectral Radius Regularization) का उपयोग करता है। यह सुनने में कठिन लग सकता है, लेकिन यहाँ इसका सरल संस्करण है:
- "स्पीड लिमिट" साइन: शोधकर्ता मॉडल को हर चरण पर अपनी "गति" की जांच करना सिखाते हैं। वे सुनिश्चित करते हैं कि गेंद को आगे धकेलने वाला "बल" बहुत अधिक शक्तिशाली न हो।
- "कन्वर्जिंग" प्रभाव: वे मॉडल को यह सीखने के लिए मजबूर करते हैं कि हर बार जब वह लूप करता है, तो उसे अंतिम उत्तर के करीब पहुंचना चाहिए, उससे दूर नहीं। गणितीय रूप से, वे सुनिश्चित करते हैं कि पहाड़ी का "ढलान" हमेशा एक स्थिर विश्राम स्थल (फिक्स्ड पॉइंट) की ओर इशारा करे।
तथाकथित "स्लोप" हमेशा एक स्थिर स्थान की ओर होना चाहिए। - रैंडम प्रैक्टिस: वे प्रशिक्षण के दौरान मॉडल को अलग-अलग संख्या में लूप के साथ अभ्यास भी करवाते हैं (कभी 2, कभी 10)। यह मॉडल को एक विशिष्ट लूप संख्या को याद करने से रोकता है और उसे यह सीखने के लिए मजबूर करता है कि वह चाहे कितनी भी देर तक सोचे, खुद को स्थिर कैसे रखे।
द रिजल्ट्स: एक भरोसेमंद विचारक
पेपर में दो चीजों पर इसका परीक्षण किया गया:
- सिंपल मैथ: बड़ी संख्याओं को जोड़ना।
- हार्ड मैथ: जटिल तर्क संबंधी समस्याएं (जैसे GSM8K डेटासेट)।
क्या हुआ?
- पुराने मॉडल्स: जब 8 लूप के लिए कहा गया, तो उनकी सटीकता (accuracy) तेजी से गिर गई। वे क्रैश हो गए।
- STARS मॉडल:
- इसने उच्च शिखर प्रदर्शन (peak performance) प्राप्त किया (यह तेज़ी से स्मार्ट हुआ)।
- सबसे महत्वपूर्ण बात यह है कि जब उन्होंने इसे अधिक लूप (8, 10, आदि) के लिए सोचने के लिए मजबूर किया, तो यह क्रैश नहीं हुआ। यह स्थिर रहा। सटीकता केवल थोड़ी सी गिरी, न कि पूरी तरह से ढह गई।
द टेकअवे
यह पेपर तर्क देता है कि यदि किसी कंप्यूटर को अपने आउटपुट पर लूप करके "सोचने" के लिए, उसे स्थिर (stable) होने के लिए प्रशिक्षित किया जाना चाहिए। जिस तरह एक अच्छे विचारक को अपने विचारों को परिष्कृत करने के लिए बिना अपना मानसिक संतुलन खोए काम करना चाहिए, STARS AI को यह सिखाता है कि वह अपने आंतरिक विचारों को व्यवस्थित और सत्य की ओर केंद्रित कैसे रखे, चाहे वह कितनी भी देर तक सोचे।
संक्षेप में, STARS AI को तब पागल होने से रोकता है जब आप उसे सोचने के लिए अधिक समय देते हैं, जिससे वह अपनी तर्क करने की क्षमताओं को विश्वसनीय रूप से स्केल कर पाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।