← नवीनतम पेपर
🤖 machine learning

Invariant Reasoning Directions in Latent Trajectories of Language Models

यह शोध पत्र ट्रजेक्टरी-इनवेरिएंट लेटेंट रिफाइनमेंट (TILR) प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त ढांचा है जो सटीकता से समझौता किए बिना तर्क की निरंतरता में सुधार करने और पैराफ्रेसिंग एवं व्यवधानों के प्रति संवेदनशीलता को कम करने के लिए भाषा मॉडल के लेटेंट ट्रजेक्टरीज के भीतर स्थिर, लो-रैंक इनवेरिएंट दिशाओं की पहचान और हेरफेर करता है।

मूल लेखक: Arun Vignesh Malarkkan, Manan Roy Choudhury, Utkarsh Byahut, Yash Ravindra Charde, Vivek Gupta, Yanjie Fu

प्रकाशित 2026-06-30✓ Author reviewed ⓘ
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Arun Vignesh Malarkkan, Manan Roy Choudhury, Utkarsh Byahut, Yash Ravindra Charde, Vivek Gupta, Yanjie Fu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक भाषा मॉडल (जैसे कि एक स्मार्ट AI) किसी गणित की समस्या या तर्क संबंधी पहेली को हल करने की कोशिश कर रहा है। आमतौर पर, हम उससे "ज़ोर से सोचने" के लिए कहते हैं, यानी अपनी तर्क प्रक्रिया के हर चरण को लिखकर दिखाना। लेकिन एक नया और तेज़ तरीका है जिसे लेटेंट रीजनिंग (Latent Reasoning) कहा जाता है। चरणों को लिखने के बजाय, AI पूरी तरह से अपने "मन" के भीतर (अपने छिपे हुए डिजिटल स्टेट में) सोचता है, बिना हमें अपना काम दिखाए अपने आंतरिक विचारों को अपडेट करता है। यह एक पहेली को बिना एक शब्द बोले अपने दिमाग में हल करने जैसा है।

समस्या यह है कि यह "अंधेरे में सोचने" की प्रक्रिया थोड़ी अस्त-व्यled है। यदि आप उसी प्रश्न को थोड़ा अलग तरीके से पूछते हैं (एक पैराफ्रेस/रूपान्तरण), तो AI की आंतरिक विचार प्रक्रिया पूरी तरह से एक अलग, भ्रमित करने वाली दिशा में जा सकती है, भले ही वह अंततः सही उत्तर तक पहुँच जाए। कभी-कभी, शब्दों के थोड़े से बदलाव के कारण, वह एक तरीके से सही उत्तर प्राप्त करता है और दूसरे तरीके से गलत।

इस शोध पत्र के लेखकों ने खोजा कि ऐसा क्यों होता है और इसे ठीक करने के लिए एक उपकरण बनाया। यहाँ इसका सरल विवरण दिया गया है:

1. समस्या: "शोर भरा" विचार प्रक्रम (The "Noisy" Thought Process)

कल्पना कीजिए कि आप एक धुंधली झील में नाव चलाकर रास्ता खोजने की कोशिश कर रहे हैं।

  • सही रास्ता (The Good Path): एक स्पष्ट, सीधा चैनल है जो गंतव्य (सही उत्तर) की ओर ले जाता है।
  • गलत रास्ता (The Bad Path): पानी यादृच्छिक लहरों, हवा के झोंकों और हलचल (शोर/नॉइज़) से भरा है जो नाव को रास्ते से भटका देते हैं।

शोधकर्ताओं ने पाया कि जब AI अपने सोचने के तरीके में सुधार करने की कोशिश करता है (एक प्रक्रिया जिसे "रिफाइनमेंट" कहा जाता है), तो वह अपने ही एक "स्मार्ट" संस्करण और एक "डम्ब" संस्करण से एक संकेत (सिग्नल) लेता है ताकि यह देख सके कि उसे किस दिशा में जाना चाहिए। हालाँकि, यह संकेत दोनों का मिश्रण है—स्पष्ट चैनल (अच्छा तर्क) और यादृच्छिक लहरों (शोर) का। क्योंकि AI पूरे सिग्नल का अनुसरण करने की कोशिश करता है, इसलिए वह शोर से विचलित हो जाता है, जिससे उसकी सोच अस्थिर हो जाती है।

2. खोज: "छिपा हुआ राजमार्ग" (The "Hidden Highway")

टीम ने महसूस किया कि सिग्नल का "अच्छा तर्क" वाला हिस्सा हर जगह बिखरा हुआ नहीं है। इसके बजाय, यह AI के मस्तिष्क के भीतर एक बहुत ही विशिष्ट सेट की दिशाओं में केंद्रित है—जैसे कि एक छिपा हुआ राजमार्ग।

  • "शोर" (वह चीज़ जो प्रश्न को फिर से लिखने पर बदल जाती है) बाकी सब जगह बिखरी हुई है।
  • "अच्छी चीज़" (स्थिर तर्क) एक संकीले, कम-आयामी लेन में मजबूती से पैक है।

उन्होंने सिद्ध किया कि यदि आप एक स्मार्ट AI और एक डम्ब AI के बीच के अंतर को देखें, तो उस अंतर का 90% वास्तव में इसी छोटे, स्थिर राजमार्ग पर चलने के बारे में है। बाकी सब केवल यादृच्छिक शोर (स्टैटिक) है।

3. समाधान: TILR (द "ट्रैफिक पुलिस")

लेखकों ने TILR (ट्रैजेक्टरी-इनवेरिएंट लेटेंट रिफाइनमेंट) नामक एक उपकरण बनाया। TILR को AI के विचारों के लिए एक स्मार्ट ट्रैफिक पुलिस या GPS फ़िल्टर की तरह समझें। यह दो मुख्य कार्य करता है:

  • फ़िल्टर (सबस्पेस प्रोजेक्शन): AI को पूरे शोर भरे सिग्नल का पीछा करने देने के बजाय, TILR AI को केवल उस "छिपे हुए राजमार्ग" पर चलने के लिए मजबूर करता है। यह AI को यादृच्छिक, शोर भरे रास्तों पर जाने से रोकता है। यह ऐसा है जैसे नाव को एक रेल ट्रैक पर रखना जो केवल सही दिशा में ही चलने की अनुमति देता है।
  • गेट (एडेप्टिव गेटिंग): कभी-कभी, सिग्नल इतना शोर भरा होता है कि यह पहचानना मुश्किल होता है कि राजमार्ग कहाँ है। TILR के पास एक "कॉन्फिडेंस मीटर" होता है। यदि सिग्नल अस्थिर या अविश्वसनीय दिखता है, तो गेट बंद हो जाता है, और AI सुधार करने की कोशिश करना छोड़ देता है। वह बस वही करता रहता है जो वह कर रहा था। यह AI को तब बुरा बनाने से रोकता है जब वह भ्रमित हो।

4. परिणाम: सुचारू और अधिक विश्वसनीय सोच

जब उन्होंने छह अलग-अलग रीजनिंग चुनौतियों (जैसे गणितीय शब्द समस्याएँ और तर्क पहेलियाँ) पर इसका परीक्षण किया, तो उन्होंने पाया कि:

  • निरंतरता (Consistency): यदि आप एक ही प्रश्न 10 अलग तरीकों से पूछते हैं, तो AI अब 10 बार एक ही आंतरिक पथ का पालन करता है, बजाय इसके कि वह 5 बार भटक जाए।
  • स्थिरता (Stability): AI की सोचने की प्रक्रिया में "लहर" या "डगमगाहट" (wobble) घटकर आधी रह गई (50% तक कम हो गई)।
  • सटीकता (Accuracy): AI न केवल अधिक स्थिर हुआ; बल्कि बिना किसी नए प्रशिक्षण या नई चीज़ों को सीखे, प्रश्नों के सही उत्तर देने में भी बेहतर हो गया।

बड़ी तस्वीर (The Big Picture)

यह शोध पत्र तर्क देता है कि AI की "सोच" कोई अराजक अव्यवस्था नहीं है। इसमें एक छिपा हुआ, स्थिर ढांचा (राजमार्ग) है जो बहुत सारे अस्थायी शोर के साथ मिश्रित है। इस शोर को फ़िल्टर करने और राजमार्ग पर टिके रहने के लिए एक उपकरण बनाकर, हम इन AI मॉडलों को बहुत अधिक विश्वसनीय और सुसंगत बना सकते हैं, भले ही प्रश्न अलग तरह से पूछे गए हों।

संक्षेप में: उन्होंने उस "गुप्त लेन" को खोजा जहाँ AI की सबसे अच्छी सोच होती है, उसे वहीं रखने के लिए एक गार्डरेल बनाया, और सड़क ऊबड़-खाबड़ होने पर टकराने से बचने के लिए एक ब्रेक लगाया।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →