Probing the Lack of Stable Internal Beliefs in LLMs

यहाँ शोध पत्र "Probing the Lack of Stable Internal Beliefs in LLMs" का विस्तृत तकनीकी सारांश दिया गया है:

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) मानव जैसे व्यक्तित्व और व्यवहार का अनुकरण करने में उत्कृष्ट हैं, लेकिन उनमें अक्सर स्थिर आंतरिक प्रतिनिधित्व (stable internal representations) की कमी होती है जो लंबे संवादों के दौरान निरंतर लक्ष्यों को बनाए रखने के लिए आवश्यक है। मौजूदा शोध मुख्य रूप से बाहरी निरंतरता (external consistency) पर केंद्रित रहा है (जैसे कि आउटपुट में तथ्यात्मक विरोधाभासों या तार्किक आत्म-विरोधाभासों से बचना)। हालाँकि, एक महत्वपूर्ण अंतर निहित निरंतरता (implicit consistency) के संबंध में बना हुआ है: एक LLM की वह क्षमता, जिसमें वह बिना किसी स्पष्ट अनुस्मारक के, एक अनकहे, आंतरिक लक्ष्य (जैसे कि गुप्त रूप से चयनित लक्ष्य) के प्रति बहु-चरण संवाद के दौरान पालन बनाए रखता है।

लेखक यह परिकल्पना करते हैं कि वर्तमान LLMs लक्ष्य विचलन (goal drift) से ग्रस्त हैं, जहाँ मॉडल की आंतरिक विश्वास अवस्था (internal belief state) अपने प्रारंभिक उद्देश्य से दूर खिसक जाती है, भले ही उसके बाहरी उत्तर सुसंगत दिखाई दें। यह अस्थिरता संवाद एजेंटों और रोल-प्लेइंग सहायकों जैसे व्यक्तित्व-संचालित अनुप्रयोगों की विश्वसनीयता को कमजोर करती है।

2. कार्यप्रणाली (Methodology)

इस घटना की जांच करने के लिए, लेखकों ने एक 20-प्रश्न शैली के खेल पर आधारित एक नियंत्रित नैदानिक ढांचे को डिजाइन किया।

कार्य डिजाइन (Task Design)

• भूमिकाएँ (Roles): सेटअप में दो मॉडल भूमिकाएँ शामिल हैं: एक प्रस्तावक (Proposer) (जो गुप्त रूप से एक लक्ष्य इकाई या संख्या चुनता है) और एक अनुमान लगाने वाला (Guesser) (जो लक्ष्य की पहचान करने के लिए हाँ/ना वाले प्रश्न पूछता है)।
• कार्य (Tasks):
  1. संख्या अनुमान लगाना (Number Guessing): प्रस्तावक 0–99 के बीच एक संख्या चुनता है। यह कार्य निरंतरता के मुद्दों को अलग करने के लिए अर्थ संबंधी जटिलता को न्यूनतम करता है।
  2. इकाई अनुमान लगाना (Entity Guessing): प्रस्तावक 10 विविध संस्थाओं (जैसे, "एफिल टॉवर," "पांडा") के सेट में से एक चुनता है। यह अर्थपूर्ण रूप से समृद्ध, वास्तविक दुनिया के परिदृश्यों में निरंतरता का परीक्षण करता है।
• प्रोबिंग तंत्र (Probing Mechanism): मुख्य संवाद को दूषित किए बिना प्रस्तावक की आंतरिक स्थिति को मापने के लिए, लेखक एक शाखा-आधारित प्रोबिंग तकनीक (branch-based probing technique) का उपयोग करते हैं। मुख्य संवाद के प्रत्येक टर्न के बाद, एक अलग संदर्भ शाखा बनाई जाती है जहाँ मॉडल से पूछा जाता है: "आपने जो विशिष्ट लक्ष्य इंडेक्स चुना है वह क्या है?" मॉडल का उम्मीदवार इंडेक्स (0–9) पर संभाव्यता वितरण (probability distribution) उसके विश्वास अवस्था (belief state) $b_i$ के रूप में रिकॉर्ड किया जाता है।

असंगतता की परिभाषाएँ (Definitions of Inconsistency)

लेखक दो प्रकार की असंगतता को औपचारिक रूप देते हैं:

1. बाहरी असंगतता (External Inconsistency): संवाद में दिखने वाले तार्किक विरोधाभास (जैसे, "क्या यह लाल है?" का उत्तर "हाँ" देना और बाद में "क्या यह लाल है?" का उत्तर "नहीं" देना)।
2. निहित असंगतता (Implicit Inconsistency): मॉडल की आंतरिक विश्वास अवस्था मूल लक्ष्य ($e_t$) से हटकर एक अलग लक्ष्य ($e'$) की ओर विचलित हो जाती है, जबकि बाहरी प्रतिक्रिया निरंतरता बनी रहती है। औपचारिक रूप से, $arg \max_{e} b_k = e' \neq e_t$, भले ही दिए गए उत्तर $e_t$ और $e'$ दोनों के लिए मान्य हों।

मेट्रिक्स (Metrics)

• ड्रिफ्ट रेट (Drift Rate - D.R.): चयनित लक्ष्य इंडेक्स में होने वाले पृथक परिवर्तनों की आवृत्ति।
• वन्स ड्रिफ्ट रेट (Once Drift Rate): उन संवादों का प्रतिशत जहाँ कम से कम एक विचलन (drift) होता है।
• KL डाइवर्जेंस (KL Divergence): टर्न के बीच विश्वास अवस्था के संभाव्यता वितरण में निरंतर बदलाव को मापता है ($D_{KL}(P_t \parallel P_{t-1})$)।
• एक्सटर्नल कंसिस्टेंसी वेरिफिकेशन (External Consistency Verification - E.C.V.): सतही स्तर के तार्किक उल्लंघनों का पता लगाने के लिए LLM-as-a-Judge मूल्यांकन।

प्रशिक्षण ढांचा (Training Framework)

इस समस्या को कम करने के लिए, लेखकों ने क्रॉस-एन्ट्रॉपी (CE) और KL डाइवर्जेंस रेगुलाइजेशन को मिलाने वाले लॉस फंक्शन का उपयोग करके प्रस्तावक भूमिका पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) लागू की:
$$L = \sum_{t=1}^{T} [\alpha \cdot D_{KL}(P_{probe}^t \parallel P_{initial}) + \beta \cdot L_{CE}]$$
यह उद्देश्य (objective) प्रारंभिक विश्वास अवस्था ($P_{initial}$) से विचलन को दंडित करता है, जिससे मॉडल अपने आंतरिक लक्ष्यों को स्थिर करने के लिए मजबूर होता है।

3. मुख्य परिणाम (Key Results)

प्रयोग GPT-4o, Claude-3.7-Sonnet, Deepseek-v3.1, और Seed-1.6 सहित अत्याधुनिक मॉडल्स पर किए गए।

• सार्वभौमिक लक्ष्य विचलन (Universal Goal Drift): सभी परीक्षण किए गए मॉडल्स ने व्यापक निहित असंगतता प्रदर्शित की।
  • वन्स ड्रिफ्ट रेट (Once Drift Rate): अधिकांश मॉडल्स ने 100% की दर दिखाई, जिसका अर्थ है कि हर एक संवाद में, मॉडल अंततः अपने प्रारंभिक लक्ष्य से विचलित हो गया।
  • ड्रिफ्ट फ्रीक्वेंसी (Drift Frequency): मॉडल्स ने बातचीत के 16.77% से लेकर 50% से अधिक टर्न में अपने आंतरिक लक्ष्यों को बदला।
• तर्क करने वाले मॉडल्स (Reasoning Models): विरोधाभासी रूप से, तर्क-संवर्धित मॉडल्स (जैसे, "+ Reasoning" वेरिएंट) अक्सर सरल कार्यों (जैसे, संख्या अनुमान लगाने) में उच्च ड्रिफ्ट रेट प्रदर्शित करते हैं, जो यह सुझाव देता है कि "ओवरथिंकिंग" अनावश्यक जटिलता पेश करती है जो सरल लक्ष्य रखरखाव को अस्थिर कर देती है।
• बाहरी बनाम आंतरिक (External vs. Internal): उच्च बाहरी निरंतरता (कम तार्किक विरोधाभास) का आंतरिक स्थिरता के साथ कोई सहसंबंध नहीं था। मॉडल अपने लक्ष्य को गुप्त रूप से बदलते हुए भी तार्किक रूप से उत्तर दे सकते थे।
• प्रशिक्षण का प्रभाव (Impact of Training):
  • मानक SFT (केवल CE) निहित असंगतता को कम करने में विफल रहा।
  • KL रेगुलाइजेशन ने लक्ष्य दृढ़ता (goal persistence) में महत्वपूर्ण सुधार किया, जिससे संख्या अनुमान लगाने के कार्य में ड्रिफ्ट रेट ~36% से घटकर ~14% हो गया और KL डाइवर्जेंस शिफ्ट कम हो गया।
  • संयुक्त CE+KL दृष्टिकोण ने सतह की सुसंगतता बनाए रखते हुए आंतरिक लक्ष्यों को स्थिर करने का संतुलन प्रदान किया।

4. मुख्य योगदान (Key Contributions)

1. निहित निरंतरता का औपचारिकीकरण (Formalization of Implicit Consistency): यह शोध पत्र एक कठोर गणितीय परिभाषा प्रस्तुत करता है जो बाहरी (अवलोकन योग्य) और निहित (आंतरिक) असंगतता के बीच अंतर करती है, जो लक्ष्य विचलन (goal drift) को पहचानने के लिए एक ढांचा प्रदान करता है।
2. एकीकृत प्रोबिंग फ्रेमवर्क (Unified Probing Framework): विविध कार्यों में बिना हस्तक्षेप के निरंतर आंतरिक विश्वास अवस्थाओं की निगरानी करने के लिए संख्यात्मक इंडेक्सिंग का उपयोग करते हुए एक शाखा-आधारित प्रोबिंग तकनीक का विकास।
3. अस्थिरता का अनुभवजन्य प्रमाण (Empirical Evidence of Instability): यह प्रदर्शन करना कि वर्तमान SOTA LLMs सार्वभौमिक रूप से निहित निरंतरता के लिए संघर्ष करते हैं, जहाँ लगभग सभी बहु-चरण इंटरैक्शन में लक्ष्य विचलन होता है।
4. शमन रणनीति (Mitigation Strategy): यह सिद्ध करना कि KL डाइवर्जेंस रेगुलाइजेशन के साथ स्पष्ट प्रशिक्षण निहित लक्ष्यों को स्थिर कर सकता है, जो अधिक विश्वसनीय व्यक्तित्व-संचालित मॉडल्स की ओर एक व्यवहार्य मार्ग प्रदान करता है।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

• विश्वसनीय AI (Trustworthy AI): ये निष्कर्ष वर्तमान LLMs की एक मौलिक सीमा को उजागर करते हैं: वे बाहरी स्कैफोल्डिंग के बिना समय के साथ "व्यक्तित्व" या "इरादे" को विश्वसनीय रूप से बनाए नहीं रख सकते। यह दीर्घकालिक इंटरैक्शन में स्वायत्त एजेंटों को तैनात करने के लिए एक महत्वपूर्ण बाधा है।
• सतही संरेखण से परे (Beyond Surface Alignment): यह कार्य तर्क देता है कि वर्तमान संरेखण तकनीकें सतही व्यवहार (बाहरी निरंतरता) पर बहुत अधिक ध्यान केंद्रित करती हैं और आंतरिक अवस्था प्रतिनिधित्व की स्थिरता की उपेक्षा करती हैं।
• भविष्य की दिशाएं (Future Directions): लेखकों का सुझाव है कि भविष्य के आर्किटेक्चर को वास्तविक निरंतरता प्राप्त करने के लिए मेमोरी (स्मृति), विश्वास अवस्था ट्रैकिंग (belief state tracking), और एंकरिंग (anchoring) के स्पष्ट तंत्रों को शामिल करना चाहिए। यह उन AI सहायकों को विकसित करने के लिए आवश्यक है जो विस्तारित अवधि में उपयोगकर्ता के निर्देशों का निष्ठापूर्वक पालन कर सकें।

निष्कर्षतः, यह शोध पत्र प्रकट करता है कि जबकि LLMs निरंतरता के दिखावे का अनुकरण करने में उत्कृष्ट हैं, उनमें एक स्थिर लक्ष्य को बनाए रखने के लिए आवश्यक आंतरिक तंत्र की कमी है, जिसे प्रशिक्षण के दौरान विशिष्ट रेगुलाइजेशन तकनीकों के माध्यम से आंशिक रूप से संबोधित किया जा सकता है।