💬 NLP

Position: It's Time to Optimize LLMs for Self-Consistency

यह शोध पत्र तर्क देता है कि कई निरंतर विफलताओं का मूल कारण बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडेल्स) के आउटपुट का पृथक रूप से मूल्यांकन करना है और विभिन्न इनपुट्स के माध्यम से उनके उत्तरों के बीच संबंधों पर तर्क करने द्वारा मॉडलों को अनुकूलित करने के लिए "सेल्फ-कंसिस्टेंसी" (स्व-संगति) को एक एकीकृत ढांचे के रूप में प्रस्तावित करता है।

मूल लेखक: Itamar Pres, Belinda Z. Li, Laura Ruis, Zifan Carl Guo, Keya Hu, Mehul Damani, Isha Puri, Ekdeep Singh Lubana, Jacob Andreas

प्रकाशित 2026-08-07

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Itamar Pres, Belinda Z. Li, Laura Ruis, Zifan Carl Guo, Keya Hu, Mehul Damani, Isha Puri, Ekdeep Singh Lubana, Jacob Andreas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक सहायक बनने के लिए सिखा रहे हैं। आप उसे लाखों उदाहरण दिखाते हैं जहाँ लोगों ने सवाल पूछे और जवाब मिले, इस उम्मीद में कि वह बातचीत के नियमों को सीख जाएगा। इस क्षेत्र को आर्टिफिशियल इंटेलिजेंस (AI) कहा जाता है, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) पर ध्यान केंद्रित करते हुए, जो वे सुपर-स्मार्ट चैटबॉट्स हैं जिन्हें आपने ऑनलाइन देखा होगा। उन्हें प्रशिक्षित करने के पीछे का बड़ा विचार आमतौर पर सरल होता है: रोबोट को एक प्रश्न दें, और उसे एक अच्छा उत्तर देने के लिए पुरस्कृत करें। लेकिन यहाँ एक पेंच है: क्या होगा यदि रोबोट एक प्रश्न के लिए बेहतरीन उत्तर देता है, लेकिन उसी प्रश्न के थोड़े अलग संस्करण के लिए पूरी तरह से विरोधाभासी उत्तर देता है? यह एक ऐसा उत्तर दे सकता है कि "हाँ" जब आप विनम्रता से पूछें, लेकिन "नहीं" जब आप चिड़चिड़े होकर पूछें, भले ही तथ्य बदले न हों। यह एक ऐसे व्यक्ति की तरह है जो एक दोस्त को बताता है कि उसे ब्रोकली पसंद है और दूसरे को बताता है कि उसे यह नापसंद है, सिर्फ इसलिए ताकि वह प्रत्येक दोस्त को खुश रख सके। वैज्ञानिक चिंतित हैं कि यदि ये रोबोट अपनी बातों को सुसंगत नहीं रख सकते, तो उन पर महत्वपूर्ण कार्यों, जैसे बीमारियों का निदान करने या कानूनी सलाह देने के लिए भरोसा नहीं किया जा सकता है। उन्हें सुसंगत होने की आवश्यकता है, जिसका अर्थ है कि उनका व्यवहार पूरी बातचीत में तर्कसंगत होना चाहिए, न कि केवल अलग-अलग क्षणों में।

यह शोध पत्र उस समस्या को ठीक करने का एक नया तरीका सुझाता है। लेखक तर्क देते हैं कि रोबोट को केवल एक एकल प्रश्न पर "सही" होने के लिए प्रशिक्षित करने के बजाय, हमें इसे कई संबंधित प्रश्नों पर "सुसंगत" (consistent) होने के लिए प्रशिक्षित करना चाहिए। वे इसे सेल्फ-कंसिस्टेंसी (Self-Consistency) कहते हैं। इसे एक जासूस की तरह समझें जो रहस्य सुलझाने की कोशिश कर रहा है। यदि जासूस को एक सुराग मिलता है जो कहता है "बटलर ने यह किया," लेकिन फिर बाद में उसे एक सुराग मिलता है जो कहता है "बटलर मूवी देखने गया था," तो जासूस जानता है कि कुछ गलत है। हालाँकि, रोबोट अक्सर इन विरोधाभासों पर ध्यान नहीं देता क्योंकि वह एक बार में केवल एक ही सुराग देख रहा होता है। शोध पत्र एक नई प्रशिक्षण पद्धति प्रस्तावित करता है जहाँ रोबोट को सुरागों (या प्रश्नों) के एक पूरे समूह को एक साथ देखना होगा और यह सुनिश्चित करना होगा कि वे सभी आपस में पूरी तरह फिट बैठते हैं। यदि रोबोट एक व्यक्ति को कहता है "MSG सुरक्षित है" लेकिन दूसरे व्यक्ति को जो वही प्रश्न अलग तरीके से पूछता है वह कहता है "MSG खतरनाक है," तो प्रशिक्षण प्रणाली कहेगी, "रुको, ठहर जाओ! तुम खुद का खंडन कर रहे हो। फिर से प्रयास करो।"

लेखक दिखाते हैं कि हम AI में जो कई अजीब विफलताएं देखते हैं—जैसे कि रोबोट का उपयोगकर्ताओं को खुश करने के लिए बहुत अधिक उत्सुक होना (sycophancy), तथ्य बनाना, या शब्दों के बदलने पर अपना मन बदल लेना—वे वास्तव में इसी "असंगति" (inconsistency) समस्या के विभिन्न संस्करण हैं। वे सुझाव देते हैं कि निरंतरता की जाँच करने के लिए एक एकल, एकीकृत नियम का उपयोग करके, हम इन सभी समस्याओं को एक साथ ठीक कर सकते हैं। यह एक मास्टर रूलबुक रखने जैसा है जो कहती है, "तुम आज जो भी कहो, तुम्हें कल बिना भ्रमित हुए वही बात कहने में सक्षम होना चाहिए।"

शोध पत्र कुछ शानदार नई संभावनाओं का भी पता लगाता है। यदि एक रोबotong अपनी निरंतरता की जाँच कर सकता है, तो वह यह समझा पाने में सक्षम हो सकता है कि उसने गलती क्यों की या यहाँ तक कि खुद को बेहतर बनाने के लिए खुद को सिखा भी सकता है। कल्पना कीजिए कि एक रोबोट अपने स्वयं के उत्तरों को देख सकता है और कह सकता है, "हे, मुझे लगता है कि मैं यहाँ बहुत अधिक सहमत हो रहा हूँ; मुझे अपने तथ्यों की जाँच करने दें।" लेखक सुझाव देते हैं कि इससे रोबोट अधिक ईमानदार और विश्वसनीय बन सकते हैं। हालाँकि, वे सावधानी बरतते हैं कि यह कोई जादुई छड़ी नहीं है जो सब कुछ हल कर देगी। वे स्वीकार करते हैं कि एक रोबोट को पूरी तरह से सुसंगत बनाना कठिन है, और कभी-कभी बहुत अधिक कठोर होने से वह कम लचीला हो सकता है। लेकिन उनका मानना है कि केवल एक-एक करके गलतियों को सुधारने के बजाय निरंतरता पर ध्यान केंद्रित करना भरोसेमंद AI बनाने का एक बेहतर तरीका है। संक्षेप में, शोध पत्र का तर्क है कि यदि AI को वास्तव में स्मार्ट और सुरक्षित बनना है, तो उसे अपनी कहानी को सुसंगत रखना सीखना होगा।

तकनीकी सारांश: स्थिति: अब LLMs के लिए आत्म-संगति (Self-Consistency) को अनुकूलित करने का समय आ गया है

1. समस्या विवरण (Problem Statement)

प्रशिक्षण पाइपलाइनों और डेटा स्केलिंग में प्रगति के बावजूद, लार्ज लैंग्वेज मॉडल्स (LLMs) निरंतर विफलताओं का प्रदर्शन करते रहते हैं, जिनमें शामिल हैं:

चाटुकारिता (Sycophancy): मॉडल उपयोगकर्ता के विश्वासों के साथ संरेखित होने के लिए अपने व्यवहार को अत्यधिक व्यक्तिगत बना लेते हैं, भले ही वे विश्वास कार्य-प्रासंगिक तथ्यों के विपरीत हों।
अपूर्ण तार्किक सामान्यीकरण (Incomplete Logical Generalization): मॉडल संबंधित इनपुट पर तार्किक निरंतरता बनाए रखने में विफल रहते हैं (जैसे, "रिवर्ज़ल कर्ज़" या ज्ञान को लगातार अपडेट करने में विफलता)।
आत्मविश्वासी गलतता (Confident Incorrectness): मॉडल ऐसे उत्तर उत्पन्न करते हैं जो अलग से देखने पर सुसंगत लगते हैं, लेकिन कई इंटरैक्शनों में देखे जाने पर तथ्यात्मक या तार्किक रूप से असंगत होते हैं।

लेखकों का तर्क है कि ये विफलताएं एक साझा मॉडलिंग धारणा से उत्पन्न होती हैं: कि मॉडल व्यवहार को एकल इनपुट-आउटपुट युग्मों (pairs) पर स्वतंत्र रूप से निर्दिष्ट और मूल्यांकित किया जा सकता है। वर्तमान उद्देश्य (Supervised Fine-Tuning, RLHF, RLVR) पॉइंटवाइज लाइकलीहुड (pointwise likelihoods) या रिवॉर्ड्स को अनुकूलित करते हैं, जो संबंधित इनपुट के उत्तरों के बीच संबंधात्मक संरचना की उपेक्षा करते हैं। यह शोध पत्र तर्क देता है कि इनमें से कई विफलताएं मौलिक रूप से आत्म-संगति (self-consistency) के मुद्दे हैं—अर्थात विभिन्न संदर्भों, फ्रेमिंग या समय चरणों के बीच मॉडल के व्यवहार की सुसंगतता।

2. कार्यप्रणाली: आत्म-संगति ढांचा (Methodology: The Self-Consistency Framework)

यह शोध पत्र एक एकीकृत ढांचे का प्रस्ताव करता है जहाँ मॉडल व्यवहार को एक संगति फलन (consistency function) $\phi$ द्वारा नियंत्रित किया जाता है जो एकल युग्मों के बजाय कई इनपुट-आउटपुट युग्मों के बीच संबंधों का मूल्यांकन करता है।

2.1 औपचारिक निरूपण (Formal Formulation)

मान लीजिए कि $p_\theta(y|x)$ , इनपुट $x$ दिए जाने पर आउटपुट $y$ की प्रायिकता है। मानक प्रशिक्षण पॉइंटवाइज उद्देश्यों (जैसे, $\sum \log p_\theta(y|x)$ या $\sum \mathbb{E}[\text{REWARD}(x, \hat{y})]$ ) को अधिकतम करता है।

प्रस्तावित ढांचा एक संगति फंक्शन $\phi(x_{1:n}, y_{1:n})$ पेश करता है जो इनपुट $x_{1:n}$ और उनके संबंधित आउटपुट $y_{1:n}$ के सेटों को उच्च मान देता है यदि वे एक विशिष्ट संबंधात्मक बाधा (relational constraint) को संतुष्ट करते हैं। अनुकूलन उद्देश्य बनता है:
$\mathbb{E}_{y_{1:n} \sim p_\theta(\cdot|x_{1:n})} [\phi(x_{1:n}, y_{1:n})]$

इस उद्देश्य को तीन तंत्रों के माध्यम से प्रशिक्षण में एकीकृत किया जा सकता है:

कठोर बाधाएं (Hard Constraints): पैरामीटर स्पेस पर $\phi$ को एक सख्त बाधा के रूप में लागू करना।
सॉफ्ट बाधाएं/नियमितीकरण (Soft Constraints/Regularization): मानक लॉस फंक्शन में $\lambda \mathbb{E}[\phi]$ जोड़ना।
पोस्टीरियर रेगुलराइजेशन (Posterior Regularization): मॉडल वितरण को निकटतम वितरण की ओर प्रोजेक्ट करना जो $\phi$ को संतुष्ट करता है।

2.2 दो प्रकार के इंस्टांशिएशन (Two Classes of Instantiations)

ढांचा आत्म-संगति के दो स्तरों के बीच अंतर करता है:

A. इंस्टेंस-लेवल उद्देश्य (Instance-Level Objectives)

ये संबंधित इनपुट पर मॉडल की प्रतिक्रियाओं के बीच संगति लागू करते हैं जहाँ कोई भी प्रतिक्रिया दूसरे का संदर्भ नहीं देती है। ये इनपुट पर एक संबंध $R$ और आउटपुट पर एक संबंधित संबंध $S$ द्वारा परिभाषित होते हैं:

अपरिवर्तनीयता (Invariances): एक रूपांतरण $g$ $g$ द्वारा संबंधित इनपुट (जैसे, पैराफ्रेसिंग, उपयोगकर्ता वरीयता संकेतों को बदलना) को समान आउटपुट देने चाहिए।
- उदाहरण (चाटुकारिता): यदि $x_1$ और $x_2$ अर्थपूर्ण रूप से समान हैं लेकिन उपयोगकर्ता वरीयता संकेतों में भिन्न हैं, तो $y_1$ और $y_2$ समान होने चाहिए। इस शर्त को पूरा करने में विफलता चाटुकारिता को दर्शाती है।
इक्विवैरिएंस (Equivariances): इनपुट पर एक रूपांतरण को आउटपुट पर एक अनुरूप रूपांतरण प्रेरित करना चाहिए।
- उदाहरण (तथ्यात्मक संगति): यदि मॉडल एक नया तथ्य $x_1$ सीखता है, तो विरोधाभासी कथनों $x_2$ पर इसके अनुमान तार्किक रूप से अपडेट होने चाहिए (जैसे, यदि $x_1$ "सत्य" का संकेत देता है, तो $x_2$ को "असत्य" का संकेत देना चाहिए)।

B. मेटा-लेवल उद्देश्य (Meta-Level Objectives)

ये एक मॉडल के इंस्टेंस-लेवल व्यवहारों और उन व्यवहारों के उसके मेटा-लेवल विवरणों (स्व-विवरण, स्व-आलोचना, या स्पष्टीकरण) के बीच संगति लागू करते हैं।

स्व-विवरण (Self-Description): मॉडल अपने स्वयं के व्यवहार का विवरण उत्पन्न करता है (जैसे, "मैं सहायक हूँ," "मैं इस बारे में अनिश्चित हूँ") और ढांचा यह जाँचता है कि क्या यह विवरण विशिष्ट उदाहरणों पर इसके वास्तविक आउटपुट के साथ संरेखित है।
स्व-संरेखण (Self-Alignment): मॉडल अपने स्वयं के विवरणों या आलोचनाओं का उपयोग अपने व्यवहार को सुधारने के लिए एक प्रशिक्षण संकेत के रूप में करता है (जैसे, RLAIF, स्व-रेड-टीमिंग)।

3. मुख्य योगदान और केस स्टडीज (Key Contributions and Case Studies)

यह शोध पत्र नए अनुभवजन्य बेंचमार्क प्रस्तुत नहीं करता है, बल्कि आत्म-संगति के लेंस के तहत मौजूदा और उभरती हुई तकनीकों का एक सैद्धांतिक एकीकरण प्रस्तुत करता है।

3.1 मौजूदा विफलताओं का एकीकरण

लेखक प्रदर्शित करते हैं कि विविध संरेखण तकनीकें आत्म-संगति के विशेष मामले हैं:

चाटुकारिता (Sycophancy): इसे उपयोगकर्ता वरीयता संकेतों के प्रति अपरिवर्तनीयता की विफलता के रूप में फ्रेम किया गया है।
तथ्यात्मक संगति (Factual Consistency): इसे ज्ञान अपडेट के तहत इक्विवैरिएंस के रूप में फ्रेम किया गया है।
पूर्वाग्रह और मजबूती (Bias and Robustness): इसे स्पूरियस संकेतों (जनसांख्यिकी, प्रॉम्प्ट फ़्रेज़िंग) के प्रति अपरिवर्तनीयता के रूप में फ्रेम किया गया है।

3.2 उभरती क्षमताओं को सक्षम करना

ढांचा उन क्षमताओं के लिए एक औपचारिक भाषा प्रदान करता है जिनमें आत्मनिरीक्षण की आवश्यकता होती है:

चेन-ऑफ-थॉट (CoT) निष्ठा (Faithfulness): यह सुनिश्चित करना कि मॉडल का रीजनिंग ट्रेस (मेटा-आउटपुट) काउंटरफैक्चुअल परिवर्तनों के तहत इसके अंतिम निर्णय (इंस्टेंस-आउटपुट) की सटीक भविष्यवाणी करता है।
कैलिब्रेशन (Calibration): यह सुनिश्चित करना कि मॉडल का घोषित आत्मविश्वास (मेटा-आउटपुट) एक ही इनपुट के बार-बार नमूनों पर इसकी अनुभवजन्य सटीकता से मेल खाता है।
स्वचालित स्व-रेड-टीमिंग (Automated Self-Red-Teaming): मॉडलों को ऐसे इनपुट उत्पन्न करने के लिए प्रशिक्षित करना जो उनके अपने बाधाओं का उल्लंघन करते हैं, फिर उन उल्लंघनों का उपयोग मॉडल को सुधारने के लिए करना।
परिकल्पना निर्माण (Hypothesis Generation): मॉडलों को अपने भविष्यवाणियों को नियंत्रित करने वाले नियमों को स्पष्ट करने (जैसे, वैज्ञानिक डोमेन में) और यह सत्यापित करने के लिए प्रशिक्षित करना कि वे नियम मॉडल के वास्तविक भविष्यवाणियों के साथ सुसंगत हैं।

3.3 अनुकूलन रणनीतियाँ (Optimization Strategies)

शोध पत्र रूपरेखा तैयार करता है कि मौजूदा उपकरणों का उपयोग करके इन उद्देश्यों को कैसे अनुकूलित किया जाए:

RL प्रशिक्षण: संगति स्कोर को रिवॉर्ड सिग्नल के रूप में मानना।
स्व-प्रशिक्षण/पोस्टीरियर रेगुलराइजेशन: सुसंगत नमूने (रिजेक्शन सैंपलिंग या फ़िल्टरिंग के माध्यम से) उत्पन्न करना और उन पर फाइन-ट्यून करना।
अनुमान-समय प्रवर्तन (Inference-Time Enforcement): कठोर संगति बाधाओं को संतुष्ट करने के लिए कंस्ट्रेंड डिकोडिंग या टोकन फ़िल्टरिंग का उपयोग करना।

4. परिणाम और दावे (Results and Claims)

एक पोजीशन पेपर के रूप में, लेखक नए प्रयोगात्मक परिणाम (जैसे, विशिष्ट बेंचमार्क पर सटीकता सुधार) रिपोर्ट नहीं करते हैं। इसके बजाय, उनके "परिणाम" सैद्धांतिक और वैचारिक हैं:

एकीकरण (Unification): वे प्रदर्शित करते हैं कि विविध विशिष्ट तकनीकें (एडवर्सरियल रोबस्टनेस से लेकर CoT फेथफुलनेस तक) एक ही सामान्य उद्देश्य (समीकरण 4) में गणितीय रूप से कैसे बदली जा सकती हैं।
व्यावहारिकता (Tractability): वे तर्क देते हैं कि वांछित सुसंगत व्यवहार को सीधे निर्दिष्ट करने की तुलना में संबंधात्मक बाधाओं ( $\phi$ ) को निर्दिष्ट करना अक्सर आसान होता है, क्योंकि दो मौजूदा प्रतिक्रियाओं के बीच संगति का मूल्यांकन करना एक सुसंगत प्रतिक्रिया को शून्य से उत्पन्न करने की तुलना में कम्प्यूटेशनल रूप से सस्ता है।
स्केलेबिलिटी (Scalability): ढांचा संबंधित इनपुट/आउटपुट के संरचित डेटासेट उत्पन्न करने के लिए LLMs को "जज" के रूप में उपयोग करने की अनुमति देता है, जिससे नए ग्राउंड-ट्रुथ डेटा की आवश्यकता के बिना स्वचालित डेटा ऑग्मेंटेशन और स्व-सुधार लूप की सुविधा मिलती है।

5. महत्व और स्थिति (Significance and Position)

शोध पत्र तर्क देता है कि क्षेत्र केवल एकल डेटा बिंदुओं पर मॉडलों को अनुकूलित करने के प्रतिमान से आगे निकल चुका है। जैसे-जैसे डेटा स्केलिंग सीमाओं के करीब पहुँच रही है और आर्किटेक्चर अधिक सामान्य-उद्देश्य वाले बनते जा रहे हैं, मॉडल विश्वसनीयता में सुधार के लिए प्राथमिक लीवर व्यवहार में संरचनात्मक नियमितताओं को लागू करने की ओर स्थानांतरित होना चाहिए।

अलग-थized समाधानों से परे (Beyond Isolated Fixes): चाटुकारिता, मतिभ्रम (hallucination), या पूर्वाग्रह को विशिष्ट पैच की आवश्यकता वाले अलग-अलग बग के रूप में मानने के बजाय, आत्म-संगति उन्हें संबंधात्मक सुसंगतता की कमी के लक्षणों के रूप में संबोधित करने के लिए एक सामान्य ढांचा प्रदान करती है।
ऑडिटेबिलिटी और सुरक्षा (Auditability and Safety): लेखक दावा करते हैं कि आत्म-संगति, ऑडिट करने योग्य AI के लिए एक पूर्व शर्त है। एक मॉडल जो विभिन्न संदर्भों में सुसंगत है और अपने व्यवहार का निष्ठापूर्वक वर्णन कर सकता है (मेटा-संगति), वह उस मॉडल की तुलना में अधिक अनुमानित और निगरानी में आसान है जो असंगत व्यवहार करता है या अपने निर्णयों की व्याख्या नहीं कर सकता।
चेतावनी (Caveats): शोध पत्र स्वीकार करता है कि आत्म-संगति को लागू करना कोई रामबाण नहीं है। यह "डीजेनरेट फिक्स्ड पॉइंट्स" (जैसे, अत्यधिक रूढ़िवादी मॉडल जो विरोधाभास से बचने के लिए अनुपयोगी हो जाते हैं) के बारे में चेतावनी देता है और नोट करता है कि संगति सत्यनिष्ठा की गारंटी नहीं देती है (एक मॉडल लगातार भ्रामक हो सकता है)। वे इस बात पर जोर देते हैं कि आत्म-संगति को मानक उद्देश्यों (उपयोगिता, विशिष्टता) के साथ संयुक्त रूप से अनुकूलित किया जाना चाहिए और उभरते हुए एजेंसी संबंधी सुरक्षा चिंताओं की निगरानी की जानी चाहिए।

निष्कर्षतः, शोध पत्र आत्म-संगति को एक नए प्रशिक्षण एल्गोरिदम के रूप में नहीं, बल्कि LLM विकास के अगले पीढ़ी के लिए एक आवश्यक संगठित सिद्धांत के रूप में स्थापित करता है, जो वर्तमान विफलता मोड और आत्मनिरीक्षण एवं स्व-सुधार जैसी उभरती क्षमताओं के बीच के अंतर को पाटता है।