← नवीनतम पेपर
💬 NLP

Investigating the Interplay between Contextual and Parametric Chain-of-Thought Faithfulness under Optimization

यह शोधपत्र FaithMate को प्रस्तुत करता है, जो एक एकीकृत ढांचा है जो प्रासंगिक (contextual) और पैरामीट्रिक (parametric) चेन-ऑफ-थॉट निष्ठा (faithfulness) के बीच एक विषम सकारात्मक युग्मन (asymmetric positive coupling) को प्रकट करता है, जो यह प्रदर्शित करता है कि पैरामीट्रिक निष्ठा के लिए अनुकूलन विभिन्न प्रतिमानों (paradigms) में अधिक सुसंगत रूप से सामान्यीकृत होता है, जबकि साथ ही अंतर्निहित समझौतों (trade-offs) और निष्ठा मेट्रिक्स की गैर-एकात्मक प्रकृति को भी उजागर करता है।

मूल लेखक: Jingyi Sun, Qianli Wang, Pepa Atanasova, Nils Feldhus, Isabelle Augenstein

प्रकाशित 2026-05-26
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Jingyi Sun, Qianli Wang, Pepa Atanasova, Nils Feldhus, Isabelle Augenstein

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट है जो चरणों के माध्यम से बात करके पहेलियाँ सुलझाता है। यह "चरणों के माध्यम से बात करना" चेन-ऑफ-थॉट (Chain-of-Thought - CoT) कहलाता है।

बड़ा सवाल यह है कि: क्या रोबोट वास्तव में चरणों के माध्यम से सोच रहा है, या वह केवल एक ऐसी कहानी बना रहा है जो सुनने में 'सोचने' जैसी लगती है?

यह शोध पत्र, जिसका शीर्षक "Investigating the Interplay between Contextual and Parametric Chain-of-Thought Faithfulness under Optimization" है, एक जासूसी कहानी की तरह है जो यह पता लगाने की कोशिश कर रहा है कि हम रोबोट को उसकी सोचने की प्रक्रिया के बारे में सच बोलने के लिए कैसे तैयार करें।

यहाँ सरल शब्दों में इसका विवरण दिया गया है:

1. "सच्चाई" की जाँच करने के दो तरीके

शोधकर्ताओं ने पाया कि लोग आमतौर पर रोबोट के ईमानदार होने की जाँच दो पूरी तरह से अलग तरीकों से करते हैं, जैसे कार के इंजन को बाहर से देखना बनाम इंजन को खोलकर देखना।

  • "कॉन्टेक्स्टुअल" (Contextual) जाँच (बाहरी दृष्टिकोण):
    कल्पना कीजिए कि आप रोबोट को गणित की एक समस्या हल करने के लिए कहते हैं। फिर, आप चुपके से समस्या में एक संख्या बदल देते हैं या उसके स्पष्टीकरण में एक शब्द बदल देते हैं।

    • परीक्षण: यदि आपके इनपुट को बदलने पर रोबोट का अंतिम उत्तर बदल जाता है, तो वह ईमानदार है। यदि आप इनपुट बदलते हैं और रोबोट वही गलत उत्तर देता है, तो वह केवल अनुमान लगा रहा था और बाद में एक कहानी बना रहा था।
    • रूपक: यह एक छात्र से पूछने जैसा है, "अगर मैं इस संख्या को बदल दूँ तो क्या होगा?" यदि वे अपना उत्तर बदल देते हैं, तो वे वास्तव में गणित कर रहे थे। यदि वे उसी उत्तर पर टिके रहते हैं, तो वे केवल उत्तर रट रहे थे।
  • "पैरामीट्रिक" (Parametric) जाँच (आंतरिक दृष्टिकोण):
    यह बहुत कठिन है। शब्दों को बदलने के बजाय, शोधकर्ता रोबोट के मस्तिष्क (उसकी स्मृति/मेमोरी) के भीतर एक विशिष्ट तथ्य को "अनलर्न" (unlearn) करने की कोशिश करते हैं।

    • परीक्षण: यदि रोबोट उस विशिष्ट तथ्य को भूल जाता है जिसका उपयोग उसने पहेली को हल करने के लिए किया था, और उसका उत्तर बदल जाता है, तो वह तथ्य वास्तव में उसकी सोच का हिस्सा था।
    • रूपक: यह एक बढ़ई के औजारों के बॉक्स से एक विशिष्ट उपकरण को निकालने जैसा है। यदि बढ़ई कुर्सी बनाना नहीं कर पाता क्योंकि वह उस उपकरण का उपयोग करना भूल गया है, तो वह उपकरण आवश्यक था। यदि वह कुर्सी फिर भी बनाता है, तो उसे उस उपकरण की वास्तव में आवश्यकता नहीं थी; वह दिखावा कर रहा था।

2. समस्या: वे हमेशा सहमत नहीं होते

शोध पत्र ने पाया कि ये दो जाँच अक्सर अलग-अलग परिणाम देती हैं। एक रोबोट "बाहरी दृष्टिकोण" परीक्षण में पास हो सकता है लेकिन "आंतरिक दृष्टिकोण" परीक्षण में फेल हो सकता है, या इसके विपरीत। यह एक ऐसे छात्र की तरह है जो कागज पर अपना काम पूरी तरह से समझा सकता है (Contextual) लेकिन वास्तव में उसने उत्तर रटा हुआ है और उसे अवधारणा की समझ नहीं है (Parametric)।

3. समाधान: एक नया ट्रेनिंग जिम (FaithMATE)

लेखकों ने FaithMATE नामक एक नया सिस्टम बनाया है। इसे एक विशेष जिम के रूप में समझें।

  • इस जिम में, रोबोट पहेलियाँ सुलझाने का अभ्यास करता है।
  • कोच (शोधकर्ता) चुन सकते हैं कि वे रोबोट को दो अलग-अलग तरीकों से ईमानदार होने के लिए प्रशिक्षित करना चाहते हैं: या तो "बाहरी दृष्टिकोण" (Contextual) पर ध्यान केंद्रित करके या "आंतरिक दृष्टिकोण" (Parametric) पर।
  • लक्ष्य यह देखना है: यदि हम रोबोट को एक विधि का उपयोग करके ईमानदार होने के लिए प्रशिक्षित करते हैं, तो क्या वह दूसरी विधि का उपयोग करके ईमानदार होने में स्वतः बेहतर हो जाता है?

4. बड़ी खोजें

कई अलग-अलग रोबोटों को विभिन्न पहेलियों पर प्रशिक्षित करने के बाद, उन्होंने तीन मुख्य बातें पाईं:

  • "आंतरिक दृष्टिकोण" एक बेहतर कोच है:
    यदि आप रोबोट को अपनी आंतरिक स्मृति (Parametric) के बारे में ईमानदार होने के लिए प्रशिक्षित करते हैं, तो वह आंतरिक जाँच और बाहरी जाँच दोनों में बेहतर हो जाता है। यह एक धावक को मजबूत फेफड़ों के लिए प्रशिक्षित करने जैसा है; वे ट्रैक पर दौड़ने और पहाड़ियों पर चढ़ने दोनों में बेहतर हो जाते हैं।

    • हालाँकि, यदि आप उन्हें केवल "बाहरी दृष्टिकोण" (Contextual) पर प्रशिक्षित करते हैं, तो वे उस विशिष्ट परीक्षण में बेहतर हो जाते हैं, लेकिन यह तय नहीं होता कि वे आंतरिक जाँच में सुधार करेंगे या नहीं।
  • सभी "बाहरी" परीक्षण एक जैसे नहीं होते:
    यहाँ तक कि "बाहरी दृष्टिकोण" परीक्षणों के भीतर भी, वे एक-दूसरे के बदले जाने योग्य नहीं हैं।

    • रूपक: कल्पना कीजिए कि आप एक कार की गति का परीक्षण कर रहे हैं। आप एक सीधे रास्ते, एक घुमावदार रास्ते या एक पहाड़ी पर परीक्षण कर सकते हैं। यदि आप एक कार को सीधे रास्ते पर तेज़ होने के लिए प्रशिक्षित करते हैं, तो हो सकता है कि वह पहाड़ी पर तेज़ न हो।
    • शोध पत्र ने पाया कि एक विशिष्ट "बाहरी" परीक्षण (जैसे "यदि मैं प्रश्न को फिर से लिखूँ तो अपना उत्तर न बदलें") को पास करने के लिए अनुकूलित करना, दूसरे "बाहरी" परीक्षण (जैसे "यदि मैं एक शब्द हटा दूँ तो अपना उत्तर बदलें") को पास करने की गारंटी नहीं देता है। वे अलग-अलग चीजें माप रहे हैं।
  • वास्तव में क्या बदलता है?

    • जब रोबोट "बाहरी" परीक्षणों में बेहतर होते हैं, तो वे मुख्य रूप से खुद से झूठ बोलना बंद कर देते हैं। वे एक ऐसा जवाब पहले से ही सोचकर केवल उसे सही ठहराने के लिए एक नकली स्पष्टीकरण लिखना बंद कर देते हैं जिसे उन्होंने पहले ही अनुमान लगा लिया था। वे अपने तर्क को अपने उत्तर के साथ मिलाने लगते हैं।
    • जब रोबोट "आंतरिक" परीक्षणों में बेहतर होते हैं, तो वे उन तथ्यों का उपयोग करना शुरू कर देते हैं जिन्हें वे वास्तव में जानते हैं। वे अनुमान लगाना बंद कर देते हैं और अपनी स्मृति में संग्रहीत वास्तविक जानकारी के आधार पर अपने उत्तरों को पुख्ता करते हैं।

5. "मिक्स-एंड-मैच" (Mix-and-Match) ट्रिक

चूंकि कोई भी एक परीक्षण सब कुछ कवर नहीं करता, इसलिए शोधकर्ताओं ने एक चतुर तरीका अपनाया: मॉडल मर्जिंग (Model Merging)

  • उन्होंने टेस्ट A पर ईमानदार होने के लिए प्रशिक्षित एक रोबोट और टेस्ट B पर ईमानदार होने के लिए प्रशिक्षित एक अन्य रोबोट को लिया, और उन्हें एक "सुपर-रोबोट" में "मर्ज" कर दिया।
  • परिणाम: यह नया रोबोट अक्सर मूल रोबोटों में से किसी एक की तुलना में दोनों परीक्षणों में बेहतर होता है। यह दो अलग-अलग प्रकार के रंगों को मिलाने जैसा है जिससे एक नया रंग मिलता है जिसमें दोनों के अच्छे गुण होते हैं।
  • सावधानी: कभी-कभी, यदि आप गलत प्रकार के परीक्षणों को मिलाते हैं (जैसे "रीफ्रेज़" टेस्ट को अन्य के साथ), तो रोबोट वास्तव में खराब हो जाता है। यह तेल और पानी को मिलाने जैसा है; वे आपस में अच्छी तरह से नहीं मिलते।

सारांश

शोध पत्र निष्कर्ष निकालता है कि AI में ईमानदारी केवल एक चीज़ नहीं है। आप केवल यह नहीं कह सकते कि "यह AI 90% ईमानदार है।" आपको यह निर्दिष्ट करना होगा कि आपने इसे कैसे मापा है।

  • यदि आप एक ऐसा रोबोट चाहते हैं जो सामान्य रूप से विश्वसनीय हो, तो उसे अपनी आंतरिक स्मृति (Parametric) के बारे में ईमानदार होने के लिए प्रशिक्षित करना सबसे प्रभावी तरीका है।
  • यदि आप केवल इसे सतह (Contextual) पर अच्छा दिखने के लिए प्रशिक्षित करते हैं, तो आप भाग्यशाली हो सकते हैं, लेकिन आप इस तथ्य को भी मिस कर सकते हैं कि वह गहराई में अभी भी तर्क बनाने का दिखावा कर रहा है।

लेखकों ने एक टूल बनाया है जिसे FaithMATE कहा जाता है ताकि हम इन रोबोटों को बेहतर ढंग से प्रशिक्षित कर सकें और यह समझ सकें कि हमें वास्तव में किस प्रकार की "ईमानदारी" मिल रही है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →