Facts Without Owners. Consolidating a Conversation into a Language Model's Weights Stores What Was Said, Not Who Said It

तकनीकी सारांश: बिना मालिकों के तथ्य (Facts Without Owners)

समस्या विवरण (Problem Statement)
यह शोध पत्र "आंतरिक" संवादात्मक स्मृति (internal conversational memory) की सीमाओं की जांच करता है, जहाँ एक भाषा मॉडल (LM) फाइन-ट्यूनिंग के माध्यम से उपयोगकर्ता के बातचीत के इतिहास को सीधे अपने भार (weights) में समाहित कर लेता है, जो कि "बाहरी" स्मृति (external memory) के विपरीत है जो एक संग्रह से डेटा पुनर्प्राप्त करने पर निर्भर करती है। जबकि आंतरिक स्मृति पुनर्प्राप्ति विफलता (retrieval failure) के विरुद्ध लचीलापन और पूर्व ज्ञान के साथ सहज एकीकरण का वादा करती है, इसमें मतिभ्रम (hallucination) और दिशात्मक शिक्षण विफलताओं (directional learning failures) जैसे जोखिम भी शामिल हैं। विशिष्ट शोध प्रश्न यह है: जब एक वास्तविक-लंबाई की बातचीत को मॉडल के भार में समाहित किया जाता है, तो कौन सी जानकारी संग्रहीत होती है, और क्या खो जाता है? विशेष रूप से, क्या मॉडल यह सीखता है कि तथ्य किसने कहा था, या केवल यह कि क्या कहा गया था?

कार्यप्रणाली (Methodology)
यह अध्ययन LoCoMo बेंचमार्क (conv-42, conv-43, conv-48) से तीन वास्तविक-लंबाई वाली, दो-व्यक्ति वाली बातचीत का उपयोग करता है, जिनमें से प्रत्येक में 629–681 टर्न शामिल हैं। इन बातचीत में एक विशिष्ट प्रतिकूल श्रेणी (Category 5) शामिल है जिसे "स्वैप्ड-पर्सन" (swapped-person) प्रश्न के रूप में जाना जाता है, जहाँ एक प्रश्न वक्ता A के बारे में एक ऐसे तथ्य के बारे में पूछता है जो केवल वक्ता B ने बताया था। मॉडल का सही व्यवहार इससे बचना (abstain करना) है, क्योंकि वह तथ्य वक्ता A का नहीं है।

• मॉडल और समेकन (Model & Consolidation): आधार मॉडल Qwen3-4B है। लेखक एक LoRA (लो-रैंक अडैप्टेशन) एडैप्टर (रैंक 16) का उपयोग करता है जिसे स्वयं-जनित प्रश्नों पर प्रशिक्षित किया गया है। आधार मॉडल बातचीत की खिड़कियों (windows) को पढ़ता है और लघु-उत्तर वाले प्रश्न लिखता है। महत्वपूर्ण रूप से, एक वक्ता के बारे में पूछे गए 15% प्रश्न "ट्रैप" (traps) हैं जहाँ नाम बदल दिया गया है, और लक्षित उत्तर "उल्लेख नहीं किया गया" (Not mentioned) है।
• प्रशिक्षण रेसिपी (D1): एडैप्टर को इन जनरेटेड प्रश्नों के लिए तीन эпоक (epochs) के लिए प्रशिक्षित किया गया है। सामान्य ज्ञान के विनाशकारी विस्मरण (catastrophic forgetting) को रोकने के लिए, एक KL-डाइवर्जेंस टर्म एडैप्टर को एंकर टेक्स्ट (SQuAD और चैट अनुरोधों) पर बेस मॉडल से जोड़ता है।
• मूल्यांकन (Evaluation): मॉडल का परीक्षण मूल LoCoMo बेंचमार्क प्रश्नों पर किया जाता है (जो उसने प्रशिक्षण के दौरान कभी नहीं देखे) चार भुजाओं (arms) में: बिना आर्काइव के बेस मॉडल (B0), बिना आर्काइव के समेकित मॉडल (D), आर्काइव के साथ बेस (B0S), और आर्काइव के साथ समेकित (DS)।
• हस्तक्षेप वेरिएंट (Intervention Variants): केवल भार या मॉडल संकेतों (जैसे, इन्वर्स प्रश्न, स्वैप्ड वक्ताओं के साथ "मुझे नहीं पता" उदाहरण, और कॉन्फिडेंस थ्रेशोल्ड) का उपयोग करके एट्रिब्यूशन त्रुटियों को ठीक करने के लिए सात प्री-रजिस्टर्ड वेरिएंट (D2–D6) का परीक्षण किया गया।
• प्रोवेनेंस चेक (D7): कच्चे आर्काइव के विरुद्ध एक मॉडल-मुक्त चेक लागू किया गया। यह उत्तर के लिए पुनर्प्राप्त टर्न्स की तुलना प्रश्न में नामित वक्ता से करता है। यदि उत्तर दूसरे वक्ता के टर्न्स के साथ अधिक मजबूती से मेल खाता है, तो मॉडल को बचना (abstain करना) अनिवार्य होता है।
• कठोरता (Rigor): सभी प्रयोग प्री-रजिस्टर्ड थे। लेबल Claude (LLM) द्वारा निश्चित नियमों का पालन करते हुए जनरेट किए गए थे, जिसमें सीमावर्ती मामलों (borderline cases) का सख्त प्रबंधन किया गया।

मुख्य परिणाम (Key Results)

1. समेकन तथ्यों के लिए काम करता है, स्वामियों के लिए नहीं:

   • बिना आर्काइव के, बेस मॉडल (B0) लगभग 100% प्रश्नों पर बचता है (0.00 सटीकता)।
   • समेकित मॉडल (D) तथ्यों को सफलतापूर्वक पुनर्प्राप्त करता है, जो तीन बातचीत में मानक बेंचमार्क प्रश्नों (श्रेणियों 1-4) पर 28–39% सटीकता प्राप्त करता है।
   • सामान्य ज्ञान (TriviaQA) स्थिर रहा, जिससे समेकन से कोई पता लगाने योग्य क्षति नहीं हुई।

2. एट्रिब्यूशन विफलता (The Attribution Failure):

   • प्रमुख विफलता मोड एट्रिब्यूशन है। "स्वैप्ड-पर्सन" प्रश्नों पर, समेकित मॉडल केवल 9–39% बार ही बचता है।
   • बचने के बजाय, मॉडल अक्सर तथ्य के साथ आत्मविश्वास से उत्तर देता है, भले ही वह गलत वक्ता का हो। लगभग 30% त्रुटियों में, मॉडल का उत्तर दूसरे वक्ता के प्रथम-पुरुष (first-person) टर्न से मेल खाता है।
   • मॉडल विषय-से-उत्तर जुड़ाव को सीखता है लेकिन वक्ता के नाम को एक कमजोर संकेत (weak cue) के रूप में मानता है।

3. भार-मात्र सुधारों की अप्रभावीता (Ineffectiveness of Weight-Only Fixes):

   • इन्वर्स प्रश्न, "मुझे नहीं पता" उदाहरणों, या कॉन्फिडेंस थ्रेशोल्ड का उपयोग करके मॉडल को बचने के लिए सिखाने का प्रयास करने वाले वेरिएंट (D2–D6) होल्ड-आउट बातचीत पर विफल रहे।
   • इन विधियों ने एक ट्रेड-ऑफ लाइन बनाई: स्वैप्ड-पर्सन प्रश्नों पर बचने (abstention) को बढ़ाने से समग्र सटीकता में भारी कमी आई (प्रत्येक 0.40 की वृद्धि के लिए 0.09–0.17 सटीकता की हानि)।
   • "मुझे नहीं पता" वाले उदाहरणों ने मॉडल को ट्रैप के वास्तविक ज्ञान सीमाओं के बजाय उसके रूप (form) को सिखाया। मॉडल के कॉन्फिडेंस स्कोर सही और गलत एट्रिब्यूशन के बीच अविभेद्य थे (होल्ड-आउट डेटा पर AUROC ~0.54–0.56)।

4. आर्काइव चेक्स की दक्षता (Efficiency of Archive Checks):

   • कच्चे आर्काइव के विरुद्ध मॉडल-मुक्त प्रोवेनेंस चेक (D7) ने वेट-ओनली (weight-only) विधियों की तुलना में काफी बेहतर प्रदर्शन किया।
   • इसने स्वैप्ड-पर्सन प्रश्नों पर बचाव (abstention) को ~0.17 से बढ़ाकर 0.45–0.47 कर दिया, जबकि केवल 0.005–0.042 की सटीकता लागत हुई।
   • यह लागत समान बचाव स्तर पर वेट-ओनली वेरिएंट द्वारा होने वाली लागत का पाँचवाँ से आधा हिस्सा है।
   • नोट: प्री-रजिस्ट्रेशन के संबंध में: दो में से एक रन में, सटीकता हानि (7.0%) प्री-रजिस्टर्ड सीमा (5%) से थोड़ी अधिक हो गई, जिससे लेखक ने अपने सख्त नियमों के तहत इस चेक को "अपadopted" (स्वीकार न किया गया) के रूप में रिपोर्ट किया, बावजूद इसके कि महत्वपूर्ण दक्षता लाभ हुआ था।

महत्व और दावे (Significance and Claims)
यह शोध पत्र निष्कर्ष निकालता है कि बातचीत को मॉडल के भार में समाहित करना "क्या कहा गया था" को संग्रहीत करता है, लेकिन "किसने कहा था" को नहीं।

• पूरक भूमिकाएँ (Complementary Roles): लेखक का तर्क है कि पैरामीट्रिक मेमोरी (भार) और बाहरी आर्काइव पूरक हैं। भार ज्ञान रखने के लिए प्रभावी हैं, जबकि आर्काइव प्रोवेनेंस (तथ्यों के स्वामित्व) को बनाए रखने के लिए आवश्यक है।
• वर्तमान उपचारों की सीमाएँ: मॉडल को बचने के लिए मजबूर करने वाली वर्तमान तकनीकें (डेटा हेरफेर या कॉन्फिडेंस थ्रेशोल्ड के माध्यम से) अक्षम हैं क्योंकि मॉडल तकनीकी रूप रूप से तथ्य के बारे में "सही" होता है, जिससे आंतरिक संकेतों के लिए एट्रिब्यूशन त्रुटि का पता लगाना कठिन हो जाता है।
• व्यावहारिक अनुशंसा: व्यक्तिगत सहायकों के लिए, सटीक एट्रिब्यूशन के लिए केवल वेट कंसोलिडेशन पर निर्भर रहना अपर्याप्त है। आर्काइव को बनाए रखा जाना चाहिए, न कि हर रिट्रीवल के लिए, बल्कि प्रोवेनेंस चेक्स के लिए एक स्रोत के रूप में, ताकि वक्ता के स्वामित्व को सत्यापित किया जा सके।

यह अध्ययन इस बात पर जोर देता है कि हालांकि आंतरिक स्मृति ज्ञान प्रतिधारण के लिए एक व्यवहार्य तंत्र है, इसमें बाहरी सत्यापन के बिना तथ्यों को उनके विशिष्ट वक्ताओं से जोड़ने की अंतर्निहित क्षमता की कमी है।