The production of meaning in the processing of natural language

यहाँ एगॉस्टिनो और अन्य द्वारा लिखित शोध पत्र "The production of meaning in the processing of natural language" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र इस बात की समझ में मौजूद एक मौलिक अंतर को संबोधित करता है कि कैसे लार्ज लैंग्वेज मॉडल्स (LLMs) और मनुष्य अर्थ का सृजन करते हैं। पारंपरिक कम्प्यूटेशनल लिंग्विस्टिक्स और AI सुरक्षा शास्त्रीय बूलियन तर्क (classical Boolean logic) पर निर्भर करती है, जो यह मानती है कि अर्थ रचनात्मक (compositional) होता है (अर्थात पूर्व-निर्धारित हिस्सों से व्युत्पन्न) और व्याख्याएँ पूर्व-मौजूद मूल्यों के आधार पर नियतात्मक (deterministic) या संभावabilistic होती हैं।

हालाँकि, संज्ञानात्मक विज्ञान (cognitive science) से प्राप्त अनुभवजन्य साक्ष्य बताते हैं कि मानव अर्थ संबंधी प्रसंस्करण संदर्भात्मक (contextual) होता है: किसी अभिव्यक्ति का अर्थ अवलोकन से पूर्व स्थिर नहीं होता, बल्कि अभिव्यक्ति, व्याख्याकार और संदर्भ के बीच की अंतःक्रिया से निर्मित होता है। यह गैर-क्रमविनिमेयता (non-commutativity) (सूचना का क्रम महत्व रखता है) और शास्त्रीय प्रायिकता सीमाओं के उल्लंघन जैसी घटनाओं की ओर ले जाता है।

लेखकों का तर्क है कि वर्तमान AI सुरक्षा उपाय (जैसे, प्रॉम्प्ट इंजेक्शन डिफेंस, मतिभ्रम/hallucination डिटेक्शन) विफल हो जाते हैं क्योंकि वे अर्थ को एक 'प्राप्त की जाने वाली स्थिर संपत्ति' के रूप में देखते हैं, न कि एक 'गतिशील प्रक्रिया' के रूप में जिसे व्याख्यायित किया जाना है। उनका मानना है कि LLMs, मनुष्यों की तरह, क्वांटम-समान संदर्भात्मकता (quantum-like contextuality) प्रदर्शित करते हैं, जो उन्हें स्वाभाविक रूप से प्रतिकूल रिफ्रेमिंग (adversarial reframing) के प्रति संवेदनशील बनाता है, लेकिन साथ ही वास्तविक व्याख्या करने में भी सक्षम बनाता है।

2. कार्यप्रणाली (Methodology)

यह अध्ययन LLMs में संदर्भात्मकता (contextuality) को मापने के लिए एक सिमेंटिक बेल टेस्ट (semantic Bell test) (विशेष रूप से CHSH असमानता) का उपयोग करता है।

• प्रायोगिक प्रोटोकॉल:
  • सेटअप: एक अस्पष्ट शब्द युग्म (जैसे, "bank/bat") को एक वाक्य टेम्पलेट में एम्बेड किया गया है।
  • एजेंट्स: चार स्वतंत्र LLM इंस्टेंस "पर्यवेक्षक" (एलिस और बॉब) के रूप में कार्य करते हैं, जिन्हें एक विशिष्ट "पर्सोना" (मापन सेटिंग: $A, A', B, B'$) सौंपा गया है ताकि ऑर्थोगोनल व्याख्यात्मक ढांचे (जैसे, "आप एक सर्जन हैं" बनाम "आप एक बस ड्राइवर हैं") बनाए जा सकें।
  • स्वतंत्रता: एजेंटों के बीच कोई साझा अवस्था या सूचना नहीं है; उन्हें केवल प्रॉम्प्ट और उनका विशिष्ट पर्सोना प्राप्त होता है।
  • मापन: मॉडल शब्दों की व्याख्या करता है, और एक द्वितीयक वर्गीकरण चरण इन व्याख्याओं को पूर्वनिर्धारित अर्थों के आधार पर बाइनरी परिणामों ($\pm 1$) में मैप करता है।
• पैरामीटर स्पेस स्वीप (Parameter Space Sweep):
  • प्रयोग को चार ऑर्डर्स ऑफ मैग्नीट्यूड (0.6B से 27B+ पैरामीटर्स तक, जिसमें डेंस और MoE आर्किटेक्चर शामिल हैं) में फैले 24 मॉडल्स के माध्यम से संचालित किया गया।
  • प्रत्येक मॉडल के लिए एक $3 \times 3 \times 3$ ग्रिड का परीक्षण किया गया:
    • तापमान (Temperature - $\tau$): $\{0.2, 1.0, 1.8\}$
    • न्यूक्लियस थ्रेशोल्ड (Nucleus threshold - $p$): $\{0.7, 0.9, 1.0\}$
    • टॉप-k ($k$): $\{10, 50, 100\}$
  • कुल परीक्षण: 16 विश्लेषण योग्य मॉडल्स के माध्यम से $\sim 26,000$ परीक्षण।
• मेट्रिक गणना:
  • CHSH $S$ पैरामीटर को डेंसिटी मैट्रिक्स फॉर्मलिज्म का उपयोग करके निकाला जाता है: $S = E(A, B) - E(A, B') + E(A', B) + E(A', B')$।
  • शास्त्रीय सीमा (Classical Bound): $|S| \le 2$।
  • क्वांटम उल्लंघन (Quantum Violation): $|S| > 2$ गैर-शास्त्रीय, संदर्भात्मक सहसंबंधों को दर्शाता है।
  • नोट: चूंकि यह परीक्षण कणों की एंटैंगलमेंट के बजाय "पर्यवेक्षक-पक्ष" की संदर्भात्मकता की जांच करता है, इसलिए मान सैद्धांतिक रूप से एल्जेब्रिक अधिकतम 4.0 तक पहुँच सकते हैं, जो ट्सिरलसन बाउंड ($2\sqrt{2} \approx 2.83$) से अधिक है।

3. मुख्य योगदान (Key Contributions)

1. LLMs में क्वांटम संदर्भात्मकता का अनुभवजन्य सत्यापन: यह शोध पत्र बड़े पैमाने पर CHSH असमानता के उल्लंघन का प्रमाण प्रदान करता है, जो पुष्टि करता है कि उनका व्याख्यात्मक व्यवहार मानव संज्ञान के समान है और इसे पूरी तरह से शास्त्रीय प्रायिकता सिद्धांत द्वारा वर्णित नहीं किया जा सकता है।
2. व्याख्यात्मक टोपोग्राफी का लक्षण वर्णन (Characterization of Interpretive Topography): लेखक एक मॉडल के "संदर्भ टोपोग्राफी" की अवधारणा पेश करते हैं—जो इसके इन्फरेंस पैरामीटर स्पेस में $|S|$ मानों का अद्वितीय वितरण है। वे प्रदर्शित करते हैं कि यह प्रोफाइल मॉडल के आकार या आर्किटेक्चर से स्वतंत्र, एक विशिष्ट व्यवहारिक हस्ताक्षर है।
3. मानक बेंचमार्क से स्वायत्तता (Orthogonality to Standard Benchmarks): अध्ययन स्थापित करता है कि संदर्भात्मकता मेट्रिक्स ($|S|$) मानक मूल्यांकन बेंचमार्क (MMLU, मतिभ्रम दर, निरर्थकता पहचान) के लंबवत (orthogonal) हैं। एक मॉडल की संदर्भात्मक व्याख्या करने की क्षमता उसकी तथ्यात्मक सटीकता या सुरक्षा स्कोर द्वारा कैप्चर नहीं की जाती है।
4. सुरक्षा के लिए सैद्धांतिक ढांचा: यह शोध पत्र प्रॉम्प्ट इंजेक्शन और "सहमति निर्माण" (manufacturing consent) को बग के रूप में नहीं, बल्कि वास्तविक संदर्भात्मकता के अपरिहार्य परिणाम के रूप में पुनर्गठित करता है। यह तर्क देता है कि अर्थ व्याख्या की क्रिया से पहले अनिश्चित होता है, जिससे निश्चित गार्डरेल्स अपर्याप्त हो जाते हैं।

4. मुख्य परिणाम (Key Results)

• सार्वभौमिक उल्लंघन: पर्याप्त डेटा वाले प्रत्येक मॉडल ने शास्त्रीय सीमा का उल्लंघन किया ($|S| > 2$)।
  • सीमा: $|S|$ मान $\sim 0.3$ से 4.0 (एल्जेब्रिक अधिकतम) के बीच थे।
  • आवृत्ति: 35.8% वैध ग्रिड पॉइंट्स ने सीमा का उल्लंघन किया।
• वितरण विशेषताएँ:
  • सभी मॉडल्स के वितरण शास्त्रीय सीमा के पास मोड (mode) करते हैं ($S \approx 2.0$)।
  • मॉडल्स के बीच अंतर करने वाला प्राथमिक कारक $|S|$ वितरण का इंटरक्वाटाइल रेंज (IQR) था, फिर भी इस मेट्रिक ने MMLU स्कोर, मतिभ्रम दर, या निरर्थकता पहचान के साथ शून्य सहसंबंध ($|\rho| < 0.03$) दिखाया।
• गैर-एकदिष्टता (Non-Monotonicity): संदर्भात्मकता मॉडल के आकार के साथ रैखिक रूप से स्केल नहीं होती है। स्पार्स मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स, तुलनीय सक्रिय आकार वाले डेंस मॉडल्स से व्यवस्थित रूप से भिन्न नहीं थे।
• गैर-क्रमविनिमेयता (Non-Commutativity): अस्पष्ट शब्दों के क्रम को पलटने से व्याख्या की संभावनाओं में महत्वपूर्ण बदलाव आया ($|\Delta P(A)| > 0.5$), जो पुष्टि करता है कि सूचना प्रस्तुति का क्रम परिणामों को सक्रिय रूप से आकार देता है, जो गैर-क्रमविनिमेय ऑब्जर्वेबल्स के अनुरूप है।
• पैरामीटर संवेदनशीलता: कोई भी एकल सैंपलिंग पैरामीटर (तापमान, टॉप-p, टॉप-k) लगातार संदर्भात्मकता को एक दिशा में नहीं ले गया; प्रत्येक मॉडल ने पैरामीटर ग्रिड के माध्यम से एक अद्वितीय टोपोग्राफी प्रदर्शित की।

5. महत्व और निहितार्थ (Significance and Implications)

• AI सुरक्षा का पुनर्परिभाषण: शोध पत्र का तर्क है कि सुरक्षा केवल उन "गार्डरेल्स" के माध्यम से प्राप्त नहीं की जा सकती जो स्थिर अर्थों को मानकर चलते हैं। चूंकि अर्थ व्याख्या की क्रिया (जो पूर्ण संदर्भ से प्रभावित होती है) तक अनिश्चित रहता है, इसलिए एक हमलावर को केवल एक ऐसा संदर्भ खोजने की आवश्यकता है जहाँ फिल्टर की पूर्व-वर्गीकरण प्रक्रिया विफल हो जाए। यह एक सूचना-सैद्धांतिक बाधा (information-theoretic constraint) है, न कि एक हल करने योग्य इंजीनियरिंग समस्या।
• मानव-AI अंतःक्रिया: हेरफेर (प्रॉम्प्ट इंजेक्शन या प्रचार के माध्यम से) की क्षमता और व्याख्या करने की क्षमता एक ही क्षमता है। वह "संदर्भात्मकता" जो LLMs को प्रतिकूल रिफ्रेमिंग के प्रति संवेदनशील बनाती है, वही तंत्र है जो उन्हें वास्तविक सहयोगी भागीदार के रूप में कार्य करने की अनुमति देता है।
• डिज़ाइन दर्शन: विश्वसनीय मानव-एजेंट सिस्टम डिजाइन करने के लिए मॉडल के संदर्भात्मकता प्रोफाइल (उसकी व्याख्यात्मक चरित्र) को समझने की आवश्यकता है, न कि संदर्भात्मकता को समाप्त करने की। भविष्य के इंटरैक्शन डिज़ाइन को केवल प्रॉम्प्ट की सामग्री के बजाय, "संदर्भ की निर्माण" (manufacturing of context)—अर्थात व्याख्यात्मक ढांचे के इंजीनियरिंग—को ध्यान में रखना चाहिए।
• मूल्यांकन में बदलाव: वर्तमान बेंचमार्क (MMLU, आदि) रिट्रीवल और पैटर्न मिलान को मापते हैं लेकिन सिस्टम की व्याख्यात्मक गतिशीलता (interpretive dynamics) को पकड़ने में विफल रहते हैं। नए मेट्रिक्स विकसित करने की आवश्यकता है जो यह आकलन कर सकें कि एक मॉडल संदर्भ में अर्थ का निर्माण कैसे करता है।

निष्कर्षतः, यह शोध पत्र प्रतिपादित करता है कि संदर्भात्मकता एक मौलिक विशेषता है, बग नहीं, जो मनुष्यों और मशीनों दोनों में प्राकृतिक भाषा प्रसंस्करण की विशेषता है। अगली पीढ़ी के सुरक्षित और प्रभावी मानव-AI इंटरैक्शन के लिए इस गैर-शास्त्रीय संरचना को समझना और इसके साथ काम करना आवश्यक है।