🤖 AI

NRR-Phi: Text-to-State Mapping for Ambiguity Preservation in LLM Inference

यह शोध पत्र NRR-Phi को प्रस्तुत करता है, जो एक हाइब्रिड निष्कर्षण पाइपलाइन (hybrid extraction pipeline) का उपयोग करके अस्पष्ट पाठ को एक गैर-संकोचकारी अवस्था स्थान (non-collapsing state space) में मैप करने वाला एक औपचारिक ढांचा है, जिससे कई व्याख्याओं को संरक्षित किया जाता है और लार्ज लैंग्वेज मॉडल इन्फरेंस में समयपूर्व अर्थपूर्ण प्रतिबद्धता (premature semantic commitment) को रोका जाता है।

मूल लेखक: Kei Saito

प्रकाशित 2026-03-05

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kei Saito

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "NRR-Phi: LLM इन्फरेंस में अस्पष्टता संरक्षण (Ambiguity Preservation) के लिए टेक्स्ट-टू-स्टेट मैपिंग" का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।

मुख्य समस्या: "जल्दबाजी में निर्णय लेना" (The "Rush to Judgment")

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अधीर मित्र (एक मानक लार्ज लैंग्वेज मॉडल या LLM) से बात कर रहे हैं। आप कहते हैं:

"मैं अपनी नौकरी छोड़ना चाहता हूँ, लेकिन मैं नौकरी छोड़ना नहीं भी चाहता।"

आपका मित्र तुरंत एक निष्कर्ष पर पहुँच जाता है। वह कह सकता है, "ठीक है, आइए आपको निर्णय लेने में मदद करने के लिए फायदे और नुकसान की एक सूची बनाते हैं!" या "ऐसा लगता है कि आप रुकने की ओर झुके हुए हैं।"

समस्या: आपके मित्र ने आपको तब तक एक पक्ष चुनने के लिए मजबूर कर दिया जब तक कि आप तैयार नहीं थे। उन्होंने आपकी जटिल, मिश्रित भावनाओं को एक एकल, सरल उत्तर में "कोलैप्स" (collapse) कर दिया। ऐसा करते हुए, उन्होंने आपके कथन के उस महत्वपूर्ण और उलझे हुए हिस्से को फेंक दिया: यह तथ्य कि आप वास्तव में बीच में फंसे हुए हैं।

वर्तमान AI मॉडल ऐसा इसलिए करते हैं क्योंकि वे जिस तरह से बनाए गए हैं, वैसा ही वे हैं। उन्हें एक एक सबसे अच्छा उत्तर चुनने और आगे बढ़ने के लिए डिज़ाइन किया गया है, जैसे कोई रेफरी खेल खत्म करने के लिए सीटी बजाता है। लेकिन मानवीय बातचीत में, "उलझा हुआ मध्य" (messy middle) ही अक्सर वास्तविक अर्थ का केंद्र होता है।

समाधान: "अस्पष्टता वाला बैकपैक" (The "Ambiguity Backpack")

यह शोध पत्र AI के सोचने का एक नया तरीका पेश करता है, जिसे नॉन-रेज़ोल्यूशन रीजनिंग (NRR) कहा जाता है। किसी विकल्प को थोपने के बजाय, AI एक विशेष "बैकपैक" (स्टेट स्पेस) पहन लेता है जहाँ वह एक ही समय में सत्य के कई संस्करणों को ढो सकता है।

यह शोध पत्र एक विशिष्ट उपकरण प्रस्तावित करता है जिसे NRR-Phi (ग्रीक अक्षर $\phi$ ) कहा जाता है। Phi को एक अनुवादक (Translator) के रूप में सोचें जो आपके उलझे हुए वाक्य को संभावनाओं के एक संरचित "बैकपैक" में बदल देता है।

यह कैसे काम करता है: तीन-चरणीय प्रक्रिया

शोध पत्र Phi ट्रांसलेटर को तीन सरल चरणों में विभाजित करता है:

1. संघर्ष डिटेक्टर (The "Red Flag" Scanner)

सबसे पहले, सिस्टम आपके वाक्य में "संघर्ष मार्कर" (conflict markers) को स्कैन करता है।

उपमा: एक रेलवे स्टेशन पर सुरक्षा गार्ड की कल्पना करें जो दो अलग-अलग टिकट लेकर चलने वाले लोगों की तलाश कर रहा है।
यह क्या खोजता है: शब्द जैसे "लेकिन" (but), "हालांकि" (however), या "शायद" (maybe)।
जादू: यदि सिस्टम देखता है "मैं छोड़ना चाहता हूँ लेकिन मैं नहीं चाहता," तो यह इसे ठीक करने की कोशिश नहीं करता। यह एक रेड फ्लैग उठाता है और कहता है, "अलर्ट! दो विरोधी विचार पाए गए! इन्हें अभी मर्ज न करें!"
बोनस: शोध पत्र दिखाता है कि यह जापानी में भी काम करता है (जैसे kedo या kamoshirenai जैसे शब्दों को खोजना), जो यह साबित करता है कि यह स्कैनर विभिन्न भाषाओं में काम करता है।

2. व्याख्या निष्कर्षण (The "What-If" Generator)

इसके बाद, सिस्टम विभिन्न अर्थों को बाहर निकालता है।

उपमा: एक शेफ की कल्पना करें जो एक रेसिपी देखता है जिसमें लिखा है "नमक या चीनी डालें।" अनुमान लगाने के बजाय, शेफ दो अलग-अलग कटोरे तैयार करता है: एक नमक के साथ, एक चीनी के साथ।
यह कैसे काम करता है:
- नियम-आधारित (Rule-based): यदि वाक्य में स्पष्ट "लेकिन" है, तो यह वाक्य को वहीं विभाजित कर देता है।
- AI-आधारित (AI-based): यदि वाक्य पेचीदा है (जैसे "I saw her duck," जिसका अर्थ एक पक्षी भी हो सकता है या सिर झुकाना भी), तो यह सभी संभावित अर्थों की सूची बनाने के लिए एक स्मार्ट AI से पूछता है।
परिणाम: एक उत्तर के बजाय, अब सिस्टम के पास वैध संभावनाओं की एक सूची है।

3. स्टेट बिल्डर (The "Backpack" Packer)

अंत में, यह संभावनाओं को स्टेट (State) में पैक करता है।

उपमा: एक लेबल वाले कंपार्टमेंट वाले बैकपैक की कल्पना करें।
- कंपार्टमेंट A: "मैं छोड़ना चाहता हूँ" (वजन: 50%)
- कंपार्टमेंट B: "मैं नहीं छोड़ना चाहता" (वजन: 50%)
मुख्य बात: दोनों कंपार्टमेंट खुले रहते हैं। AI एक को दूसरे को फेंकता नहीं है। यह दोनों को जीवित रखता है, जो बाद में बातचीत बदलने पर उपयोग के लिए तैयार रहते हैं।

यह क्यों महत्वपूर्ण है: "एन्ट्रॉपी" (Entropy) स्कोर

शोध पत्र अधिक "सूचना" को मापने के लिए एन्ट्रॉपी नामक गणितीय अवधारणा का उपयोग करता है।

मानक AI: एक उत्तर चुनता है। एन्ट्रॉपी = 0। (दूसरे विकल्प के बारे में सारी जानकारी खो जाती है)।
NRR-Phi: दोनों उत्तरों को रखता है। एन्ट्रॉपी = उच्च (लगभग 1.087 बिट्स)।
सरल अनुवाद: मानक AI आपके अर्थ का 50% भूल जाता है। नया AI आपके 100% अर्थ को याद रखता है, विकल्पों को खुला रखता है।

वास्तविक दुनिया का उदाहरण: थेरेपी (Therapy)

शोध पत्र सुझाव देता है कि यह मनोवैज्ञानिक सहायता के लिए एकदम सही है।

परिदृश्य: एक क्लाइंट कहता है, "मैं अपने साथी से प्यार करता हूँ, लेकिन वे मुझे चोट पहुँचाते हैं।"
पुराना AI: "आपको शायद ब्रेकअप कर लेना चाहिए।" (समाधान थोपता है)।
नया AI (NRR-Phi): दोनों भावनाओं को बैकपैक में रखता है। यह कह सकता है, "ऐसा लगता है कि आप अभी दो बहुत ही मजबूत, विरोधाभासी भावनाओं को महसूस कर रहे हैं। आइए इस तनाव के साथ कुछ क्षण बिताएं।"
लाभ: यह समस्या को हल करने की जल्दबाजी नहीं करता; यह मानवीय अनुभव की जटिलता को स्वीकार करता है।

"सीक्रेट सॉस": ऑपरेटर्स (The Operators)

एक बार जब AI के पास संभावनाओं का यह "बैकपैक" हो जाता है, तो उसे यह तय करने के लिए नियमों (जिन्हें ऑपरेटर्स कहा जाता है) की आवश्यकता होती है कि बातचीत जारी रहने पर उन्हें कैसे संभालना है। शोध पत्र इन नियमों को परिभाषित करता है ताकि यह सुनिश्चित हो सके कि AI गलती से भी कोई कंपार्टमेंट न गिरा दे:

"होल्ड" बटन (The "Hold" Button): यदि बातचीत भ्रमित करने वाली हो जाती है, तो AI बस रुक सकता है और बिना कुछ बदले सभी विकल्पों को खुला रख सकता है।
"मर्ज" बटन (The "Merge" Button): यदि दो अलग-अलग लोग विरोधाभासी बातें कहते हैं, तो AI एक को हटाने के बजाय दोनों को बैकपैक में डाल देता है।
"मेमोरी" बटन (The "Memory" Button): यदि कोई विषय बाद में फिर से आता है, तो AI पुराने संभावनाओं को याद रखता है, भले ही वे कुछ समय के लिए निष्क्रिय रहे हों।

सारांश

NRR-Phi AI को सिखाने का एक नया तरीका है कि अनुमान लगाना बंद करें और स्थान बनाना (hold space) शुरू करें।

एक न्यायाधीश की तरह कार्य करने के बजाय जो तुरंत विजेता घोषित करता है, यह एक लाइब्रेरियन की तरह कार्य करता है जो एक ही शेल्फ पर कई किताबें रखता है, जिन्हें कहानी की अगली आवश्यकता के अनुसार निकाला जा सकता है। यह साबित करता है कि AI की दुनिया में, अनिश्चितता एक बग नहीं है; यह एक फीचर है जो इसे अधिक स्मार्ट, अधिक मानवीय बातचीत की अनुमति देता है।

निचोड़: हमें हर समय सही होने वाले AI की आवश्यकता नहीं है; हमें ऐसे AI की आवश्यकता है जो खुले विचारों वाला हो ताकि वह इस सत्य को संभाल सके कि कभी-कभी, चीजें जटिल होती हैं।

यहाँ शोध पत्र "NRR-Phi: LLM इन्फरेंस में एम्बिग्युटी प्रिजर्वेशन के लिए टेक्स्ट-टू-स्टेट मैपिंग" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: अर्ली सिमेंटिक कमिटमेंट (Early Semantic Commitment)

यह शोध पत्र वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) में एक मौलिक वास्तुशिल्प दोष की पहचान करता है: अर्ली सिमेंटिक कमिटमेंट।

समस्या: मानक LLMs को इन्फरेंस के दौरान तुरंत अस्पष्टता (ambiguity) को हल करने के लिए डिज़ाइन किया गया है। एक अस्पष्ट इनपुट (जैसे, "मैं छोड़ना चाहता हूँ, लेकिन मैं नहीं") दिए जाने पर, मॉडल का आर्किटेक्चर (Softmax नॉर्मलाइजेशन, ऑटोरेग्रेसिव जनरेशन, और क्रॉस-एन्ट्रॉपी ट्रेनिंग ऑब्जेक्टिव्स) इसे पर्याप्त संदर्भ उपलब्ध होने से पहले ही कई वैध व्याख्याओं को एक एकल संभाव्यता वितरण (probability distribution) में ढहने (collapse) के लिए मजबूर करता है।
परिणाम: यह समयपूर्व पतन (premature collapse) आवश्यक जानकारी को नष्ट कर देता है। मॉडल सह-अस्तित्व वाली परिकल्पनाओं (जैसे, छोड़ने की इच्छा और रहने की इच्छा दोनों) को वैध अवस्थाओं के रूप में बनाए नहीं रख सकता, जिससे ऐसे उत्तर मिलते हैं जो या तो अस्पष्टता को हल करने योग्य समस्या के रूप में पुनर्गठित करते हैं या तर्क के किसी एक पक्ष को मनमाने ढंग से चुन लेते हैं।
अंतराल (Gap): जबकि नॉन-रेज़ोल्यूशन रीजनिंग (NRR) फ्रेमवर्क ने पहले एक स्टेट स्पेस ( $S$ ) प्रस्तावित किया था जहाँ कई व्याख्याएँ स्वतंत्र भार (weights) के साथ सह-अस्तित्व में रहती हैं, इसमें इस बात की एल्गोरिथमिक परिभाषा का अभाव था कि कच्चे टेक्स्ट ( $T$ ) को इस स्टेट स्पेस में कैसे परिवर्तित किया जाए।

2. कार्यप्रणाली: टेक्स्ट-टू-स्टेट मैपिंग ( $\phi$ )

यह शोध पत्र $\phi$ (Phi) पेश करता है, जो एक औपचारिक ढांचा है जो प्राकृतिक भाषा के टेक्स्ट को एक नॉन-कोलैप्सिंग सिमेंटिक स्टेट स्पेस ( $\phi: T \to S$ ) में मैप करता है। यह मैपिंग तीन क्रमिक चरणों में विभाजित है:

चरण 1: संघर्ष का पता लगाना ( $\psi_{conflict}$ )

कार्य: व्याख्यात्मक बहुलता (interpretive multiplicity) को दर्शाने वाले भाषाई संकेतकों की पहचान करना।
तंत्र: यह तीन प्रकार के संकेतकों का पता लगाता है:
- स्पष्ट (Explicit): विलोम संयोजक (जैसे, "लेकिन", "तथापि", जापानी "kedo")।
- अंतर्निहित (Implicit): अनिश्चितता या हिचकिचाहट (जैसे, "शायद", "संभवतः", जापानी "kamoshirenai")।
- संरचनात्मक (Structural): समन्वय या विस्तार (scope) में अस्पष्टता (जैसे, "X और Y दोनों")।
आउटपुट: इन संकेतकों की उपस्थिति को दर्शाने वाला एक बाइनरी फीचर वेक्टर $f$ ।

चरण 2: व्याख्या निष्कर्षण ( $\psi_{interp}$ )

कार्य: टेक्स्ट से अलग-अलग अर्थ प्रतिनिधित्वों (meaning representations) को निकालना।
हाइब्रिड दृष्टिकोण:
1. नियम-आधारित निष्कर्षण (Rule-Based Extraction): स्पष्ट संघर्ष संकेतकों वाले टेक्स्ट के लिए, टेक्स्ट को इन संकेतकों की सीमाओं पर विभाजित किया जाता है (जैसे, "A लेकिन B" को "A" और "B" में विभाजित करना)।
2. LLM-आधारित निष्कर्षण: अंतर्निहित अस्पष्टता (ज्ञान संबंधी, शाब्दिक, संरचनात्मक) के लिए, एक माध्यमिक LLM को सभी संभावित व्याख्याओं, संदर्भों और कॉन्फिडेंस वेट्स को सूचीबद्ध करने के लिए प्रॉम्प्ट किया जाता है।
विलय ऑपरेशन (Merge Operation): एक डीडुप्लिकेशन स्टेप से लगभग समान व्याख्याओं को सिमेंटिक समानता (कोसाइन सिमिलैरिटी थ्रेशोल्ड $\tau \approx 0.85$ ) का उपयोग करके हटाया जाता है।

चरण 3: स्टेट निर्माण ( $\psi_{state}$ )

कार्य: अंतिम स्टेट इंस्टेंस $S$ का निर्माण करना।
संरचना: स्टेट टुपल्स का एक सेट है $S = \{(v_i, c_i, w_i, m_i)\}$ $S = {(v_{i}, c_{i}, w_{i}, m_{i})}$ , जहाँ:
- $v_i$ : सिमेंटिक वेक्टर एम्बेडिंग।
- $c_i$ : कॉन्टेक्स्ट आइडेंटिफायर।
- $w_i$ : एक्टिवेशन वेट (संघर्षपूर्ण संदर्भों के लिए अधिक समायोजित किया गया)।
- $m_i$ : मेटाडेटा (स्रोत, संघर्ष फ्लैग्स)।
लक्ष्य: एक एकल ढहे हुए आउटपुट के बजाय व्याख्याओं के "सुपरपोजिशन" (superposition) को बनाना।

3. मुख्य योगदान

$\phi$ की औपचारिक परिभाषा: यह कच्चे टेक्स्ट और NRR स्टेट स्पेस के बीच की लुप्त एल्गोरिथमिक कड़ी प्रदान करता है, जो मैपिंग को संघर्ष का पता लगाने, निष्कर्षण और निर्माण के संयोजन के रूप में परिभाषित करता है।
हाइब्रिड निष्कर्षण एल्गोरिदम: यह नियतात्मक नियम-आधारित विभाजन (उच्च-विश्वसनीयता वाले स्पष्ट संकेतकों के लिए) को जेनेरेटिव LLM एन्यूमरेशन (जटिल अंतर्निहित अस्पष्टता के लिए) के साथ जोड़ता है, जो पुनरुत्पादकता (reproducibility) और कवरेज दोनों सुनिश्चित करता है।
क्रॉस-लिंगुअल पोर्टेबिलिटी: यह प्रदर्शित करता है कि संघर्ष का पता लगाने वाला चरण जापानी (जैसे, kedo, kamoshirenai) के विशिष्ट संकेतकों को अंग्रेजी के साथ समान प्रभावकारिता से प्रोसेस करके विभिन्न भाषाओं में काम करता है।
सैद्धांतिक गारंटी: यह सिद्ध करता है कि किसी भी टेक्स्ट के लिए जिसमें निष्कर्षण योग्य बहुलता है, $\phi$ स्ट्रक्चरल नॉन-कोलैप्स ( $|S| \ge 2$ ) और एन्ट्रॉपी प्रिजर्वेशन ( $H(S) > 0$ ) की गारंटी देता है, जबकि मानक बेसलाइन में $H \approx 0$ होता है।

4. प्रयोगात्मक परिणाम

इस फ्रेमवर्क का मूल्यांकन ChatGPT, Gemini, और Claude जैसे तीन LLMs का उपयोग करके पाँच श्रेणियों (Adversative, Hedging, Epistemic, Lexical, Structural) में 68 अस्पष्ट वाक्यों के टेस्ट सेट पर किया गया।

एन्ट्रॉपी प्रिजर्वेशन (Entropy Preservation):
- बेसलाइन (Collapse-based): $H = 0$ बिट्स (एकल व्याख्या)।
- NRR-Phi (Hybrid): औसत स्टेट एन्ट्रॉपी $H = 1.087$ बिट्स।
- केवल नियम-आधारित (Rule-Based Only): स्पष्ट संकेतकों के लिए $H \approx 1.0$ प्राप्त किया, लेकिन अंतर्निहित अस्पष्टता पर विफल ( $H=0$ ) रहा।
- केवल LLM-आधारित (LLM-Based Only): अंतर्निहित श्रेणियों के लिए बहुलता को सफलतापूर्वक रिकवर किया (Epistemic $H=1.673$ , Lexical $H=1.007$ , Structural $H=0.968$ )।
व्याख्यात्मक बहुलता (Interpretive Multiplicity):
- हाइब्रिड दृष्टिकोण ने लगातार कई व्याख्याओं ( $|S| > 1$ ) को निकाला।
- एपिस्टेमिक (Epistemic) वाक्यों ने उच्चतम एन्ट्रॉपी ( $H=1.673$ ) दी, क्योंकि इनमें कई व्याख्यात्मक परतें (दावा बनाम हेज बनाम आत्म-औचित्य) थीं।
क्रॉस-लिंगुअल प्रदर्शन: नियम-आधारित डिटेक्टर ने अंग्रेजी के समान ही प्रभावकारिता के साथ जापानी एडवर्सेटिव और हेजिंग संकेतकों को सफलतापूर्वक प्रोसेस किया, जो सिद्ध करता है कि यह फ्रेमवर्क केवल एक भाषा तक सीमित नहीं है।
ऑपरेटर वैलिडेशन (परिशिष्ट D): 580 अतिरिक्त मामलों (सिंगल स्टेट्स, विरोधाभासी जोड़े, टेम्पोरल जोड़े) पर मान्य किया गया। सिद्धांत-संतोषजनक ऑपरेटरों (डैम्पनिंग, पर्सिस्टेंस, कॉन्ट्राडिक्शन इंटीग्रेशन) ने 0% कोलैप्स प्राप्त किया, जबकि सिद्धांत-उल्लंघन करने वाले ऑपरेटरों ने 17.8% तक कोलैप्स दर दिखाई।

5. महत्व और निहितार्थ

वास्तुशिल्प परिवर्तन (Architectural Shift): यह शोध पत्र तर्क देता है कि अर्ली सिमेंटिक कमिटमेंट एक डिज़ाइन चॉइस है, न कि एक वास्तुशिल्प अनिवार्यता। $\phi$ "कोलैप्स डिफरमेंट" (Collapse Deferment) को सक्षम बनाता है, जिससे सिस्टम आंतरिक रूप से अस्पष्टता को बनाए रख सकता है जब तक कि बाहरी बाधाएं या आउटपुट आवश्यकताएं समाधान के लिए मजबूर न करें।
संवेदनशील डोमेन में अनुप्रयोग: यह फ्रेमवर्क विशेष रूप से मनोवैज्ञानिक सहायता जैसे डोमेन के लिए मूल्यवान है, जहाँ उपयोगकर्ता द्वंद्व व्यक्त करते हैं (जैसे, "मैं उनसे प्यार करता हूँ, लेकिन यह दर्दनाक है")। मानक LLMs इसे "ठीक करने" की कोशिश करते हैं; NRR-Phi दोनों भावनाओं के सह-अस्तित्व को बनाए रखता है, जिससे अधिक सहानुभूतिपूर्ण और गैर-निर्णयात्मक प्रतिक्रिया संभव होती है।
प्रॉम्प्ट इंजीनियरिंग से अंतर: केवल LLM को "संभावनाओं की सूची बनाने" के लिए प्रॉम्प्ट करने के विपरीत (जो एक क्षणिक टेक्स्ट सूची उत्पन्न करता है), $\phi$ एक स्थिर, हेरफेर योग्य स्टेट प्रतिनिधित्व का निर्माण करता है। यह सिस्टम को अगले टोकन जनरेशन में खोए बिना संवाद के दौर-दर-दौर कई परिकल्पनाओं को ले जाने की अनुमति देता है।
भविष्य की दिशाएँ: यह कार्य "नेटिव नॉन-कोलैप्सिंग इन्फरेंस" के लिए मार्ग प्रशस्त करता है, जो सुझाव देता है कि भविष्य के LLM आर्किटेक्चर $\phi$ को एक प्री-प्रोसेसिंग स्टेप के बजाय सीधे एकीकृत कर सकते हैं, जिससे अनिश्चितता और संदर्भ विकास को संभालने के तरीके में मौलिक बदलाव आएगा।

संक्षेप में, NRR-Phi वर्तमान LLMs में निहित "कोलैप्स" को वैध व्याख्याओं के "सुपरपोजिशन" में बदलने के लिए एल्गोरिथमिक मशीनरी प्रदान करता है, जो जटिल तर्क, संवाद और मानव-AI संपर्क के लिए महत्वपूर्ण जानकारी को सुरक्षित रखता है।