💬 NLP

ANCHOR: Abductive Network Construction with Hierarchical Orchestration for Reliable Probability Inference in Large Language Models

यह शोध पत्र \textsc{Anchor} का परिचय देता है, जो एक पदानुक्रमित बेयसियन ढांचा (hierarchical Bayesian framework) है जो डेंस फैक्टर नेटवर्क का निर्माण करता है और बड़े भाषा मॉडलों (Large Language Models) में स्पार्स फैक्टर स्पेस की सीमाओं को दूर करने के लिए कारण मॉडलिंग (causal modeling) को एकीकृत करता है, जिससे अपूर्ण सूचना के तहत संभाव्यता अनुमान (probability inference) की विश्वसनीयता और दक्षता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Wentao Qiu, Guanran Luo, Zhongquan Jian, Jingqi Gao, Meihong Wang, Qingqiang Wu

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wentao Qiu, Guanran Luo, Zhongquan Jian, Jingqi Gao, Meihong Wang, Qingqiang Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ ANCHOR पेपर का स्पष्टीकरण दिया गया है, जिसे सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवादित किया गया है।

बड़ी समस्या: संभावनाओं का अनुमान लगाना

कल्पना कीजिए कि आप एक शेफ हैं और यह तय करने की कोशिश कर रहे हैं कि नूडल्स की एक नई रेसिपी हिट होगी या नहीं। आपके पास एक पूर्वाग्रह (hunch) है, लेकिन आपको सुनिश्चित होने की आवश्यकता है। आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, लार्ज लैंग्वेज मॉडल्स (LLMs) उन बेहद जानकार शेफ की तरह हैं जो किसी भी विषय पर बात कर सकते हैं। हालाँकि, जब आप उनसे पूछते हैं, "इस रेसिपी के सफल होने की सटीक संभावना क्या है?" तो वे अक्सर एक आत्मविश्वास से भरी लेकिन गलत संख्या देते हैं, या वे बस कह देते हैं, "मुझे नहीं पता।"

पिछले तरीकों ने इसे ठीक करने के लिए AI को कुछ कारण (factors) बताने के लिए कहा, और फिर एक साधारण गणितीय सूत्र (जैसे एक बुनियादी कैलकुलेटर) का उपयोग करके उन्हें जोड़ने की कोशिश की। लेकिन इसमें दो बड़ी खामियां थीं:

"खाली शेल्फ" की समस्या (The "Empty Shelf" Problem): AI अक्सर पर्याप्त कारण नहीं खोज पाता था, जिससे गणित के लिए खाली स्लॉट बच जाते थे। परिणाम? सिस्टम बस हार मान लेता था और कहता "अज्ञात" (Unknown)।
"शोर भरा किचन" की समस्या (The "Noisy Kitchen" Problem): यदि आपने खाली जगहों को भरने के लिए AI को अधिक कारण सूचीबद्ध करने के लिए मजबूर किया, तो वह बेतुकी या असंबंधित चीजें सूचीबद्ध करने लगा। इससे गणित अव्यवस्थित और अविश्वसनीय हो गया क्योंकि कारण एक-दूसरे का खंडन करने लगे।

समाधान: ANCHOR

लेखकों ने ANCHOR (Abductive Network with Hierarchical Orchestration for Reliable Probability Inference) बनाया। ANCHOR को केवल एक शेफ के रूप में नहीं, बल्कि एक कुशल किचन मैनेजर के रूप में देखें जो खाना पकाने की प्रक्रिया शुरू होने से पहले ही पूरी प्रक्रिया को व्यवस्थित करता है।

यहाँ बताया गया है कि ANCHOR कैसे काम करता है, चरण-दर-चरण:

1. कारणों का एक "मास्टर लाइब्रेरी" बनाना (Factor Construction)

हर सवाल के लिए मौके पर ही कारणों का अनुमान लगाने के बजाय, ANCHOR पहले एक खोज अभियान (scavenger hunt) चलाता है।

उपमा (Analogy): कल्पना कीजिए कि आप एक लाइब्रेरी बना रहे हैं। पाठक के किताब माँगने का इंतज़ार करने और फिर घबराहट में एक लिखने के बजाय, आप पहले खाना पकाने के बारे में हज़ारों छोटी कहानियाँ लिखते हैं, फिर उन्हें करीने से लेबल किए गए शेल्फ (जैसे "बनावट," "सुरक्षा," "समय," "स्वाद") में व्यवस्थित करते हैं।
ANCHOR क्या करता है: यह AI से किसी विषय पर कई वाक्य उत्पन्न करने के लिए कहता है, मुख्य "कारक" (कारणों) को निकालता है, और उन्हें एक पदानुक्रम (एक ट्री स्ट्रक्चर) में व्यवस्थित करता है। यह समान कारणों को व्यापक विषयों के तहत एक साथ समूहित करता है। यह ज्ञान का एक घना, सुव्यवस्थित "लाइब्रेरी" बनाता है, ताकि कोई खाली शेल्फ न रहे।

2. स्मार्ट खोज (Context-Aware Mapping)

अब, जब आपके पास एक विशिष्ट प्रश्न होता है (जैसे, "क्या यह ऊँचाई पर काम करेगा?"), तो आपको पूरी लाइब्रेरी पढ़ने की आवश्यकता नहीं है।

उपमा: एक लाइब्रेरियन केवल हर किताब को स्कैन नहीं करता है। वे पहले सही सेक्शन (जैसे, "कुकिंग सेफ्टी") देखते हैं, फिर विशिष्ट शेल्फ पर ज़ूम करते हैं, और अंत में उस सटीक किताब को चुनते हैं जो आपके प्रश्न से मेल खाती है।
ANCHOR क्या करता है: यह "कोर्स-टू-फाइन" (coarse-to-fine) खोज का उपयोग करता है। यह कारणों की सही श्रेणी को जल्दी से ढूंढता है, फिर आपकी स्थिति से मेल खाने वाले विशिष्ट कारकों को चुनता है। इसके बाद यह एक "मतदान प्रणाली" (एक ही प्रश्न को कई बार पूछना) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि यह केवल सबसे प्रासंगिक कारणों को रखे और शोर (noise) को बाहर निकाल दे।

3. डबल-चेक मैथ (Probabilistic Inference)

एक बार जब सही कारणों का चयन कर लिया जाता है, तो ANCHOR केवल एक साधारण गणितीय सूत्र का उपयोग नहीं करता है। यह दो अलग-अलग गणितीय इंजन का उपयोग करता है और उनके उत्तरों को मिलाता है।

इंजन A (साधारण कैलकुलेटर): यह मानक "नाइव बेयस" (Naïve Bayes) मॉडल है। यह मानता है कि प्रत्येक कारण स्वतंत्र है (जैसे सिक्का उछालना)। यह तेज़ है लेकिन कभी-कभी बहुत सरल होता है।
इंजन B (जासूस): यह एक कॉज़ल बेयसियन नेटवर्क (Causal Bayesian Network) है। यह समझता है कि कुछ कारण आपस में जुड़े हुए हैं।
- उपमा: यदि आप नूडल्स पका रहे हैं, तो "पानी का तापमान" और "पकाने का समय" आपस में जुड़े हुए हैं। यदि पानी ठंडा है, तो समय लंबा होना ही चाहिए। साधारण कैलकुलेटर इस लिंक को मिस कर सकता है, लेकिन जासूस इंजन इस संबंध को देख लेता है।
अंतिम चरण: ANCHOR दोनों इंजनों से उनकी राय पूछता है और उन्हें एक साथ मिला देता है (जैसे जजों का एक पैनल) ताकि एक अंतिम, अत्यधिक विश्वसनीय प्रायिकता स्कोर प्राप्त किया जा सके।

यह बेहतर क्यों है?

पेपर का दावा है कि ANCHOR पुराने तरीकों की दो मुख्य समस्याओं को हल करता है:

कम "मुझे नहीं पता" (Fewer "I Don't Knows"): क्योंकि इसने पहले से ही कारणों का एक विशाल, व्यवस्थित लाइब्रेरी बनाया था, इसलिए इसके पास बोलने के लिए चीज़ों की कमी लगभग कभी नहीं होती। इसे शायद ही कभी "अज्ञात" का अनुमान लगाना पड़ता है।
अधिक सटीक अनुमान: कारणों को व्यवस्थित करके और यह समझने के लिए "जासूस" इंजन का उपयोग करके कि वे कैसे जुड़ते हैं, अंतिम प्रायिकता (probability) उस स्तर के करीब होती है जो एक मानव विशेषज्ञ की होती है।

परिणाम

अपने परीक्षणों में, ANCHOR अन्य AI तरीकों की तुलना में परिणामों की भविष्यवाणी करने में बेहतर था। यह आश्चर्यजनक रूप से कुशल भी था, जिसने पिछले सर्वोत्तम तरीकों की तुलना में कम कंप्यूटर समय और "टोकन" (AI प्रोसेसिंग की मुद्रा) का उपयोग किया, भले ही यह अधिक जटिल व्यवस्था करता है।

संक्षेप में: ANCHOR मौके पर अनुमान लगाने से रोकता है। इसके बजाय, यह पहले एक संरचित, व्यवस्थित ज्ञान आधार बनाता है, स्मार्ट तरीके से खोज करता है, और एक विश्वसनीय उत्तर देने के लिए एक स्मार्ट गणितीय मॉडल का उपयोग करता है। यह एक अराजक विचार-मंथन सत्र को एक सुव्यवस्थित, भरोसेमंद निर्णय लेने की प्रक्रिया में बदल देता है।

तकनीकी सारांश: ANCHOR

समस्या विवरण

अपूर्ण जानकारी वाले मिशन-क्रिटिकल निर्णय लेने के परिदृश्यों में, प्रतिस्पर्धी परिकल्पनाओं (hypotheses) के लिए विश्वसनीय सशर्त प्रायिकता $P(O_i | C)$ का अनुमान लगाना एक केंद्रीय चुनौती है। जबकि बड़े भाषा मॉडल (LLMs) का उपयोग ऐसे कार्यों के लिए तेजी से किया जा रहा है, वे दो प्राथमिक सीमाओं से ग्रस्त हैं: (1) वे अक्सर सटीक और अति-आत्मविश्वासी (overconfident) संख्यात्मक कॉन्फिडेंस स्कोर उत्पन्न करते हैं, और (2) उनमें इन अनुमानों को प्राप्त करने के लिए एक व्याख्या योग्य (interpretable) और नियंत्रणीय तंत्र का अभाव है।

मौजूदा दृष्टिकोण जो LLM-संचालित एब्डक्शन (abduction) को बेयसियन इन्फरेंस (Bayesian inference) के साथ जोड़ते हैं (जैसे, BIRD), व्याख्यात्मक कारकों (explanatory factors) को उत्पन्न करने और एक नैइव बेयस (Naïve Bayes) मॉडल लागू करने का प्रयास करते हैं। हालाँकि, ये विधियाँ एक दोहरे व्यापार-संतुलन (trade-off) का सामना करती हैं:

विरलता (Sparsity): फॉरवर्ड एब्डक्शन अक्सर एक विरल कारक स्थान (sparse factor space) प्रदान करता है, जिससे "अज्ञात" भविष्यवाणियां होती हैं जब विशिष्ट स्थितियों को उत्पन्न कारकों के साथ मैप नहीं किया जा सकता है।
शोर और निर्भरता (Noise and Dependency): कवरेज सुधारने के लिए कारक स्थान का अनियंत्रित विस्तार करने से सांख्यिकीय शोर और भ्रामक सहसंबंध (spurious correlations) उत्पन्न होते हैं। यह नैइव बेयस की सशर्त स्वतंत्रता धारणा का उल्लंघन करता है, जिससे प्रायिकता अनुमान विकृत हो जाते हैं।

कार्यप्रणाली (Methodology)

लेखक ANCHOR (Reliable probability inference के लिए Hierarchical Orchestration के साथ Abductive Network Construction) का प्रस्ताव करते हैं, जो एक सघन (dense), पदानुक्रमित (hierarchical) कारक स्थान बनाने और संभाव्यता अनुमान को संचालित करने के लिए डिज़ाइन किया गया एक बहु-चरणीय ढांचा है। यह ढांचा तीन मुख्य चरणों से बना है:

1. कारक-स्थान विस्तार के लिए पुनरावृत्त एब्डक्शन (Iterative Abduction for Factor-Space Expansion)

ANCHOR कारक निर्माण को संरचना से अलग करने के लिए एक बॉटम-अप एब्डक्शन रणनीति का उपयोग करता है:

पुनरावृत्त पीढ़ी (Iterative Generation): एक खाली सेट से शुरू करते हुए, LLM एक दिए गए परिदृश्य के लिए विविध सहायक या खंडनकारी वाक्यों को पुनरावृत्त रूप से उत्पन्न करता है। इन वाक्यों से कारकों को निकाला जाता है, उनकी अर्थ संबंधी गैर-अतिरेक (semantic non-redundancy) के लिए सत्यापन किया जाता है, और उन्हें बढ़ते हुए कैंडिडेट सेट में मिला दिया जाता है। यह प्रक्रिया तब तक चलती है जब तक कि एक लक्षित आकार प्राप्त न हो जाए, जिससे रिकॉल पूर्णता (recall completeness) में ज्यामितीय अभिसरण सुनिश्चित होता है।
पदानुक्रमित संगठन (Hierarchical Organization): एक बार पर्याप्त कारकों का संग्रह हो जाने के बाद, ढांचा उन्हें दो-स्तरीय पदानुक्रम में व्यवस्थित करता है:
- क्लस्टरिंग (Clustering): कारकों को एम्बेड (MiniLM का उपयोग करके) किया जाता है, कम-आयामी स्थान (UMAP) में प्रोजेक्ट किया जाता है, और क्लस्टर काउंट को पूर्व-निर्धारित किए बिना सुसंगत समूहों की खोज के लिए HDBSCAN का उपयोग करके क्लस्टर किया जाता है।
- थीमिंग (Theming): एक LLM प्रत्येक क्लस्टर को संक्षिप्त विषयगत लेबल (जैसे, "आर्थिक व्यवहार्यता") प्रदान करता है और अनावश्यक कारकों को हटा देता है, जिसके परिणामस्वरूप एक संरचित, सघन कारक स्थान $\tilde{F}$ प्राप्त होता है।

2. संदर्भ-जागरूक कारक मानचित्रण (Context-Aware Factor Mapping)

एक विशिष्ट डाउनस्ट्रीम स्थिति $u$ को पदानुक्रमित कारक स्थान में मैप करने के लिए, ANCHOR ब्रूट-फोर्स खोज से बचने के लिए एक बहु-चरणीय पाइपलाइन का उपयोग करता है:

पदानुक्रमित पुनर्प्राप्ति (Hierarchical Retrieval): एक मोटे-से-सूक्ष्म (coarse-to-fine) खोज की जाती है। पहले, विषयगत लेबल और सदस्य कारक एम्बेडिंग के भारित औसत वाले क्लस्टर प्रोटोटाइप को स्थिति के विरुद्ध मिलान करके शीर्ष- $K_1$ प्रासंगिक क्लस्टरों की पहचान की जाती है। दूसरा, सूक्ष्म खोज उन क्लस्टरों के भीतर शीर्ष- $K_2$ व्यक्तिगत कारकों को पुनः प्राप्त करती है।
मजबूत चयन (Robust Selection): पुनर्प्राप्त कैंडिडेट सेट एक स्व-संगति फ़िल्टरिंग (कारक प्रासंगिकता पर मतदान करने के लिए LLM को कई बार क्वेरी करना) और चिंतनशील परिशोधन (प्रत्यक्ष प्रासंगिकता की कमी वाले कारकों को हटाने के लिए एक स्व-आलोचना चरण) से गुजरता है, जिससे एक उच्च-विश्वास वाला कारक सेट $F^*(u)$ प्राप्त होता है।

3. एलिसिटेड मापदंडों के साथ संभाव्यता अनुमान (Probabilistic Inference with Elicited Parameters)

मैप किए गए कारकों का उपयोग दो संभाव्यता मॉडलों के निर्माण के लिए किया जाता है, जिनके आउटपुट को एकत्रित किया जाता है:

नैइव बेयस (NB) मॉडल: कारकों की सशर्त स्वतंत्रता मानता है। मापदंडों (लाइकलीहुड्स) को LLM-एलिसिटेड पोस्टीरियर संभावनाओं $\phi_f = P(O_1 | f)$ का उपयोग करके अनुमानित किया जाता है।
लेटेंट-ऑगमेंटेड कॉज़ल बेयसियन नेटवर्क (CBN): निर्भरताओं को संबोधित करने के लिए, LLM एक कॉज़ल डिस्कवरी इंजन के रूप में कार्य करता है जो कारकों के बीच निर्भरता को मध्यस्थ बनाने वाले लेटेंट वेरिएबल्स $L$ की पहचान करता है। इसकी संरचना है: $Outcome \rightarrow L_i \rightarrow f_j$ । कारक केवल उनके लेटेंट पैरेंट के अनुकूल होने पर ही सशर्त स्वतंत्र होते हैं। लेटेंट नोड्स के लिए मापदंडों को भी LLM से एलिसिट किया जाता है।
एकत्रीकरण (Aggregation): NB और CBN मॉडलों के पोस्टीरियर्स को एक लीनियर ओपिनियन पूल (LOP), जो एक भारित औसत रणनीति है, का उपयोग करके अंतिम कैलिब्रेटेड प्रायिकता अनुमान उत्पन्न करने के लिए संयोजित किया जाता है।

प्रमुख योगदान

बहु-चरणीय एब्डक्शन पाइपलाइन: एक नवीन बॉटम-अप दृष्टिकोण जो उच्च-गुणवत्ता वाले कारकों के साथ कारक स्थान का पुनरावृत्त विस्तार करता है और उन्हें पदानुक्रमित संरचना में व्यवस्थित करता है, जिससे डाउनस्ट्रीम इन्फरेंस में "अज्ञात" भविष्यवाणियों में काफी कमी आती है।
कॉज़ल बेयसियन एकीकरण: कारकों के बीच निर्भरता को मॉडल करने के लिए एक लेटेंट-ऑगमेंटेड कॉज़ल बेयसियन नेटवर्क का एकीकरण, जो सख्त नैइव बेयस धारणा से परे प्रायिकता अंशांकन (calibration) को बढ़ाता है।
कुशल ऑर्केस्ट्रेशन: एक ऐसा ढांचा जो प्राथमिकता-आधारित युग्म मूल्यांकन (pairwise evaluations) में अत्याधुनिक प्रदर्शन प्राप्त करता है और बेसलाइन की तुलना में इन्फरेंस समय और टोकन ओवरहेड को काफी कम कर देता है।

प्रयोगात्मक परिणाम

लेखकों ने तीन रीजनिंग/प्लानिंग बेंचमार्क (Today, Plasma, Common2Sense) और चार फैक्ट-चेकिंग डेटासेट (XSum, CNN, ExpertQA, COVID) पर ANCHOR का मूल्यांकन किया।

वरीयता-आधारित मूल्यांकन (Preference-Based Evaluation): Common2Sense डेटासेट पर, ANCHOR ने (Qwen2.5-72B का उपयोग करके) 60.6% का माइक्रो-एवरेज F1 स्कोर प्राप्त किया, जो BIRD, CoT और प्रत्यक्ष LLM वर्बलाइजेशन सहित मजबूत बेसलाइनों से बेहतर है। विशेष रूप से, ANCHH ने बिना किसी मैनुअल हस्तक्षेप के लगभग पूर्ण कवरेज (99.95%) प्राप्त किया, जबकि BIRD को तुलनीय कवरेज तक पहुँचने के लिए रिलैक्स्ड मैचिंग शर्तों की आवश्यकता थी।
निर्णय-निर्माण (Decision-Making): ANCHOR ने सभी डेटासेट पर लगातार बेसलाइनों को पछाड़ दिया। कठिन कार्यों (जैसे, ExpertQA, Today) पर, इसने Qwen2.5-72B बैकबोन का उपयोग करते हुए काफी बड़े DeepSeek-V3-671B मॉडल को भी पीछे छोड़ दिया।
दक्षता (Efficiency): ANCHOR ने महत्वपूर्ण दक्षता लाभ प्रदर्शित किया, जो प्रति परिदृश्य BIRD बेसलाइन के लगभग 0.74x समय में चला और 0.24x टोकन का उपयोग किया, जिसका मुख्य कारण इसका पदानुक्रमित पुनर्प्राप्ति तंत्र है जो डाउनस्ट्रीम खोज लागत को कम करता है।
एब्लेशन अध्ययन (Ablation Studies): कॉज़ल बेयसियन नेटवर्क (w/o CBN) या पदानुक्रमित संरचना (w/o hierarchy) को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो निर्भरताओं को मॉडल करने और दो-स्तरीय पुनर्प्राप्ति रणनीति की आवश्यकता की पुष्टि करता है।

महत्व और दावे

पेपर का दावा है कि ANCHOR उच्च-दांव वाले परिदृश्यों में LLMs से विश्वसनीय और कैलिब्रेटेड प्रायिकता अनुमान उत्पन्न करने के लिए एक मजबूत समाधान प्रदान करता है। पदानुक्रमित कारक-स्थान निर्माण को नैइव बेयस और कॉज़ल बेयसियन नेटवर्क के ऑर्केस्ट्रेशन के साथ एकीकृत करके, ढांचा निर्णय लेने की सटीकता और मानवीय निर्णय के साथ संरेखण में सुधार करता है।

लेखक ANCHOR को एक पूर्णतः स्वचालित निर्णय लेने वाले के बजाय एक निर्णय-सहायता उपकरण (decision-support tool) के रूप में देखते हैं। वे स्वीकार करते हैं कि LLM-जनित कारक पदानुक्रम और एलिसिटेड मापदंडों में पूर्वाग्रह या मतिभ्रम (hallucinated) संरचनाएं बेयसियन मॉडलों में प्रसारित हो सकती हैं। फलस्वरूप, वे महत्वपूर्ण अनुप्रयोगों में तैनाती के लिए मानवीय निरीक्षण, रूढ़िवादी त्याग सीमा (abstention thresholds), और मैप किए गए कारकों के नियमित ऑडिट की सिफारिश करते हैं। इस कार्य का उद्देश्य "अज्ञात" भविष्यवाणियों (abstentions) को कम करके और इन्फरेंस लागत को कम करके विश्वसनीय स्वायत्त प्रणालियों में LLMs की व्यावहारिक उपयोगिता को बढ़ाना है।