तकनीकी सारांश: संभाव्य सामान्य ज्ञान के साथ अपडक्टिव रीजनिंग (Abductive Reasoning)

1. समस्या विवरण

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) में तर्क करने की वर्तमान न्यूरोसिम्बोलिक पद्धतियों की सीमाओं को संबोधित करता है। जबकि मौजूदा विधियाँ प्राकृतिक भाषा को औपचारिक तर्क (formal logic) में अनुवाद करने और सॉल्वर का उपयोग करने में सफल रहती हैं, वे अक्सर विफल हो जाती हैं क्योंकि औपचारिक सॉल्वरों के पास आवश्यक सामान्य ज्ञान (commonsense world knowledge) (जैसे, "सफेद एक रंग है") तक पहुँच नहीं होती है।

इस अंतर को पाटने के प्रयास (जैसे, LLM-Tres, ARGOS) एक अपडक्टिव रीजनिंग (abductive reasoning) ढांचे पर निर्भर करते हैं जहाँ LLM लुप्त प्रमेयों ($L$) को उत्पन्न करता है ताकि एक क्वेरी ($c$) संदर्भ ($S$) द्वारा तार्किक रूप से सिद्ध हो सके। हालाँकि, ये विधियाँ अंतर्निहित रूप से एक मोनोलिथिक कॉमनसेंस (monolithic commonsense) मानती हैं: कि तथ्यों का एक एकल, सार्वभौमिक रूप से स्वीकृत सेट $L$ मौजूद है जिसे सभी स्वीकार करते हैं।

लेखक तर्क देते हैं कि यह धारणा त्रुटिपूर्ण है। वास्तव में, सामान्य ज्ञान की धारणाएँ व्यक्तियों के बीच भिन्न होती हैं। दो लोग किसी क्वेरी पर इसलिए असहमत नहीं होते कि उनके तर्क में त्रुटि है, बल्कि इसलिए कि उनके पास अलग-अलग, फिर भी बचाव योग्य सामान्य ज्ञान के विश्वास ($L_1$ बनाम $L_2$) हैं जो विरोधाभासी निष्कर्षों की ओर ले जाते हैं। इसके अलावा, मोनोलिथिक कॉमनसेंस मानना किसी प्रस्ताव की सत्यता की संभावना को व्याख्या करने में कठिन बनाता है, जिससे यह अक्सर एक वास्तविक संभावना के बजाय एक व्याख्यात्मक स्कोर तक सीमित रह जाता है।

मुख्य समस्या: जब आवश्यक सामान्य ज्ञान संबंधी धारणाएँ सार्वभौमिक रूप से सहमत नहीं होती हैं, बल्कि तर्ककर्ताओं की एक आबादी में भिन्न होती हैं, तो प्रमेयों $S$ के दिए जाने पर एक क्वेरी $c$ के सत्य होने का मान कैसे निर्धारित किया जाए?

2. कार्यप्रणाली: प्रोबेबिलिस्टिक अबडक्टिव कॉमनसेंस (PACS)

लेखक PACS प्रस्तावित करते हैं, जो कॉमनसेंस को तथ्यों के एक एकल स्थिर सेट के बजाय तर्ककर्ताओं की आबादी पर एक संभाव्य वितरण (probabilistic distribution) के रूप में मॉडल करता है।

2.1 सैद्धांतिक ढांचा

लेखक एक क्वेरी $c$ के सत्य होने की अपडक्टिव प्रोबेबिलिटी (Abductive Probability) को सभी मनुष्यों ($R$) के सेट पर अपेक्षित मूल्य (expected value) के रूप में परिभाषित करते हैं:
$$AP(S, c) \equiv \mathbb{E}_{R} [ \mathbb{1}[S \land L(R) \vdash c] ]$$
जहाँ $L(R)$ उस तर्ककर्ता $R$ द्वारा रखे गए सामान्य ज्ञान के विश्वासों के सेट का प्रतिनिधित्व करता है। एक क्वेरी को तब "अपडक्टिवली ट्रू" माना जाता है यदि बहुमत तर्ककर्ता इसे सत्य मानेंगे।

चूँकि किसी भी व्यक्ति के लिए पूर्ण विश्वास वेक्टर $L$ सुलभ नहीं है, यह विधि व्यक्तिगत "विचारों" (एपिस्टेमिक कथनों) को क्रमिक रूप से नमूना (sample) लेकर इस अपेक्षा का अनुमान लगाती है।

2.2 सैंपलिंग एल्गोरिदम

एल्गोरिदम विश्वास वेक्टर $L = (L_1, L_2, \dots, L_{|D|})$ के व्यक्तिगत तत्वों को नमूना लेने की प्रक्रिया के रूप में खोज को मानता है।

1. चेन रूल सैंपलिंग (Chain Rule Sampling): प्रक्रिया चेन रूल का उपयोग करके एक-एक करके विश्वासों को नमूना लेती है: $p(L) = p(L_1)p(L_2|L_1)\dots$।
2. अर्ली स्टॉपिंग (Early Stopping): सैंपलिंग के लिए पूर्ण विश्वास वेक्टर उत्पन्न करने की आवश्यकता नहीं है। यह तब रुक जाता है जब संचित विश्वास $\hat{l}$ और प्रमेयों $S$ मिलकर क्वेरी ($S \land \hat{l} \vdash c$) या उसके निषेध ($S \land \hat{l} \vdash \neg c$) को तार्किक रूप से सिद्ध करते हैं।
3. MDP के रूप में अनुकूलन (Optimization as MDP): कंप्यूटिंग लागत (रुकने के समय) को कम करने के लिए विश्वासों को नमूना लेने के इष्टतम क्रम को खोजने को एक मार्कोव डिसीजन प्रोसेस (MDP) के रूप में तैयार किया गया है।
   • स्टेट (State): नमूना लिए गए विश्वासों का वर्तमान सेट।
   • एक्शन (Action): अगले विश्वास प्रस्ताव को चुनना।
   • रिवॉर्ड (Reward): निष्कर्ष तक पहुँचने के लिए भविष्य के चरणों की अपेक्षित संख्या को कम करना।

2.3 सरोगेट स्कोर फंक्शन (Surrogate Score Function)

सटीक अपेक्षित रिवॉर्ड की गणना के लिए पूर्ण वितरण $p(L)$ का ज्ञान आवश्यक है, जो अव्यवहार्य है। लेखक मॉडल काउंटिंग (उन संभावित संसारों की संख्या जो तर्क को संतुष्ट करते हैं) पर आधारित एक सुलभ सरोगेट स्कोर निकालते हैं।
प्रस्तावित स्कोर जिसे ग्रिडली (greedily) कम किया जाना है:
$$\text{Score}(\phi(t)|S) = \#\sigma_{S \land l_{\phi(1:t)}} \times (v_{S \land \hat{l}_t} - b_{S \land \hat{l}_t}) + 1$$
जहाँ:

• $\#\sigma$ सुलभ अवस्थाओं की संख्या है।
• $v$ समस्या में कुल वेरिएबल्स की संख्या है।
• $b$ पहले से ही बाधित (constrained) वेरिएबल्स की संख्या है।
  यह स्कोर अनिश्चितता में कमी का अनुमान लगाता है, जो खोज को सबसे सूचनात्मक सामान्य ज्ञान धारणाओं की ओर निर्देशित करता है।

2.4 कार्यान्वयन

• LLM एक सैंपलर के रूप में: LLM अगले विश्वास प्रस्ताव $l_i$ के लिए एक कंडीशनल सैंपलर के रूप में कार्य करता है।
• बीम-लाइक सर्च (Beam-like Search): एल्गोरिदम प्रत्येक चरण में $n$ उम्मीदवार विचारों को नमूना लेता है लेकिन शीर्ष $m$ स्कोरिंग पथों को बनाए रखता है (एक बीम सर्च वेरिएंट)।
• एकत्रीकरण (Aggregation): मानक बीम सर्च के विपरीत जो एकल उच्चतम-स्कोरिंग पथ चुनता है, PACS इन सभी पूर्ण किए गए खोज पथों के परिणामों को एकत्रित करता है। अंतिम उत्तर इन विविध पथों के निष्कर्षों के बीच बहुमत मत (majority vote) द्वारा निर्धारित किया जाता है।

3. मुख्य योगदान

1. प्रोबेबिलिस्टिक कॉमनसेंस फ्रेमवर्क: यह शोध पत्र अपडक्टिव रीजनिंग की एक औपचारिक परिभाषा पेश करता है जो मोनोलिथिक सत्य की धारणा से हटकर मानव सामान्य ज्ञान विश्वासों की विविधता को स्पष्ट रूप से मॉडल करती है।
2. PACS एल्गोरिदम: एक नया एल्गोरिदम जो न्यूनतम स्पष्टीकरणों के लिए खोज को निर्देशित करने हेतु मॉडल काउंटिंग का उपयोग करते हुए, विविध तर्क पथों को नमूना लेने के लिए LLMs और औपचारिक तर्क सॉल्वर को जोड़ता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि विश्वास भिन्नता को मॉडल करना और विविध पथों को एकत्रित करना, उन विधियों की तुलना में उच्च सटीकता प्रदान करता है जो एक एकल "सही" तर्क पथ मानती हैं या केवल LLM कॉन्फिडेंस स्कोर पर निर्भर करती हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन डेटासेट पर PACS का मूल्यांकन किया: FOLIO (तार्किक तर्क), CosmosQA, और QUAIL (रीडिंग कॉम्प्रिहेन्शन जिसे True/False में बदला गया है)।

• प्रदर्शन: PACS ने FOLIO और QUAIL पर Chain-of-Thought (COT), Self-Consistency (SC), और पूर्ववर्ती न्यूरोसिम्बोलिक विधियों (LoT, LLM-Tres, ARGOS) को पछाड़ दिया।
  • FOLIO पर, PACS ने 88% सटीकता प्राप्त की (Llama 3.3 70B का उपयोग करते हुए), जबकि अगले सर्वश्रेष्ठ न्यूरोसिंबोलिक मेथड (ARGOS) के लिए यह 78% और COT के लिए 73% थी।
  • QUAIL पर, PACS ने 91% प्राप्त किया, जो ह्यूरिस्टिक बीम-सर्च बेसलाइन (If-Beam) से 6% बेहतर था।
• विविधता और मजबूती: PACS ने उन समस्याओं के प्रतिशत को काफी कम कर दिया जहाँ कोई सही तर्क पथ नहीं पाया गया (जैसे, FOLIO पर 3% बनाम If-Beam के लिए 16%)। यह दर्शाता है कि PACS समाधान स्थान (solution space) को अधिक प्रभावी ढंग से एक्सप्लोर करता है।
• "थिंकिंग" मॉडल्स के साथ तुलना: यहाँ तक कि एक छोटे, गैर-थिंकिंग मॉडल (Llama 3 8B) का उपयोग करने पर भी, PACS ने FOLIO पर एक आधुनिक 120B "थिंकिंग" मॉडल (GPT-OSS-120B) को पछाड़ दिया (QAIUL पर 82% बनाम 82%, लेकिन FOLIO पर 88% बनाम 82%), जो सुझाव देता है कि सिद्धांत आधारित खोज एल्गोरिदम केवल मॉडल का आकार बढ़ाने से अधिक प्रभावी हो सकते हैं।
• पथ की लंबाई (Path Length): PACS ने If-Beam (6.7) की तुलना में छोटे तर्क पथ (FOLIO पर औसत लंबाई 4.6) खोजे, जो बेहतर योजना और कम "ओवरथिंकिंग" का संकेत देते हैं।

5. महत्व और दावे

शोध पत्र का दावा है कि PACS की सफलता दो मुख्य अंतर्दृष्टि को मान्य करती है:

1. विषमता (Heterogeneity) महत्वपूर्ण है: तर्क प्रणालियों को यह नहीं पूछना चाहिए कि "सही उत्तर क्या है?" बल्कि "अधिकांश लोग क्या कहेंगे कि सही है?" इसके लिए एकल मोनोलिथिक प्रमाण खोजने के बजाय विविध सैंपल रैशनल्स को जोड़ने की आवश्यकता है।
2. लक्ष्य-उन्मुख खोज (Goal-Oriented Search): प्रणालियों को यह नहीं पूछना चाहिए कि "कुछ सत्य कथन क्या हैं?" बल्कि "कौन से सत्य कथन मुझे इस समस्या को हल करने में मदद करेंगे?" इसके लिए व्यापक पीढ़ी (exhaustive generation) के बजाय एक न्यूनीकरण रणनीति (न्यूनतम, प्रत्यक्ष पथ खोजना) की आवश्यकता है।

लेखक निष्कर्ष निकालते हैं कि उनका ढांचा, अपने अपेक्षाकृत सरल अनुमानों (जैसे, समाधानों का समान वितरण) के बावजूद, यह प्रदर्शित करता है कि LLMs को फाइन-ट्यून करने या उनके अंतर्निहित आत्मविश्वास पर भरोसा करने के बजाय ठोस, सिद्धांत आधारित खोज एल्गोरिदम डिजाइन करना तर्क क्षमताओं में सुधार के लिए एक अधिक कुशल मार्ग है।

6. सीमाएं

लेखक कई सीमाओं को स्वीकार करते हैं:

• समानता का अनुमान (Uniformity Assumption): सरोगेट स्कोर का व्युत्पन्न सुलभ अवस्थाओं के वितरण ($p(\sigma_i|l)$) के लिए एक समान मॉडल मानता है, जो संभवतः अवास्तविक है।
• अनुवाद त्रुटियां (Translation Errors): विधि प्राकृतिक भाषा को तर्क में अनुवाद करने के लिए एक पूर्व-प्रशिक्षित LLM पर निर्भर करती है। इस अनुवाद चरण में त्रुटियां आती हैं, जो विशेष रूप से CosmosQA डेटासेट में अधिक देखी गईं जहाँ अनुवाद संबंधी गलतियाँ अधिक थीं।
• दायरा (Scope): यह शोध पत्र एक समर्पित लॉजिकल ट्रांसलेशन मॉडल को फाइन-ट्यून करने का अन्वेषण नहीं करता है, न ही यह विश्वास वितरण के लिए अधिक जटिल मॉडल का प्रस्ताव करता है, जिसे वर्तमान दायरे से बाहर माना गया है।