From Atomic Evidence to Logical Composition: Structured Compositional Reasoning over Compound Answer Options

तकनीकी सारांश: संयुक्त उत्तर विकल्पों पर संरचित संरचनात्मक तर्क (Structured Compositional Reasoning)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर उन कार्यों में विफल हो जाते हैं जहाँ उन्हें ऐसे उत्तर विकल्प चुनने होते हैं जिनमें स्पष्ट तार्किक ऑपरेटरों (AND, OR, NEITHER/NOR) के तहत परमाणु निर्णयों (atomic judgments) को संयोजित करने की आवश्यकता होती है। जबकि मॉडल अक्सर व्यक्तिगत परमाणु प्रस्तावों (atomic propositions) का सही मूल्यांकन करते हैं, वे इन निर्णयों को एक सुसंगत अंतिम निर्णय में संयोजित करने में संघर्ष करते हैं। यह "कंपोजिबिलिटी गैप" (compositionality gap) यह संकेत देता है कि विफलता ज्ञान की कमी के कारण नहीं, बल्कि तार्किक संभावनाओं को दर्शाने और संयोजित करने की कठिनाई के कारण है। मानक प्रॉम्प्टिंग विधियाँ परमाणु मूल्यांकन और तार्किक संयोजन को एक ही जनरेशन स्टेप में मिला देती हैं, जिससे त्रुटियों को पहचानने या तार्किक बाधाओं को लागू करने का कोई तंत्र नहीं बचता। इसके अतिरिक्त, मॉडल विजातीय संयोजनों (disjunctive compositions) और निषेध संरचनाओं (जैसे NEITHER/NOR) पर काफी खराब प्रदर्शन करते हैं, जो मानव तर्क के मानसिक-मॉडल सिद्धांतों (mental-model theories) के अनुरूप है जहाँ तर्क करने वाले के लिए संभावनाओं की संख्या बढ़ने के साथ कठिनाई बढ़ती है।

कार्यप्रणाली (Methodology)
लेखक एक ऐसा ढांचा प्रस्तावित करते हैं जो परमाणु साक्ष्य प्राप्ति (atomic evidence elicitation) को तार्किक संयोजन से अलग करता है, यह सुनिश्चित करते हुए कि मॉडल कभी भी किसी संयुक्त विकल्प को एक संपूर्ण इकाई के रूप में प्रोसेस न करे। यह ढांचा तीन चरणों में कार्य करता है:

1. विकल्प अपघटन (Option Decomposition): प्रत्येक संयुक्त उत्तर विकल्प को उसके घटक परमाणु उत्तरों और उन्हें जोड़ने वाले स्पष्ट बूलियन ऑपरेटर में नियत रूप से पार्स (parse) किया जाता है। कई विकल्पों में साझा किए गए परमाणु उत्तरों को एक एकल अद्वितीय इकाई ($U_C$) के रूप में माना जाता है, जिससे यह सुनिश्चित होता है कि एक प्रस्ताव का स्कोरिंग स्थान के बावजूद सुसंगत रहे।
2. विपरीत साक्ष्य प्राप्ति (Contrastive Evidence Elicitation): प्रत्येक अद्वितीय परमाणु उत्तर के लिए, सिस्टम संदर्भ के आधार पर विपरीत प्राकृतिक भाषा परिकल्पनाओं का एक जोड़ा बनाता है: एक जो कहता है कि परमाणु समर्थित है ($h^+$) और दूसरा जो कहता है कि वह समर्थित नहीं है ($h^-$)। LLM को अधिक प्रशंसनीय परिकल्पना चुनने के लिए प्रेरित किया जाता है। कच्चा साक्ष्य स्कोर (raw evidence score) चॉइस टोकन के लॉग-प्रोबेबिलिटीज़ से प्राप्त किया जाता है, जिसे दोनों परिकल्पनाओं के बीच सापेक्ष प्राथमिकता स्कोर बनाने के लिए सामान्यीकृत (normalize) किया जाता है।
3. स्कोर अंशांकन (Score Calibration): विश्वसनीयता में सुधार के लिए कच्चे स्कोर को अंशांकित किया जाता है। लेखक सापेक्ष अंशांकन (Relative Calibration) पेश करते हैं, जो एक लॉजिस्टिक रिग्रेशन मॉडल का उपयोग करके कच्चे स्कोर को अंशांकित संभावनाओं में मैप करता है। प्लैट स्केलिंग (Platt scaling) या आइसोटोनिक अंशांकन (Isotonic calibration) जैसे मानक पोस्ट-हॉक तरीकों के विपरीत, जो केवल पूर्ण स्कोर मानों पर निर्भर करते हैं, सापेक्ष अंशांकन विशिष्ट इंस्टेंस के भीतर परमाणु की स्थिति (जैसे, अन्य परमाणुओं के बीच इसकी रैंक और अधिकतम स्कोर से इसकी दूरी) को दर्शाने वाले फीचर्स को शामिल करता है। यह प्रणाली को इस तथ्य को ध्यान में रखने की अनुमति देता है कि एक विकल्प की वैधता इस बात पर निर्भर करती है कि परमाणु एक दूसरे के साथ कैसे तुलना करते हैं।
4. वैश्विक रूप से बाधित अनुमान (Globally Constrained Inference): अंशांकित स्कोर को एक ऑपरेटर-प्रतिबंधित इंटीजर लीनियर प्रोग्राम (ILP) में फीड किया जाता है। ILP प्रत्येक परमाणु उत्तर की स्थिति और प्रत्येक संयुक्त विकल्प की वैधता के लिए बाइनरी निर्णय चर (binary decision variables) को परिभाषित करता है। यह उन सख्त बाधाओं को लागू करता है जो तार्किक ऑपरेटरों के अर्थों को कूटबद्ध करते हैं (उदाहरण के लिए, AND के लिए, विकल्प तभी वैध है जब दोनों परमाणु सत्य हों; NEITHER/NOR के लिए, तभी वैध है जब दोनों असत्य हों)। ऑब्जेक्टिव फंक्शन परमाणु असाइनमेंट के लिए कुल साक्ष्य (समर्थन घटा विरोध) को अधिकतम करता है, जिससे यह सुनिश्चित होता है कि अंतिम भविष्यवाणी के रूप में ठीक एक संयुक्त विकल्प चुना जाए।

मुख्य योगदान

1. संरचित ढांचा: एक अभिनव दृष्टिकोण जो व्यक्तिगत परमाणु उत्तरों के लिए कंट्रास्टिव साक्ष्य प्राप्त करता है और उन्हें ऑपरेटर-प्रतिबंधित ILP अनुमान के माध्यम से जोड़ता है, जो प्रभावी रूप से तार्किक संयोजन को समझ (comprehension) से अलग करता है।
2. सापेक्ष अंशांकन: एक अंशांकन तकनीक जो परमाणु उत्तरों को उनके आत्मविश्वास और एक ही इंस्टेंस में अन्य परमाणुओं के बीच उनकी सापेक्ष स्थिति दोनों के आधार पर स्कोर करती है, जो मल्टी-ऑप्शन कार्यों में स्वतंत्र अंशांकन की सीमाओं को संबोधित करती है।
3. LOGICAL-SATA बेंचमार्क: SATA-Bench से प्राप्त एक नया रीडिंग-कंप्रीहेन्शन बेंचमार्क, जिसे विशेष रूप से स्पष्ट तार्किक ऑपरेटरों के साथ संयुक्त उत्तर तर्क का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
4. अनुभवजन्य मूल्यांकन: दो अलग-अलग बेंचमार्क (LOGICAL-COMMONSENSEQA और LOGICAL-SATA) पर व्यापक मूल्यांकन जो दर्शाता है कि यह ढांचा डायरेक्ट प्रॉम्प्टिंग की तुलना में काफी बेहतर प्रदर्शन करता है, विशेष रूप से उन ऑपरेटरों पर जो आमतौर पर मॉडल की विफलता का कारण बनते हैं।

परिणाम
ढांचे का मूल्यांकन Llama-3.1-8B-Instruct का उपयोग करके किया गया।

• कुल प्रदर्शन: LOGICAL-COMMONSENSEQA के मानव-सत्यापित स्प्लिट पर, ढांचे ने मैक्रो-F1 को 48.3 (सर्वश्रेष्ठ डायरेक्ट प्रॉम्प्टिंग) से बढ़ाकर 77.0 कर दिया। LOGICAL-SATA पर, इसने 47.0 से 75.6 तक सुधार किया।
• ऑपरेटर-विशिष्ट लाभ: सबसे महत्वपूर्ण सुधार NEITHER/NOR पर देखे गए, जहाँ LOGICAL-COMMONSENSEQA पर मैक्रो-F1 14.0 से बढ़कर 76.8 हो गया और LOGICAL-SATA पर 12.6 से बढ़कर 73.4 हो गया। OR और MIXED सेटिंग्स में भी पर्याप्त सुधार हुए, जबकि AND पर लाभ मामूली थे।
• अंशांकन का प्रभाव: सापेक्ष अंशांकन ने सर्वश्रेष्ठ प्रदर्शन दिया, विशेष रूप से MIXED सेटिंग्स में जहाँ विकल्प विभिन्न ऑपरेटरों का उपयोग करते हैं। इसने प्लैट या आइसोटोनिक स्केलिंग की तुलना में परमाणु ब्रियर स्कोर (Brier scores) और लॉग लॉस को अधिक प्रभावी ढंग से कम किया, जो ओवरकॉन्फिडेंस और सापेक्ष क्रम को बेहतर ढंग से संभालने का संकेत देता है।
• त्रुटि विश्लेषण: गोल्ड परमाणु स्टेटस प्रदान किए जाने पर, ILP अनुमान परत ने 100% सटीकता प्राप्त की, जिससे पुष्टि होती है कि तार्किक बाधाओं को पूरी तरह से कूटबद्ध किया गया है। शेष त्रुटियां प्रारंभिक परमाणु साक्ष्य प्राप्ति (जैसे, संशोधकों या पैसेज विषयों की गलत व्याख्या) में विफलताओं के कारण थीं।

महत्व और दावे
पेपर का दावा है कि तार्किक तर्क कार्यों में देखे गए विफलताओं के कारण अक्सर प्रासंगिक ज्ञान की कमी के बजाय स्थानीय निर्णयों को संयोजित करने में कठिनाई होती है। परमाणु तथ्यों के मूल्यांकन को उन तथ्यों के तार्किक संयोजन से स्पष्ट रूप से अलग करके, यह ढांचा कंपोजिबिलिटी गैप को पाटता है। परिणाम बताते हैं कि LLMs व्यक्तिगत परमाणु उत्तरों के बारे में उपयोगी साक्ष्य बनाए रखते हैं, भले ही वे एक ही पास में उन्हें सही ढंग से संयोजित करने में विफल रहे हों। सापेक्ष अंशांकन का परिचय इस तथ्य को उजागर करता है कि मल्टीपल-चॉइस सेटिंग में एक परमाणु निर्णय की वैधता अक्सर उपलब्ध अन्य विकल्पों पर संदर्भ-निर्भर होती है। लेखक निष्कर्ष निकालते हैं कि स्पष्ट बाधाओं के तहत संरचित अनुमान, LLMs में तार्किक तर्क में सुधार के लिए एक व्यवहार्य मार्ग है, विशेष रूप से जटिल निषेधित (negated) और विजातीय संरचनाओं के लिए।