तकनीकी सारांश: सेट-कंसिस्टेंसी एनर्जी नेटवर्क (Set-Consistency Energy Networks)

समस्या की परिभाषा

यह शोध पत्र कई कथनों के बीच तार्किक निरंतरता (logical consistency) को सत्यापित करने की चुनौती को संबोधित करता है, जो दस्तावेज़ सारांश और प्रश्नोत्तर (QA) जैसे कार्यों में मशीन लर्निंग मॉडल की सुरक्षा और विश्वसनीयता सुनिश्चित करने के लिए एक महत्वपूर्ण आवश्यकता है। जबकि पारंपरिक नेचुरल लैंग्वेज इंफरेंस (NLI) युग्म-आधारित निहितार्थ (pairwise entailment - आधार बनाम परिकल्पना) पर ध्यान केंद्रित करते हैं, मौजूदा विधियाँ अक्सर उन विसंगतियों को पकड़ने में विफल रहती हैं जो तीन या अधिक कथनों के सामूहिक मूल्यांकन से ही उभरती हैं।

वर्तमान दृष्टिकोणों के सामने तीन प्राथमिक सीमाएँ हैं:

1. सीमित दायरा: युग्म-आधारकी तुलना (pairwise comparison) विधियाँ उन विरोधाभासों का पता लगाने में असमर्थ हैं जिनके लिए कई कथनों के सामूहिक मूल्यांकन की आवश्यकता होती है (उदाहरण के लिए, तीन कथन जहाँ कोई भी दो व्यक्तिगत रूप से विरोधाभासी नहीं हैं, लेकिन तीनों मिलकर तार्किक रूप से असंभव हैं)।
2. संयोजन जटिलता (Combinatorial Complexity): बड़े टेक्स्ट कॉर्पोरा में व्यापक युग्म-आधारकी तुलना करने से भारी कम्प्यूटेशनल लागत आती है।
3. अत्यधिक संवेदनशील वर्गीकरण: सहज युग्म-आधारकी दृष्टिकोणों में, कई जोड़ों में से एक विसंगति का पता चलने पर अक्सर पूरे सेट को असंगत लेबल कर दिया जाता है, जिससे मामूली बनाम प्रमुख विरोधाभासों वाले सेट के बीच अंतर करने में विफलता होती है।

कार्यप्रणाली: सेट-कंसिस्टेंसी एनर्जी नेटवर्क (SC-Energy)

इन सीमाओं को दूर करने के लिए, लेखक सेट-कंसिस्टेंसी एनर्जी नेटवर्क (SC-Energy) का प्रस्ताव करते हैं, जो अलग-थseits जोड़ों के बजाय पूरे कथनों के सेट की तार्किक सुसंगतता का आकलन करने के लिए डिज़ाइन किया गया एक ढांचा है।

मुख्य वास्तुकला (Core Architecture)

SC-Energy प्राकृतिक भाषा के कथनों (वाक्यों या QA-जोड़ों) के संग्रह को एक सेट $S$ के रूप में मानता है और एक पैरामीटराइज्ड एनर्जी फंक्शन $E_\theta$ का उपयोग करता है।

• इनपुट: मनमाना संख्या में कथन (जिसे $S^*$ द्वारा दर्शाया गया है)।
• आउटपुट: एक वास्तविक-मान वाला ऊर्जा स्कोर (real-valued energy score)।
• उद्देश्य: मॉडल को तार्किक रूप से सुसंगत सेटों ($SC$) के लिए **कम ऊर्जा मान** और असंगत सेटों ($SI$) के लिए उच्च ऊर्जा मान असाइन करने के लिए प्रशिक्षित किया जाता है।

प्रशिक्षण रणनीति (Training Strategy)

मॉडल कथनों के बीच अनुकूलता सीखने के लिए एक कॉन्ट्रास्टिव लॉस फ्रेमवर्क (contrastive loss framework) का उपयोग करता है। प्रशिक्षण प्रक्रिया में विशिष्ट सुसंगत और असंगत सेटों का निर्माण करना और सूक्ष्म विसंगति डिग्री को सीखने के लिए मार्गदर्शन करने हेतु आठ विशिष्ट कॉन्ट्रास्टिव सिग्नल प्राप्त करना शामिल है:

1. बेसिक कॉन्ट्रास्ट: एक सुसंगत सेट ($SC$) और एक असंगत सेट ($SI$) के बीच सीधा मुकाबला।
2. यूनियन-आधारित कॉन्ट्रास्ट: सेटों के यूनियन (जैसे, $SC$बनाम$SCI$, $SCC$बनाम$SI$) से संबंधित तुलनाएं, जो यह मूल्यांकन करती हैं कि सेटों को मिलाने से निरंतरता पर क्या प्रभाव पड़ता है।
3. विसंगति डिग्री कॉन्ट्रास्ट: वे तुलनाएं जो विरोधाभास के विभिन्न स्तरों के बीच अंतर करती हैं (जैसे, तटस्थ तत्वों के प्रभाव को मापने के लिए $SCI$बनाम$SI$, और विरोधाभासों के विस्तार को मापने के लिए$SI$बनाम$SII$)।

यह मल्टी-सिग्नल दृष्टिकोण मॉडल को एक निरंतर ऊर्जा सतह (continuous energy surface) सीखने की अनुमति देता है जो विसंगति की डिग्री को दर्शाता है, न कि केवल एक बाइनरी वर्गीकरण को।

डेटासेट

लेखक इस क्षेत्र में अनुसंधान को सुगम बनाने के लिए दो नए डेटासेट पेश करते हैं:

• Set-LConVQA: LConVQA डेटासेट से व्युत्पन्न, जो QA-जोड़ों पर केंद्रित है। इस डेटासेट में, विसंगतियाँ आमतौर पर स्पष्ट होती हैं (जैसे, किसी वस्तु के रंग के बारे में परस्पर विरोधी उत्तर), और प्रत्येक असंगत सेट में एक आकार-2 का उपसमूह होता है जो स्वयं असंगत होता है।
• Set-SNLI: SNLI डेटासेट से व्युत्पन्न, जो प्राकृतिक भाषा वाक्यों पर केंद्रित है। यह डेटासेट अधिक सूक्ष्म तार्किक विसंगतियों को प्रस्तुत करता है जहाँ विसंगतियाँ कई वाक्यों के सामूहिक तर्क से उभरती हैं, बिना अनिवार्य रूप से किसी विरोधाभासी जोड़े के मौजूद हुए।

प्रयोगात्मक परिणाम

लेखक SC-Energy का मूल्यांकन मॉडल आर्किटेक्चर (LLM-आधारित, बाइनरी क्लासिफायर, एनर्जी-आधारित) और सत्यापन रणनीति (एलिमेंट-वाइज बनाम सेट-लेवल) के आधार पर वर्गीकृत बेसलाइन के विरुद्ध करते हैं।

सेट-कंसिस्टेंसी सत्यापन

• सेट-लेवल बनाम एलिमेंट-वाइज: सेट-लेवल सत्यापन रणनीति सभी आर्किटेक्चर में एलिमेंट-वाइज रणनीतियों से लगातार बेहतर प्रदर्शन करती है। एलिमेंट-वाइज विधियाँ सामान्यीकरण करने में संघर्ष करती हैं और अक्सर "किसी भी विसंगति का अर्थ कुल असंगति है" वाले तर्क के कारण 'फॉल्स पॉजिटिव' उत्पन्न करती हैं।
• प्रदर्शन: SC-Energy (सेट-लेवल, एनर्जी-आधारित) अत्याधुनिक (state-of-the-art) प्रदर्शन प्राप्त करता है। Set-LConVQA पर, यह 0.987 का मैक्रो-F1 प्राप्त करता है, और Set-SNLI पर, 0.941।
• LLM तुलना: प्रॉम्प्टिंग-आधारित LLMs (जैसे, GPT-4o) Set-LConVQA पर अच्छा प्रदर्शन करते हैं (0.926), लेकिन वे अधिक सूक्ष्म Set-SNLI (0.710) पर काफी संघर्ष करते हैं, जो सेट-लेवल सत्यापन के लिए विशेष प्रशिक्षण की आवश्यकता को उजागर करता है।

लोकेट कार्य (विशिष्ट विसंगतियों की पहचान करना)

बाइनरी वर्गीकरण के अलावा, लेखक विरोधाभासों के लिए जिम्मेदार विशिष्ट कथनों का पता लगाने की क्षमता का मूल्यांकन करते हैं।

• SC-Energy इस कार्य में LLMs और बाइनरी क्लासिफायर दोनों से काफी बेहतर प्रदर्शन करता है।
• Set-LConVQA पर, SC-Energy 0.961 का F1 स्कोर प्राप्त करता है, जबकि LLMs के लिए यह 0.875 और बाइनरी क्लासिफायर के लिए 0.910 है।
• लेखक इस सफलता का श्रेय मॉडल की सूक्ष्म कॉन्ट्रास्टिव रिप्रजेंटेशन और विविध सेटों में विसंगति की विभिन्न डिग्री को सीखने की क्षमता को देते हैं।

एब्लेशन और सामान्यीकरण (Ablation and Generalization)

• कॉन्ट्रास्ट ग्रैनुलैरिटी: एक एब्लेशन अध्ययन पुष्टि करता है कि सभी आठ कॉन्ट्रास्टिव सिग्नल (विसंगति डिग्री कॉन्ट्रास्ट सहित) के साथ प्रशिक्षण करना, विसंगति के विभिन्न स्तरों वाले सेटों के बीच अंतर करने के लिए महत्वपूर्ण है।
• फाइन-ट्यूनिंग: मॉडल मजबूत हस्तांतरणीयता (transferability) प्रदर्शित करता है, अपने मूल डेटासेट पर उच्च प्रदर्शन बनाए रखते हुए न्यूनतम फाइन-ट्यूनिंग डेटा के साथ नए डोमेन में प्रभावी ढंग से अनुकूलित होता है।
• LLM मूल्यांकन: एक बाहरी निरंतरता मूल्यांकनकर्ता (विशेष रूप से संवर्धित WIQA डेटासेट पर) के रूप में उपयोग किए जाने पर, SC-Energy निरंतरता पहचान सटीकता को 59.9% (Self-Check) से बढ़ाकर 68.7% कर देता है।

महत्व और दावे

लेखक दावा करते हैं कि SC-Energy तार्किक निरंतरता सत्यापन में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है क्योंकि यह:

1. NLI का विस्तार करता है: युग्म-आधारकी तुलनाओं से आगे बढ़कर पूरे सेट की तार्किक सुसंगतता का आकलन करता है, जिससे उस अंतराल को भरा जाता है जहाँ तार्किक विरोधाभास केवल सामूहिक रूप से उभरते हैं।
2. बेहतर प्रदर्शन: यह प्रदर्शित करता है कि एक संक्षिप्त, एनर्जी-आधारित मॉडल, सूक्ष्म तार्किक विसंगतियों का पता लगाने में बड़े, प्रॉम्प्टिंग-आधारित LLMs की तुलना में काफी बेहतर प्रदर्शन कर सकता है, विशेष रूप से जटिल वाक्य सेटों (Set-SNLI) में।
3. सूक्ष्म तर्क (Fine-Grained Reasoning): यह स्थापित करता है कि विसंगति की डिग्री को अलग करने में सक्षम ऊर्जा स्थान सीखना, डाउनस्ट्रीम कार्यों जैसे कि विशिष्ट विरोधाभासी कथनों को खोजने के लिए महत्वपूर्ण है, जो कि बाइनरी वर्गीकरण और मानक LLM प्रॉम्प्टिंग की क्षमता से परे है।
4. संसाधन प्रावधान: समर्पित डेटासेट (Set-LConVQA और Set-SNLI) और सेट-कंसिस्टेंसी के मूल्यांकन के लिए एक मजबूत ढांचा प्रदान करता है, जिससे मॉडल विश्वसनीयता और सुरक्षा में आगे के अनुसंधान को सक्षम बनाया जा सके।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण केवल सेट को वर्गीकृत नहीं करता है, बल्कि एक निरंतर ऊर्जा परिदृश्य (continuous energy landscape) सीखता है जो तार्किक विरोधाभासों की गंभीरता और प्रकृति के संबंध में मानवीय अंतर्ज्ञान के अनुरूप है।