Source-Aware Reasoning for Large Language Models via Data Producer Scope Extension

तकनीकी सारांश: डेटा उत्पादक विस्तार के माध्यम से बड़े भाषा मॉडलों (LLMs) के लिए स्रोत-जागरूक तर्क (Source-Aware Reasoning)

समस्या विवरण

बड़े भाषा मॉडल (LLMs) को वास्तविक दुनिया के, डेटा-संचालित सिस्टम (जैसे, साइबर-फिजिकल सिस्टम, निगरानी प्लेटफॉर्म) में इन्फरेंस इंजन के रूप में तेजी से तैनात किया जा रहा है। हालांकि, मौजूदा LLM-आधारित इन्फरेंस प्रतिमान (paradigms) मुख्य रूप से आउटपुट-उन्मुख (output-oriented) हैं। वे अंतर्निहित रूप से यह मान लेते हैं कि देखे गए इनपुट डेटा सटीक, विश्वसनीय और अंतर्निहित सिस्टम अवस्था के पर्याप्त प्रतिनिधित्व हैं।

यह धारणा एक गंभीर भेद्यता (vulnerability) पैदा करती है: जब डेटा दोषपूर्ण स्रोतों (जैसे, त्रुटिपूर्ण सेंसर, समझौता किए गए सेवाएँ, या अपस्ट्रीम हार्डवेयर विफलता) द्वारा उत्पन्न किया जाता है, तो LLM अक्सर इन आर्टिफैक्ट्स (artifacts) को सिस्टम के व्यवहार के दुर्लभ लेकिन वैध उदाहरण के रूप में गलत समझ लेते हैं, न कि डेटा उत्पादन विफलताओं के संकेतक के रूप में। यह समस्या तब विशेष रूप से गंभीर हो जाती है जब असामान्य डेटा संख्यात्मक रूप से सामान्य अवलोकनों के साथ ओवरलैप होता है (जैसे, एक दोषपूर्ण सेंसर जो अपेक्षित सीमा के भीतर मान रिपोर्ट करता है लेकिन अर्थपूर्ण रूप से गलत होता है)। ऐसी स्थितियों में, मानक LLMs के पास वास्तविक सिस्टम असामान्यताओं और दोषपूर्ण डेटा उत्पादकों द्वारा प्रेरित आर्टिफैक्ट्स के बीच अंतर करने के लिए कोई सिद्धांतिक तंत्र नहीं होता है, जिससे निर्णय लेने में देरी या गलत निर्णय होते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक स्रोत-जागरूक तर्क ढांचे (Source-Aware Reasoning Framework) का प्रस्ताव करता है जो मौलिक रूप से LLM के इन्फरेंस स्कोप (inference scope) का विस्तार करता है। डेटा को 'ग्राउंड ट्रुथ' मानने के बजाय, यह ढांचा स्पष्ट रूप से डेटा उत्पादकों (data producers) और उनके संबंधित अपस्ट्रीम ऑब्जेक्ट्स की अवस्था को तर्क प्रक्रिया में शामिल करता है।

मुख्य तंत्र (Core Mechanisms)

1. स्कोप विस्तार (Scope Extension):

   • पारंपरिक स्कोप ($S_{data}$): केवल देखे गए भौतिक पदार्थ तक सीमित।
   • विस्तारित स्कोप ($S_{extended}$): इसमें देखा गया पदार्थ और डेटा उत्पादक ($producer$) दोनों शामिल हैं।
   • वृक्ष-संरचित स्कोप ($S_{tree}$): यह उत्पादक के ऐतिहासिक राज्यों ($H_p$), संबंधित वस्तुओं ($R_p$), और उनके संबंधित इतिहास ($H_{o_k}$) को शामिल करने के लिए और अधिक विस्तार करता है। यह एक वृक्ष (tree) बनाता है जहाँ नोड्स (nodes) वस्तुओं का प्रतिनिधित्व करते हैं और किनारे (edges) रिलेशनल डिपेंडेंसी को दर्शाते हैं।

2. वृक्ष-संरचित तर्क और ट्रैवर्सल (Tree-Structured Reasoning & Traversal):
   यह ढांचा असामान्यताओं का निदान करने के लिए एक चयनात्मक वृक्ष ट्रैवर्सल (Selective Tree Traversal) तंत्र (एल्गोरिदम 1) का उपयोग करता है:

   • LLM रूट (डेटा उत्पादक) से शुरू होता है और संबंधित वस्तुओं तक रिलेशनल किनारों (edges) को पार करता है।
   • प्रत्येक नोड पर, नोड के ऐतिहासिक व्यवहार और वर्तमान अवलोकन के आधार पर एक प्रासंगिकता स्कोर (relevance score) $r(v)$ की गणना की जाती है।
   • ट्रैवर्सल को एक बीम सर्च (beam search) रणनीति द्वारा निर्देशित किया जाता है, जो केवल उन नोड्स को विस्तारित करता है जो एक प्रासंगिकता सीमा (relevance threshold) और अधिकतम गहराई सीमा को पार करते हैं।
   • यह मॉडल को अस्पष्टता को दूर करने के लिए केवल आवश्यकता पड़ने पर आंतरिक अवस्थाओं (जैसे, सेंसर विफलता का समय) और अपस्ट्रीम निर्भरताओं (जैसे, बिजली आपूर्ति विफलता का समय) को गतिशील रूप से क्वेरी करने की अनुमति देता है।

3. मानव-प्रेरित तर्क (Human-Inspired Logic):
   यह दृष्टिकोण मानव नैदानिक तर्क (diagnostic reasoning) की नकल करता है, जहाँ एक पर्यवेक्षक सिस्टम की स्थिति बदलने का निष्कर्ष निकालने से पहले उपकरणों या स्रोतों की विश्वसनीयता पर सवाल उठाता है। यह डेटा उत्पादक सत्यापन को एक पूरक टूल कॉल के बजाय एक प्रथम-श्रेणी के तर्क चरण के रूप में मानता है।

प्रमुख योगदान

शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

1. एक मानव-प्रेरित तर्क सिद्धांत: LLMs को देखे गए मूल्यों पर अंधा विश्वास करने के बजाय डेटा उत्पादकों की परिचालन अवस्थाओं को सक्रिय रूप से सत्यापित करने के लिए प्रोत्साहित करना, जो यह दर्शाता है कि मनुष्य सूचना की विश्वसनीयता का आकलन कैसे करते हैं।
2. एक स्रोत-जागरूक इन्फरेंस फ्रेमवर्क: डेटा उत्पादकों और संबंधित वस्तुओं को शामिल करने के लिए तर्क के दायरे को स्पष्ट रूप से विस्तारित करना, जिससे उन उत्पादक-स्तरीय असामान्यताओं का निदान संभव हो पाता है जिन्हें केवल 'वैल्यू-ओनली' इन्फरेंस नहीं पकड़ सकता।
3. एक वृक्ष-संरचित तर्क तंत्र: उत्पादक इतिहास और रिलेशनल डिपेंडेंसी को एक एकीकृत संरचना में व्यवस्थित करना, जिससे LLMs को असामान्य डेटा के मूल कारणों का व्यवस्थित रूप से पता लगाने, स्थानीयकरण करने और विश्लेषण करने की अनुमति मिलती है।

प्रयोगात्मक परिणाम

इस ढांचे का मूल्यांकन एक नियंत्रित तापमान निगरानी सिमुलेशन (temperature monitoring simulation) का उपयोग करके किया गया जहाँ असामान्य रीडिंग संख्यात्मक रूप से सामान्य रेंज के साथ ओवरलैप हो सकती थी (जैसे, सामान्य रेंज [0, 20], असामान्य रेंज [-5, 25])। तीन इन्फरेंस रणनीतियों की तुलना की गई:

• M1 (केवल तापमान): केवल देखे गए मूल्यों का उपयोग करने वाला बेसलाइन।
• M2 (सेंसर-सहायता प्राप्त): सेंसर की आंतरिक अवस्था को शामिल करता है।
• M3 (सेंसर- और ऑब्जेक्ट-सहायता प्राप्त): सेंसर की अवस्था और संबंधित वस्तु (अपस्ट्रीम) की अवस्था दोनों को शामिल करता है।

निष्कर्ष:

• सटीकता (Accuracy): M3 ने उच्चतम सटीकता (0.55) प्राप्त की, जो तापमान-केवल बेसलाइन (M1, 0.35) की तुलना में 20 प्रतिशत अंक का सुधार है।
• त्रुटि में कमी: M3 ने दंडित टेम्पोरल एरर (MAEpen) को 2.50 तक कम कर दिया, जबकि M1 के लिए यह 2.55 और M2 के लिए 2.65 था, जो भविष्यवाणियों में कम बड़े टेम्पोरल विचलन को दर्शाता है।
• मजबूती (Robustness): M3 उन परिदृश्यों में असामान्यताओं को सफलतापूर्वक पहचानने में सक्षम रहा जहाँ M1 और M2 विफल रहे, विशेष रूप से जब एक अपस्ट्रीम ऑब्जेक्ट की विफलता के कारण सेंसर ने "सामान्य" संख्यात्मक सीमा के भीतर मान रिपोर्ट किए।
• लागत (Cost): बेहतर सटीकता के साथ इन्फरेंस लागत में मामूली वृद्धि हुई। M1 के 1.0 के मुकाबले M3 को प्रति ट्रायल औसतन 1.95 LLM कॉल्स की आवश्यकता पड़ी, जो उत्पादक और ऑब्जेक्ट अवस्थाओं को क्वेरी करने के ओवरहेड को दर्शाता है।

महत्व और दावे

शोध पत्र का दावा है कि डेटा उत्पादकों के बारे में स्पष्ट रूप से तर्क करना वास्तविक दुनिया के, डेटा-संचालित सिस्टम में LLMs को विश्वसनीय घटक के रूप में तैनात करने के लिए आवश्यक है। इसका महत्व पारंपरिक विसंगति पहचान (जो संख्यात्मक पैटर्न पर ध्यान केंद्रित करती है) और LLM तर्क (जो अक्सर विश्वसनीय इनपुट मान लेता है) के बीच के अंतर को पाटने में निहित है।

एक आउटपुट-उन्मुख प्रतिमान से स्रोत-जागरूक प्रतिमान की ओर बढ़ते हुए, प्रस्तावित ढांचा LLMs को सक्षम बनाता है:

• वास्तविक सिस्टम अवस्था परिवर्तनों और दोषपूर्ण डेटा उत्पादन के कारण उत्पन्न आर्टिफैक्ट्स के बीच अंतर करने में।
• ओपन-वर्ल्ड वातावरण में मजबूती से काम करने में जहाँ डेटा स्रोत अपूर्ण या अविश्वसनीय हो सकते हैं।
• उन संदिग्ध अवलोकनों को संभालने के लिए एक सिद्धांतिक विधि प्रदान करने में जो अपेक्षित संख्यात्मक रेंज के भीतर आते हैं लेकिन अपस्ट्रीम विफलताओं के कारण अर्थपूर्ण रूप से असामान्य हैं।

लेखक निष्कर्ष निकालते हैं कि हालांकि यह दृष्टिकोण अतिरिक्त कम्प्यूटेशनल चरणों को जोड़ता है, लेकिन यह ट्रेड-ऑफ काफी अधिक विश्वसनीय निर्णय लेने में मदद करता है, विशेष रूप से उन परिदृश्यों में जहाँ डेटा गुणवत्ता की गारंटी नहीं दी जा सकती है। भविष्य के कार्य को कई परस्पर क्रिया करने वाले उत्पादकों और विषम डेटा मोडैलिटीज (heterogeneous data modalities) वाले सिस्टम तक इस ढांचे को स्केल करने पर केंद्रित बताया गया है।