Semantic Tracing in LLM-Based Multi-Agent Systems Using LangChain, LangGraph, and LangSmith for AI Governance

तकनीकी सारांश: LLM-आधारित मल्टी-एजेंट सिस्टम में सिमेंटिक ट्रेसिंग (Semantic Tracing)

समस्या विवरण
लार्ज लैंग्वेज मॉडल (LLM)-आधारित मल्टी-एजेंट सिस्टम को अपनाने वाले संगठन महत्वपूर्ण गवर्नेंस चुनौतियों का सामना कर रहे हैं, जिनमें "शैडो एआई" (Shadow AI), हैलुसिनेशन प्रसार (hallucination propagation), इंस्ट्रक्शन ड्रिफ्ट (instruction drift), और इस बात की दृश्यता का अभाव शामिल है कि निर्णय कैसे लिए जा रहे हैं। जबकि लैंगस्मिथ (LangSmith) जैसे ऑब्जर्वेबिलिटी प्लेटफॉर्म निष्पादन ट्रेसेस (execution traces) को कैप्चर करते हैं, वे स्वाभाविक रूप से यह नहीं मापते कि एजेंटों ने एजेंट-से-एजेंट हैंडऑफ के दौरान अपने मूल निर्देशों के सिमेंटिक अर्थ, बाधाओं (constraints) और साक्ष्य प्रतिबद्धताओं (evidence commitments) को सुरक्षित रखा है या नहीं। वर्तमान फ्रेमवर्क में एक एकीकृत पद्धति का अभाव है जो "अर्थ संरक्षण" (meaning preservation) को एक प्राथमिक मापन योग्य इकाई (measurand) के रूप में उपचारित करे और इन मापों को एंटरप्राइज एआई गवर्नेंस नियंत्रणों (जैसे, NIST AI RMF, EU AI Act) से बांधे।

कार्यप्रणाली (Methodology)
यह अध्ययन SHADOWAI-RISK प्रोटोटाइप—जो एंटरप्राइज एआई गवर्नेंस और रिस्क इंटेलिजेंस के लिए एक अकादमिक अनुसंधान उपकरण है—के एक स्थानीय प्रयोगात्मक विस्तार पर केंद्रित एक मिश्रित-पद्धति दृष्टिकोण का उपयोग करता है। कार्यप्रणाली मूल नियतात्मक बेसलाइन (deterministic baseline) और एक नए प्रयोगात्मक स्थिति के बीच अंतर करती है:

1. प्रायोगिक आर्किटेक्चर:

   • ऑर्केस्ट्रेशन (Orchestration): स्टेटफुल नोड्स (इन्वेंट्री, एविडेंस, गवर्नेंस, ह्यूमन रिव्यू) और कंडीशनल रूटिंग (जिसमें अनिवार्य मानव-समीक्षा गेट शामिल हैं) को प्रबंधित करने के लिए LangGraph (StateGraph) का उपयोग करके कार्यान्वित किया गया है।
   • रीजनिंग और टूल्स: वास्तविक LLM इनवोकेशन, टूल रैपिंग (जैसे, NVD CVE लुकअप), और रिट्राय मैकेनिज्म के साथ स्ट्रक्चर्ड आउटपुट पार्सिंग के लिए LangChain (ChatOpenAI, ChatPromptTemplate, JsonOutputParser) का उपयोग किया गया है।
   • ऑब्जर्वेबिलिटी: LangSmith का उपयोग विशेष रूप से निजी ट्रेसिंग, स्पैन कैप्चर और मेटाडेटा लॉगिंग के लिए किया जाता है। यह सिमेंटिक मेट्रिक्स की गणना नहीं करता है और न ही गवर्नेंस निर्णय लेता है।
   • सिमेंटिक इवैल्यूएशन: एक अलग, नियम-आधारित लेयर हैंडऑफ पैकेट्स की तुलना करती है ताकि ड्रिफ्ट, बाधाओं की कमी और अस ondersteत दावों का पता लगाया जा सके।

2. हैंडऑफ मैकेनिज्म:

   • एजेंट स्ट्रक्चर्ड हैंडऑफ पैकेट्स (Pydantic-validated) का आदान-प्रदान करते हैं जिसमें लक्ष्य पहचानकर्ता (goal identifiers), बाधा सेट, साक्ष्य स्रोत, विश्वास स्तर और अवशिष्ट जोखिम (residual risk) शामिल होते हैं।
   • ये पैकेट्स सिमेंटिक फिडेलिटी (semantic fidelity) को मापने के लिए विश्लेषण की इकाई के रूप में कार्य करते हैं।

3. प्रायोगिक डिज़ाइन:

   • एक नियंत्रित मैट्रिक्स के तहत 450 वर्कफ़्लो निष्पादन पूरे किए गए (0 टर्मिनल विफलताएं)।
   • शर्तें (Conditions):
     • नियतात्मक बेसलाइन (मूल प्रोटोटाइप से संरक्षित)।
     • सिमेंटिक इवैल्यूएशन के बिना LLM मल्टी-एजेंट (160 रन)।
     • LangSmith ट्रेसिंग + सिमेंटिक इवैल्यूएशन के साथ LLM मल्टी-एजेंट (160 रन)।
     • वेरिएबिलिटी और एब्लेशन अध्ययन (140 रन)।
   • मेट्रिक्स: एक औपचारिक सूट को परिभाषित किया गया था, जिसमें सिमेंटिक प्रिजर्वेशन स्कोर (SPS), एजेंट हैंडऑफ फिडेलिटी (AHF), इंस्ट्रक्शन ड्रिफ्ट रेट (IDR), ट्रेस कम्प्लीटनेस स्कोर (TCS), टूल-यूज़ एक्यूरेसी (TUA), गवर्नेंस कंप्लायंस रेट (GCR), हैलुसिनेशन प्रोपेगेशन रेट (HPR), और वर्कफ़्लो रिलायबिलिटी स्कोर (WRS) शामिल हैं।

प्रमुख योगदान
यह शोध आठ विशिष्ट तत्वों में योगदान देता है, जो लागू की गई विशेषताओं और प्रस्तावित आर्किटेक्चर के बीच अंतर करते हैं:

• C1: सिमेंटिक ट्रेसिंग के लिए एक वैचारिक निर्माण और एक हैंडऑफ-पैकेट प्रतिनिधित्व।
• C2: एक LangSmith-केंद्रित ऑब्जर्वेबिलिटी पाइपलाइन और एक औपचारिक मेट्रिक सूट (नोट: मानव अंशांकन लंबित है)।
• C3: चार एजेंट भूमिकाओं और एक ह्यूमन रिव्यू गेट के साथ एक वर्किंग लोकल प्रोटोटाइप।
• C4–C5: जेन्युइन LangChain LLM इनवोकेशन और स्टेटफुल रूटिंग के साथ LangGraph ऑर्केस्ट्रेशन का स्पष्ट कार्यान्वयन।
• C6: ऑर्केस्ट्रेशन, रीजनिंग, नियतात्मक सुरक्षा उपायों, ट्रेस कैप्चर, सिमेंटिक इवैल्यूएशन और मानव निर्णय का स्पष्ट पृथक्करण।
• C7: अपरिवर्तित SHADOWAI-RISK प्रोटोटाइप के विरुद्ध बेसलाइन-बनाम-प्रायोगिक तुलना।
• C8: सिमेंटिक-ट्रेसिंग संकेतों का गवर्नेंस कंट्रोल (NIST, ISACA, EU, आदि) के साथ व्याख्यात्मक मानचित्रण।

परिणाम
पूर्ण प्रायोगिक मैट्रिक्स (450/450 रन) ने सिमेंटिक इवैल्यूशन के साथ LLM स्थिति और बिना सिमेंटिक इवैल्यूशन वाली LLM स्थिति के बीच निम्नलिखित तुलनात्मक निष्कर्ष दिए:

• ट्रेस कम्प्लीटनेस (TCS): इवैल्यूएशन-सक्षम स्थिति में काफी कम था (0.624 बनाम 0.912; Holm-adjusted p < 0.001, Cliff's δ ≈ −0.33)। इवैल्यूएशन लेयर ने उन छूटे हुए स्पैन/फील्ड्स की पहचान की जो कच्चे (raw) ट्रेस में नहीं थे।
• वर्कफ़्लो रिलायबिलिटी (WRS): समान और विशेषज्ञ वेटिंग स्कीम्स दोनों के तहत सिमेंटिक इवैल्यूएशन के साथ काफी कम था (छोटे प्रभाव)।
• सिमेंटिक और गवर्नेंस मेट्रिक्स: दोनों LLM स्थितियों के बीच SPS, AHF, IDR, TUA, GCR, HPR, या HEP के लिए कोई सांख्यिकीय रूप से महत्वपूर्ण अंतर नहीं पाया गया।
• डिसीजन एक्यूरेसी: डिसीजन-फैमिली करेक्टनेस समान थी (59/160 बनाम 57/160; p ≈ 0.91)।
• लेटेंसी (Latency): इवैल्यूएशन-सक्षम स्थिति में लेटेंसी काफी अधिक थी (~126.2s बनाम ~101.7s; Cliff's δ ≈ 0.67, बड़ा प्रभाव)।
• लागत (Cost): दोनों स्थितियों में $0 स्थानीय लागत आई (स्थानीय मॉडल निष्पादन का उपयोग करके)।
• ड्रिफ्ट डिटेक्शन: नियंत्रित परटर्बेशन परिदृश्यों में, मल्टी-एजेंट स्थिति ने इंस्ट्रक्शन ड्रिफ्ट और मिसिंग एविडेंस का सफलतापूर्वक पता लगाया, जबकि नियतात्मक बेसलाइन हॉप-लेवल कंस्ट्रेंट ड्रिफ्ट का पता लगाने में असमर्थ रही (हालांकि उसने नियतात्मक नियमों के माध्यम से मिसिंग डेटा को सही ढंग से हैंडल किया)।

महत्व और दावे
यह शोध विनम्रतापूर्वक दावा करता है कि मल्टी-एजेंट एक्सटेंशन का प्राथमिक मूल्य प्रक्रिया पारदर्शिता और ऑडिटेबिलिटी है, न कि बेहतर अंतिम-निर्णय सटीकता।

• गवर्नेंस वैल्यू: यह फ्रेमवर्क यह निरीक्षण करने के लिए एक तंत्र प्रदान करता है कि एजेंट सूचना का आदान-प्रदान कैसे करते हैं, कहाँ बाधाएं खो जाती हैं, और कहाँ गवर्नेंस नियंत्रणों को हस्तक्षेप करना चाहिए। यह एजेंट व्यवहार के ऑडिट योग्य साक्ष्य बनाकर NIST AI RMF के "मेजर" और "गवर्न" कार्यों का समर्थन करता है।
• परिचालन वास्तविकता: अध्ययन यह प्रदर्शित करता है कि उत्पादन (production) डिप्लॉयमेंट को संशोधित किए बिना, कॉन्सेप्चुअल आर्किटेक्चर को LangChain, LangGraph, और LangSmith का उपयोग करके संचालित किया जा सकता है।
• सीमाएं: लेखक स्पष्ट रूप से कहते हैं कि सिमेंटिक प्रिजर्वेशन प्रभावशीलता को प्रोडक्शन में सिद्ध नहीं किया गया है। मेट्रिक वेट्स का मानव अंशांकन, इंटर-रेटर एग्रीमेंट अध्ययन, और एनोटेटेड कॉर्पोरा पर बाहरी सत्यापन अभी भी लंबित हैं। निष्कर्ष एक स्थानीय प्रायोगिक विस्तार पर आधारित हैं, न कि प्रोडक्शन-स्केल डिप्लॉयमेंट पर।
• निष्कर्ष: उन निश्चित, नियम-आधारित गवर्नेंस कार्यों के लिए जिनमें केवल अंतिम सिफारिश की आवश्यकता होती है, नियतात्मक बेसलाइन पर्याप्त है। हालांकि, उन सेटिंग्स के लिए जिनमें मध्यवर्ती रीजनिंग, एजेंट संचार और सिमेंटिक जवाबदेही की दृश्यता की आवश्यकता होती है, मल्टी-एजेंट आर्किटेक्चर उन क्षमताओं की पेशकश करता है जो नियतात्मक वर्कफ़्लो में नहीं हैं, भले ही इसके लिए बढ़ी हुई लेटेंसी और कार्यान्वयन जटिलता की कीमत चुकानी पड़े।