Measuring the Unmeasurable: Markov Chain Reliability for LLM Agents

यहाँ शोध पत्र "Measuring the Unmeasurable: Markov Chain Reliability for LLM Agents" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों को तेजी से अनुक्रमिक सॉफ्टवेयर सिस्टम (sequential software systems) के रूप में तैनात किया जा रहा है जो योजना बनाते हैं, टूल्स को कॉल करते हैं, परिणामों का अवलोकन करते हैं और पुन: प्रयास (retry) करते हैं। हालाँकि, उनकी विश्वसनीयता वर्तमान में स्केलर बेंचमार्क मेट्रिक्स (जैसे pass@k, passk, और Reliability Decay Curves या RDC) का उपयोग करके आंकी जाती है। ये मेट्रिक्स तीन महत्वपूर्ण सीमाओं से ग्रस्त हैं:

1. वितरणात्मक अंतर्दृष्टि का अभाव (Lack of Distributional Insight): वे परिणामों को एकल संख्याओं में संक्षेपित कर देते हैं बिना अंतर्निहित सफलता-समय वितरण (success-time distribution) की पहचान किए।
2. सत्यता-अनुरूपता का अभाव (No Goodness-of-Fit): वे यह सत्यापित नहीं करते कि क्या देखे गए निष्पादन ट्रेसेस (execution traces) वास्तव में अनुमानित वितरण का समर्थन करते हैं।
3. अनिश्चितता की अनदेखी (Ignored Uncertainty): वे परिमित ट्रेस लंबाई (finite trace lengths) से उत्पन्न होने वाली अनिश्चितता को मापने में विफल रहते हैं, जिससे प्रति-तथ्यात्मक (counterfactual) प्रश्नों का उत्तर देना कठिन हो जाता है (जैसे, "क्या होगा यदि हम एक फॉलबैक टूल जोड़ते हैं?" या "एक बड़े स्टेप बजट के साथ विश्वसनीयता कैसे बदलती है?")।

लेखकों का तर्क है कि LLM एजेंटों के लिए विश्वसनीयता को एक प्रथम-प्रवेश समस्या (first-passage problem) (कैसे एक रन विफलता से पहले सफलता तक पहुँचता है) के रूप में माना जाना चाहिए, जिसमें स्पष्ट अनिश्चितता और मॉडल सत्यापन शामिल हो, न कि केवल एक टर्मिनल पास रेट के रूप में।

2. कार्यप्रणाली: TRACETOCHAIN

यह शोध पत्र TRACETOCHAIN पेश करता है, जो एक पुनरुत्पादक (reproducible) पाइपलाइन है जो कच्चे एजेंट निष्पादन ट्रेसेस को एक ऑडिट किए गए Absorbing Discrete-Time Markov Chain (DTMC) में परिवर्तित करती है। यह कार्यप्रणाली चार मुख्य चरणों से बनी है:

A. अवस्था निर्माण (State Construction: Featurization & Clustering)

• इनपुट: कच्चे ट्रेसेस जिनमें रीजनिंग स्टेप्स, टूल कॉल्स और ऑब्जर्वेशन शामिल हैं।
• प्रक्रिया:
  1. फीचरों का निर्माण (Featurization): स्टेप्स को नियम-आधारित फीचर्स (जैसे टूल प्रकार, एरर कोड) या सीखे गए एनकोडर का उपयोग करके वेक्टर रिप्रजेंटेशन में मैप किया जाता है।
  2. क्लस्टरिंग (Clustering): एग्लॉमेरेटिव वार्ड लिंकेज (Agglomerative Ward linkage) इन वेक्टर्स को असतत ट्रांजिएंट स्टेट्स ($S_T$) में क्लस्टर करता है। क्लस्टर्स की संख्या सिलुएट स्कोर (silhouette score) के माध्यम से चुनी जाती है।
  3. परिणाम मैपिंग (Outcome Mapping): ट्रेसेस या तो सफलता ($\oplus$) या घातक विफलता ($\ominus$) में समाप्त होते हैं, जो एब्जॉर्बिंग स्टेट्स के रूप में कार्य करते हैं।

B. ट्रांज़िशन अनुमान (Transition Estimation)

• मॉडल: सिस्टम एक DTMC $\hat{M} = (\hat{Q}, \hat{R}^\oplus, \hat{R}^\ominus)$ को फिट करता है, जहाँ $\hat{Q}$ ट्रांजिएंट स्टेट्स के बीच ट्रांज़िशन को दर्शाता है, और $\hat{R}^\oplus, \hat{R}^\ominus$ सफलता या विफलता की ओर बाहर निकलने की संभावनाओं को दर्शाते हैं।
• अनुमान: पैरामीटर्स का अनुमान Laplace-smoothed Maximum Likelihood Estimation (MLE) का उपयोग करके लगाया जाता है ताकि अनदेखे लेकिन संभावित ट्रांज़िशन के लिए शून्य संभावनाओं को रोका जा सके।

C. गुडनेस-ऑफ-फिट (GoF) प्रोटोकॉल

यह सुनिश्चित करने के लिए कि मार्कोव एब्स्ट्रैक्शन मान्य है, पाइपलाइन एक संयुक्त डायग्नोस्टिक टेस्ट का उपयोग करती है:

1. कोलमोगोरोव–स्मिरनोव (KS) टेस्ट: फर्स्ट-पासेज टाइम्स (सफलता तक का समय) के अनुभवजन्य संचयी वितरण फलन (empirical CDF) की तुलना फिट किए गए चेन से प्राप्त विश्लेतिक CDF से करता है।
2. अकाइके इंफॉर्मेशन क्राइटेरियन (AIC): प्रथम-क्रम (first-order) मार्कोव मॉडल की तुलना द्वितीय-क्रम (second-order) विकल्प से करता है ताकि मेमोरी आवश्यकताओं को सुनिश्चित किया जा सके।

• निर्णय: चेन को तभी स्वीकार किया जाता है जब $p_{KS} > 0.05$ और $\Delta AIC > 0$ हो। यदि अस्वीकृत किया जाता है, तो ट्रेस कॉर्पस को विभाजित या पुनः फीचर किया जाना चाहिए।

D. अनिश्चितता परिमाणीकरण (Uncertainty Quantification)

पाइपलाइन सभी विश्वसनीयता मेट्रिक्स के लिए कॉन्फिडेंस इंटरवल प्रदान करती है:

• डिरिचलेट पोस्टीरियर इंटरवल्स (Dirichlet Posterior Intervals): पैरामीटर अनिश्चितता को मापने के लिए Laplace-smoothed MLE से प्राप्त।
• नॉन-पैरामीट्रिक बूटस्ट्रैप (Non-parametric Bootstrap): फिट की गई चेन में परिवर्तनशीलता का अनुमान लगाने के लिए ट्रेसेस का पुन: नमूनाकरण (resampling)।

3. प्रमुख योगदान और सैद्धांतिक ढांचा

A. मेट्रिक्स का एकीकरण (Unification of Metrics)

शोध पत्र सिद्ध करता है कि pass@k, passk, और Reliability Decay Curve (RDC) प्रतिस्पर्धी मेट्रिक्स नहीं हैं, बल्कि एक एकल सफलता-प्रथम-प्रवेश वितरण (success-first-passage distribution) के प्रोजेक्शन हैं:

• RDC ($R(d)$): $d$ स्टेप्स के भीतर सफलता की संभावना।
• $pass_k$: संभावना कि $k$ स्वतंत्र परीक्षण सफल होंगे ($R_\infty^k$)।
• **$pass@k$:** संभावना कि$k$परीक्षणों में से कम से कम एक सफल होगा ($1 - (1-R_\infty)^k$)।
• प्रमेय (Theorem): ये संबंध i.i.d. धारणाओं के तहत लागू होते हैं; विचलन परीक्षणों के बीच छिपे हुए सहसंबंधों (correlations) को दर्शाते हैं।

B. परिनियोजन के लिए विश्लेषणात्मक उपकरण (Analytic Tools for Deployment)

फंडामेंटल मैट्रिक्स $N = (I - \hat{Q})^{-1}$ का उपयोग करते हुए, लेखक निम्नलिखित के लिए क्लोज्ड-फॉर्म समाधान प्राप्त करते हैं:

1. क्षितिज विश्वसनीयता (Horizon Reliability): बिना बेंचमार्क दोबारा चलाए किसी भी स्टेप बजट के लिए $R(d)$ की गणना करना।
2. परटर्बेशन संवेदनशीलता (Perturbation Sensitivity): प्रथम-क्रम संवेदनशीलता विश्लेषण (first-order sensitivity analysis) का उपयोग करके वैश्विक विश्वसनीयता पर स्थानीय परिवर्तनों (जैसे, एक फॉलबैक टूल जोड़ना) के प्रभाव का अनुमान लगाना।
3. NHPP सीमा: यह दिखाना कि दुर्लभ-विफलता (rare-failure) शासन में, फिट किया गया एजेंट चेन शास्त्रीय Goel–Okumoto Non-Homogeneous Poisson Process (NHPP) मॉडल के अनुरूप होता है, जो आधुनिक एजेंट विश्वसनीयता को शास्त्रीय सॉफ्टवेयर विश्वसनीयता सिद्धांत के साथ जोड़ता है।

4. परिणाम और सत्यापन

लेखकों ने सिमुलेशन अध्ययनों और अनुभवजन्य केस स्टडीज के माध्यम से TRACETOCHAIN का सत्यापन किया:

• सिमुलेशन अध्ययन SS1 (संख्यात्मक): विभिन्न चेन आकारों में क्लोज्ड-फॉर्म विश्वसनीयता गणनाओं को मोंटे कार्लो सिमुलेशन के साथ सत्यापित किया।
• सिमुलेशन अध्ययन SS7 (GoF डायग्नोस्टिक्स):
  • वास्तविक 1st-order मार्कोव चेन्स से उत्पन्न ट्रेसेस को 100% सही ढंग से स्वीकार किया।
  • 2nd-order चेन्स (जहाँ AIC लेयर ने निर्भरता का पता लगाया) से उत्पन्न ट्रेसेस को 100% सही ढंग से अस्वीकार किया।
• सिमुलेशन अध्ययन SS9 (Held-Out Validation):
  • 50/50 फिट/टेस्ट स्प्लिट के साथ 7 नियंत्रित MAST-शैली फ्रेमवर्क पर परीक्षण किया गया।
  • परिणाम: फिट की गई चेन्स ने होल्ड-आउट Reliability Decay Curves की सटीक भविष्यवाणी की।
    • अधिकतम $L_{RDC}^\infty$ त्रुटि: 0.053 (मीडियन: 0.048)।
    • KS टेस्ट p-वैल्यू: सभी फ्रेमवर्क पास हुए ($p > 0.05$), न्यूनतम $p = 0.78$ के साथ।
  • यह दर्शाता है कि पाइपलाइन प्रशिक्षण डेटा को ओवरफिट किए बिना अंतर्निहित सफलता-समय वितरण को रिकवर करती है।
• अनुभवजन्य केस स्टडीज (SS6): 7 वास्तविक दुनिया के एजेंट फ्रेमवर्क (जैसे, ReAct, Reflexion, ToolFormer) पर लागू किया गया। पाइपलाइन ने एसिम्प्टोटिक विश्वसनीयता ($R_\infty$) के आधार पर फ्रेमवर्क को सफलतापूर्वक रैंक किया और उनके विशिष्ट RDC आकार को विज़ुअलाइज़ किया।

5. महत्व और प्रभाव

• स्केलर से स्ट्रक्चरल की ओर (From Scalar to Structural): LLM एजेंट मूल्यांकन को स्थिर स्केलर स्कोर से एक गतिशील, ऑडिट योग्य विश्वसनीयता मॉडल की ओर ले जाता है जो केवल परिणाम नहीं, बल्कि निष्पादन की प्रक्रिया को कैप्चर करता है।
• ऑडिट योग्य विश्वसनीयता (Auditable Reliability): विश्वसनीयता दावों के लिए एक "प्रमाणपत्र" (GoF टेस्ट + अनिश्चितता अंतराल) प्रदान करता है, जो एजेंट मूल्यांकन की "ब्लैक बॉक्स" प्रकृति को संबोधित करता है।
• प्रति-तथ्यात्मक तर्क (Counterfactual Reasoning): यह इंजीनियरों को परटर्बेशन विश्लेषण (perturbation analysis) का उपयोग करके "क्या होगा यदि" वाले प्रश्नों का उत्तर देने में सक्षम बनाता है (जैसे, "एक रिट्राई मैकेनिज्म जोड़ने से विश्वसनीयता कैसे प्रभावित होती है?"), जिससे पूर्ण बेंचमार्क को दोबारा चलाने की लागत बचती है।
• मेट्रिक सामंजस्य (Metric Reconciliation): यह दिखाते हुए कि विभिन्न बेंचमार्क मेट्रिक्स एक ही अंतर्निहित वितरण के गणितीय रूप से जुड़े प्रोजेक्शन हैं, भ्रम को दूर करता है।
• व्यावहारिक उपयोगिता: पाइपलाइन नियंत्रित ट्रेस डेटा (जैसे MAST) के साथ उपयोग के लिए तैयार है, जिसमें जटिल बेंचमार्क जैसे SWE-bench और $\tau$-bench के लिए भविष्य का कार्य योजनाबद्ध है।

संक्षेप में, TRACETOCHAIN एक कठोर, गणितीय रूप से आधारित ढांचा प्रदान करता है जो कच्चे LLM एजेंट ट्रेसेस को एक विश्वसनीय, नैदानिक और भविष्य कहनेवाला (predictive) मॉडल में बदल देता है।