तकनीकी सारांश: एजेंट ट्रेसेस से ऑटोमेटा (Automata from Agent Traces)

समस्या विवरण (Problem Statement)

LLM-आधारित एजेंट, तर्क (reasoning) और टूल कॉल्स के बीच समन्वय करते हुए जटिल, बहु-चरणीय कार्यों को निष्पादित करते हैं, जिससे वे निष्पादन ट्रेसेस (execution traces) उत्पन्न करते हैं जो अक्सर लंबे और असंरचित होते हैं। यह अपारदर्शिता सुरक्षा ऑडिटिंग, डिबगिंग और रनटाइम मॉनिटरिंग में बाधा डालती है। व्यवहार संबंधी विश्लेषण के मौजूदा दृष्टिकोण आमतौर पर एक प्रति-ट्रेस (per-trace) आधार पर कार्य करते हैं, केवल सफलता-आधारित फिल्टर पर निर्भर करते हैं, या वर्कफ़्लो के मैन्युअल विनिर्देश की आवश्यकता रखते हैं। फलस्वरूप, वे उस साझा क्रॉस-रन टोपोलॉजी (cross-run topology) को पकड़ने में विफल रहते हैं जो अगले-चरण के पूर्वानुमान (next-step prediction) को विफलता पूर्वानुमान (failure prediction) से जोड़ती है। इसके अतिरिक्त, केवल सकारात्मक उदाहरणों (positive examples) से परिमित ऑटोमेटा (finite automata) सीखना सैद्धांतिक रूप से असंभव है (Gold, 1967; Angluin, 1980), और मौजूदा ऑटोमेटा लर्निंग एल्गोरिदम (जैसे, RPNI, EDSM) अक्सर अत्यधिक ओवरफिटेड स्टेट स्पेस उत्पन्न करते हैं जब नकारात्मक उदाहरण उपलब्ध नहीं होते हैं।

मुख्य चुनौती यह है कि केवल सकारात्मक उदाहरणों का उपयोग करके एजेंट व्यवहार के एक संक्षिप्त, संरचनात्मक प्रतिनिधित्व को एजेंट निष्पादन ट्रेसेस के संग्रह से कैसे प्राप्त किया जाए, जिससे बिना किसी मैन्युअल हस्तक्षेप के भविष्य कहनेवाला मॉडलिंग (predictive modeling) और रनटाइम सुरक्षा निगरानी सक्षम हो सके।

कार्यप्रणाली (Methodology)

लेखक एजेंट ट्रेसेस से एक फाइनाइट स्टेट मशीन (FSM) के नियतात्मक (deterministic), हाइपरपैरामीटर-मुक्त निर्माण का प्रस्ताव करते हैं। यह विधि इस अवलोकन का लाभ उठाती है कि LLM एजेंट टूल और क्रियाओं के एक सीमित सेट के भीतर कार्य करते हैं, जिसके परिणामस्वरूप छोटे गतिविधि वर्णमाला (activity alphabets) (6–42 प्रतीक) और मजबूत अनुक्रमिक नियमितता (sequential regularity) होती है।

1. गतिविधि निष्कर्षण (Activity Extraction)

ट्रेसेस को एक नियतात्मक निष्कर्षण फलन $\phi$ का उपयोग करके एक परिमित वर्णमाला $\mathcal{A}$ के प्रतीकों के अनुक्रमों में परिवर्तित किया जाता है। फलन प्राथमिकता देता है:

1. टूल कॉल्स: फंक्शन नाम निकालना।
2. एक्शन टैग्स: एक्शन लेबल निकालना (जैसे, [ACTION])।
3. कमांड निष्कर्षण: कोड ब्लॉक्स से पहले कमांड टोकन को निकालना।
   यदि कोई नियम मेल नहीं खाता है, तो गतिविधि डिफ़ॉल्ट रूप से एक रोल-कंटेंट प्रकार (जैसे, assistant:text) हो जाती है।

2. FSM निर्माण (FSM Construction)

निर्माण तीन चरणों में आगे बढ़ता है (एल्गोरिदम A.1):

• प्रिफिक्स ट्री (Prefix Tree): सभी गतिविधि अनुक्रमों को एक ट्री (trie) में डाला जाता है। प्रत्येक अद्वितीय प्रिफिक्स एक विशिष्ट अवस्था (state) का प्रतिनिधित्व करता है। यह पूर्ण प्रशिक्षण फिटनेस प्रदान करता है लेकिन इसका स्टेट काउंट $O(\sum T_i)$ होता है।
• लास्ट-एक्टिविटी मर्ज (Last-Activity Merge): अवस्थाओं को "लास्ट-एक्टिविटी राइट कॉग्रेसेंस" (last-activity right congruence) के आधार पर मर्ज किया जाता है। दो अवस्थाएँ $q$ और $q'$ तब मर्ज होती हैं जब उनमें प्रवेश करने वाले किनारे (edge) पर गतिविधि समान होती है ($\kappa(q) = \kappa(q')$)। यह स्टेट स्पेस को $|\mathcal{A}| + 1$ अवस्थाओं तक कम कर देता है (प्रत्येक गतिविधि के लिए एक अवस्था प्लस प्रारंभिक अवस्था), जिससे एक नियतात्मक 'डायरेक्टली-फॉलोज़' ऑटोमेटा बनता है।
• रेयर-ट्रांजिशन फ़िल्टरिंग (Rare-Transition Filtering): जिन ट्रांजिशन को ठीक एक बार देखा गया है, उन्हें हटा दिया जाता है जब तक कि वे अपने स्रोत स्टेट से एकमात्र निरंतरता (continuation) न हों। यह एक-बार होने वाले विचलन (one-off digressions) को फ़िल्टर करता है जबकि मुख्य व्यवहारिक टोपोलॉजी को सुरक्षित रखता है।

3. सैद्धांतिक गारंटी (Theoretical Guarantees)

• फिटनेस संरक्षण (Fitness Preservation): थ्योरम 2 सिद्ध करता है कि मर्ज ऑपरेशन प्रशिक्षण फिटनेस को सुरक्षित रखता है; प्रिफिक्स ट्री द्वारा स्वीकृत कोई भी ट्रेस मर्ज किए गए FSM द्वारा स्वीकृत किया जाता है।
• नियतत्ववाद और संक्षिप्तता (Determinism and Compactness): थ्योरम 3 स्थापित करता है कि परिणामी FSM नियतात्मक है जिसमें $|\mathcal{A}| + 1$ अवस्थाएँ हैं। निर्माण, कॉर्पस का एक नियतात्मक फलन है, जो पुनरुत्पादकता (reproducibility) सुनिश्चित करता है।
• अभिसरण (Convergence): प्रपोजिशन 5 अभिसरण गारंटी प्रदान करता है: $N$ ट्रेसेस के साथ, निकाला गया FSM उच्च संभावना के साथ जनसंख्या 'डायरेक्टली-फॉलोज़' ऑटोमेटा के बराबर होता है, बशर्ते ट्रांजिशन एक न्यूनतम आवृत्ति के साथ दिखाई दें।

4. भविष्यवाणी और निगरानी (Prediction and Monitoring)

• अगले-चरण का पूर्वानुमान (Next-Step Prediction): संभावनाएँ $P(a_t | q_t)$ को FSM अवस्थाओं के भीतर ट्रांजिशन गणनाओं से अनुमानित किया जाता है, जिसे लैप्लेस या एब्सोल्यूट डिस्काउंटिंग के माध्यम से स्मूथ किया जाता है।
• विफलता का पूर्वानुमान (Failure Prediction): सिस्टम प्रति-अवस्था विशेषताएँ (विजिट फ्रीक्वेंसी, मैसेज लेंथ, एरर रेट्स) और ट्रेस-स्तरीय विसंगति विशेषताएँ (क्रॉस-एन्ट्रॉपी, सरप्राइज) निकालता है। एक ग्रेडिएंट-बूस्टेड क्लासिफायर इन विशेषताओं का उपयोग सफलता/विफलता की भविष्यवाणी करने के लिए करता है।
• रनटाइम मॉनिटर (Runtime Monitor): एक ऑनलाइन मॉनिटर ट्रेसेस को FSM के माध्यम से चलाता है, जो "साइकिल रेट" (अवस्थाओं को बार-बार दोहराने की आवृत्ति) जैसे मेट्रिक्स की गणना करता है। यह तब अर्ली स्टॉपिंग (early stopping) को ट्रिगर करता है जब कोई ट्रेस सफल पैटर्न से संरचनात्मक रूप से विचलित होता है (जैसे, एक टाइट लूप में प्रवेश करना), जिसमें निगरानी तर्क के लिए किसी प्रशिक्षित ML मॉडल की आवश्यकता नहीं होती है।

मुख्य परिणाम (Key Results)

इस पद्धति का मूल्यांकन आठ एजेंट डोमेन (कोडिंग, वेब नेविगेशन, GUI, कस्टमर सर्विस, सेफ्टी) में बारह सार्वजनिक डेटासेट्स पर किया गया, जहाँ वर्णमाला का आकार 6 से 42 प्रतीकों के बीच था।

• संक्षिप्तता और फिटनेस (Compactness and Compactness): निकाले गए FSM अत्यधिक संक्षिप्त हैं, जिनमें केवल 7–43 अवस्थाएँ हैं। वे सभी डेटासेट्स पर टेस्ट रिप्ले फिटनेस $\ge 0.997$ प्राप्त करते हैं। RPNI बेसलाइन की तुलना में, यह विधि 15$\times$ से 3,036$\times$ तक के कंप्रेशन रेश्यो प्राप्त करती है (उदाहरण के लिए, SWE-agent पर 59,510 RPNI अवस्थाओं को 25 FSM अवस्थाओं में बदलना)।
• अगले-चरण का पूर्वानुमान (Next-Step Prediction): FSM-स्टेट कॉन्टेक्स्ट, उन सभी आठ डेटासेट्स पर AWM (Agent Workflow Memory) से बेहतर प्रदर्शन करता है जहाँ AWM का मूल्यांकन किया गया था, जिसमें टॉप-1 सटीकता में +0.8pp से +25.3pp तक का सुधार हुआ। FSM स्टेट पर कंडीशनिंग करने से कच्चे कॉन्टेक्स्ट की तुलना में क्रॉस-एन्ट्रॉपी 0.155 बिट्स (21%) कम हो जाती है।
• विफलता का पूर्वानुमान (Failure Prediction): प्रति-अवस्था व्यवहारिक विशेषताएँ (per-state behavioral features) 0.94 तक का होल्ड-आउट AUROC प्राप्त करती हैं (tau2-bench telecom)। यह विधि 20 के 21 डेटासेट-आर्किटेक्चर पेयर्स पर MLP, GRU, और ट्रांसफॉर्मर बेसलाइन्स को बेहतर बनाती है।
• रनटाइम दक्षता (Runtime Efficiency): FSM निर्माण 1–110 मिलीसेकंड में पूरा होता है (7,000–36,000 ms RPNI के मुकाबले)। प्रति-ट्रेस रिप्ले 0.003–0.015 ms लेता है, जो वास्तविक समय की निगरानी को सक्षम बनाता है।
• अर्ली स्टॉपिंग (Early Stopping): ऑनलाइन मॉनिटर 25% ट्रेस चेकपॉइंट पर विफल रन को सफल रन से ऊपर रैंक कर सकता है (rank-AUROC 0.66) और SWE-agent पर 32% पूर्णता पर अर्ली स्टॉपिंग ट्रिगर कर सकता है, जिससे शेष कंप्यूट का 68% बच जाता है।
• सामान्यीकरण (Generalization): चार अलग-अलग LLMs के ट्रेसेस से निर्मित एक एकल FSM प्रत्येक मॉडल पर व्यक्तिगत रूप से 1.000 फिटनेस प्राप्त करता है, जो यह दर्शाता है कि व्यवहारिक टोपोलॉजी विशिष्ट LLM के बजाय डिप्लॉयमेंट हार्नेस और टूल बाधाओं द्वारा आकार लेती है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि LLM एजेंट, अपनी स्पष्ट जटिलता के बावजूद, संक्षिप्त संरचनात्मक अमूर्तता (structural abstractions) स्वीकार करते हैं। प्राथमिक महत्व एक मॉडल-अग्नोस्टिक संरचनात्मक प्रिमिटिव प्रदान करने में है जो चार अलग-अलग कार्यों को एकीकृत करता है—वर्कफ़्लो मेमोरी, नेक्स्ट-स्टेप प्रेडिक्शन, फेलियर प्रेडिक्शन, और रनटाइम मॉनिटरिंग—एक ही हाइपरपैरामीटर-मुक्त निर्माण में।

प्रमुख दावे शामिल हैं:

1. संरचनात्मक प्रधानता (Structural Primacy): व्यवहारिक टोपोलॉजी सिस्टम (टूल्स, प्रॉम्प्ट्स, टास्क डिस्ट्रीब्यूशन) द्वारा अधिक आकार लेती है, जो मॉडल-इनवेरिएंट मॉनिटरिंग की अनुमति देती है।
2. व्यावहारिकता (Tractability): एजेंटों की सीमित गतिविधि वर्णमाला, केवल सकारात्मक उदाहरणों से सीखने की समस्या को व्यावहारिक बनाती है, जिससे संक्षिप्त, व्याख्या योग्य FSM प्राप्त होते हैं जो सांख्यिकीय रूप से सूचनात्मक हैं।
3. दक्षता (Efficiency): यह विधि चार विशेष सीखे गए पाइपलाइनों के स्थान पर एक संरचनात्मक प्रिमिटिव का उपयोग करती है जो मिलीसेकंड में कार्य करती है, जिससे यह सुरक्षा ऑडिटिंग और रनटाइम मॉनिटरिंग के लिए उपयुक्त हो जाती है।
4. व्याख्यात्मकता (Interpretability): HMMs या बड़े ऑटोमेटा लर्नर्स के विपरीत, इस FSM में अवस्थाएँ सीधे अंतिम गतिविधि (last activity) से संबंधित होती हैं, जिससे प्रति-अवस्था अपघटन और व्याख्या योग्य विफलता मोड विश्लेषण (जैसे, यह पहचानना कि विफलताएं अक्सर नए स्टेट्स खोजने के बजाय विशिष्ट लूप्स में फंसने के रूप में प्रकट होती हैं) संभव होता है।

लेखक सीमाओं का भी उल्लेख करते हैं, जिसमें शामिल है कि FSM देखे गए ट्रेसेस के 'डायरेक्टली-फॉलोज़ क्लोजर' को स्वीकार करता है (जेनरेटिंग लैंग्वेज को नहीं) और गतिविधि निष्कर्षण फलन के लिए न्यूनतम डोमेन ज्ञान की आवश्यकता होती है। हालांकि, वे इस बात पर जोर देते हैं कि संरचनात्मक बाधाएं निष्कर्षण की विभिन्न बारीकियों (granularities) के बावजूद मजबूत हैं और यह दृष्टिकोण सुरक्षा और व्यवहारिक विश्लेषण के लिए एक तैनात करने योग्य आधार (deployable substrate) प्रदान करता है।