तकनीकी सारांश: LEDGER – ऑडिटिंग के लिए क्लेम-टू-एविडेंस ट्रेस ग्राफ्स (Claim-to-Evidence Trace Graphs)

समस्या विवरण (Problem Statement)

जैसे-जैसे लार्ज लैंग्वेज मॉडल (LLM) एजेंट एकल-टर्न प्रश्न-उत्तर प्रणालियों से विकसित होकर इंटरैक्टिव वर्कर्स बन रहे हैं, जो लंबे समय तक चलने वाले तकनीकी वर्कफ्लो (जिसमें टूल का उपयोग, कोड निष्पादन, फ़ाइल संपादन और आर्टिफ़ैक्ट जनरेशन शामिल है) को निष्पादित करने में सक्षम हैं, उत्पादकता की प्राथमिक बाधा आउटपुट जनरेशन से बदलकर ऑडिटेबिलिटी (auditability - ऑडिट करने योग्य होना) पर केंद्रित हो गई है। मौजूदा ऑब्जर्वेबिलिटी सिस्टम (जैसे LangSmith) निष्पादन घटनाओं (प्रॉम्प्ट, टूल कॉल, त्रुटियां, मध्यवर्ती आउटपुट) में सूक्ष्म दृश्यता प्रदान करते हैं, लेकिन यह दृश्यता ऑडिटेबिलिटी के समान नहीं है।

समीक्षक वर्तमान में एक "फ्लैट रिकॉर्ड" की समस्या का सामना कर रहे हैं: उन्हें यह निर्धारित करने के लिए सत्र के तार्किक ढांचे को मैन्युअल रूप से पुनर्गठित करना पड़ता है कि कौन से कार्य, आर्टिफ़ैक्ट और सत्यापन चरण एक विशिष्ट निष्कर्ष का समर्थन करते हैं। यह मैन्युअल पुनर्गठन श्रम-साध्य है, सत्र की जटिलता के साथ स्केलेबिलिटी में कमी लाता है, और एक अंतिम दावे (claim) तथा उसके अंतर्निहित साक्ष्य (evidence) के बीच के प्रत्यक्ष वंशानुक्रम (lineage) को अस्पष्ट कर देता है। पेपर का तर्क है कि प्रभावी ऑडिटिंग के लिए एक साक्ष्य-केंद्रित (evidence-centered) दृष्टिकोण की आवश्यकता है जहाँ समीक्षक एक रिपोर्ट किए गए परिणाम से वापस उन ठोस कार्यों और आर्टिफ़ैक्ट्स तक जा सकें जिन्होंने उसे उत्पन्न किया है, न कि केवल एक रैखिक लॉग (linear log) को पढ़ें।

कार्यप्रणाली: LEDGER सिस्टम

लेखक LEDGER (Layered Evidence and Decision Graphs for Execution Review) पेश करते हैं, जो एक साइडकार ट्रेसिंग और रिव्यू सिस्टम है जो बिना किसी बदलाव के इंटरैक्टिव एजेंट सत्रों के साथ काम करता है। LEDGER मौजूदा ऑब्जर्वेबिलिटी को बदलता नहीं है, बल्कि कैप्चर किए गए रिकॉर्ड को एक स्तरित सिमेंटिक ट्रेस ग्राफ (layered semantic trace graph) में पुनर्गठित करता है जो मानव समीक्षा के लिए डिज़ाइन किया गया है।

1. कैप्चर और ट्रेस रिकॉर्ड (Capture and Trace Records)

LEDGER का आधार ट्रेस रिकॉर्ड (Trace Record) है, जो कैप्चर किए गए सत्र डेटा का एक स्थिर, गैर-व्याख्यात्मक आधार (non-interpretive substrate) है।

• तंत्र (Mechanism): सिस्टम लाइफसाइकिल हुक्स (जैसे SessionStart, PreToolUse, PostToolUse) और ट्रांसक्रिप्ट पुनर्निर्माण का उपयोग करके संदेशों, टूल इनवोकेशन, परिणामों और फ़ाइल इंटरैक्शन वाले JSON पेलोड को कैप्चर करता है।
• अखंडता (Integrity): ये रिकॉर्ड मूल सत्र के क्रम और सामग्री को सुरक्षित रखते हैं, जिसमें मूल ट्रांसक्रिप्ट के लिंक भी शामिल होते हैं। वे "सत्य के स्रोत" (source of truth) के रूप में कार्य करते हैं, जो अनुमानित संरचना से अलग हैं।

2. लेयर्ड ग्राफ निर्माण (Layered Graph Construction)

LEDGER ट्रेस रिकॉर्ड्स को तीन-स्तरीय ग्राफ संरचना में व्यवस्थित करता है:

• एविडेंस नोड्स (Evidence Nodes): ये आपस में निकट रूप से संबंधित ट्रेस रिकॉर्ड्स (जैसे एक टूल कॉल और उसका परिणाम) को निरीक्षण योग्य कार्य इकाइयों में समूहित करते हैं। इन्हें प्रकार (Type) (Action बनाम Artifact) और श्रेणी (Category) (जैसे user_message, tool_call, control, artifact) द्वारा वर्गीकृत किया जाता है। आर्टिफ़ैक्ट नोड्स विशेष रूप से निरीक्षण योग्य वस्तुओं जैसे कोड पैच, प्लॉट्स, टेबल्स या कमांड आउटपुट का प्रतिनिधित्व करते हैं।
• वर्कफ्लो नोड्स (Workflow Nodes): ये संबंधित एविडेंस नोड्स को उच्च-स्तरीय कार्य चरणों (जैसे context, plan, inspect, execute, validate, claim) में समूहित करते हैं। यह एब्स्ट्रैक्शन समीक्षकों को इवेंट-दर-इवेंट स्तर के बजाय चरण (phase) स्तर पर सत्र देखने की अनुमति देता है।
• सिमेंटिक एडजेस (Semantic Edges): टाइप किए गए, निर्देशित किनारे (directed edges) नोड्स को जोड़ने के लिए संबंधों को परिभाषित करते हैं। प्रमुख एज प्रकारों में शामिल हैं:
  • uses: एक कार्य इकाई एक आर्टिफ़ैक्ट का उपभोग करती है।
  • produces: एक कार्य इकाई एक आर्टिफ़ैक्ट का निर्माण या संशोधन करती है।
  • checked_by: एक परिवर्तन को एक विशिष्ट चरण द्वारा सत्यापित किया जाता है।
  • supports: साक्ष्य एक दावे (claim) को न्यायसंगत ठहराता है।
  • informs: एक परिणाम एक आगामी योजना को आकार देता है।
  • frames: एक आवश्यकता कार्य के लिए संदर्भ सेट करती है।

3. इंटरफ़ेस और समीक्षा वर्कफ़्लो (Interface and Review Workflow)

सिस्टम एक स्थानीय डैशबोर्ड प्रदान करता है जो एकीकृत करता है:

• ग्राफ व्यूज़ (Graph Views): एक दो-स्तरीय विज़ुअलाइज़ेशन (वर्कफ्लो और एविडेंस लेयर्स), जो समीक्षकों को उच्च-स्तरीय चरणों से विशिष्ट साक्ष्य तक जाने की अनुमति देता है।
• आर्टिफ़ेक्ट इंस्पेक्शन (Artifact Inspection): ग्राफ से जुड़े विशिष्ट आर्टिफ़ैक्ट्स (जैसे कोई विशिष्ट प्लॉट, पैच या टेबल खोलना) में सीधा इंडेक्सिंग।
• ट्रेस-कंस्ट्रक्शन ऑडिट (Trace-Construction Audit): वे दृश्य जो कच्चे ट्रेस रिकॉर्ड और ग्राफ अपडेट दिखाते हैं, जिससे समीक्षक यह अंतर कर सकते हैं कि एजेंट की त्रुटि हुई है या ट्रेसिंग की त्रुटि (अर्थात, यह सत्यापित करना कि कच्चे डेटा से ग्राफ कैसे बनाया गया था)।

मुख्य योगदान (Key Contributions)

1. क्लेम-टू-एविडेंस ट्रेस ग्राफ निर्माण: बिना किसी बदलाव के एजेंट सत्रों को एक स्तरित सिमेंटिक ग्राफ में पार्स करने की एक विधि, जहाँ आर्टिफ़ैक्ट नोड्स निरीक्षण योग्य साक्ष्य का प्रतिनिधित्व करते हैं और टाइप किए गए किनारे दावों को सहायक कार्यों और सत्यापन चरणों से स्पष्ट रूप से जोड़ते हैं।
2. एविडेंस-केंद्रित समीक्षा इंटरफ़ेस: एक डैशबोर्ड जो ग्राफ-स्तरीय ऑडिट पथों को स्रोत रिकॉर्ड और आर्टिफ़ैक्ट्स के साथ एकीकृत करता है, जिससे समीक्षक वर्कफ्लो की तार्किक संरचना और कच्चे साक्ष्य के बीच सहजता से आवाजाही कर सकते हैं।
3. कैप्चर और व्याख्या का पृथक्करण: एक डिज़ाइन जो नियत (deterministic) स्रोत रिकॉर्ड (ट्रेस रिकॉर्ड) को अनुमानित संरचना (एविडेंस/वर्कफ्लो नोड्स) से सख्ती से अलग करता है, यह सुनिश्चित करता है कि ग्राफ एक ऑडिट सहायता बना रहे न कि एक अस्पष्ट सत्य का स्रोत।

परिणाम और केस स्टडीज (Results and Case Studies)

पेपर लाइव ट्रेसिंग सक्षम वाले एक Codex एजेंट का उपयोग करके दो केस स्टडी के माध्यम से LEDGER को मान्य करता है:

• केस स्टडी 1: टैबुलर डेटा विश्लेषण: एक एजेंट ने दैनिक पैटर्न रिपोर्ट उत्पन्न करने के लिए वायु गुणवत्ता डेटा का विश्लेषण किया। ट्रेस ग्राफ ने आर्टिफ़ेक्ट लीनेज (artifact lineage) को सफलतापूर्वक उजागर किया, जो अंतिम दावे को उत्पन्न प्लॉट्स और सारांश तालिकाओं के माध्यम से स्रोत डेटा क्लीनिंग चरणों तक वापस जोड़ता है। इसने एक एरर-एंड-रिपेयर सीक्वेंस (error-and-repair sequence) को भी हाइलाइट किया, जो दिखाया कि कैसे एक विफल स्क्रिप्ट निष्पादन (एक मिसिंग डिपेंडेंसी के कारण) को ट्रैक किया गया, पैच किया गया और पुनः सत्यापित किया गया, जिससे मरम्मत प्रक्रिया पारदर्शी हो गई।
• केस स्टडी 2: कोडबेस में फीचर जोड़ना: एक एजेंट ने NetworkX लाइब्रेरी में एक शॉर्टेस्ट-पाथ यूटिलिटी जोड़ी। ग्राफ ने प्रारंभिक कार्यान्वयन और उसके बाद के रिग्रेशन टेस्टिंग और गार्ड पैच (regression testing and guard patches) के बीच अंतर किया। यह समीक्षकों को डिज़ाइन विकल्प (एक विशिष्ट मॉड्यूल में फ़ंक्शन रखने का निर्णय) को रिपॉजिटरी निरीक्षण और डॉक्यूमेंटेशन रीड तक वापस ट्रैक करने और व्यवहार को मान्य करने वाले विशिष्ट परीक्षणों तक आगे ले जाने की अनुमति देता है।

दोनों मामलों में, सिस्टम ने "ऑडिट पाथ" को स्पष्ट बनाने की क्षमता प्रदर्शित की, जिससे समीक्षकों को न केवल यह सत्यापित करने की अनुमति मिली कि क्या एक दावा किया गया है, बल्कि यह भी कि वह विशिष्ट आर्टिफ़ेक्ट्स और चेक्स द्वारा कैसे समर्थित है।

महत्व और दावे (Significance and Claims)

पेपर LEDGER को एजेंट ऑब्जर्वेबिलिटी में एक आवश्यक विकास के रूप में स्थापित करता है। इसका महत्व दृश्यता (visibility) (क्या हुआ, यह देखना) से ऑडिटेबिलिटी (auditability) (निष्कर्ष भरोसेमंद क्यों है, इसे समझना) की ओर बढ़ने में निहित है।

• मामूली दावे (Modest Claims): लेखक स्पष्ट रूप से कहते हैं कि ग्राफ निर्माण पूरी तरह से नियत (deterministic) नहीं है; ट्रेसर यह व्याख्या करता है कि कौन से रिकॉर्ड एक साथ आते हैं और सिमेंटिक किनारे असाइन करता है। इसलिए, ग्राफ को एक ऑडिट सहायता (audit aid) के रूप में प्रस्तुत किया गया है, न कि सत्य के स्रोत के रूप में। इंटरफ़ेस को यह सुनिश्चित करने के लिए डिज़ाइन किया गया है कि मूल रिकॉर्ड दृश्यमान रहें ताकि समीक्षक ग्राफ के निर्माण को सत्यापित कर सकें।
• भविष्य की दिशा: पेपर सुझाव देता है कि भविष्य के कार्यों को मॉडल-अनुमानित संरचना के स्थान पर नियत या स्वतंत्र रूप से सत्यापन योग्य संरचना (जैसे, मजबूत इंस्ट्रुमेंटेशन या प्रोवेनेंस-अवेयर बैकएंड के माध्यम से) को लाने का लक्ष्य रखना चाहिए और नियत और अनुमानित संबंधों के बीच बेहतर अंतर करने के लिए विज़ुअल वोकैबुलरी में सुधार करना चाहिए।

अंततः, LEDGER का लक्ष्य जटिल एजेंट वर्कफ्लो में मानवीय निरीक्षण की बढ़ती आवश्यकता को पूरा करना है, जबकि स्रोत रिकॉर्ड तक पहुंच बनाए रखते हुए कार्यों, आर्टिफ़ेक्ट्स और निष्कर्षों के बीच के कनेक्शन को निरीक्षण योग्य और पारगम्य (traversable) बनाना है।