तकनीकी सारांश: AUDITFLOW

समस्या विवरण (Problem Statement)

संरचित वित्तीय ऑडिट सत्यापन (Structured financial audit verification) लार्ज लैंग्वेज मॉडल (LLM) एजेंटों के लिए एक महत्वपूर्ण चुनौती प्रस्तुत करता है। मानक टेक्स्ट-आधारित कार्यों के विपरीत, वित्तीय ऑडिट में शुद्धता केवल प्राकृतिक भाषा पर नहीं, बल्कि संरचित साक्ष्य (structured evidence) पर निर्भर करती है। एक एजेंट को रिपोर्ट किए गए तथ्यों को विशिष्ट टैक्सोनॉमी अवधारणाओं से जोड़ना होगा, जटिल गणना या आयामी संबंधों (dimensional relations) को पार करना होगा, अपेक्षित मानों की पुनर्गणना करनी होगी और ऑडिट नियमों को लागू करना होगा।

वर्तमान दृष्टिकोण अक्सर विफल हो जाते हैं क्योंकि वे अंतिम व्याख्या, अंकगणित या नियम अनुप्रयोग का भार LLM पर छोड़ देते हैं। बेंचमार्क जैसे कि FinAuditing दिखाते हैं कि सबसे मजबूत मूल्यांकित मॉडल भी संख्यात्मक-निरंतरता (numerical-consistency) कार्यों पर केवल 13.86% सटीकता प्राप्त करते हैं। मुख्य कठिनाई इस तथ्य में निहित है कि शुद्धता किसी एक वाक्य में संग्रहीत नहीं होती है, बल्कि यह रिपोर्ट किए गए तथ्यों और उन्हें नियंत्रित करने वाले संरचनात्मक बाधाओं के बीच की अंतःक्रिया से उभरती है। मौजूदा टूल-संवर्धित (tool-augmented) या मल्टी-एजेंट फ्रेमवर्क अक्सर सत्यापन का बोझ भाषा मॉडल के भीतर ही छोड़ देते हैं, जो नियतात्मक अंकगणित (deterministic arithmetic) और सख्त नियम पालन के साथ संघर्ष करता है।

कार्यप्रणाली (Methodology): AUDITFLOW

लेखक AUDITFLOW का प्रस्ताव करते हैं, जो एक ग्राफ-ग्राउंडेड मल्टी-एजेंट फ्रेमवर्क है जिसे अनुकूली खोज (LLM एजेंटों द्वारा संचालित) को नियतात्मक सत्यापन (एक प्रतीकात्मक वातावरण द्वारा संचालित) से अलग करने के लिए डिज़ाइन किया गया है।

1. द्वैत-ग्राफ प्रतीकात्मक वातावरण (Dual-Graph Symbolic Environment)

AUDITFLOW एक प्रतीकात्मक वातावरण ($E$) का निर्माण करता है जो दो परस्पर जुड़े ग्राफों से बना है:

• स्थिर नियामक ग्राफ ($G^y_T$): US-GAAP टैक्सोनॉमी को एनकोड करता है। नोड्स मेटाडेटा (लेबल, परिभाषाएं, डेटा प्रकार) के साथ अवधारणाओं का प्रतिनिधित्व करते हैं, और किनारे प्रस्तुति, गणना और आयामी संबंधों को एनकोड करते हैं।
• गतिशील फाइलिंग ग्राफ ($G_F$): विशिष्ट XBRL फाइलिंग को एनकोड करता है। नोड्स रिपोर्ट किए गए तथ्यों, संदर्भों, अवधियों और इकाइयों का प्रतिनिधित्व करते हैं।
• ब्रिज एजेस (Bridge Edges): फाइलिंग ग्राफ में रिपोर्ट किए गए तथ्यों को स्थिर ग्राफ में उनकी नियामक अवधारणाओं से जोड़ते हैं, जिससे सिस्टम को एक विशिष्ट संख्या से उसके नियामक बाधाओं तक जाने और वापस आने की अनुमति मिलती है।

2. टाइप किया गया एक्शन-ऑब्जर्वेशन इंटरफेस (Typed Action-Observation Interface)

एजेंट इस वातावरण के साथ मुक्त-रूप ग्राफ संचालन के बजाय टाइप्ड, नियतात्मक उपकरणों (typed, deterministic tools) के माध्यम से इंटरैक्ट करते हैं। इन उपकरणों को वर्गीकृत किया गया है:

• रिट्रीवल (Retrieval): अवधारणा मेटाडेटा, तथ्यों और संदर्भों को प्राप्त करना।
• ट्रावर्सल (Traversal): गणना वृक्षों (calculation trees) और आयात्मक संरचनाओं में नेविगेट करना।
• फोरेंसिक (Forensic): अवधियों, आयामों और परिमाणों के बीच तथ्यों की तुलना करना।
• नियतात्मक चेकर (Deterministic Checkers): टर्मिनल नियम-विशिष्ट जाँचों (जैसे, संकेत निरंतरता, गणना-वृक्ष निरंतरता, आयामी एकत्रीकरण) को निष्पादित करना। ये चेकर संरचित अवलोकन (निर्णय, अपेक्षित मान, सहायक तथ्य) लौटाते हैं जिन्हें LLM ओवरराइड नहीं कर सकता है।

3. तीन-एजेंट ऑडिट प्रोटोकॉल (Three-Agent Audit Protocol)

फ्रेमवर्क एक विशिष्ट मल्टी-एजेंट वर्कफ़्लो का उपयोग करता है:

• अनुपालन ऑडिटर ($A_1$): यह "स्पेक्सिफिकेशन-फर्स्ट" दृष्टिकोण अपनाता है। यह टैक्सोनॉमी मेटाडेटा और नियमों से शुरू होता है, फिर बाधाओं के विरुद्ध रिपोर्ट किए गए तथ्यों की जाँच करता है। यह स्थिर टैक्सोनॉमी टूल्स का उपयोग करता है।
• फोरेंसिक ऑडिटर ($A_2$): यह "एविडेंस-फर्स्ट" दृष्टिकोण अपनाता है। यह रिपोर्ट किए गए तथ्यों से शुरू होता है, अवधि तुलना और आयामी ब्रेकडाउन करता है, और फिर उन्हीं नियतात्मक जाँचों का उपयोग करके परिणामों की पुष्टि करता है। यह स्थिर और गतिशील दोनों टूल्स का उपयोग करता है।
• सीनियर ऑडिटर ($A_s$): $A_1$ और $A_2$ की रिपोर्टों की समीक्षा करता है। यदि वे सहमत हैं, तो सिस्टम आगे बढ़ता है। यदि वे असहमत हैं, तो सीनियर ऑडिटर संघर्ष के स्रोत (जैसे, गायब तथ्य, गलत अवधि) की पहचान करता है और लक्षित फीडबैक प्रदान करता है, जिससे जूनियर एजेंटों को आगे की जांच के लिए वापस भेजा जाता है। सीनियर ऑडिटर इंटरैक्शन का प्रबंधन करता है लेकिन नियतात्मक टूल्स का स्थान नहीं लेता है।

4. साक्ष्य एकत्रीकरण (Evidential Aggregation)

अंतिम निर्णय एक साधारण वोट नहीं है बल्कि साक्ष्य तर्क (evidential reasoning) (डेम्पस्टर-शेफर थ्योरी) का परिणाम है। प्रत्येक जूनियर ऑडिटर की रिपोर्ट को {Violation, Consistent, Ignorance} परिकल्पनाओं पर एक मास फंक्शन (mass function) के रूप में मैप किया जाता है। इन मासों को एक अंतिम निर्णय, एक अपेक्षित मान, एक साक्ष्य ट्रेल और एक विश्वसनीयता स्कोर ($\tau$) उत्पन्न करने के लिए संलयित (fuse) किया जाता है, जो अनसुलझे साक्ष्य की मात्रा को मापता है।

प्रमुख योगदान (Key Contributions)

1. ग्राफ-ग्राउंडेड सत्यापन की परिभाषा: पेपर एक नया कार्य प्रारूप परिभाषित करता है जहाँ उत्तर केवल टेक्स्ट जनरेशन पर नहीं, बल्कि फाइलिंग तथ्यों, टैक्सोनॉमी बाधाओं, संख्यात्मक जाँच और निरीक्षण योग्य साक्ष्य पर निर्भर करता है।
2. AUDITFLOW फ्रेमवर्क: एक द्वैत-ग्राफ, मल्टी-एजेंट सिस्टम जो US-GAAP टैक्सोनॉमी ज्ञान को फाइलिंग-विशिष्ट साक्ष्य से जोड़ता है, और दोनों को टाइप किए गए नियतात्मक उपकरणों के माध्यम से प्रदर्शित करता है।
3. खोज-गणना पृथक्करण (Search-Computation Separation): लेखक यह प्रदर्शित करते हैं कि LLM की भूमिका (खोज को निर्देशित करना) को वातावरण की भूमिका (नियतात्मक जाँच निष्पादित करना) से अलग करना विश्वसनीय ऑडिट सत्यापन के लिए महत्वपूर्ण है।

प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन FinAuditing FinMR कार्य के 67-इंस्टेंस सबसेट पर किया गया, जिसमें तीन डेटा क्वालिटी कमेटी (DQC) नियम परिवार शामिल थे।

• प्रदर्शन: GPT-5.5 के तहत, AUDITFLOW ने 82.09% जॉइंट ऑडिट सटीकता प्राप्त की, जिसने सबसे मजबूत बेसलाइन (सिंगल एजेंट) को 14.93 प्रतिशत अंक से पछाड़ दिया। इसने सभी परीक्षण किए गए बैकबोन (GPT-4o, Claude Sonnet 4.6, Qwen-397B) में मौजूदा रिट्रीवल-आधारित तरीकों (GraphRAG, TreeRAG) और बेंचमार्क (FinAuditing, Herculean) को भी पीछे छोड़ दिया।
• मजबूती (Robustness): सिस्टम ने विभिन्न मजबूत बैकबोन मॉडलों में उच्च सटीकता (80.60%) बनाए रखी, जो फ्रेमवर्क की प्रभावशीलता को दर्शाती है कि यह किसी एक प्रोप्रायटरी मॉडल तक सीमित नहीं है।
• एब्लेशन स्टडीज (Ablation Studies):
  • नियतात्मक जाँच (Deterministic Checks): प्रतीकात्मक वातावरण के नियतात्मक जाँचों को हटाने से सटीकता 82.09% से गिरकर 17.91% हो गई, जो यह सिद्ध करता है कि LLM सत्यापन चरण को विश्वसनीय रूप से प्रतिस्थापित नहीं कर सकता है।
  • आवश्यक-टूल गेट (Required-Tool Gate): उस गेट को हटाने से जो एजेंटों को अंतिम रूप देने से पहले विशिष्ट जाँच पूरी करने के लिए मजबूर करता है, अमान्य आउटपुट 1.49% से बढ़कर 17.91% हो गया।
  • साक्ष्य एकत्रीकरण (Evidential Aggregation): फ्यूजन स्टेप को हटाने से सटीकता घटकर 77.61% रह गई।

महत्व और दावे (Significance and Claims)

पेपर तर्क देता है कि विश्वसनीय ऑडिट एजेंटों को टेक्स्ट-ओनली रीजनिंग के बजाय निष्पादन योग्य संरचित वातावरण के इर्द-गिर्द बनाया जाना चाहिए। प्राथमिक योगदान यह प्रदर्शन करना है कि जबकि LLM जटिल सूचना स्थानों (खोज) को नेविगेट करने में प्रभावी हैं, वे अंतिम, भार-वहन करने वाले सत्यापन चरणों (गणना) को करने में अविश्वसनीय हैं।

लेखक दावा करते हैं कि AUDITFLOW ने निम्नलिखित तरीकों से वित्तीय AI में "सत्यापन अंतराल" (verification gap) को सफलतापूर्वक संबोधित किया है:

1. अंकगणित और नियम अनुप्रयोग को नियतात्मक उपकरणों को सौंपकर।
2. पूरक दृष्टिकोणों से साक्ष्य का पता लगाने के लिए मल्टी-एजेंट प्रोटोकॉल का उपयोग करके।
3. निरीक्षण योग्य साक्ष्य ट्रेल और विश्वसनीयता स्कोर प्रदान करके, जिससे ऑडिट प्रक्रिया पारदर्शी और ऑडिट योग्य बनती है।

पेपर निष्कर्ष निकालता है कि यह डिज़ाइन पैटर्न—प्रतीकात्मक वातावरण में खोज को गणना से अलग करना—उन उच्च-जोखिम वाले डोमेन के लिए आवश्यक है जहाँ शुद्धता केवल सिमेंटिक संभाव्यता के बजाय संरचित बाधाओं पर निर्भर करती है।