🤖 AI

An LLM Agentic Approach for Legal-Critical Software: A Case Study for Tax Prep Software

यह शोध पत्र एक एजेंटिक एलएलएम (LLM) फ्रेमवर्क प्रस्तावित करता है जो अमेरिकी टैक्स कोड के निष्पादन योग्य सॉफ्टवेयर में अनुवाद को स्वचालित करता है और टेस्ट जनरेशन के लिए उच्च-क्रम के मेटाबॉर्फिक संबंधों (higher-order metamorphic relations) का उपयोग करता है, यह प्रदर्शित करते हुए कि एक छोटा मॉडल (GPT-4o-mini) मजबूत, भरोसेमंद कानूनी-महत्वपूर्ण सॉफ्टवेयर प्राप्त करने में फ्रंटियर मॉडल्स से बेहतर प्रदर्शन करता है।

मूल लेखक: Sina Gogani-Khiabani, Ashutosh Trivedi, Diptikalyan Saha, Saeid Tizpaz-Niari

प्रकाशित 2026-03-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sina Gogani-Khiabani, Ashutosh Trivedi, Diptikalyan Saha, Saeid Tizpaz-Niari

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसा रोबोट बनाने की कोशिश कर रहे हैं जो आपके टैक्स (कर) भर सके। यह सिर्फ कोई साधारण रोबोट नहीं है; यह एक ऐसा रोबोट है जिसे कानून का बिल्कुल सटीक पालन करना होगा। अगर इससे छोटी सी भी गलती हुई, तो आपको ऑडिट का सामना करना पड़ सकता है, जुर्माना भरना पड़ सकता है, या आप उस पैसे से वंचित रह सकते हैं जिसके आप हकदार हैं।

समस्या यह है कि टैक्स कानून "लीगलज़" (Legalese) में लिखे जाते हैं—जो एक भ्रमित करने वाली, अस्पष्ट भाषा है जिसमें अपवादों, विशेष परिस्थितियों और निरंतर अपडेट्स का अंबार लगा होता है। यदि आप किसी मानक AI (एक लार्ज लैंग्वेज मॉडल या LLM) से बस "टैक्स कानून के लिए कोड लिखें" कहते हैं, तो वह अक्सर भ्रमित हो जाता है (अपनी ओर से बातें बना लेता है) या तर्क को गलत कर देता है, जैसे कि आपकी आय के गलत हिस्से पर टैक्स दर लागू कर देना।

यह पेपर इस "टैक्स रोबोट" को बनाने का एक नया तरीका पेश करता है जिसे Synedrion कहा गया है। एक ही सुपर-स्मार्ट AI से सब कुछ करने के बजाय, उन्होंने विशेषज्ञ AI एजेंटों की एक टीम बनाई है जो एक मानव सॉफ्टवेयर कंपनी की तरह मिलकर काम करती है।

सरल उपमाओं (analogies) का उपयोग करके इसका विवरण यहाँ दिया गया है:

1. समस्या: "ओरेकल" (Oracle) का रहस्य

सामान्य सॉफ्टवेयर टेस्टिंग में, आप काम शुरू करने से पहले ही उत्तर जानते हैं। यदि आप कैलकुलेटर से 2 + 2 पूछते हैं, तो आप जानते हैं कि उत्तर 4 है। इसे "ओरेकल" कहा जाता है।

लेकिन टैक्स सॉफ्टवेयर में, किसी को भी पहले से सटीक उत्तर नहीं पता होता जब तक कि कोई मानव विशेषज्ञ कानून को न देख ले। यदि एक व्यक्ति $50,000 कमाता है, तो टैक्स$ 7,200 है या $7,250? यह दर्जनों सूक्ष्म नियमों पर निर्भर करता है। यही "ओरेकल की समस्या" (Oracle Problem) है। आप केवल यह जाँच नहीं सकते कि रोबोट सही है या नहीं क्योंकि आप स्वयं सही उत्तर नहीं जानते।

2. समाधान: "सिनेड्रियन" (Synedrion) टीम

लेखकों ने AI एजेंटों की एक टीम बनाई है, जिसमें प्रत्येक का एक विशिष्ट कार्य है, जो एक वास्तविक दुनिया की लॉ फर्म और इंजीनियरिंग टीम की नकल करता है:

टैक्स एक्सपर्ट (अनुवादक - The Translator):
- उपमा: एक सख्त वकील की कल्पना करें जो उलझे हुए टैक्स कोड को पढ़ता है और उसे एक साफ, संरचित रेसिपी कार्ड (JSON फॉर्मेट) में बदल देता है।
- कार्य: वे कोड नहीं लिखते; वे बस भ्रमित करने वाले कानूनों को स्पष्ट, चरण-दर-चरण निर्देशों में अनुवादित करते हैं जिन्हें कंप्यूटर समझ सके।
कोडर (निर्माता - The Builders):
- उपमा: ये निर्माण श्रमिक (construction workers) हैं। वे "टैक्स एक्सपर्ट" से प्राप्त "रेसिपी कार्ड" लेते हैं और वास्तविक सॉफ्टवेयर बनाते हैं।
- कार्य: वे पायथन (Python) कोड लिखते हैं। इसमें दो लोग हैं: एक पहला ड्राफ्ट बनाता है, और एक "सीनियर कोडर" (मैनेजर) उसकी समीक्षा करता है। यदि ड्राफ्ट खराब है, तो मैनेजर उसे सुधार के लिए वापस भेज देता है।
मेटाबॉर्फिक एजेंट (गुणवत्ता निरीक्षक - The Quality Inspector):
- उपमा: यह सबसे रचनात्मक हिस्सा है। एक जासूस की कल्पना करें जिसे गणित की समस्या का सटीक उत्तर तो नहीं पता, लेकिन उसे खेल के नियम पता हैं।
- कार्य: यह एजेंट यह पूछने के बजाय कि "क्या टैक्स $7,200 है?", यह पूछता है: "यदि मैं रोबोट को अधिक आय वाला व्यक्ति दूँ, तो क्या टैक्स बढ़ना चाहिए?" या "यदि मैं किसी को दृष्टिहीन बना दूँ, तो क्या उनका टैक्स कम होना चाहिए?"
- "हायर-ऑर्डर" ट्विस्ट: इस पेपर का बड़ा नवाचार यह है कि यह एजेंट केवल "ऊपर या नीचे" के सरल नियमों की जाँच नहीं करता। यह परिवर्तन की दरों (rates of change) की जाँच करता है।
  - सरल जाँच: "यदि आय बढ़ती है, तो टैक्स बढ़ता है।" (एक बुरा रोबोट जो सब कुछ पर फ्लैट 20% वसूलता है, इस टेस्ट में पास हो जाएगा)।
  - हायर-ऑर्डर जाँच: "यदि आय $40k से$ 41k होती है, तो टैक्स थोड़ा बढ़ जाना चाहिए क्योंकि आपने एक ब्रैकेट पार किया है। लेकिन यदि यह $41k से$ 42k होती है, तो उछाल (jump) बड़ा होना चाहिए।"
  - यह उन "फ्लैट-रेट" बग्स को पकड़ लेता है जिन्हें साधारण जाँच मिस कर देती है।

3. आश्चर्य: छोटे कुत्ते बनाम बड़े शेर

आमतौर पर, AI में, बड़े मॉडल (जैसे GPT-4o या Claude-3.5) छोटे मॉडलों की तुलना में अधिक स्मार्ट होते हैं। आप उम्मीद करेंगे कि "बड़ा शेर" जीतेगा।

पेपर ने इसके विपरीत पाया:
जब इस टीम दृष्टिकोण का उपयोग किया गया, तो एक छोटा, सस्ता AI मॉडल (GPT-4o-mini) अकेले काम करने वाले विशाल और महंगे मॉडलों की तुलना में वास्तव में बेहतर प्रदर्शन करता है।

क्यों? विशाल मॉडल एक साथ सब कुछ करने की कोशिश करते हैं और जटिलता से भ्रमित हो जाते हैं। छोटा मॉडल, जब "टैक्स एक्सपर्ट" द्वारा निर्देशित और "इंस्पेक्टर" द्वारा जांचा जाता है, तो वह केंद्रित रहता है और कम गलतियाँ करता है। यह एक केंद्रित प्रशिक्षु (apprentice) की तरह है जो एक महान गुरु के मार्गदर्शन में, एक विचलित प्रतिभाशाली व्यक्ति (distracted genius) से बेहतर काम कर रहा है।

4. परिणाम: "फ्लैट रेट" के जाल को पकड़ना

टीम ने अपने सिस्टम का छह अलग-अलग टैक्स परिदृश्यों पर परीक्षण किया, जिसमें साधारण कटौती से लेकर जटिल रिटायरमेंट वितरण तक शामिल थे।

टीम के बिना: यहाँ तक कि सर्वश्रेष्ठ AI मॉडल भी कठिन कार्यों में विफल रहे (15% से कम उत्तर सही पाए)।
टीम के साथ: छोटा मॉडल, एजेंटों द्वारा निर्देशित होने पर, 45% से 88% तक सही उत्तर प्राप्त करने में सफल रहा (जटिलता के आधार पर)।
"इंस्पेक्टर" प्रभाव: "मेटाबॉर्फिक एजेंट" (जासूस) को जोड़ना महत्वपूर्ण था। इसने उन व्यवस्थित त्रुटियों को खोज निकाला जिन्हें बिल्डर्स ने मिस कर दिया था, जिससे सफलता दर और बढ़ गई।

सारांश

यह पेपर तर्क देता है कि महत्वपूर्ण कानूनी कार्यों (जैसे टैक्स) के लिए सॉफ्टवेयर बनाने के लिए, हमें केवल एक सुपर-इंटेलिजेंट AI से "इसे करने" के लिए नहीं कहना चाहिए। इसके बजाय, हमें एक सहयोगात्मक टीम बनानी चाहिए:

एक कानून का अनुवाद करने के लिए।
एक कोड बनाने के लिए।
एक जासूस के रूप में कार्य करने के लिए, यह जाँचने के लिए कि दबाव में तर्क (logic) कैसे टिकता है।

इस "एजेंटिक" दृष्टिकोण का उपयोग करके, छोटे, सस्ते AI मॉडल भी अकेले काम करने वाले सबसे शक्तिशाली मॉडलों की तुलना में अधिक सुरक्षित, सटीक और भरोसेमंद सॉफ्टवेयर बना सकते हैं। यह कानूनी टेक्स्ट से कोडिंग की अराजक प्रक्रिया को एक संरचित, विश्वसनीय असेंबली लाइन में बदल देता है।

यहाँ शोध पत्र "An LLM Agentic Approach for Legal-Critical Software: A Case Study for Tax Prep Software" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र कानूनी-महत्वपूर्ण सॉफ्टवेयर (विशेष रूप से अमेरिकी संघीय कर तैयारी प्रणालियों) के विकास की चुनौती को संबोधित करता है, जिसमें जटिल, अस्पष्ट प्राकृतिक भाषा के कानूनों को निष्पादन योग्य कोड (executable code) में अनुवादित किया जाता है।

ओरेकल समस्या (The Oracle Problem): कानूनी क्षेत्रों में, किसी विशिष्ट इनपुट के लिए "सही" आउटपुट निर्धारित करना अक्सर विशेषज्ञ कानूनी व्याख्या के बिना असंभव होता है। पारंपरिक परीक्षण एक "ओरेकल" (एक ज्ञात सही उत्तर) पर निर्भर करते हैं, जो कई टैक्स परिदृश्यों के लिए उपलब्ध नहीं होता है।
मानक LLMs की सीमाएँ: जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) कोड उत्पन्न कर सकते हैं, वे निम्नलिखित में संघर्ष करते हैं:
- भ्रम (Hallucinations) और अस्पष्टता: सूक्ष्म कानूनी कानूनों की गलत व्याख्या करना।
- व्यवस्थित त्रुटियाँ (Systematic Errors): ऐसा कोड उत्पन्न करना जो सरल युग्मों (pairwise logic) को तो संतुष्ट करता है (जैसे, "उच्च आय = उच्च कर") लेकिन जटिल संरचनात्मक आवश्यकताओं (जैसे, प्रगतिशील टैक्स ब्रैकेट या विशिष्ट कटौती सीमाएं) में विफल रहता है।
- स्केलेबिलिटी (Scalability): फ्रंटियर मॉडल्स (जैसे, GPT-4o) अकेले उपयोग किए जाने पर जटिल परिदृश्यों में अक्सर विफल हो जाते हैं, और छोटे मॉडल मार्गदर्शन के बिना खराब प्रदर्शन करते हैं।

2. कार्यप्रणाली: सिनेड्रियन फ्रेमवर्क (Methodology: The Synedrion Framework)

लेखक Synedrion का प्रस्ताव करते हैं, जो एक मल्टी-एजेंट फ्रेमवर्क है जिसे कानूनी दस्तावेजों को मजबूत सॉफ्टवेयर में स्वचालित रूप से अनुवादित करने के लिए डिज़ाइन किया गया है। यह सिस्टम विशेष भूमिकाओं वाले एक वास्तविक दुनिया की सॉफ्टवेयर टीम का अनुकरण करता है।

A. एजेंट आर्किटेक्चर (Agent Architecture)

इस फ्रेमवर्क में पाँच विशिष्ट एजेंट शामिल हैं:

TaxExpertAgent: यह कच्चे कानूनी टेक्स्ट (जैसे, IRS प्रकाशनों) को पार्स करता है और उन्हें संरचित JSON विनिर्देशों (specifications) में बदलता है। यह फंक्शन इनपुट, आउटपुट, बाधाएं और एज केसेस (edge cases) को परिभाषित करता है, जिससे कोड जनरेशन से पहले डेटा अखंडता सुनिश्चित होती है।
Coder Agents (दो इंस्टेंस): ये JSON विनिर्देशों के आधार पर पायथन (Python) कोड उत्पन्न करते हैं। वे विविध कार्यान्वयन रणनीतियों को प्रोत्साहित करने के लिए अलग-अलग 'टेम्परेचर सेटिंग्स' का उपयोग करते हैं।
SeniorCoderAgent: यह कोडिंग प्रक्रिया का संचालन करता है। यह Coder Agents के प्रारंभिक कोड की समीक्षा करता है, फीडबैक प्रदान करता है, और सर्वोत्तम कार्यान्वयन का चयन या परिशोधन करता है।
MetamorphicAgent: यह मुख्य नवाचार है। यह पूर्ण शुद्धता की जाँच नहीं करता है, बल्कि सापेक्ष शुद्धता (relative correctness) को मेटामॉर्फिक टेस्टिंग का उपयोग करके सत्यापित करता है।

B. मुख्य नवाचार: हायर-ऑर्डर मेटामॉर्फिक टेस्टिंग (HMT)

ओरेकल समस्या को हल करने के लिए, शोध पत्र Higher-Order Metamorphic Relations पेश करता है।

मानक मेटामॉर्फिक टेस्टिंग: दो इनपुट की तुलना करता है (जैसे, एक दृष्टिहीन करदाता बनाम एक गैर-दृष्टिहीन करदाता) ताकि यह सुनिश्चित किया जा सके कि आउटपुट एक तार्किक नियम का पालन करता है (जैसे, दृष्टिहीन करदाता कम कर देता है)।
हायर-ऑर्डर जनरलाइजेशन (Higher-Order Generalization): युग्मों (pairwise) की तुलना करने के बजाय, HMT कई इनपुट के बीच परिवर्तन की दरों (rates of change) का मूल्यांकन करता है ( $n$ $n$ -ary relations)।
- उदाहरण: एक प्रगतिशील टैक्स प्रणाली में, केवल यह जाँच करना कि आय के साथ कर बढ़ता है, पर्याप्त नहीं है। HMT यह जाँचता है कि क्या कर की सीमांत दर (marginal rate) टैक्स ब्रैकट्स के अनुरूप है। यह उन त्रुटियों का पता लगा सकता है जहाँ मॉडल सभी आय स्तरों पर गलत तरीके से एक फ्लैट रेट लागू करता है, जो एक साधारण युग्म परीक्षण (pairwise test) में पास हो सकता है लेकिन एक हायर-ऑर्डर रेट-ऑफ-चेंज टेस्ट में विफल हो जाएगा।
स्वचालित जनरेशन: MetamorphicAgent इन जटिल टेस्ट टुपल्स (जैसे, उन आय थ्रेसहोल्ड की पहचान करना जहाँ टैक्स ब्रैकेट बदलते हैं) को स्वचालित रूप से उत्पन्न करने और उल्लंघनों का पता लगाने के लिए LLMs का उपयोग करता है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

बेंचमार्क्स: अमेरिकी टैक्स कानून (IRS प्रकाशनों) से प्राप्त छह क्रमिक रूप से जटिल परिदृश्य, जिनमें बुनियादी टैक्स ब्रैकेट से लेकर जटिल 1099-R रिटायरमेंट डिस्ट्रीब्यूशन और अमेरिकन अपॉर्चुनिटी टैक्स क्रेडिट तक शामिल हैं।
मूल्यांकित मॉडल्स:
- बेसलाइन्स: GPT-4o, GPT-4o-mini, Claude-3.5-Sonnet, Llama 3.1-70B, Llama 3.1-8B।
- प्रॉम्प्टिंग रणनीतियाँ: ज़ीरो-शॉट (Zero-shot) बनाम स्टेप-वाइज चेन-ऑफ-थॉट (CoT)।
मूल्यांकन मेट्रिक्स:
- Partial Pass@k: चूंकि सभी परीक्षणों को पास करना दुर्लभ है, यह मीट्रिक $k$ जनरेशन में पास किए गए टेस्ट केस के औसत प्रतिशत को मापता है।
- Worst@10: 10 जनरेशन में देखा गया सबसे कम पास रेट, जो विश्वसनीयता/निरंतरता को मापता है।
ग्राउंड ट्रुथ (Ground Truth): सत्यापन के लिए एक हैंड-ऑथर्ड रेफरेंस इम्प्लीमेंटेशन (Tax Year 2021 के लिए फिक्स्ड) जिसका उपयोग सिम्बोलिक निष्पादन (Z3 सॉल्वर) के माध्यम से किया गया है।

4. मुख्य परिणाम (Key Results)

अध्ययन मॉडल के आकार और एजेंटिक दृष्टिकोण की प्रभावकारिता के संबंध में प्रति-सहज (counter-intuitive) निष्कर्ष प्रस्तुत करता है।

RQ1 (बेसलाइन प्रदर्शन): बड़े मॉडल्स (GPT-4o, Claude-3.5) सरल कार्यों (परिदृश्य 1-5) पर अच्छा प्रदर्शन करते हैं, लेकिन जटिल कार्यों (परिदृश्य 6) पर काफी गिर जाते हैं। छोटे मॉडल्स (Llama-8B, GPT-4o-mini) ज़ीरो-शॉट और CoT मोड में संघर्ष करते हैं, और अक्सर जटिल बेंचमार्क पर शून्य के करीब पास रेट प्राप्त करते हैं।
RQ2 (एजेंटिक बनाम बेसलाइन): सिनेड्रियन फ्रेमवर्क छोटे मॉडल्स को फ्रंटियर मॉडल्स से बेहतर प्रदर्शन करने की अनुमति देता है।
- GPT-4o-mini (एक छोटा मॉडल) एजेंटिक फ्रेमवर्क के भीतर सबसे कठिन परिदृश्य पर Worst@10 का 45% प्राप्त करता है, जबकि CoT प्रॉम्प्टिंग का उपयोग करने वाले उसी मॉडल का स्कोर केवल 9% था।
- Claude-3.5 के साथ एजेंटिक फ्रेमवर्क ने सबसे कठिन परिदृश्य पर Worst@10 का 78% प्राप्त किया, जो इसके बेसलाइन CoT प्रदर्शन (31%) से काफी बेहतर है।
RQ3 (मेटामॉर्फिक टेस्टिंग का योगदान):
- 4-ary मेटामॉर्फिक टेस्टिंग (MT) जोड़ने से मजबूती बढ़ी।
- हायर-ऑर्डर मेटामॉर्फिक टेस्टिंग (HMT) जोड़ने से सबसे महत्वपूर्ण लाभ हुआ। GPT-4o के लिए परिदृश्य 6 में, HMT ने Worst@10 स्कोर को 72% (MT के साथ) से बढ़ाकर 88% (HMT के साथ) कर दिया।
- HMT ने उन व्यवस्थित त्रुटियों (जैसे, फ्लैट-रेट कार्यान्वयन) का सफलतापूर्वक पता लगाया जिन्हें युग्म परीक्षण (pairwise tests) मिस कर गए थे।
RQ4 (एजेंट योगदान):
- TaxExpertAgent नियमों को संरचित करने के लिए महत्वपूर्ण था, जिसने मध्यम-जटिलता वाले परिदृश्यों में PP@1 स्कोर को 12% से बढ़ाकर 97% कर दिया।
- MetamorphicAgent विश्वसनीयता के लिए आवश्यक था, जिसने बेस्ट-केस और वर्स्ट-केस प्रदर्शन के बीच के अंतर को काफी कम कर दिया।
- लागत विश्लेषण (Cost Analysis): हालांकि HMT टोकन उपयोग (और लागत) को काफी बढ़ा देता है (जैसे, परिदृश्य 6 के लिए ~111k से ~450k टोकन), यह ट्रेड-ऑफ कार्यात्मक शुद्धता और मजबूती में भारी वृद्धि के कारण उचित है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

पैराडाइम शिफ्ट: यह शोध पत्र प्रदर्शित करता है कि कानूनी-महत्वपूर्ण सॉफ्टवेयर के लिए, विशेषीकृत एजेंटों के बीच संरचित सहयोग एक एकल, विशाल LLM की कच्ची क्षमता पर भरोसा करने की तुलना में अधिक प्रभावी है।
छोटे मॉडल्स की व्यवहार्यता: यह सिद्ध करता है कि छोटे, अधिक लागत प्रभावी मॉडल्स (जैसे, GPT-4o-mini) एक मजबूत एजेंटिक वर्कफ़्लो और उन्नत परीक्षण रणनीतियों द्वारा समर्थित होने पर जटिल डोमेन में अत्याधुनिक परिणाम प्राप्त कर सकते हैं।
ओरेकल समस्या का समाधान: Higher-Order Metamorphic Relations का लाभ उठाकर, फ्रेमवर्क प्रत्येक इनपुट के लिए एक निश्चित "सही" उत्तर की आवश्यकता के बिना, सॉफ्टवेयर को कानूनी सिद्धांतों (निरंतरता, प्रगतिशीलता) के विरुद्ध मान्य करने के लिए एक तंत्र प्रदान करता है।
व्यापक प्रभाव: यह दृष्टिकोण टैक्स सॉफ्टवेयर से परे किसी भी कानूनी-महत्वपूर्ण डोमेन (जैसे, कल्याण पात्रता, अनुपालन प्रणाली) पर लागू किया जा सकता है जहाँ प्राकृतिक भाषा के नियमों को त्रुटि-मुक्त निष्पादन योग्य तर्क में अनुवादित करने की आवश्यकता होती है।

संक्षेप में, Synedrion यह स्थापित करता है कि डोमेन-विशिष्ट एजेंटों को हायर-ऑर्डर मेटामॉर्फिक टेस्टिंग के साथ संयोजित करने से विश्वसनीय, कानूनी रूप से अनुपालन करने वाले सॉफ्टवेयर उत्पन्न करने का मार्ग प्रशस्त होता है, जो एकल LLM जनरेशन और पारंपरिक परीक्षण दोनों की सीमाओं को पार करता है।