तकनीकी सारांश: APEX–Accounting

समस्या विवरण

जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) ने पेशेवर प्रमाणन परीक्षाओं (जैसे CPA, CMA) को पास करने और सामान्य कार्य गुणवत्ता में सुधार करने में दक्षता प्रदर्शित की है, लेकिन लेखाकारों (accountants) के वास्तविक, दैनिक कार्यों को करने की उनकी क्षमता का आकलन करने वाले बेंचमार्क की कमी है। मौजूदा बेंचमार्क जैसे AuditBench, FinMaster, और AccountingBench अक्सर सिंथेटिक लेनदेन, टेक्स्ट-ओनली सिमुलेटर, या सिंगल-कंपनी केस स्टडीज पर निर्भर करते हैं जो महीने के अंत के क्लोज (month-end close) और बुककीपिंग की दोहराव वाली, प्रक्रियात्मक और दस्तावेज़-प्रधान प्रकृति को पकड़ने में विफल रहते हैं। लेखक तर्क देते हैं कि वर्तमान मूल्यांकन लेखाकारों के "वास्तविक कार्य" का पर्याप्त परीक्षण नहीं करते हैं, जिसमें विविध, जटिल व्यावसायिक संदर्भों में खातों का मिलान करना (reconciling accounts), खर्चों का प्रोविजन करना (accruing expenses), लेनदेन पोस्ट करना और रिपोर्ट तैयार करना शामिल है।

कार्यप्रणाली

बेंचमार्क डिज़ाइन (APEX–Accounting)

APEX–Accounting, Mercor द्वारा Ramp के साथ साझेदारी में विकसित एक क्लोज्ड बेंचमार्क है, जिसमें 160 कार्य और 10 सिंथेटिक रूप से जनरेट किए गए कंपनी वर्ल्ड्स शामिल हैं।

• वर्ल्ड कंस्ट्रक्शन (World Construction): प्रत्येक वर्ल्ड एक स्व-निहित कंपनी का प्रतिनिधित्व करता है जो अमेरिकी GAAP अक्रुअल-बेसिस अकाउंटिंग (U.S. GAAP accrual-basis accounting) का पालन करते हुए मंथ-एंड क्लोज पर स्थिर है। वर्ल्ड्स का निर्माण चार चरणों में किया गया था: स्कोपिंग, विस्तृत विनिर्देश (जिसमें बीजित विरोधाभासों के लिए "ट्रैप रजिस्टर्स" शामिल हैं), स्टाइल गाइड व्युत्पत्ति, और फ़ाइल जनरेशन। सभी फ़ाइलें (स्प्रेडशीट्स, PDFs, अकाउंटिंग सॉफ़्टवेयर एक्सपोर्ट्स) नवीन हैं और मेमोराइजेशन (रटने) को रोकने के लिए सार्वजनिक स्रोतों के विरुद्ध स्क्रीन की गई हैं।
• कार्य श्रेणियाँ (Task Categories): 160 कार्यों को चार श्रेणियों में विभाजित किया गया है:
  1. रिकॉन्सिलिएशन (Reconciliation) (61 कार्य): दो स्रोतों को एक साथ जोड़ना, विसंगतियों (breaks) की पहचान करना, और उन्हें समझाना या ठीक करना।
  2. डेटा एंट्री (Data Entry) (26 कार्य): लेनदेन, जर्नल प्रविष्टियाँ और इनवॉइस पोस्ट करना।
  3. वैरिएंस एनालिसिस (Variance Analysis) (28 कार्य): वास्तविक आंकड़ों की तुलना बजट या अपेक्षाओं से करना।
  4. शेड्यूल्स और एक्रूअल्स (Schedules & Accruals) (45 कार्य): शेड्यूल्स बनाना, एक्रूअल्स की गणना करना और शेष बैलेंस को आगे ले जाना।
• विशेषज्ञों की भागीदारी: 42 अकाउंटिंग विशेषज्ञों (औसत 11 वर्ष का अनुभव, 52% बिग फोर फर्मों से) ने कार्यों को लिखा, उन्हें हल करके "गोल्डन रिस्पॉन्स" बनाए, और बाइनरी, परिणाम-आधारित ग्रेडिंग रूब्रिक्स लिखे। प्रत्येक कार्य में एक प्रॉम्प्ट, आवश्यक इनपुट फ़ाइलें, एक गोल्डन रिस्पॉन्स, और औसतन 13.7 मानदंडों वाला एक रूब्रिक शामिल है।

प्रयोगात्मक सेटअप (Experimental Setup)

• मूल्यांकित मॉडल: नौ फ्रंटियर मॉडल्स का परीक्षण किया गया, जिनमें Claude-Fable-5, Muse-Spark-1.1, GPT-5.6-Sol और अन्य शामिल हैं। प्रत्येक मॉडल ने प्रत्येक कार्य को 8 बार निष्पादित किया, जिससे 11,520 ट्रेजेक्टरीज (trajectories) उत्पन्न हुईं।
• हार्नेस (Harnesses): दो एजेंट हार्नेस का उपयोग किया गया:
  • लूप हार्नेस (Loop Harness): एक मानक कैनोनिकल while-loop-with-tools आर्किटेक्चर।
  • रैंप हार्नेस (Ramp Harness): रैंप के साथ बनाया गया एक विशेष हार्नेस जिसमें रिट्राई-अवेयरनेस (retry-awareness), टूल अलालिस्ट, वैलिडेशन और सब-एजेंट डेलीगेशन शामिल है, ताकि वास्तविक दुनिया के अकाउंटिंग प्रतिबंधों को दर्शाया जा सके।
• ग्रेडिंग: एक DeepSeek-v4-Flash मॉडल, जिसे GEPA प्रॉम्प्ट के साथ ऑप्टिमाइज़ किया गया है, जज के रूप में कार्य करता है। इसे मानव विशेषज्ञ ग्राउंड ट्रुथ (1,687 मानदंड) के विरुद्ध वैलिडेट किया गया था, जिसने 97.1% सटीकता (F1 = 0.970) प्राप्त की। जज मध्यवर्ती ट्रेजेक्टरी लॉग तक पहुंच के बिना अंतिम आउटपुट का मूल्यांकन बाइनरी रूब्रिक मानदंडों के विरुद्ध करता है।
• मेट्रिक्स:
  • Mean Criteria@3: प्राथमिक मेट्रिक, जो प्रति कार्य 3 बेतरतीब ढंग से चुने गए रन के माध्यम से रूब्रिक मानदंडों के प्रतिशत का औसत निकालता है।
  • Pass@k / Pass^k: क्षमता की सीमा (Pass@8: 8 प्रयासों में कम से कम एक बार पास होना) और निरंतरता (Pass^8: 8 के 8 प्रयासों में पास होना) को मापता है।
  • कॉस्ट एब्लेशन (Cost Ablation): टोकन बजट को प्रति कार्य $1 से$50 तक बदलकर प्रदर्शन और खर्च के बीच संबंध का विश्लेषण करने के लिए प्रयोग।

मुख्य परिणाम

लीडरबोर्ड प्रदर्शन

• शीर्ष प्रदर्शनकर्ता: Claude-Fable-5 (Max) ने उच्चतम Mean Criteria@3 of 56.4% प्राप्त किया, इसके बाद Muse-Spark-1.1 (52.6%) और GPT-5.6-Sol (51.5%) का स्थान रहा।
• निरंतरता अंतराल (Consistency Gap): उच्च Mean Criteria@3 स्कोर के बावजूद, निरंतरता अत्यंत कम बनी हुई है। किसी भी मॉडल ने Pass^8 स्कोर 2.6% (GPT-5.6-Sol) से अधिक हासिल नहीं किया। उच्चतम Pass@8 स्कोर 21.5% (Muse-Spark-1.1) था, जो यह दर्शाता है कि मॉडल कभी-कभी कार्य हल कर सकते हैं, लेकिन वे विश्वसनीय रूप से एंड-टू-एंड कार्य नहीं कर सकते।
• श्रेणी की कठिनाई: "Schedules & Accruals" सबसे कठिन श्रेणी साबित हुई, जहाँ सभी मॉडल्स ने अन्य श्रेणियों की तुलना में 7-21 प्रतिशत अंक कम स्कोर किया, जो इसके मल्टी-स्टेप और निर्णय-प्रधान स्वभाव को दर्शाता है।

लागत और बजट विश्लेषण

• टोकन बजट प्रभाव: बजट को $1 से बढ़ाकर$50 करने से महंगे मॉडल्स (जैसे Claude-Fable-5 को +43.4 प्रतिशत अंक मिले) के स्कोर में काफी सुधार हुआ, जबकि सस्ते मॉडल्स (जैसे Muse-Spark-1.1) में न्यूनतम लाभ देखा गया।
• सिम्पसन का विरोधाभास (Simpson's Paradox): अध्ययन में सिम्पसन के विरोधाभास का एक उदाहरण देखा गया: हालांकि कुल बजट बढ़ाने से स्कोर बढ़े, लेकिन एक निश्चित बजट के भीतर, जिन कार्यों में मॉडल्स ने अधिक टोकन खर्च किए, उनका स्कोर कम पाया गया। इसका श्रेय कार्य की कठिनाई को दिया गया है; कठिन कार्यों में अधिक टोकन खर्च होते हैं लेकिन वे हल होने में अधिक कठिन बने रहते हैं।
• हार्नेस का प्रभाव: स्टैंडर्ड लूप हार्नेस से स्पेशलाइज्ड रैंप हार्नेस पर स्विच करने से मामूली औसत बदलाव (+1.2 प्रतिशत अंक) हुआ, जो यह सुझाव देता है कि इन कार्यों के लिए मॉडल की क्षमता एजेंट आर्किटेक्चर की तुलना में प्रदर्शन का एक बड़ा चालक है।

विफलता विश्लेषण (Failure Analysis)

शीर्ष तीन मॉडल्स के लो-स्कोरिंग ट्रेजेक्टरीज के विश्लेषण से एक समान विफलता प्रोफाइल का पता चला:

• रीजनिंग (Reasoning) का प्रभुत्व: रीजनिंग की विफलताएं सभी एनोटेटेड त्रुटियों के 59-79% के लिए जिम्मेदार थीं।
• विशिष्ट विफलता मोड: सबसे आम उप-विफलताएं नॉन-न्यूमेरिक रीजनिंग (नॉन-न्यूमेरिक डेटा पर दोषपूर्ण तर्क लागू करना) और डेटा हैंडलिंग त्रुटियां (गलत फिल्टरिंग, जॉइनिंग या एग्रीगेटिंग) थीं।
• सूचना बनाम तर्क: मॉडल्स ने सही इनपुट फ़ाइलें सफलतापूर्वक ढूँढ लीं (सूचना एकत्र करने की विफलताएं दुर्लभ थीं)। प्राथमिक विफलता मोड उन इनपुट्स पर मल्टी-स्टेप रीजनिंग को गलत तरीके से संभालना था: गलत ऑथोराइजेशन लॉजिक लगाना, सही मध्यवर्ती परिणामों को छोड़ देना, या अंतिम उत्तर तक निष्कर्षों को ले जाने में विफल रहना।
• टूल का उपयोग: किसी भी एनोटेटेड विफलता में टूल उपयोग की त्रुटियां शामिल नहीं थीं, जो यह सुझाव देती हैं कि वर्तमान एजेंट आर्किटेक्चर टूल इंटरैक्शन के लिए पर्याप्त हैं, लेकिन अंतर्निहित रीजनिंग क्षमताएं ही मुख्य बाधा हैं।

महत्व और दावे

पेपर का दावा है कि APEX–Accounting फ्रंटियर मॉडल्स के वास्तविक दुनिया के अकाउंटिंग वर्कफ़्लो पर पहला कठोर मूल्यांकन प्रदान करता है, जो प्रमाणन परीक्षाओं से आगे बढ़कर व्यावहारिक अनुप्रयोग पर केंद्रित है।

• वर्तमान सीमाएं: परिणाम संकेत देते हैं कि हालांकि फ्रंटियर मॉडल्स जानकारी प्राप्त कर सकते हैं और अलग-थलग चरणों को निष्पादित कर सकते हैं, वे अभी भी बिना पर्यवेक्षण के बुक्स को क्लोज करने में सक्षम नहीं हैं। कम Pass^8 स्कोर (अधिकतम 2.6%) "क्षमता सीमा" और "विश्वसनीय तैनाती" के बीच एक महत्वपूर्ण अंतर को उजागर करते हैं।
• भविष्य की दिशा: लेखक तर्क देते हैं कि प्रगति संभवतः एजेंट हार्नेस को सुधारने से कम (जिसका प्रभाव न्यूनतम दिखा) और स्वयं मॉडल्स को बेहतर बनाने से अधिक आएगी। विशेष रूप से, मल्टी-स्टेप परिणामों को आगे ले जाने के लिए अनुशासन विकसित करने, दस्तावेजों में विरोधाभासों को सामने लाने और पर्याप्त साक्ष्य के बिना प्रविष्टियाँ पोस्ट करने से इनकार करने के लिए अकाउंटिंग-विशिष्ट प्रशिक्षण की आवश्यकता है।
• बेंचमार्क उपयोगिता: एक क्लोज्ड बेंचमार्क के रूप में, APEX–Accounting अनुरोध पर किसी भी फ्रंटियर मॉडल के मूल्यांकन की अनुमति देता है, जिससे उद्योग को कुशल ज्ञान कार्य (skilled knowledge work) को स्वचालित करने की प्रगति को ट्रैक करने के लिए एक मानकीकृत मीट्रिक मिलता है।