Evaluating Semantic and Syntactic Understanding in Large Language Models for Payroll Systems
यह शोध पत्र विभिन्न लार्ज लैंग्वेज मॉडल्स की जटिल पेरोल स्कीमा और गणनाओं को सटीक रूप से संसाधित करने की क्षमता का मूल्यांकन करता है, जो एक ऐसा ढांचा प्रदान करता है जिससे यह निर्धारित किया जा सके कि उच्च-जोखिम वाली सटीकता के लिए प्रॉम्प्टिंग कब पर्याप्त है बनाम कब स्पष्ट कम्प्यूटेशनल उपकरणों की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
"गणित-कुशल कवि" की समस्या: क्या AI आपकी तनख्वाह संभाल सकता है?
कल्प Imagine कीजिए कि आपने अपनी कंपनी का अकाउंटेंट बनाने के लिए एक शानदार, विश्व स्तरीय कवि को काम पर रखा है। यह कवि टैक्स कानून पर सुंदर सॉनेट्स (sonnets) लिख सकता है, सेकंडों में 500 पन्नों की नियमावली का सारांश दे सकता है, और दुनिया में किसी भी अन्य व्यक्ति से बेहतर तरीके से 'पेचेक' (paycheck) की अवधारणा समझा सकता है।
लेकिन एक पेच है: कवि एक "भाषा विशेषज्ञ" है, "संख्या विशेषज्ञ" नहीं। वह "कटौती" (deduction) शब्द के अर्थ को समझता है, लेकिन जब बात 42.57 घटाने की आती है, तो वह संख्याओं की सुंदरता में इतना खो सकता है कि गलती से आपको $1,157.43 दे दे।
यही वह समस्या है जिसकी जांच यह शोध पत्र कर रहा है।
प्रयोग: पेरोल स्ट्रेस टेस्ट (The Payroll Stress Test)
शोधकर्ताओं ने यह देखना चाहा कि क्या दुनिया के सबसे प्रसिद्ध AI मॉडल (जैसे GPT, Claude और Gemini) एक उच्च-दांव वाले कार्य को संभाल सकते हैं: पेरोल (payroll) की गणना करना।
पेरोल AI के लिए एक अंतिम "स्ट्रेस टेस्ट" है क्योंकि यह केवल साधारण गणित के बारे में नहीं है; यह तर्क और नियमों के बारे में है। यह एक जटिल बाधा दौड़ की तरह है:
- सेमेंटिक बाधा (The Semantic Hurdle): क्या AI समझता है कि "Pre-tax 401k" का अर्थ है कि आपको टैक्स की गणना करने से पहले वह पैसा घटाना है?
- नियम की बाधा (The Rule Hurdle): क्या इसे पता है कि यदि कोई बहुत अधिक कमाता है, तो सोशल सिक्योरिटी टैक्स की सीमा "कैप आउट" हो जाती है और बढ़ना बंद हो जाती है?
- सटीकता की बाधा (The Precision Hurdle): पेरोल में, एक पैसे की भी चूक विफलता मानी जाती है। क्या AI "एक-पैसे तक सटीक" हो सकता है?
"कठिनाई के स्तर" (The Difficulty Levels)
शोधकर्ताओं ने कठिनाई के पांच स्तर बनाए, जो सरल "घंटे को दर से गुणा करें" से लेकर एक "बॉस-लेवल" दुःस्वप्न तक हैं, जिसमें विभिन्न मुद्राएं, कई राज्यों के टैक्स और जटिल बोनस शामिल हैं।
इन्हें टेस्ट करने के लिए, उन्होंने विभिन्न "निर्देश शैलियों" (प्रॉम्प्ट्स) का उपयोग किया:
- स्तर 1 (आलसी बॉस): "यहाँ एक स्प्रेडशीट है। मुझे नेट पे (net pay) बताएं।"
- स्तर 4 (माइक्रोमैनेजर): "यहाँ स्प्रेडशीट है, और यहाँ हर एक चरण के लिए सटीक गणितीय सूत्र दिया गया है। इसका ठीक से पालन करें।"
परिणाम: हमने क्या सीखा
1. आसान कामों के लिए, AI एक सुपरस्टार है।
यदि आपको केवल बुनियादी प्रति घंटा मजदूरी की गणना करने की आवश्यकता है, तो AI लगभग पूर्ण है। यह कवि से सेब गिनने के लिए कहने जैसा है; वे इसे आसानी से कर सकते हैं।
2. जटिल कार्यों के लिए, केवल "बात करना" पर्याप्त नहीं है।
जब नियम उलझ गए (जैसे दो अलग-अलग राज्यों में टैक्स की गणना करना), तो AI लड़खड़ाने लगा। वह टैक्स के विचार को तो समझता था, लेकिन गणित में चूक जाता था।
3. "माइक्रोमैनेजर" दृष्टिकोण सबसे अच्छा काम करता है।
अध्ययन में पाया गया कि यदि आप AI को अस्पष्ट निर्देश देते हैं, तो वह अक्सर विफल हो जाता है। लेकिन यदि आप एक माइक्रोमैनेजर की तरह व्यवहार करते हैं और उसे सटीक गणितीय सूत्र (स्तर 4) प्रदान करते हैं, तो सटीकता आसमान छू लेती है। एक मॉडल, Perplexity, कठिन श्रेणी में इन सटीक सूत्रों के साथ "पूर्ण" परिणाम प्राप्त करने वाला एकमात्र मॉडल था।
4. "क्लाउड" (Claude) का रहस्य।
दिलचस्प बात यह है कि एक शीर्ष मॉडल (Claude) वास्तव में अधिक निर्देश दिए जाने पर और खराब प्रदर्शन करने लगा। यह कवि को बहुत अधिक नियम देने जैसा है—वे अभिभूत हो जाते हैं और गलतियाँ करने लगते हैं।
निष्कर्ष (The "So What?")
यदि आप एक व्यवसाय के मालिक हैं जो अपना पेरोल चलाने के लिए AI का उपयोग करने के बारे में सोच रहे हैं, तो यह शोध पत्र आपको एक स्पष्ट चेतावनी देता है:
AI को केवल "गणित करने" के लिए न कहें।
यदि आप उच्च-दांव वाले, सटीक काम के लिए AI का उपयोग करना चाहते हैं, तो आप इसे एक मानव कर्मचारी की तरह नहीं मान सकते जिसे आप बस मौखिक आदेश दे सकें। आपको इसे एक ऐसे कैलकुलेटर की तरह मानना होगा जिसके पास दिमाग हो। आपको इसे स्पष्ट, चरण-दर-चरण गणितीय रेसिपी प्रदान करनी होगी।
मुख्य बात: AI एक शानदार कहानीकार है, लेकिन यदि आप चाहते हैं कि वह एक अकाउंटेंट बने, तो आपको उसे गणित प्रदान करना होगा, अन्यथा वह आपके बैंक बैलेंस के साथ "भ्रम" (hallucinate) करने लगेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।