ActuBench: A Multi-Agent LLM Pipeline for Generation and Evaluation of Actuarial Reasoning Tasks
यह शोध पत्र ActuBench को प्रस्तुत करता है, जो एक मल्टी-एजेंट LLM पाइपलाइन है जो IAA पाठ्यक्रम के अनुरूप उन्नत बीमांकिक (एक्चुअरियल) तर्क कार्यों के सृजन और मूल्यांकन को स्वचालित करता है, यह प्रदर्शित करते हुए कि स्वतंत्र सत्यापन आइटम की गुणवत्ता में महत्वपूर्ण सुधार करता है और यह भी प्रकट करता है कि स्थानीय रूप से होस्ट किए गए ओपन-वेट्स मॉडल बेहतर लागत-प्रदर्शन व्यापार-संबंधों (कॉस्ट-परफॉर्मेंस ट्रेड-ऑफ) की पेशकश करते हैं और शीर्ष-स्तरीय मॉडल क्षमताओं को सटीक रूप से विभेदित करने के लिए ओपन-एंडेड मूल्यांकन आवश्यक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया के सबसे सटीक अकाउंटेंट्स और रिस्क मैनेजर्स यानी एक्चुअरीज (Actuaries) के लिए एक विशाल, अत्यंत कठिन परीक्षा बनाने की कोशिश कर रहे हैं: ये वे गणित के जादूगर हैं जो कार दुर्घटनाओं से लेकर जीवन प्रत्याशा तक की संभावनाओं की गणना करते हैं ताकि बीमा की कीमतें तय की जा सकें।
समस्या यह है कि ऐसे प्रश्न लिखना बहुत कठिन, महंगा और धीमा काम है। आपको ऐसे मानव विशेषज्ञों की आवश्यकता है जो प्रश्न लिखें जो पेचीदा हों लेकिन निष्पक्ष भी हों।
यहाँ ActuBench आता है। इसे एक अकेले व्यक्ति द्वारा परीक्षा लिखने के रूप में नहीं, बल्कि एक उच्च-तकनीकी, स्वचालित कारखाने के रूप में सोचें जो इन परीक्षाओं को बनाने, जाँचने और ग्रेड करने के लिए मिलकर काम करने वाले AI रोबोटों की एक टीम द्वारा संचालित होता है।
यहाँ शोध पत्र इस प्रणाली को सरल अवधारणाओं में तोड़कर समझाता है:
1. फैक्ट्री फ्लोर: विशिष्ट रोबोटों की एक टीम
एक ही AI को सब कुछ करने के लिए कहने के बजाय (जिससे अक्सर गलतियाँ होती हैं), लेखकों ने चार अलग-अलग "एजेंटों" (AI भूमिकाओं) वाला एक पाइपलाइन बनाया है, जिनमें से प्रत्येक का एक विशिष्ट कार्य है:
- एजेंट A (द आर्किटेक्ट/वास्तुकार): यह सबसे स्मार्ट, सबसे महंगा रोबोट है। इसका काम एक सीखने के लक्ष्य (जैसे "पेंशन जोखिम की गणना करना") को देखना और वास्तविक परीक्षा प्रश्न का मसौदा तैयार करना है। यह रचनात्मक लेखक है।
- एजेंट B (द ट्रिकस्टर/छली): एक बार प्रश्न लिखे जाने के बाद, एजेंट B का काम "गलत उत्तर" (डिस्ट्रैक्टर्स) बनाना है। इन्हें इतना विश्वसनीय दिखना चाहिए कि वे एक ऐसे छात्र को मूर्ख बना सकें जो आधा रास्ता तय कर चुका है, लेकिन एक विशेषज्ञ के लिए स्पष्ट रूप से गलत होने चाहिए।
- एजेंट C (द स्ट्रिक्ट इंस्पेक्टर/कठोर निरीक्षक): यह सबसे महत्वपूर्ण नवाचार है। एजेंट C कुछ भी नहीं लिखता। यह केवल वही देखता है जो A और B ने बनाया है। यह एक सख्त शिक्षक की तरह काम करता है जो एक ड्राफ्ट को ग्रेड करता है। यदि प्रश्न भ्रमित करने वाला है या गलत उत्तर बहुत स्पष्ट हैं, तो यह इसे सुधार के लिए वापस भेज देता है।
- उपमा: कल्पना कीजिए कि एक लेखक (A) और एक चुटकुला लिखने वाला (B) एक कॉमेडी स्केच बनाने की कोशिश कर रहे हैं। एजेंट C वह निर्देशक है जो कहता है, "वह चुटकुला जम नहीं रहा," या "सेटअप अस्पष्ट है।" क्योंकि C ने स्केच नहीं लिखा है, इसलिए इसमें वे "ब्लाइंड स्पॉट्स" (कमियां) नहीं हैं जो लेखकों ने छोड़े होंगे, और यह उन गलतियों को पकड़ सकता है जो लेखकों ने मिस कर दीं।
- द असिस्टेंट (द लाइब्रेरियन/सहायक): एक सस्ता, तेज़ रोबोट जो तथ्यों को वास्तविक बनाने के लिए विकिपीडिया से जानकारी लाता है और प्रश्नों को विषय (जैसे "स्वास्थ्य बीमा" या "पेंशन") के आधार पर टैग करता है।
जादू: यह "निरीक्षक" की भूमिका इस शोध पत्र का सबसे बड़ा ब्रेकथ्रू है। लेखक से जांचकर्ता को अलग करके, उन्होंने पाया कि AI ने अपनी पहली कोशिश में ही 60% गलतियों को पकड़ लिया, जिससे बिना किसी मानवीय हस्तक्षेप के उन्हें स्वचालित रूप से ठीक किया जा सका।
2. परीक्षाओं के दो प्रकार
शोधकर्ताओं ने AI का परीक्षण केवल एक प्रकार के प्रश्न पर नहीं किया। उन्होंने यह देखने के लिए दो अलग-अलग प्रकार के परीक्षण चलाए कि AI वास्तव में कैसे सोचता है:
- बहुविकल्पीय परीक्षण (MCQ): AI एक प्रश्न देखता है जिसमें चार विकल्प (A, B, C, D) होते हैं और एक चुनता है।
- पकड़: यह एक "पहचान" (recognition) परीक्षण की तरह है। भले ही AI को सही उत्तर न पता हो, फिर भी वह मूर्खतापूर्ण विकल्पों को हटाकर सही उत्तर का अनुमान लगा सकता है।
- "जज" टेस्ट (ओपन-एंडेड/मुक्त-अंत): AI को बिना किसी विकल्प के, शून्य से अपना उत्तर और अपने तर्क की व्याख्या लिखनी होती है।
- पकड़: यह एक "डेरिवेशन" (व्युत्पत्ति) परीक्षण है। AI अनुमान नहीं लगा सकता; उसे वास्तव में गणित और तर्क करना होगा।
3. बड़े आश्चर्य (परिणाम)
टीम ने 50 अलग-अलग AI मॉडल (गूगल, ओपनएआई और एंथ्रोपिक जैसी बड़ी कंपनियों के साथ-साथ कुछ ओपन-सोर्स मॉडल) का परीक्षण किया। यहाँ उन्होंने क्या पाया:
आश्चर्य #1: "सस्ते" विजेता।
आप सोच सकते हैं कि सबसे महंगे, सुपर-स्मार्ट AI मॉडल आसानी से जीत जाएंगे। लेकिन बहुविकल्पीय परीक्षण पर, कुछ मॉडलों ने पहले स्थान के लिए टाई किया (98% सटीकता)। हालाँकि, उन्हें चलाने की लागत में भारी अंतर था।- उपमा: यह दो कारों के समान समय में दौड़ पूरी करने जैसा है। एक $200,000 की फेरारी (महंगा AI) है और दूसरी $20,000 की टोयोटा (ओपन-सोर्स AI) है। टोयोटा ने बहुत कम कीमत पर आपको फिनिश लाइन तक पहुँचा दिया।
- विजेता: एक मानक होम कंप्यूटर (Gemma) या एक सस्ते क्लाउड सर्विस (Cerebras) पर चलने वाला मॉडल सबसे महंगे मॉडलों के लगभग बराबर प्रदर्शन करता है।
आश्चर्य #2: "सोचने" का मोड हमेशा सार्थक नहीं होता।
कुछ कंपनियाँ "रीजनिंग मोड" पेश करती हैं जहाँ AI जवाब देने से पहले अतिरिक्त समय लेकर "सोचता" है।- परिणाम: बहुविकल्पीय प्रश्नों पर, इस अतिरिक्त सोच से केवल मामूली बढ़त (कुछ प्रतिशत अंक) मिली लेकिन इसकी लागत 2x से 5x अधिक थी। यह एक लग्जरी अपग्रेड के लिए भुगतान करने जैसा था जो वास्तव में आपकी कार को बहुत अधिक तेज़ नहीं बना सका।
आश्चर्य #3: "मल्टीपल चॉइस" का जाल।
AI मॉडल बहुविकल्पीय परीक्षण पर बहुत समान दिखे (सभी लगभग 100% स्कोर कर रहे थे)। लेकिन जब उन्होंने ओपन-एंडेड "जज" टेस्ट लिया, तो रैंकिंग पूरी तरह बदल गई।- उपमा: कल्पना कीजिए कि एक छात्र उत्तर कुंजी (answer key) रट लेता है। बहुविकल्पीय परीक्षा में, वह A+ प्राप्त करता है। लेकिन जब उसे अपना काम दिखाना पड़ता है, तो वह फेल हो जाता है।
- "मल्टीपल चॉइस" फॉर्मेट ने स्कोर को बढ़ा-चढ़ाकर दिखाया, जिससे यह छिप गया कि वास्तव में गहरी तर्क क्षमता (deep reasoning) में कौन बेहतर है। केवल "जज" टेस्ट ने शीर्ष-स्तरीय AI और बाकी के बीच के वास्तविक अंतर को उजागर किया।
4. यह क्यों मायने रखता है
लेखकों ने एक सार्वजनिक वेबसाइट बनाई है जहाँ कोई भी इन प्रश्नों को देख सकता है और देख सकता है कि विभिन्न AI ने उनका उत्तर कैसे दिया।
मुख्य निष्कर्ष:
यदि आपको केवल एक सूची से सही उत्तर चुनने की आवश्यकता है (जैसे त्वरित जांच), तो आपको सबसे महंगे, "सोचने वाले" AI की आवश्यकता नहीं है। आप अपने कंप्यूटर पर चलने वाले एक सस्ते, ओपन-सोर्स मॉडल का उपयोग कर सकते हैं और बेहतरीन परिणाम प्राप्त कर सकते हैं।
लेकिन, यदि आपको AI से शून्य से एक जटिल समस्या हल करवानी है (जैसे वास्तविक दुनिया की एक एक्चुरियल गणना), तो आपको शीर्ष-स्तरीय, महंगे "रीजनिंग" मॉडल्स की आवश्यकता होगी। सस्ते मॉडल उत्तर को पहचान तो सकते हैं, लेकिन वे बिना मदद के उसे व्युत्पन्न (derive) करने में संघर्ष करते हैं।
संक्षेप में: ActuBench एक नया, स्वचालित कारखाना है जो बेहतर परीक्षा बनाता है, जो यह साबित करता है कि जबकि सस्ता AI अनुमान लगाने में बहुत अच्छा है, महंगा "सोचने वाला" AI ही एकमात्र है जो वास्तव में सबसे कठिन समस्याओं को हल कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।