ExecRubrics: Executable Tool-Augmented Rubrics for Verifiable and Efficient Long-Form Evaluation
यह शोधपत्र ExecRubrics को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो अस्पष्ट प्राकृतिक-भाषा मूल्यांकन मानदंडों को सत्यापन योग्य, निष्पादन योग्य पायथन प्रोग्रामों में परिवर्तित करता है, जिससे विविध बेंचमार्क पर पारंपरिक ब्लैक-बॉक्स LLM जजों की तुलना में तेज़, अधिक व्याख्यात्मक और अक्सर अधिक सटीक दीर्घ-रूप (long-form) प्रतिक्रिया मूल्यांकन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, लार्ज लैंग्वेज मॉडल्स लेखन, तर्क करने और समस्याओं को हल करने के लिए शक्तिशाली उपकरण बन गए हैं। फिर भी, जैसे-जैसे ये सिस्टम अधिक सक्षम होते जा रहे हैं, एक महत्वपूर्ण चुनौती उभर कर आई है: हम कैसे जानें कि उनके उत्तर वास्तव में अच्छे हैं या नहीं? वर्तमान में, कई डेवलपर्स स्वचालित प्रणालियों पर भरोसा करते हैं जो न्यायाधीश के रूप में कार्य करती हैं, जहाँ एक आर्टिफिशियल इंटेलिजेंस दूसरे के कार्य का मूल्यांकन करता है। हालांकि यह तरीका तेज़ है, लेकिन यह अक्सर एक 'ब्लैक बॉक्स' की तरह काम करता है। न्यायाधीश किसी प्रतिक्रिया को उच्च स्कोर दे सकता है बिना यह बताए कि क्यों, या वह सूक्ष्म त्रुटियों को मिस कर सकता है क्योंकि "अच्छाई" के मानदंड अस्पष्ट हो सकते हैं। पारदर्शिता की यह कमी स्वास्थ्य सेवा या वित्त जैसे उच्च-दांव वाले क्षेत्रों में खतरनाक है, जहाँ एक गलत समझी गई निर्देश भी गंभीर परिणाम दे सकती है। इसे हल करने के लिए, शोधकर्ताओं ने लंबे समय से रूब्रिक्स (rubrics) का उपयोग करने का प्रयास किया है—जो विस्तृत चेकलिस्ट हैं जो एक जटिल कार्य को छोटे, प्रबंधनीय भागों में विभाजित करती हैं। हालाँकि, पारंपरिक रूब्रिक्स प्राकृतिक भाषा में लिखे जाते हैं, जो उन्हें व्याख्या के लिए खुला छोड़ देते हैं। "सहायक बनें" या "चिकित्सकीय त्रुटियों से बचें" जैसा वाक्यांश अलग-अलग न्यायाधीशों के लिए अलग अर्थ रख सकता है, जिससे वही व्यक्तिपरकता फिर से उत्पन्न हो जाती है जिसे यह प्रणाली समाप्त करने के लिए बनाई गई थी।
एमोरी यूनिवर्सिटी और यूनिवर्सिटी ऑफ वाटरलू के शोधकर्ताओं की एक टीम ने 'एक्सेक्यूब्रिक्स' (ExecRubrics) नामक एक नया रास्ता प्रस्तावित किया है। मानदंडों को अस्पष्ट वाक्यों के रूप में छोड़ने के बजाय, वे उन्हें संक्षिप्त, निष्पादित (executable) कंप्यूटर प्रोग्रामों में अनुवादित करते हैं। कल्पना कीजिए कि एक रूब्रिक टेक्स्ट का एक पैराग्राफ नहीं है जिसे किसी इंसान या मशीन को पढ़ना और समझना पड़ता है, बल्कि निर्देशों का एक सटीक सेट है जिसे एक कंप्यूटर सीधे चला सकता है। इस ढांचे में, एक अच्छे उत्तर के मानदंड कोड के रूप में लिखे जाते हैं। यह कोड विशिष्ट चीजों की जांच कर सकता है, जैसे कि क्या किसी प्रतिक्रिया में एक विशेष चिकित्सा चेतावनी का उल्लेख है, क्या वह एक विशिष्ट प्रारूप का पालन करती है, या क्या वह कुछ प्रकार की तार्किक त्रुटियों से बचती है। क्योंकि तर्क कोड में लिखा गया है, इसलिए यह नियतात्मक (deterministic) है, जिसका अर्थ है कि यह समान इनपुट के लिए हमेशा एक ही परिणाम देगा, जिससे मानवीय या ब्लैक-बॉक्स निर्णय में पाई जाने वाली अनिश्चितता और परिवर्तनशीलता समाप्त हो जाती है। शोधकर्ताओं ने इस विचार का परीक्षण तीन अलग-अलग बेंचमार्क पर किया, जिसमें चिकित्सा सलाह का एक डेटासेट और तर्क की गुणवत्ता पर केंद्रित एक अन्य शामिल था। उन्होंने पाया कि ये निष्पादित रूब्रिक्स पारंपरिक भाषा-आधारित रूब्रिक्स की तुलना में समान रूप से, और कभी-कभी उनसे बेहतर, प्रतिक्रियाओं को रैंक कर सकते हैं जो महंगे AI न्यायाधीशों पर निर्भर करते हैं। इससे भी महत्वपूर्ण बात यह है कि यह नया तरीका नाटकीय रूप से तेज़ था, जो मानक दृष्टिकोण की तुलना में 320 गुना अधिक तेज़ी से चला, जबकि यह एक स्पष्ट, निरीक्षण योग्य रिकॉर्ड भी प्रदान करता है कि किसी प्रतिक्रिया को एक निश्चित स्कोर क्यों मिला।
इस कार्य का मूल तत्व एक रूब्रिक के इरादे को विवरण से ऑपरेशन में बदलना है। एक मानक सेटअप में, एक रूब्रिक कह सकता है, "प्रतिक्रिया को उचित रूप से तत्काल देखभाल (urgent care) की सिफारिश करनी चाहिए।" इसका मूल्यांकन करने के लिए, एक अलग AI न्यायाधीश को प्रतिक्रिया को पढ़ना होगा और यह तय करना होगा कि क्या यह उस मानक को पूरा करती है। यह निर्णय व्यक्तिपरक है और इस पर निर्भर कर सकता है कि कौन सा AI मॉडल निर्णय ले रहा है। एक्सेक्यूब्रिक्स दृष्टिकोण इस चरण को बदल देता है। शोधकर्ताओं ने प्राकृतिक-भाषा निर्देश को पायथन (Python) प्रोग्राम में बदलने के लिए उन्नत भाषा मॉडलों का उपयोग किया। यह प्रोग्राम केवल टेक्स्ट को पढ़ता नहीं है; यह सक्रिय रूप रूप से पैटर्न की जांच करता है। यह कीवर्ड्स की तलाश कर सकता है जो आपात स्थितियों से संबंधित हों, यह देख सकता है कि क्या प्रतिक्रिया डॉक्टर को बुलाने का सुझाव देती है, या यह सत्यापित कर सकता है कि क्या यह गंभीर लक्षणों के लिए झूठी आश्वासन देने से बचती है। यदि प्रतिक्रिया में सही तत्व शामिल हैं, तो कोड अंक प्रदान करता है; यदि इसमें वे चूक जाते हैं या इसमें खतरनाक सलाह शामिल होती है, तो यह अंक काट लेता है। यह प्रक्रिया सिमुलेशन या अनुमान नहीं है; यह नियमों का सीधा निष्पादन है। शोधकर्ताओं ने दिखाया कि इन प्रोग्रामों को मानक टेक्स्ट-प्रोसेसिंग टूल्स—वे लाइब्रेरी जो शब्दों को गिन सकती हैं, नाम पहचान सकती हैं, या निषेध (negation) का पता लगा सकती हैं—का उपयोग करने की अनुमति देकर, वे और भी परिष्कृत मूल्यांकनकर्ता बना सकते हैं। ये उपकरण कोड के लिए एक आवर्धक लेंस की तरह कार्य करते हैं, जिससे वे उन विवरणों को पकड़ सकते हैं जिन्हें एक साधारण टेक्स्ट सर्च मिस कर सकता है, जैसे कि क्या एक चिकित्सा प्रतिक्रिया रोगी की एलर्जी को सही ढंग से संभालती है या क्या एक तर्क प्रति-तर्क को स्वीकार करता है।
जब टीम ने इस पद्धति को वास्तविक दुनिया के डेटासेट्स पर लागू किया, तो परिणाम आश्चर्यजनक थे। चिकित्सा सलाह के लिए एक बेंचमार्क 'हेल्थबेंच' (HealthBench) पर, निष्पादित रूब्रिक्स ने 53 प्रतिशत की प्राथमिकता सटीकता प्राप्त की, जो सर्वश्रेष्ठ प्राकृतिक-भाषा रूब्रिक बेसलाइन के प्रदर्शन के बराबर थी। तर्क की गुणवत्ता के लिए एक डेटासेट 'आर्गक्वालिटी' (ArgQuality) पर, निष्पादित रूब्रिक्स ने 92 प्रतिशत सटीकता प्राप्त की, जो पारंपरिक तरीकों से बेहतर प्रदर्शन करता है। सामान्य उपयोगिता के एक तीसरे परीक्षण 'हेल्पस्टीयर' (HelpSteer) पर, उन्होंने 78 प्रतिशत सटीकता हासिल की। ये संख्याएं दर्शाती हैं कि कोड-आधारित मूल्यांकनकर्ता बिना किसी मानव या अलग AI की मदद के, हर बार नियमों की व्याख्या किए बिना, उच्च-गुणवत्ता और निम्न-गुणवत्ता वाली प्रतिक्रियाओं के बीच सफलतापूर्वक अंतर कर पा रहे थे। सिस्टम की गति भी उतनी ही प्रभावशाली थी। जबकि प्रत्येक मानदंड का मूल्यांकन करने के लिए AI न्यायाधीश का उपयोग करने वाला पारंपरिक तरीका काफी समय लेता था, निष्पादित रूब्रिक्स ने वही कार्य सेकंड के एक अंश में पूरे कर लिए। कुछ मामलों में, नया तरीका पुराने तरीके की तुलना में 320 गुना तेज़ था। यह गति, और यह देखने की क्षमता कि कौन सा नियम ट्रिगर हुआ, उन डोमेन के लिए एक शक्तिशाली विकल्प प्रदान करती है जहाँ सटीकता और गति महत्वपूर्ण हैं।
शोधकर्ताओं ने यह भी पता लगाया कि ये रूब्रिक्स जटिल तर्क को कैसे संभालते हैं जो साधारण चेकलिस्ट से परे है। एक पारंपरिक रूब्रिक में, मानदंडों को स्वतंत्र मदों के रूप में माना जाता है जिन्हें बस जोड़ा जाता है। हालाँकि, वास्तविक दुनिया के मूल्यांकन के लिए अधिक सूक्ष्मता की आवश्यकता होती है, जैसे अपवादों को संभालना या दंड लागू करना। निष्पादित रूब्रिक्स इन निर्भरताओं को सीधे एनकोड कर सकते हैं। उदाहरण के लिए, पेनिसिलिन एलर्जी के बारे में एक चिकित्सा प्रश्न में, कोड एक विशिष्ट शाखा को सक्रिय कर सकता है जो गैर-पेनिसिलिन विकल्पों के सुझाव को पुरस्कृत करता है और साथ ही एमोक्सिसिलिन (amoxicillin) के किसी भी सुझाव को दंडित करता है। इस प्रकार का सशर्त तर्क (conditional logic) एक स्थिर चेकलिस्ट में पकड़ना कठिन है लेकिन एक कंप्यूटर प्रोग्राम के लिए स्वाभाविक है। अध्ययन ने प्रदर्शित किया कि बाहरी उपकरणों को शामिल करके, रूब्रिक्स और भी अधिक अभिव्यंजक हो सकते हैं, जो पठनीयता, भावनात्मक स्वर, या विशिष्ट सुरक्षा चेतावनियों जैसी चीजों की जांच कर सकते हैं। यह लचीलापन बताता है कि यह दृष्टिकोण पारदर्शिता खोए बिना, स्वास्थ्य सेवा से लेकर कानूनी तर्क तक विभिन्न डोमेन की अनूठी आवश्यकताओं के अनुकूल हो सकता है।
इन सफलताओं के बावजूद, लेखक सावधानीपूर्वक नोट करते हैं कि यह कोई पूर्ण समाधान नहीं है। वे बताते हैं कि जबकि स्कोरिंग तर्क अब स्पष्ट है, रूब्रिक्स स्वयं AI द्वारा उत्पन्न किए जाते हैं, जिसका अर्थ है कि यदि प्रारंभिक निर्देश अस्पष्ट हैं तो वे संभावित रूप से त्रुटिपूर्ण या पक्षपाती हो सकते हैं। यह जोखिम भी है कि यदि इन रूब्रिक्स का उपयोग AI मॉडलों को प्रशिक्षित करने के लिए किया जाता है, तो मॉडल उन विशिष्ट कीवर्ड्स या संरचनाओं को शामिल करके सिस्टम को "गेम" (धोखा देना) करना सीख सकते हैं जो वास्तव में एक अच्छा उत्तर दिए बिना उच्च स्कोर को ट्रिगर करते हैं। शोधकर्ता इस बात पर जोर देते हैं कि निष्पादित रूब्रिक्स को मूल्यांकन को अधिक पारदर्शी और जवाबदेह बनाने के एक उपकरण के रूप में देखा जाना चाहिए, न कि मानव निरीक्षण के विकल्प के रूप में। उच्च-दांव वाले वातावरण में, नियमों की समीक्षा करने, यह सुनिश्चित करने के लिए कि वे निष्पक्ष हैं, और यह सत्यापित करने के लिए कि कोड वास्तविक दुनिया की जरूरतों के अनुरूप है, मानव विशेषज्ञों की अभी भी आवश्यकता है। अध्ययन सुझाव देता है कि यह दृष्टिकोण एक ऐसे भविष्य की ओर एक महत्वपूर्ण कदम है जहाँ AI मूल्यांकन केवल एक ब्लैक बॉक्स नहीं है, बल्कि एक स्पष्ट, ऑडिट योग्य प्रक्रिया है जिसे निरीक्षण, संपादित और विश्वसनीय बनाया जा सकता है।
इस कार्य के निहितार्थ केवल मूल्यांकन को तेज़ बनाने से कहीं अधिक हैं। मूल्यांकन मानदंडों को कोड में बदलकर, शोधकर्ताओं ने मानव निर्णय के अमूर्त लक्ष्यों और कंप्यूटर प्रोग्रामों के सटीक निष्पादन के बीच एक सेतु बना दिया है। यह उस स्तर की निरंतरता की अनुमति देता है जो मानव रेटर्स या अपारदर्शी AI न्यायाधीशों के साथ प्राप्त करना कठिन है। यदि रूब्रिक को बदलने की आवश्यकता है, तो इसे सीधे कोड में संपादित किया जा सकता है, और उस परिवर्तन के प्रभाव का तुरंत परीक्षण किया जा सकता है। यह मूल्यांकन प्रक्रिया को अधिक गतिशील और नई आवश्यकताओं के प्रति उत्तरदायी बनाता है। अध्ययन यह भी उजागर करता है कि इन रूब्रिक्स का उपयोग AI मॉडलों को प्रशिक्षित करने के लिए किया जा सकता है, जो एक अच्छे उत्तर के क्या मायने हैं, इसका एक स्पष्ट संकेत प्रदान करता है। हालाँकि, लेखक चेतावनी देते हैं कि सिस्टम की सफलता काफी हद तक उत्पन्न कोड की गुणवत्ता और उपलब्ध टूल्स पर निर्भर करती है। कुछ मामलों में, निष्पादित रूब्रिक्स ने सर्वश्रेष्ठ मानव-लिखित बेसलाइनों की तुलना में थोड़ा कम प्रदर्शन किया, विशेष रूप से जटिल चिकित्सा परिदृश्यों में जहाँ स्थिति की सूक्ष्मता को केवल कोड के माध्यम से पकड़ना कठिन हो सकता है। यह सुझाव देता है कि जबकि यह पद्धति शक्तिशाली है, यह अभी भी मानव विशेषज्ञता का पूर्ण विकल्प नहीं है।
अंततः, यह शोध हमें कृत्रिम बुद्धिमत्ता की गुणवत्ता का मूल्यांकन करने के तरीके पर एक नया दृष्टिकोण प्रदान करता है। यह एक एकल, रहस्यमय स्कोर के विचार से हटकर पारदर्शी, सत्यापन योग्य नियमों की एक प्रणाली की ओर बढ़ता है। निष्कर्ष बताते हैं कि मूल्यांकन के तर्क को स्पष्ट करके, हम ऐसे सिस्टम बना सकते हैं जो न केवल अधिक कुशल हैं बल्कि अधिक विश्वसनीय भी हैं। जैसे-जैसे AI समाज के महत्वपूर्ण पहलुओं में एकीकृत हो रहा है, यह समझने और ऑडिट करने की क्षमता कि निर्णय कैसे लिए जाते हैं, तेजी से महत्वपूर्ण होती जा रही है। एक्सेक्यूब्रिक्स इस कार्य को करने के लिए एक ढांचा प्रदान करता है, जो मूल्यांकन की अमूर्त कला को एक ठोस, निष्पादित विज्ञान में बदल देता है। यह कार्य यह दावा नहीं करता है कि इसने AI मूल्यांकन की सभी समस्याओं को हल कर दिया है, लेकिन यह एक आशाजनक मार्ग प्रस्तुत करता है, जहाँ सफलता के मानदंड उतने ही स्पष्ट और विश्वसनीय होते हैं जितना कि वह कोड जो उन्हें लागू करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।