Evaluating the Impact of Reviewer Guideline Design on LLM-Based Automated Peer Review
यह अध्ययन प्रदर्शित करता है कि स्वचालित सहकर्मी समीक्षा (पीयर रिव्यू) प्रणालियाँ तब मानव निर्णयों के साथ उच्चतम संरेखण प्राप्त करती हैं जब वे एलएलएम-जनित अनुकरणों के बजाय आधिकारिक सम्मेलन दिशानिर्देशों द्वारा निर्देशित होती हैं, और यह कि समग्र स्कोरिंग की अनुमति देना सख्त रूब्रिक-आधारित दृष्टिकोणों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट ट्रांसलेटर: जब AI लाइनों के बीच पढ़ना सीखता है
कल्पना कीजिए कि आप एक रोबोट को यह सिखाने की कोशिश कर रहे हैं कि साइंस फेयर प्रोजेक्ट का मूल्यांकन कैसे किया जाए। आप रोबोट को एक सरल नियम दे सकते हैं: "यदि प्रोजेक्ट चमकदार दिखता है, तो इसे एक गोल्ड स्टार दें।" लेकिन यह बहुत आसान है; एक रोबोट केवल चमक-धमक को देख सकता है और वास्तविक विज्ञान को नजरअंदाज कर सकता है। यही चुनौती अकादमिक पीयर रिव्यू (सहकर्मी समीक्षा) की दुनिया के सामने है, जहाँ मानव विशेषज्ञ यह तय करने के लिए अनगिनत घंटे बिताते हैं कि कोई विचार शानदार है या त्रुटिपूर्ण। हाल ही में, वैज्ञानिकों ने इस भारी काम में मदद के लिए आर्टिफिशियल इंटेलिजेंस (AI) से सहायता मांगनी शुरू कर दी है। लेकिन पेचीदा हिस्सा यह है: आप AI को क्या देखना है, यह कैसे बताएंगे? क्या आप इसे एक सख्त चेकलिस्ट देंगे, जैसे कि गणित का टेस्ट जिसमें एक ही सही उत्तर होता है? या क्या आप इसे कुछ "वाइब्स" (भाव) देंगे और इसे एक अनुभवी कला समीक्षक की तरह अपने निर्णय का उपयोग करने देंगे?
यह प्रश्न केइयो यूनिवर्सिटी और NEC कॉर्पोरेशन के शोधकर्ताओं द्वारा किए गए एक नए अध्ययन के केंद्र में है। वे यह देखना चाहते थे कि क्या AI को "रिव्यूअर गाइडलाइन्स" (समीक्षक दिशा-निर्देश)—यानी पेपर का मूल्यांकन करने के निर्देश—देने से वास्तव में इसके काम करने की क्षमता बेहतर होती है। उन्होंने दो मुख्य प्रकार के निर्देशों का परीक्षण किया। पहला प्रकार था "ऑफिशियल रूलबुक" (आधिकारिक नियम पुस्तिका), जो प्रमुख कंप्यूटर साइंस सम्मेलनों द्वारा उपयोग किए जाने वाले वास्तविक, औपचारिक दिशा-निर्देश हैं। दूसरा प्रकार था "कॉपिकैट गाइड" (नकल करने वाली मार्गदर्शिका), जहाँ उन्होंने एक AI को हजारों पिछले मानव रिव्यूज पढ़ने और अपने स्वयं के नियमों को लिखने के लिए कहा, जो उसने यह समझा कि इंसानों को क्या पसंद है। उन्होंने यह भी परीक्षण किया कि क्या AI को एक कठोर अंक प्रणाली (रुब्रिक्स) का उपयोग करने के लिए मजबूर करने से वह अधिक स्मार्ट बनता है या केवल अधिक रोबिक (यांत्रिक) हो जाता है।
पेपर की यात्रा: AI के "स्वाद" का परीक्षण
शोधकर्ताओं ने एक व्यापक प्रयोग किया यह देखने के लिए कि कौन सी विधि उन रिव्यूज को उत्पन्न करती है जिनसे मनुष्य सहमत होते हैं। उन्होंने एक प्रमुख कॉन्फ्रेंस (ICLR 2024) से 1,500 वास्तविक पेपर लिए और तीन अलग-अलग AI मॉडल्स को उन्हें ग्रेड देने के लिए कहा। लक्ष्य सरल था: क्या AI एक स्कोर (1 से 10 तक) दे सकता है जो मानव समीक्षकों द्वारा दिए गए औसत स्कोर से मेल खाता हो?
सबसे पहले, उन्होंने AI को बिना किसी निर्देश के पेपर ग्रेड करने की कोशिश की। जैसा कि आप उम्मीद कर सकते हैं, AI थोड़ा खोया हुआ था, और उसके स्कोर इंसानों की तुलना में बहुत बिखरे हुए थे। फिर, उन्होंने AI को NeurIPS, ICLR और ARR जैसे सम्मेलनों की ऑफिशियल रूलबुक्स दीं। परिणाम एक बड़ा सुधार था। AI अचानक मानव निर्णय के साथ बहुत अधिक सुसंगत हो गया। यह तथ्य सामने आया कि जिन दिशा-निर्देशों को इंसानों ने खराब विज्ञान को पकड़ने और अच्छे विज्ञान को पहचानने के लिए दशकों तक परिष्कृत किया है, वे AI के लिए बेहतरीन "ट्रेनिंग व्हील्स" (सहायक पहिए) हैं। AI को अपने स्वयं के नियम बनाने की आवश्यकता नहीं थी; उसे बस उन्हीं नियमों का पालन करने की आवश्यकता थी जो पहले से ही काम कर रहे थे।
इसके बाद, उन्होंने कॉपिकैट गाइड्स का परीक्षण किया। उन्होंने एक AI से उच्च गुणवत्ता वाले मानव रिव्यूज पढ़ने और यह सारांशित करने के लिए कहा कि एक पेपर "अच्छा" या "बुरा" क्यों होता है। उन्हें उम्मीद थी कि इससे "मानवीय स्पर्श" मिल जाएगा। हालाँकि, यह दृष्टिकोण ऑफिशियल रूलबुक्स जितना प्रभावी नहीं रहा। मानव व्यवहार को सारांशित करने का AI का अपना प्रयास थोड़ा अस्पष्ट और मानव स्कोर की भविष्यवाणी करने में कम प्रभावी था। ऐसा लगता है कि हालांकि इंसान रिव्यू लिखने में माहिर होते हैं, लेकिन वे हमेशा यह समझाने में माहिर नहीं होते कि उन्होंने उन्हें क्यों लिखा, ताकि कोई अन्य AI उनकी सटीक नकल कर सके।
अंत में, शोधकर्ताओं ने "रुब्रिक" दृष्टिकोण का परीक्षण किया। यह वह जगह है जहाँ AI को विशिष्ट बॉक्स टिक करने के लिए मजबूर किया जाता है (जैसे "क्या इसने 5 पेपरों का उल्लेख किया? हाँ/नहीं") और अंतिम स्कोर प्राप्त करने के लिए अंक जोड़ दिए जाते हैं। उन्होंने पाया कि यह कठोर, गणितीय दृष्टिकोण वास्तव में AI को खराब बना देता है। जब AI को थोड़ा लचीला होने और पेपर के समग्र अहसास के आधार पर एक "होलिस्टिक" (समग्र) स्कोर देने की अनुमति दी गई—ठीक वैसे ही जैसे एक इंसान करता है—तो इसने मानव विचारों के साथ बहुत बेहतर तालमेल बिठाया।
फैसला: पुराने नियमों पर भरोसा करें, नई तरकीबों पर नहीं
अध्ययन निष्कर्ष निकालता है कि यदि आप चाहते हैं कि एक AI एक निष्पक्ष पीयर रिव्यूअर की तरह कार्य करे, तो आपको पहिये का पुनरुद्धार करने की कोशिश नहीं करनी चाहिए। AI को निर्देशित करने का सबसे अच्छा तरीका उसे वे आधिकारिक, मानव-लिखित दिशा-निर्देश देना है जिन्हें सम्मेलनों ने पहले ही सिद्ध कर लिया है। ये दस्तावेज़ एक मानचित्र की तरह कार्य करते हैं, जो AI को ठीक से दिखाते हैं कि खराब विज्ञान के गड्ढे कहाँ हैं और अच्छे विज्ञान के शिखर कहाँ हैं।
दिलचस्प बात यह है कि अध्ययन सुझाव देता है कि यदि आप AI को अंक-आधारित चेकलिस्ट के साथ बहुत सटीक होने के लिए मजबूर करने की कोशिश करते हैं, तो यह इसके प्रदर्शन को नुकसान पहुँचाता है। इंसान पेपर को अंक जोड़ने के तरीके से ग्रेड नहीं करते; वे पूरी कहानी को पढ़ते हैं और एक राय बनाते हैं। AI तब सबसे अच्छा काम करता है जब इसे वही करने की अनुमति दी जाती है: यानी बड़ी तस्वीर को देखने और केवल नंबरों की गणना करने के बजाय अपने "निर्णय" का उपयोग करने की। इसलिए, जबकि AI विज्ञान को पढ़ने में बेहतर हो रहा है, यह अभी भी सबसे अच्छा तब सीखता है जब हम इसे केवल कठोर निर्देशों के बजाय मानवीय अनुभव का विवेक देते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।