How Closely Do LLM Reviews Align with Human Peer Review?
यह अध्ययन ICLR 2026 के सबमिशन के लिए मानव सहकर्मी समीक्षाओं (human peer reviews) के विरुद्ध तीन प्रमुख लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है, जिसमें यह पाया गया है कि जहाँ LLMs व्यापक रूप से स्वीकृत और अस्वीकृत शोध पत्रों के बीच अंतर कर सकते हैं, वहीं वे ओरल और पोस्टर प्रस्तुतियों के बीच मानवीय भेदों को दोहराने में विफल रहते हैं और प्रदाता-विशिष्ट स्कोरिंग पूर्वाग्रहों तथा कमजोरियों की पहचान करने में विषयगत भिन्नताओं को प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ हर नए वैज्ञानिक विचार को दुनिया के साथ साझा करने से पहले एक द्वारपाल (gatekeeper) से गुजरना पड़ता है। दशकों से, यह द्वारपाल एक मानव विशेषज्ञ रहा है, एक पीयर रिव्यूअर (peer reviewer), जो एक शोध पत्र को पढ़ता है, उसकी खूबियों और खामियों पर विचार करता है, और उसे एक स्कोर देता है। यह कुछ एक टैलेंट शो के जज की तरह है, लेकिन यहाँ वे गाना नहीं गा रहे, बल्कि जटिल गणित और कंप्यूटर कोड का निर्णय ले रहे हैं। हाल ही में, अखाड़े में एक नए प्रकार के जज ने प्रवेश किया है: आर्टिफिशियल इंटेलिजेंस (AI), विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs)। ये अत्यंत बुद्धिमान कंप्यूटर प्रोग्राम हैं जिन्हें विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया है जो एक शोध पत्र को पढ़ सकते हैं और इंसानों की तरह ही समीक्षा लिख सकते हैं। लेकिन यहाँ बड़ा सवाल यह है: क्या ये AI जज वास्तव में इंसानी जजों की तरह सोचते हैं, या वे केवल शब्दों की नकल कर रहे हैं? यदि कोई AI कहता है कि एक पेपर "अच्छा" है, तो क्या इसका वही अर्थ है जो तब होता है जब एक इंसान कहता है कि वह "अच्छा" है? यही वह रहस्य है जिसे वैज्ञानिक सुलझाने की कोशिश कर रहे हैं, क्योंकि यदि हम यह तय करने के लिए AI का उपयोग करना शुरू करते हैं कि कौन से वैज्ञानिक शोध पत्र प्रकाशित किए जाने चाहिए, तो हमें यह जानना होगा कि क्या वे उन्हीं नियमों का पालन कर रहे हैं जिनका पालन उनके द्वारा प्रतिस्थापित किए जा रहे इंसानों द्वारा किया जाता है।
यह शोध पत्र एक विशाल, नियंत्रित प्रयोग की तरह है जहाँ शोधकर्ताओं ने एक "रिव्यूइंग शोडाउन" (समीक्षा मुकाबला) आयोजित किया। उन्होंने एक प्रमुख कंप्यूटर विज्ञान सम्मेलन (ICLR 2026) से 300 वास्तविक वैज्ञानिक शोध पत्र लिए और तीन अलग-अलग AI मॉडल्स—OpenAI के GPT-5.4, Google के Gemini 3.1 Pro, और Anthropic के Claude Opus 4.6—को उनकी समीक्षा करने के लिए कहा। मुकाबले को निष्पक्ष बनाने के लिए, शोधकर्ताओं ने शोध पत्रों का मिलान इस तरह किया कि प्रत्येक "ओरल" प्रस्तुति (शीर्ष-स्तरीय, स्पॉटलाइट पेपर) के लिए, एक समान "पोस्टर" पेपर (अच्छा, लेकिन शीर्ष-स्तरीय नहीं) और एक "अस्वीकृत" (rejected) पेपर था। फिर उन्होंने AI समीक्षाओं की तुलना वास्तविक मानव समीक्षाओं और सम्मेलन द्वारा लिए गए अंतिम निर्णयों से की।
परिणाम "बुरे नहीं हैं" और "बहुत अलग हैं" का मिश्रण थे। सबसे पहले, अच्छी खबर: तीनों AI मॉडल्स इतने समझदार थे कि वे एक स्वीकृत पेपर और एक अस्वीकृत पेपर के बीच अंतर बता सके। वे जंगल को देख सकते थे। हालाँकि, वे पेड़ों को देखने में पूरी तरह विफल रहे। जहाँ मानव समीक्षकों ने "ओरल" पेपरों और "पोस्टर" पेपरों के बीच स्पष्ट अंतर दिखाया (यह पहचानते हुए कि ओरल पेपर थोड़े बेहतर थे), वहीं AI मॉडल्स ने उन्हें बिल्कुल एक जैसा माना। वे एक "अच्छे" पेपर और एक "महान" पेपर के बीच अंतर नहीं कर सके।
इसके अलावा, AI मॉडल्स ने केवल अलग स्कोर ही नहीं दिए; उनके अपने अनूठे व्यक्तित्व भी थे। Google का Gemini समूह का "अच्छा लड़का" था, जो व्यवस्थित रूप से सभी को उच्च स्कोर दे रहा था, यहाँ तक कि उन शोध पत्रों को भी उच्च अंक दे रहा था जिन्हें इंसानों ने अस्वीकार कर दिया था। OpenAI और Claude "कठोर आलोचक" की तरह थे, विशेष रूप से शीर्ष-स्तरीय ओरल पेपर्स के मामले में, जहाँ वे वास्तव में इंसानों की तुलना में अधिक सख्त थे।
अंत में, शोधकर्ताओं ने इस बात पर भी गौर किया कि समीक्षक किन बातों की शिकायत कर रहे थे। मानव और AI बड़े स्तर पर सहमत थे, जैसे कि "यह प्रयोग कमजोर है" या "लेखन अस्पष्ट है।" लेकिन जब बारी सूक्ष्म विवरणों की आई, तो उनकी प्राथमिकताएं अलग थीं। AI मॉडल्स अन्य विधियों (बेसलाइन्स) के साथ तुलना की कमी को लेकर जुनूनी थे, जबकि मानव समीक्षक इस बात को लेकर अधिक चिंतित थे कि शोध में कितनी कंप्यूटर शक्ति और धन खर्च होगा।
संक्षेप में, यह शोध पत्र सुझाव देता है कि हालांकि AI स्पष्ट गलतियों को पकड़ने के लिए आँखों की एक दूसरी जोड़ी के रूप में सहायक हो सकता है, लेकिन यह मानव जजों की जगह लेने के लिए तैयार नहीं है। यह आपको बता सकता है कि एक पेपर "पास" है या "फेल", लेकिन यह उन सूक्ष्म बारीकियों को समझने में संघर्ष करता है जो एक पेपर को वास्तव में उत्कृष्ट बनाते हैं, और यह उन चीजों की परवाह करता है जो इंसानों से अलग हैं। एक AI स्कोर को मानव स्कोर के बिल्कुल समान मानना वैसा ही होगा जैसे किसी रोबोट पर कुकिंग कॉन्टेस्ट (खाना पकाने की प्रतियोगिता) का निर्णय लेने के लिए भरोसा करना क्योंकि वह एक जले हुए कुकी और एक ताज़ा कुकी के बीच अंतर कर सकता है, भले ही उसे यह पता ही न हो कि "गॉरमेट" (उत्कृष्ट स्वाद) का स्वाद कैसा होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।