LitReview Arena: Evaluating Literature Review Agents with Battle-Style Peer Review Platform

विज्ञान केवल नए तथ्यों की खोज से ही नहीं, बल्कि उन्हें एक ऐसी कहानी में बुनने से आगे बढ़ता है जो समझ में आए। जब शोधकर्ता किसी तेजी से बढ़ते क्षेत्र में प्रवेश करते हैं, तो वे साहित्य समीक्षाओं (literature reviews) के माध्यम से उस क्षेत्र का मानचित्र तैयार करने पर भरोसा करते हैं, जिससे बिखरे हुए अध्ययनों को एक सुसंगत चित्र में पिरोया जा सके कि क्या ज्ञात है, क्या गायब है, और आगे कहाँ देखना है। ये समीक्षाएँ वे मानसिक मॉडल हैं जो भविष्य के प्रयोगों का मार्गदर्शन करती हैं और पूरे करियर को आकार देती हैं। वर्षों से, यह आशा रही है कि कृत्रिम बुद्धिमत्ता (AI) इस भारी काम को स्वचालित कर सकेगी, यानी हमारे लिए इन सारांशों को लिखने के लिए हजारों शोध पत्रों को स्कैन कर सकेगी। लेकिन एक गंभीर समस्या उभर कर आई है: जबकि मशीनें अब जानकारी एकत्र कर सकती हैं और वाक्यों को एक साथ जोड़ सकती हैं, हमारे पास इस बात का आकलन करने का कोई विश्वसनीय तरीका नहीं था कि परिणामी समीक्षा वास्तव में किसी मानव विशेषज्ञ के लिए कितनी उपयोगी है। पारंपरिक परीक्षण अक्सर यह गिनते हैं कि मशीन ने कितने संदर्भों को सही बताया या वह एक टेम्पलेट के साथ कितनी अच्छी तरह मेल खाती है, लेकिन ये मेट्रिक्स एक समीक्षा के सबसे महत्वपूर्ण हिस्से को चूक जाते हैं: अंतर्दृष्टि (insight)। एक अच्छी समीक्षा केवल शोध पत्रों की सूची नहीं बनाती; बल्कि यह तर्क देती है कि विभिन्न विचार एक साथ कैसे फिट होते हैं और उन सूक्ष्म कमियों की पहचान करती है जिन्हें एक मानव शोधकर्ता मूल्यवान पाएगा।

शोधकर्ताओं की एक टीम ने अब इस मूल्यांकन समस्या को हल करने के लिए एक नई प्रणाली बनाई है, जिसने साहित्य समीक्षाओं के मूल्यांकन को एक उच्च-दांव वाले टूर्नामेंट की तरह पेश किया है। कठोर चेकलिस्ट या स्वचालित स्कोर के बजाय, उन्होंने विशेषज्ञों के एक बड़े समूह को इकट्ठा किया—वे वैज्ञानिक जिन्होंने आर्टिफिशियल इंटेलिजेंस के क्षेत्र में अपने स्वयं के शोध पत्र लिखे हैं—और उनसे गुमनाम प्रारूपों (drafts) की आमने-सामने तुलना करने को कहा। इस सेटअप में, जिसे 'बैटल-स्टाइल एरिना' कहा जाता है, एक ही विषय पर दो समीक्षाएँ प्रस्तुत की जाती हैं बिना यह बताए कि उन्हें किसने लिखा है। विशेषज्ञ फिर पाँच विशिष्ट क्षेत्रों में यह तय करने के लिए वोट करते हैं कि कौन सा प्रारूप बेहतर है: संदर्भों की सूची कितनी पूर्ण है, दावों को साक्ष्यों द्वारा कितनी अच्छी तरह समर्थित किया गया है, पेपर कितनी स्पष्ट रूप से व्यवस्थित है, भविष्य के अनुसंधान के सुझावों की गुणवत्ता कैसी है, और दस्तावेज़ की समग्र उपयोगिता क्या है। यह पद्धति मानव निर्णय की बारीकियों को पकड़ती है, इस बात पर ध्यान केंद्रित करती है कि क्या एक समीक्षा शोधकर्ता को सोचने में मदद करती है, न कि केवल इस पर कि क्या यह सही दिखती है।

इस प्लेटफॉर्म का उपयोग करते हुए, शोधकर्ताओं ने आर्टिफिशियल इंटेलिजेंस की वर्तमान स्थिति का परीक्षण करने के लिए लगभग तीन हजार विशेषज्ञ निर्णयों को एकत्र किया। परिणाम चौंकाने वाले थे। यहाँ तक कि सबसे उन्नत AI सिस्टम भी, जिनमें स्वायत्त एजेंटों के रूप में कार्य करने के लिए डिज़ाइन किए गए सिस्टम शामिल हैं जो जानकारी खोजते और संश्लेषित करते हैं, मानव-लिखित प्रारूप की गुणवत्ता से मेल खाने के लिए संघर्ष करते हैं। जब ये मशीनें सीधे मानव विशेषज्ञों के खिलाफ प्रतिस्पर्धा करती हैं, तो वे निर्णायक मैचों में केवल लगभग तेईस प्रतिशत बार जीत पाती हैं। यह अंतर उन क्षेत्रों में विशेष रूप से व्यापक था जो वैज्ञानिक प्रगति के लिए महत्वपूर्ण हैं: सामग्री का संगठन और सार्थक शोध अंतराल (research gaps) की पहचान करना। हालांकि मशीनें अक्सर सही शोध पत्रों को प्राप्त कर सकती थीं, लेकिन वे उन्हें एक तार्किक कथा में व्यवस्थित करने या वास्तव में अंतर्दृष्टिपूर्ण भविष्य की दिशाएं प्रस्तावित करने में अक्सर विफल रहीं। इसके बजाय, उनके सुझाव अक्सर सामान्य लगते थे, जैसे कि वास्तविक खोजों के बजाय मानक टेम्पलेट हों।

अध्ययन ने यह भी उजागर किया कि ये सिस्टम कैसे काम करते हैं, इसमें एक महत्वपूर्ण ट्रेड-ऑफ (trade-off) है। वे AI एजेंट जो सर्वश्रेष्ठ प्रदर्शन करते थे, वे वे थे जो जानकारी खोज सकते थे और एक समस्या पर चरण-दर-चरण विचार कर सकते थे, लेकिन वे ऐसा एक विशाल खर्च पर करते थे। औसतन, इन परिष्कृत एजेंटों ने एक एकल समीक्षा उत्पन्न करने के लिए मानक भाषा मॉडलों की तुलना में पंद्रह गुना अधिक कंप्यूटिंग संसाधनों का उपभोग किया। इस भारी प्रसंस्करण शक्ति के निवेश के बावजूद, वे मानव-स्तर की उपयोगिता से पीछे रह गए। यह निष्कर्ष बताता है कि समस्या के समाधान के लिए केवल अधिक कंप्यूटिंग शक्ति लगाना ही समाधान नहीं है; जटिल विचारों को एक सुसंगत तर्क में संश्लेषित करने की मौलिक क्षमता मशीनों के लिए एक कठिन बाधा बनी हुई है।

शायद सबसे आश्चर्यजनक खोज यह थी कि वर्तमान में AI को परखने के लिए उपयोग किए जाने वाले उपकरण अक्सर भ्रामक होते हैं। कई डेवलपर्स अपने साथियों के काम को ग्रेड देने के लिए अन्य AI मॉडलों पर निर्भर रहते हैं, जिसे "AI द्वारा AI का निर्णय" (AI judging AI) कहा जाता है। शोधकर्ताओं ने पाया कि ये स्वचालित जज मानव विशेषज्ञों के साथ ठीक से संरेखित (aligned) नहीं हैं। वे उस लेखन को पसंद करते हैं जो सुनने में सहज और प्रवाहपूर्ण लगता है, और अक्सर उन मानव प्रारूपों को दंडित करते हैं जो अधिक प्रत्यक्ष या अपरंपरागत होते हैं। एक उल्लेखनीय मामले में, एक स्वचालित जज ने एक मानव-लिखित समीक्षा को बहुत कम स्कोर दिया जबकि एक मशीन-जनित प्रारूप को विजेता के रूप में रैंक किया, जिससे मानव विशेषज्ञों की प्राथमिकताओं का पूरी तरह से उलट जाना देखा गया। यह मिसअलाइनमेंट (misalignment) का अर्थ है कि स्वचालित स्कोर पर भरोसा करने से शोधकर्ता ऐसे सिस्टम बना सकते हैं जो कागज पर तो अच्छे दिखते हैं लेकिन वैज्ञानिकों को वास्तविक मूल्य प्रदान करने में विफल रहते हैं।

इसे ठीक करने के लिए, टीम ने एक नया, कैलिब्रेटेड इवैल्यूएटर बनाया जो मानव विशेषज्ञों की प्राथमिकताओं से सीखता है। इस सिस्टम को उनके एरिना से एकत्र किए गए हजारों निर्णयों पर प्रशिक्षित करके, उन्होंने इसे सूक्ष्म स्तर की तरलता और गहरे, संरचनात्मक गुण के बीच अंतर पहचानना सिखाया। यह नया टूल, जिसे वे 'लिटजज' (LitJudge) कहते हैं, स्वचालित स्कोर को मानव निर्णय के बहुत करीब ले आया, जिससे सहमति कमजोर सहसंबंध से बढ़कर इतनी मजबूत हो गई जितनी दो मानव विशेषज्ञों के बीच होती है। यह सफलता एक व्यावहारिक मार्ग प्रदान करती है: शोधकर्ता अब हर बार महंगे मानव समीक्षाओं के लिए भुगतान किए बिना ऑफलाइन अपने AI सिस्टम का मूल्यांकन और सुधार कर सकते हैं। यह कार्य पुष्टि करता है कि हालांकि आर्टिफिशियल इंटेलिजेंस ने जानकारी एकत्र करने में बड़ी प्रगति की है, लेकिन उस जानकारी को एक ऐसी कहानी में संश्लेषित करने की कला जो मानव खोज का मार्गदर्शन करती है, एक ऐसी चुनौती है जिसे मशीनें अभी तक सिद्ध नहीं कर पाई हैं।