🤖 AI

AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot

यह शोध पत्र AAAI-26 में AI-सहायता प्राप्त पीयर रिव्यू के पहले बड़े पैमाने पर परिनियोजन की रिपोर्ट करता है, जहाँ एक अत्याधुनिक प्रणाली ने एक दिन से भी कम समय में 22,000 से अधिक शोध पत्रों के लिए समीक्षाएँ उत्पन्न कीं, जो मानव समीक्षाओं और एक साधारण LLM बेसलाइन की तुलना में बेहतर तकनीकी सटीकता और अनुसंधान सुझाव प्रदर्शित करती है।

मूल लेखक: Joydeep Biswas, Sheila Schoepp, Gautham Vasan, Anthony Opipari, Arthur Zhang, Zichao Hu, Sebastian Joseph, Matthew Lease, Junyi Jessy Li, Peter Stone, Kiri L. Wagstaff, Matthew E. Taylor, Odest Chadwi

प्रकाशित 2026-04-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joydeep Biswas, Sheila Schoepp, Gautham Vasan, Anthony Opipari, Arthur Zhang, Zichao Hu, Sebastian Joseph, Matthew Lease, Junyi Jessy Li, Peter Stone, Kiri L. Wagstaff, Matthew E. Taylor, Odest Chadwicke Jenkins

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

वैज्ञानिक अनुसंधान की दुनिया की कल्पना एक विशाल, हलचल भरे पुस्तकालय के रूप में करें जहाँ हर साल हजारों नई पुस्तकें (अनुसंधान पत्र) लिखी जा रही हैं। यह तय करने का काम कि कौन सी पुस्तकें शेल्फ पर प्रकाशित होने के योग्य हैं, पुस्तकालयाध्यक्षों (समीक्षकों) की एक टीम को सौंपा गया है।

लंबे समय तक, यह प्रणाली ठीक से काम करती रही। लेकिन हाल ही में, पुस्तकों की संख्या में विस्फोट हुआ है। 2026 में, AAAI कॉन्फ्रेंस (AI शोधकर्ताओं का एक विशाल जमावड़ा) को 30,000 से अधिक सबमिशन प्राप्त हुए। पुस्तकालयाध्यक्ष डूब रहे थे। वे थके हुए थे, अत्यधिक काम के बोझ तले दबे थे और हर पुस्तक को सावधानी से पढ़ने के लिए संघर्ष कर रहे थे। समीक्षाओं की गुणवत्ता के फिसलने का जोखिम था।

इसलिए, आयोजकों ने एक साहसिक प्रश्न पूछा: "क्या होगा यदि हम मदद के लिए एक सुपर-स्मार्ट रोबोट लाइब्रेरियन को नियुक्त करें?"

यह पेपर उस प्रयोग की रिपोर्ट कार्ड है। यहाँ क्या हुआ, इसे सरल भाषा में समझाया गया है।

1. प्रयोग: एक रोबोटिक को-पायलट

मानव पुस्तकालयाध्यक्षों को बदलने के बजाय, कॉन्फ्रेंस ने प्रत्येक पुस्तक को AI से एक अतिरिक्त समीक्षा देने का निर्णय लिया।

सेटअप: उन्होंने केवल एक साधारण चैटबॉट से "इसे पढ़ने" के लिए नहीं कहा। उन्होंने एक परिष्कृत "AI समीक्षा प्रणाली" बनाई। इसे केवल एक एकल रोबोट के रूप में नहीं, बल्कि मिलकर काम करने वाले विशेषज्ञों की एक टीम के रूप में समझें।
प्रक्रिया:
- स्कैनर: सबसे पहले, AI ने पेपर (जो कि एक PDF था) को एक ऐसे प्रारूप में बदल दिया जिसे वह पूरी तरह से पढ़ सके, जैसे कि एक पन्ने की तस्वीर को संपादन योग्य टेक्स्ट में बदलना।
- विशेषज्ञ: फिर, पाँच अलग-अलग "AI एजेंटों" ने अलग-अलग दृष्टिकोणों से पेपर को देखा:
  1. कहानीकार (The Storyteller): क्या पेपर का अर्थ समझ में आता है? क्या कथानक स्पष्ट है?
  2. संपादक (The Editor): क्या लेखन साफ और पढ़ने में आसान है?
  3. सांख्यिकीविद् (The Statistician): क्या प्रयोग और डेटा ठोस हैं?
  4. गणित का जादूगर (The Math Whiz): क्या समीकरण और कोड सही हैं?
  5. इतिहासकार (The Historian): क्या यह नया है, या किसी और ने पहले ही यह कर लिया है?
- मुख्य संपादक (The Editor-in-Chief): अंत में, एक "मुख्य संपादक" AI ने उन सभी नोट्स को लिया, गलतियों की जाँच की और अंतिम समीक्षा लिखी।

2. परिणाम: रोबोट आश्चर्यजनक रूप से अच्छा था

टीम ने 24 घंटे से भी कम समय में लगभग 23,000 पेपरों के लिए समीक्षाएँ तैयार कीं। इसकी लागत प्रति पेपर $1 से भी कम थी (OpenAI के दान की बदौलत)।

लेकिन असली परीक्षण यह था: क्या इंसान इसे पसंद करते थे?

उन्होंने लेखकों और मानव समीक्षकों से AI समीक्षाओं की तुलना मानव समीक्षाओं से करने के लिए कहा। परिणाम चौंकाने वाले थे:

इंसानों ने रोबोट को प्राथमिकता दी: कई श्रेणियों में, लोगों ने AI समीक्षाओं को मानव समीक्षाओं की तुलना में उच्च रेटिंग दी।
"सुपर-स्पॉट्स": AI विशेष रूप से छोटी तकनीकी त्रुटियों, टाइपो (लिखने की गलतियों) को खोजने और पेपर को ठीक करने के विशिष्ट तरीके सुझाने में अच्छा था। यह एक स्पेलचेकर की तरह था जो उन्नत भौतिकी (physics) भी जानता हो।
"ताज़ा नज़र" (The Fresh Eyes): AI अक्सर उन चीजों की ओर इशारा करता था जिन्हें मानव समीक्षक इसलिए चूक गए क्योंकि वे थक गए थे या पक्षपाती थे। AI निष्पक्ष था और उसे इस बात से कोई फर्क नहीं पड़ता था कि लेखक प्रसिद्ध है या अज्ञात।

3. खामियाँ: रोबोट पूर्ण नहीं है

बेशक, रोबोट पूर्ण नहीं था। इसमें कुछ "ग्लिच" (खामियां) थीं:

नुक्ताचीनी (The Nitpicker): कभी-कभी AI बहुत छोटी, महत्वहीन विवरणों (जैसे गलत जगह पर लगा एक कॉमा) के प्रति बहुत जुनूनी हो जाता था और बड़े चित्र (big picture) को नजरअंदाज कर देता था।
भ्रमित पाठक (The Confused Reader): यह कभी-कभी जटिल आरेख (diagrams) या बहुत विशिष्ट गणितीय सूत्रों को समझने में संघर्ष करता था, जिससे इसका अर्थ थोड़ा गलत हो जाता था।
लंबा-चौड़ा (The Long-Winded): AI समीक्षाएँ अक्सर बहुत लंबी होती थीं। इंसानों को कभी-कभी टेक्स्ट की भारी मात्रा से घबराहट महसूस होती थी।
"बड़े चित्र" की अनदेखी (The Big Picture Blindspot): AI तथ्यों की जाँच करने में तो बेहतरीन था, लेकिन यह समझने में संघर्ष करता था कि कोई विचार वास्तव में नवाचारी या "क्रांतिकारी" है या नहीं। यह अभी भी एक मानवीय सुपरपावर है।

4. निष्कर्ष: एक सहक्रियात्मक टीम (A Synergistic Team)

पेपर यह निष्कर्ष निकालता है कि AI एक भागीदार के रूप में तैयार है, न कि एक विकल्प के रूप में।

इसे GPS और ड्राइवर की तरह समझें।

AI (GPS) मानचित्र की जाँच करने, ट्रैफिक जाम का पता लगाने और सबसे तेज़ रास्ता निकालने में अद्भुत है। यह कभी थकता नहीं है और न ही कभी कोई मोड़ चूकता है।
मानव ड्राइवर (Human Driver) यह जानने के लिए आवश्यक है कि वे कहाँ जाना चाहते हैं, अप्रत्याशित बाधाओं को संभालना और यात्रा के बारे में अंतिम निर्णय लेना।

मुख्य बात (The Takeaway):
AAAI-26 पायलट ने सिद्ध किया कि हम तथ्यों और विवरणों की जाँच करने के भारी काम को संभालने के लिए AI का उपयोग कर सकते हैं, जिससे मानव समीक्षकों को बड़े विचारों और रचनात्मकता पर ध्यान केंद्रित करने के लिए मुक्त किया जा सके। यह रोबोटों के वर्चस्व के बारे में नहीं है; यह यह सुनिश्चित करने के बारे में है कि रोबोट मनुष्यों को बिना थके अपना सर्वश्रेष्ठ काम करने में मदद करें।

विज्ञान का भविष्य "इंसान बनाम AI" नहीं है। यह "इंसान + AI" है, जो यह सुनिश्चित करने के लिए मिलकर काम कर रहे हैं कि सर्वश्रेष्ठ विचार प्रकाशित हों।

यहाँ शोध पत्र "AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वैज्ञानिक सहकर्मी समीक्षा (peer review) की प्रक्रिया पैमाने (scale) के संकट का सामना कर रही है। प्रमुख AI सम्मेलनों (जैसे, AAAI-26 को 2025 के वॉल्यूम से दोगुना, >30,000 सबमिशन प्राप्त हुए) और जर्नल्स के लिए सबमिशन की मात्रा तेजी से बढ़ रही है, जबकि मानव समीक्षा कार्यबल स्थिर बना हुआ है। यह गुणवत्ता, निरंतरता और समयबद्धता में बाधाएं उत्पन्न करता है।

अंतराल (The Gap): हालांकि लार्ज लैंग्वेज मॉडल्स (LLMs) ने विशिष्ट कार्यों में आशाजनक प्रदर्शन दिखाया है, लेकिन यह अभी भी अपुष्ट है कि क्या अत्याधुनिक AI एक लाइव सेटिंग में एक प्रमुख सम्मेलन (हजारों पेपर) के पैमाने पर तकनीकी रूप से सुदृढ़, उपयोगी और कार्रवाई योग्य समीक्षाएं उत्पन्न कर सकता है।
पूर्व सीमाएँ (Prior Limitations): पिछले अध्ययन सिंथेटिक बेंचमार्क, पूर्वव्यापी विश्लेषण, या छोटे पैमाने के पायलट तक सीमित थे जहाँ AI केवल वर्कफ़्लो के विशिष्ट भागों (जैसे, चेकलिस्ट) में सहायता करता था। पहले किसी भी प्रमुख सम्मेलन ने सभी सबमिशन के लिए आधिकारिक, पूर्ण AI-जनरेटेड समीक्षाओं को तैनात नहीं किया था।

2. कार्यप्रणाली: AAAI-26 AI समीक्षा प्रणाली (Methodology: The AAAI-26 AI Review System)

लेखकों ने AAAI-26 के मुख्य ट्रैक में 22,977 फुल-रिव्यू पेपर्स के लिए एक कस्टम, बहु-चरणीय (multi-stage) AI समीक्षा प्रणाली तैनात की। सिस्टम को एक डबल-ब्लाइंड वातावरण में संचालित करने के लिए डिज़ाइन किया गया था जहाँ AI समीक्षा को स्पष्ट रूप से लेबल किया गया था लेकिन मानव समीक्षाओं के साथ गुमनाम रखा गया था।

A. सिस्टम आर्किटेक्चर (बहु-चरणीय पाइपलाइन)

एक एकल "प्रॉम्ट-एंड-रिस्पॉन्स" दृष्टिकोण के बजाय, सिस्टम ने गहराई और सटीकता सुनिश्चित करने के लिए एक विघटित, बहु-चरणीय वर्कफ़्लो का उपयोग किया:

प्रीप्रोसेसिंग (Preprocessing):
- PDF रीसैंपलिंग: कॉन्टेक्स्ट विंडो की सीमाओं को प्रबंधित करने के लिए छवियों को 250 DPI पर रीसैंपल किया गया।
- OCR रूपांतरण: PDF को Markdown में बदलने के लिए olmOCR का उपयोग किया गया, जिससे समीकरणों के लिए LaTeX और संरचित तालिकाओं को सुरक्षित रखा जा सके। यह दोहरा इनपुट (PDF + Markdown) गणितीय नोटेशन को पढ़ने की त्रुटियों को कम करता है।
पाँच मुख्य विश्लेषण चरण: सिस्टम ने पाँच विशिष्ट चरणों के माध्यम से पेपर को प्रोसेस किया, जिनमें से प्रत्येक के पास विशिष्ट प्रॉम्ट और टूल्स थे:
- स्टोरी (Story): समस्या के निर्माण, पूर्व कार्य में अंतराल और मुख्य योगदानों का विश्लेषण किया।
- प्रेजेंटेशन (Presentation): स्पष्टता, संगठन और पठनीयता का आकलन किया।
- इवैल्यूएशन (Evaluations): बेसलाइन्स, डेटासेट, मेट्रिक्स और सांख्यिकीय साक्ष्य का निरीक्षण किया (दावों को सत्यापित करने के लिए पायथन कोड इंटरप्रेटर का उपयोग करते हुए)।
- करेक्टनेस (Correctness): समीकरणों, प्रमाणों और एल्गोरिदम को सत्यापित किया ( कोड इंटरप्रेटर का उपयोग करते हुए)।
- सिग्निफिकेंस (Significance): प्रकाशित प्रकाशनों (published venues) तक सीमित वेब सर्च टूल का उपयोग करके प्रकाशित कार्यों के विरुद्ध नवीनता को संदर्भ दिया (ताकि प्रीप्रिंट हैलुसिनेशन से बचा जा सके)।
सिंथेसिस और रिफाइनमेंट (Synthesis and Refinement):
- प्रारंभिक समीक्षा: पाँच चरणों के निष्कर्षों को एक ड्राफ्ट में संश्लेषित किया।
- स्व-आलोचना (Self-Critique): मॉडल ने अप्रमाणित दावों, छूटी हुई विवरणों या विसंगतियों को चिह्नित करने के लिए ड्राफ्ट का पुनर्मूल्यांकन किया।
- अंतिम समीक्षा: संरचनात्मक आउटपुट (शीर्षक, सिनोप्सिस, सारांश, ताकत, कमजोरियां, APA प्रारूप में संदर्भ) सुनिश्चित करने के लिए स्व-आलोचना बिंदुओं को संबोधित करते हुए ड्राफ्ट को संशोधित किया।
मानवीय निरीक्षण और गुणवत्ता नियंत्रण:
- एक "क्वालिटी-चेकिंग क्रिटिक" (एक अलग LLM) ने नैतिक मुद्दों, लेखक की पहचान लीक होने, पूर्वाग्रह और संरचनात्मक पूर्णता के लिए समीक्षाओं की जांच की।
- अंतिम तैनाती से पहले मानव निरीक्षकों ने चिह्नित की गई वस्तुओं की समीक्षा की।
- लागत: सिस्टम की लागत $1 प्रति पेपर से कम थी (OpenAI API क्रेडिट द्वारा वित्त पोषित)।
- गति: सभी 22,977 समीक्षाएं <24 घंटों में उत्पन्न की गईं।

B. SPECS बेंचमार्क

त्रुटियों का पता लगाने की क्षमता का कड़ाई से मूल्यांकन करने के लिए, लेखकों ने SPECS (Story, Presentation, Evaluations, Correctness, Significance) पेश किया, जो एक नया बेंचमार्क है:

प्रक्रिया: उन्होंने AAAI-25 के स्वीकृत पेपर लिए, उनके LaTeX स्रोत प्राप्त किए, और एक LLM का उपयोग करके स्रोत कोड में सिंथेटिक व्यवधान (perturbations) डाले।
सत्यापन: व्यवधान तभी स्वीकार किए गए जब LaTeX सफलतापूर्वक रीकंपाइल हुआ और त्रुटि वैज्ञानिक रूप से महत्वपूर्ण थी (मानव समीक्षकों द्वारा सत्यापित)।
मूल्यांकन: AI सिस्टम का परीक्षण इन परिवर्तित पेपर्स पर किया गया ताकि देखा जा सके कि क्या वह एक बेसलाइन सिंगल-प्रॉम्ट LLM की तुलना में इंजेक्ट की गई त्रुटियों का पता लगा सकता है।

3. मुख्य योगदान (Key Contributions)

प्रथम बड़े पैमाने पर फील्ड परिनियोजन: एक प्रमुख सम्मेलन द्वारा प्रत्येक फुल-ट्रैक सबमिशन (22,977 पेपर) के लिए आधिकारिक AI-जनरेटेड समीक्षाओं को तैनात करने का पहला उदाहरण।
नवीन बहु-चरणीय आर्किटेक्चर: प्रदर्शित किया कि एक विघटित पाइपलाइन (Story $\to$ Presentation $\to$ Evaluations $\to$ Correctness $\to$ Significance) टूल उपयोग (कोड इंटरप्रेटर, वेब सर्च) के साथ सरल प्रॉम्टिंग की तुलना में काफी बेहतर प्रदर्शन करती है।
SPECS बेंचमार्क: वैज्ञानिक समीक्षा के लिए एक मजबूत मूल्यांकन ढांचा बनाया जो स्कोर-मैचिंग से आगे बढ़कर वैज्ञानिक कठोरता के पांच महत्वपूर्ण आयामों में त्रुटि का पता लगाने पर केंद्रित है।
व्यापक अनुभवजन्य साक्ष्य: लेखकों ने एक विशाल सर्वेक्षण (5,834 प्रतिक्रियाएं) से डेटा प्रदान किया जिसमें लेखक, प्रोग्राम कमेटी (PC), सीनियर पीसी (SPC) और एरिया चेयर्स (AC) शामिल थे।

4. परिणाम (Results)

A. मात्रात्मक सर्वेक्षण निष्कर्ष

वरीयता: प्रतिभागियों ने 9 में से 6 प्रमुख मानदंडों पर मानव समीक्षाओं की तुलना में AI समीक्षाओं को पसंद किया, जिनमें शामिल हैं:
- तकनीकी सटीकता (+0.67 अंतर)
- पहले से विचार न किए गए बिंदुओं को उठाना (+0.61)
- प्रेजेंटेशन (+0.54) और रिसर्च डिज़ाइन (+0.49) के लिए सुझाव
- समग्र व्यापकता (Thoroughness) (+0.48)
उपयोगिता: 53.9% ने AI समीक्षाओं को उपयोगी पाया; 61.5% का मानना था कि वे भविष्य की प्रक्रियाओं में उपयोगी होंगी।
सीमाएँ: AI समीक्षाओं को "बिग-पिकचर" निर्णय (नवीनता/महत्व) पर थोड़ा कम आंका गया और कभी-कभी मामूली मुद्दों पर अत्यधिक जोर देने या बहुत अधिक विस्तृत (verbose) होने के लिए आलोचना की गई।

B. SPECS बेंचमार्क प्रदर्शन

बहु-चरणीय प्रणाली ने बेसलाइन सिंगल-प्रॉम्ट LLM की तुलना में इंजेक्ट की गई त्रुटियों का पता लगाने में महत्वपूर्ण रूप से बेहतर प्रदर्शन किया:

कुल सुधार: अंतिम सिस्टम ने सभी मानदंडों में बेसलाइन पर त्रुटि का पता लगाने में 20.95% की पूर्ण वृद्धि हासिल की ( $p < 10^{-30}$ )।
विशिष्ट लाभ:
- Story: +32.03% लाभ।
- Evaluations: +23.90% लाभ।
- Correctness: +15.28% लाभ।
- Significance: +18.83% लाभ।
लक्ष्य-केंद्रितता (Targetedness): सिस्टम ने उच्च विशिष्टता दिखाई; "Story" चरण स्टोरी त्रुटियों का पता लगाने में सर्वश्रेष्ठ था, "Correctness" चरण करेक्टनेस त्रुटियों का, आदि; यह विघटित दृष्टिकोण की प्रभावकारिता की पुष्टि करता है।

C. गुणात्मक फीडबैक

शक्तियाँ: निष्पक्षता, निरंतरता, व्यापकता, और उन तकनीकी विवरणों (टाइपो, गणितीय त्रुटियों) को पकड़ने की क्षमता जिन्हें मनुष्य छोड़ देते हैं।
कमजोरियाँ: समस्याओं के महत्व (significance) को प्राथमिकता देने में संघर्ष, जटिल तालिकाओं/समीकरणों को पढ़ने में कभी-कभी त्रुटि, और पसंदीदा से अधिक लंबी समीक्षाएं उत्पन्न करना।

5. महत्व और निष्कर्ष (Significance and Conclusion)

परिचालन व्यवहार्यता (Operational Feasibility): पायलट यह सिद्ध करता है कि AI-सहायता प्राप्त सहकर्मी समीक्षा एक प्रमुख सम्मेलन (30k+ सबमिशन) के पैमाने पर कम लागत और उच्च गति के साथ परिचालन रूप से व्यवहार्य है।
सहक्रियात्मक टीम वर्क (Synergistic Teaming): परिणाम बताते हैं कि भविष्य में AI और मानव पूरक होंगे। AI तकनीकी सटीकता, निरंतरता और विस्तृत जाँच में उत्कृष्ट है, जबकि मानव उच्च-स्तरीय नवीनता और प्रभाव के निर्णय में उत्कृष्ट हैं।
प्रतिमान परिवर्तन (Paradigm Shift): यह अध्ययन इस धारणा को चुनौती देता है कि AI समीक्षाएं केवल "शोरपूर्ण" (noisy) या "भ्रमित" (hallucinated) होती हैं। सही आर्किटेक्चर (बहु-चरणीय, टूल-ऑगमेंटेड) के साथ, AI ऐसी समीक्षाएं उत्पन्न कर सकता है जो न केवल उपयोगी हैं बल्कि विशिष्ट तकनीकी आयामों के लिए समुदाय द्वारा पसंद भी की जाती हैं।
भविष्य की दिशा: लेखक तकनीकी सत्यापन के लिए "भारी काम" (heavy lifting) को संभालने के लिए इन प्रणालियों को एकीकृत करने की वकालत करते हैं, जिससे मानव समीक्षकों को उच्च-स्तरीय वैज्ञानिक योगदान और प्रभाव पर ध्यान केंद्रित करने की अनुमति मिल सके।

संक्षेप में, AAAI-26 पायलट यह प्रदर्शित करता है कि अत्याधुनिक AI विधियाँ इस स्तर तक परिपक्व हो गई हैं कि वे वास्तविक दुनिया के उच्च-दांव वाले शैक्षणिक परिवेश में मानव सहकर्मी समीक्षा को सार्थक रूप से बढ़ा सकती हैं, और कुछ आयामों में उससे बेहतर प्रदर्शन कर सकती हैं।