What Makes a Good AI Review? Concern-Level Diagnostics for AI Peer Review

यहाँ शोध पत्र "What Makes a Good AI Review? Concern-Level Diagnostics for AI Peer Review" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

AI-जनित पीयर रिव्यू के मूल्यांकन के वर्तमान तरीके काफी हद तक निर्णय सहमति (verdict agreement) (चाहे AI ने सही ढंग से "Accept" या "Reject" का अनुमान लगाया हो) या मोटे समानता मेट्रिक्स पर निर्भर करते हैं। लेखक तर्क देते हैं कि ये दृष्टिकोण अपर्याप्त हैं क्योंकि:

• संरचना की हानि (Loss of Structure): वे जटिल समीक्षा तर्कों को एक एकल बाइनरी संख्या में संकुचित कर देते हैं, जिससे यह छिप जाता है कि निर्णय क्यों लिया गया था।
• छिपे हुए विफलता मोड (Hidden Failure Modes): एक सिस्टम उच्च गलत सकारात्मक दर (false positive rate) के साथ सब कुछ खारिज करके या महत्वपूर्ण बाधाओं को मिस करते हुए मामूली मुद्दों को फ्लैग करके मध्यम सटीकता प्राप्त कर सकता है।
• कैलिब्रेशन का अभाव (Lack of Calibration): सिस्टम वास्तविक चिंताओं का पता तो लगा सकते हैं लेकिन उन्हें सही निर्णय भार (decision weight) (गंभीरता) प्रदान करने में विफल हो सकते हैं, जिससे लेखकों के लिए प्राथमिकता निर्धारण गलत हो जाता है।
• अस्थिरता (Instability): मुक्त-पाठ (free-text) समीक्षाओं से निर्णय का अनुमान लगाना निष्कर्षण पद्धति (extraction method) के प्रति अत्यधिक संवेदनशील है, जिससे निर्णय-आधारित बेंचमार्क उन सिस्टमों के लिए अविश्वसनीय हो जाते हैं जो स्पष्ट स्वीकार/अस्वीकार लेबल उत्सर्जित नहीं करते हैं।

मूल समस्या एक ऐसे नैदानिक ढांचे (diagnostic framework) की कमी है जो ऑडिट कर सके कि AI सिस्टम किन चिंताओं की पहचान करता है, वे उन्हें कैसे प्राथमिकता देते हैं, और क्या वे प्राथमिकताएँ आधिकारिक समीक्षा तर्क (एरिया चेयर निर्णय) के साथ संरेखित हैं।

2. कार्यप्रणाली: चिंता संरेखण ढांचा (Methodology: The Concern Alignment Framework)

लेखक चिंता संरेखण (Concern Alignment) का प्रस्ताव करते हैं, जो एक मैच ग्राफ (Match Graph) और एक मूल्यांकन सीढ़ी (Evaluation Ladder) पर केंद्रित एक नैदानिक ढांचा है।

A. मुख्य डेटा संरचना: मैच ग्राफ (Core Data Structure: The Match Graph)

मानव समीक्षाओं, रिबटल (rebuttals) और एरिया चेयर (AC) मेटा-रिव्यू से प्राप्त आधिकारिक चिंताओं ($O$) और AI सिस्टम द्वारा उत्पन्न एजेंटिक चिंताओं ($A$) के बीच एक द्विपक्षीय संरेखण।

• किनारे (Edges): कनेक्शनों को सटीक (एक को ठीक करने से दूसरे को भी ठीक कर देता है), आंशिक (एक ही श्रेणी, अलग दायरा), या संबंधित (विषयगत रूप से करीब लेकिन भिन्न) के रूप में वर्गीकृत किया गया है।
• एनोटेशन (Annotations):
  • गंभीरता (Severity): घातक (Fatal), प्रमुख (Major), मध्यम (Moderate), मामूली (Minor)।
  • AC उपचार (AC Treatment): निर्णायक अवरोधक (Decisive blocker), अनसुलझा (Unresolved), सुलझा हुआ (Resolved), स्वीकृत सीमा (Accepted limitation), खारिज किया गया (Dismissed), आदि।
  • निर्णायक ध्वज (Decisive Flag): क्या चिंता को अंतिम निर्णय के लिए एक अवरोधक के रूप में चिह्नित किया गया है।
  • रिबटल जागरूकता (Rebuttal Awareness): यह जाँचता है कि क्या एक "सुलझा हुआ" मुद्दा वास्तव में उस PDF संस्करण में ठीक किया गया था जिसे AI ने रिव्यू किया था।
• व्युत्पन्न मेट्रिक्स (Metrics Derived): चूक (Misses - अनमैच की गई आधिकारिक चिंताएं), फैंटम (Phantoms - अनमैच की गई AI चिंताएं), और फाल्स निर्णायक दर (False Decisive Rates)।

B. मूल्यांकन सीढ़ी (The Evaluation Ladder)

यह ढांचा पांच स्तरों पर AI समीक्षाओं का मूल्यांकन करता है, जो सतही सहमति से लेकर गहरे नैदानिक विश्लेषण तक जाता है:

• स्तर 0 (निर्णय - Verdict): बाइनरी सटीकता (केवल दिशात्मक संकेत)।
• स्तर 1 (पता लगाना - Detection): चिंता रिकॉल (मैच की गई आधिकारिक चिंताओं का अंश) और फैंटम दर (बिना मैच वाली AI चिंताओं का अंश)।
• स्तर 2 (निर्णय-स्तरीकृत - Verdict-Stratified): स्वीकृत बनाम अस्वीकृत पेपरों के लिए डिटेक्शन और कैलिब्रेशन का अलग-अलग विश्लेषण करता है ताकि "रिजेक्ट-हैवी" पूर्वाग्रहों का पता चल सके।
• स्तर 3 (निर्णय-जागरूक कैलिब्रेशन - Decision-Aware Calibration):
  • फाल्स निर्णायक दर (FDR): स्वीकृत पेपरों पर, AI चिंताओं का कितना अंश "निर्णायक" के रूप में चिह्नित है? (आदर्श रूप से 0, क्योंकि स्वीकृत पेपरों में कोई निर्णायक अवरोधक नहीं होता)।
  • निर्णायक परिशुद्धता (Decisive Precision): अस्वीकृत पेपरों पर, कितने "निर्णायक" ध्वज वास्तविक अवरोधों की सही पहचान करते हैं?
  • सुलझा हुआ-एस्केलेशन दर (Resolved-Escalation Rate): कितनी बार AI उस चिंता को फिर से एस्केलेट करता है जिसे AC ने सुलझा हुआ घोषित किया था (विशेष रूप से यदि सुधार PDF में दृश्यमान है)?
• स्तर 4 (रिबटल-जागरूक अपघटन - Rebuttal-Aware Decomposition): AC उपचार श्रेणी के आधार पर रिकॉल का विश्लेषण करता है (जैसे, क्या सिस्टम निर्णायक अवरोधों पर अधिक ध्यान केंद्रित करता है या सुलझे हुए मुद्दों पर?)।

C. पायलट अध्ययन सेटअप (Pilot Study Setup)

• डेटा: ICLR 2026, NeurIPS 2025, और ICML 2025 (AI सुरक्षा/अलाइनमेंट डोमेन) से 48 पेपर, जो स्वीकृत और अस्वीकृत के बीच संतुलित हैं।
• मूल्यांकित सिस्टम: छह कॉन्फ़िगरेशन (विभिन्न मॉडल जैसे Claude Opus और GPT-4o, और प्रॉम्प्टिंग रणनीतियाँ) में चार सार्वजनिक AI रिव्यू सिस्टम (System L, A, O, M)।
• सत्यापन: मैच ग्राफ को सत्यापित करने के लिए एक स्वतंत्र ऑडिटर (GPT-5.4 Pro) और मानव अधिनिर्णय (human adjudication) का उपयोग किया गया, जिसने उच्च इंटर-एनोटेटर समझौता ($\kappa > 0.9$) प्राप्त किया।

3. मुख्य परिणाम (Key Results)

अध्ययन से पता चलता है कि केवल पता लगाना (detection) ही समीक्षा की गुणवत्ता निर्धारित नहीं करता है; कैलिब्रेशन ही मुख्य बाधा है।

• बाइनरी सटीकता संरचनात्मक खामियों को छिपा देती है (Binary Accuracy Masks Structural Flaws): समान समग्र निर्णय सटीकता एक "रिजेक्ट-हैवी" प्रोफाइल (लगभग सब कुछ खारिज करना) या कम-रिकॉल प्रोफाइल को छिपा सकती है। निर्णय सटीकता निष्कर्षण पद्धति के प्रति अत्यधिक संवेदनशील है (रेटर/पद्धति के आधार पर 46-96 प्रतिशत अंकों का उतार-चढ़ाव)।
• कैलिब्रेशन विफलता (The Binding Constraint):
  • अधिकांश सिंगल-एजेंट सिस्टम स्वीकृत पेपरों पर 25-55% चिंताओं को "निर्णायक" के रूप में चिह्नित करते हैं, जबकि एरिया चेयर ने उन पेपरों पर शून्य चिंताओं को अवरोधक माना था।
  • सिस्टम अक्सर वास्तविक कमजोरियों का पता लगाते हैं लेकिन उनकी गंभीरता को ओवर-एस्केलेट (अति-महत्वपूर्ण बनाना) कर देते हैं (जैसे, एक "मध्यम" सुलझे हुए मुद्दे को "घातक" के रूप में चिह्नित करना)।
• मात्रा बनाम भेदभाव (Volume vs. Discrimination):
  • कुछ सिस्टम केवल चुनिकी ध्यान (selective attention) के बजाय भारी मात्रा के माध्यम से आधिकारिक चिंताओं को प्राप्त करने के लिए चिंताओं की लंबी सूचियाँ उत्पन्न करते हैं।
  • Top-K विश्लेषण: जिन सिस्टमों की समग्र फाल्स निर्णायक दर (FDR) कम है, वे अक्सर कई कम-गंभीर वस्तुओं के साथ चिंताओं को "पतला" (dilute) करके इसे प्राप्त करते हैं। जब केवल शीर्ष 3 चिंताओं को देखा जाता है, तो उनका FDR बढ़ जाता है (उदाहरण के लिए, System M का FDR K=3 पर 0.10 से बढ़कर 0.28 हो जाता है), जो खराब प्राथमिकता का संकेत देता है।
• मॉडल बनाम पद्धति प्रभाव (Model vs. Method Effects): प्रॉम्प्ट को स्थिर रखते हुए अंतर्निहित LLM (जैसे, Opus बनाम GPT-4o) को बदलने से निर्णय पूर्वाग्रह और चिंता कैलिब्रेशन दोनों में बड़े, गैर-समान बदलाव आते हैं।
• फैंटम चिंताएं (Phantom Concerns): जबकि कई "फैंटम" चिंताएं (कोई आधिकारिक मैच न होने वाली AI चिंताएं) निर्दोष होती हैं, कुछ सिस्टम हानिकारक फैंटम (निर्मित घातक त्रुटियां या काउंटर-एग्जांपल) उत्पन्न करते हैं जो लेखकों को गुमराह कर सकते हैं।

4. मुख्य योगदान (Key Contributions)

1. चिंता संरेखण ढांचा (Concern Alignment Framework): एक नया, पुन: प्रयोज्य मूल्यांकन आधार जो निर्णय मिलान से आगे बढ़कर उन प्राथमिकता वाली चिंताओं का ऑडिट करता है जिन पर लेखक वास्तव में कार्य करते हैं।
2. मैच ग्राफ आर्टिफैक्ट (Match Graph Artifact): AI और मानव समीक्षाओं के बीच संरेखण का एक संरचित, ऑडिट योग्य प्रतिनिधित्व, जो गंभीरता, मैच प्रकार और पोस्ट-रिबटल उपचार के साथ एनोटेटेड है।
3. मूल्यांकन सीढ़ी (Evaluation Ladder): एक बहु-स्तरीय नैदानिक उपकरण जो विशिष्ट विफलता मोड (डिटेक्शन बनाम कैलिब्रेशन बनाम प्राथमिकता) को अलग करता है जो बाइनरी सटीकता से अदृश्य होते हैं।
4. कैलिब्रेशन विफलता का अनुभवजन्य प्रमाण (Empirical Evidence of Calibration Failure): यह प्रदर्शित करता है कि वर्तमान AI समीक्षक अक्सर पेपर की गुणवत्ता के आधार पर निर्णय भार को नियंत्रित करने में विफल रहते हैं, और अक्सर स्वीकृत पेपरों पर मामूली मुद्दों को अति-महत्वपूर्ण बना देते हैं।
5. स्थिरता निदान (Stability Diagnostics): दिखाता है कि चिंता-स्तरीय मेट्रिक्स (रिकॉल, FDR, अटेंशन प्रोफाइल) निर्णय अनुमान के शोर के बावजूद स्थिर रहते हैं, जो उन्हें उन सिस्टमों के मूल्यांकन के लिए बेहतर बनाता है जो स्पष्ट निर्णय उत्सर्जित नहीं करते हैं।

5. महत्व (Significance)

• AI विकास के लिए: AI समीक्षकों को बेहतर बनाने के लिए एक स्पष्ट मार्ग प्रदान करता है। डेवलपर्स को न केवल समस्याओं को खोजने पर, बल्कि मानव निर्णय प्रक्रियाओं के साथ गंभीरता को कैलिब्रेट करने और प्राथमिकता निर्धारित करने पर ध्यान केंद्रित करना चाहिए।
• पीयर रिव्यू के लिए: AI टूल्स को सम्मेलनों में तैनात करने से पहले उन्हें ऑडिट करने के लिए एक मजबूत तरीका प्रदान करता है, यह सुनिश्चित करता है कि वे सामान्य या भ्रामक आलोचनाओं के बजाय कार्रवाई योग्य और सही ढंग से भारित फीडबैक प्रदान करें।
• पीयर रिव्यू से परे: यह ढांचा किसी भी ऐसे AI सिस्टम के लिए लागू किया जा सकता है जो आलोचना, जोखिम मूल्यांकन या ड्यू डिलिजेंस रिपोर्ट उत्पन्न करता है जहाँ पहचाने गए मुद्दों का भार (weighting) उतना ही महत्वपूर्ण है जितना कि स्वयं पहचान।

निष्कर्षतः, यह शोध पत्र तर्क देता है कि एक "अच्छा" AI रिव्यू वह नहीं है जो केवल अंतिम निर्णय से सहमत होता है, बल्कि वह है जो सही चिंताओं की पहचान करता है, उन्हें सही भार देता है, और उस तर्क के साथ संरेखित होता है जिसने वास्तव में पेपर को तय किया है। वर्तमान AI क्षमताओं और इस आदर्श के बीच के अंतर को उजागर करने के लिए चिंता-स्तरीय निदान (concern-level diagnostics) आवश्यक हैं।