Benchmark Illusion: Disagreement among LLMs and Its Scientific Consequences

यहाँ शोध पत्र "Benchmark Illusion: Disagreement among LLMs and Its Scientific Consequences" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या का विवरण (Problem Statement)

यह शोध पत्र बड़े भाषा मॉडलों (LLMs) के वर्तमान वैज्ञानिक उपयोग में एक गंभीर दोष को संबोधित करता है: "बेंचमार्क भ्रम" (Benchmark Illusion)।

• धारणा: शोधकर्ता वर्तमान में इस आधार पर कार्य कर रहे हैं कि यदि दो LLMs मानक बेंचमार्क (जैसे, MMLU-Pro, GPQA) पर तुलनीय सटीकता स्कोर प्राप्त करते हैं, तो वे कार्यात्मक रूप से समान, एक-दूसरे के स्थान पर प्रयोग करने योग्य और समान अंतर्निहित तर्क क्षमताओं वाले होते हैं।
• वास्तविकता: यह धारणा गहरे ज्ञानमीमांसीय विचलन (epistemic divergence) को छिपाती है। समान समग्र सटीकता वाले मॉडल विशिष्ट मदों (items) पर अलग-अलग गलतियाँ करते हैं। जब इन मॉडलों का उपयोग वैज्ञानिक डेटा एनोटेशन (जैसे, टेक्स्ट को कोड करना, चर निकालना) के लिए किया जाता है, तो उनके विशिष्ट त्रुटि प्रोफाइल अनुसंधान परिणामों में प्रसारित होते हैं, जो संभावित रूप से सांख्यिकीय अनुमानों को पक्षपाती बना सकते हैं, प्रभाव आकार (effect sizes) को बदल सकते हैं, या यहाँ तक कि किसी निष्कर्ष के संकेत (sign) को भी उलट सकते हैं।
• अंतराल (Gap): वर्तमान मूल्यांकन व्यवस्थाएँ समग्र शुद्धता पर ध्यान केंद्रित करती हैं, त्रुटियों की संरचना और उच्च-प्रदर्शन वाले मॉडलों के बीच सहमति की कमी को समझने में विफल रहती हैं।

2. कार्यप्रणाली (Methodology)

लेखक बेंचमार्क विश्लेषण, सैद्धांतिक सिमुलेशन और प्रकाशित अध्ययनों के अनुभवजन्य पुन: विश्लेषण को संयोजित करने वाला एक बहु-चरणीय दृष्टिकोण अपनाते हैं।

A. बेंचमार्क असहमति विश्लेषण (Benchmark Disagreement Analysis)

• डेटासेट: दो प्रमुख तर्क बेंचमार्क का उपयोग किया गया:
  • MMLU-Pro: 14 विषयों में 12,032 बहुविकल्पीय प्रश्न।
  • GPQA: जीव विज्ञान, भौतिकी और रसायन विज्ञान में 448 विशेषज्ञ-स्तरीय प्रश्न।
• मेट्रिक: तुलनीय सटीकता स्कोर वाले मॉडलों के बीच युग्मवार (pairwise) असहमति दर की गणना की गई।
• नियंत्रण (Control): मॉडल के प्रतिनिधित्व और तर्क के अंतर को अलग करने के लिए प्रॉम्प्ट और डिकोडिंग रणनीतियों को स्थिर रखा गया।

B. सैद्धांतिक ढांचा (मापन त्रुटि) (Theoretical Framework - Measurement Error)

• लेखक इस समस्या को एक रैखिक प्रतिगमन (linear regression) ढांचे का उपयोग करके मॉडल करते हैं जहाँ परिणाम $Y$ एक गुप्त चर (latent variable) है जिसे एक LLM ($\hat{Y}$) द्वारा एनोटेट किया गया है।
• पक्षपात की स्थिति (Bias Condition): अनुमान केवल तभी निष्पक्ष होते हैं जब भविष्यवाणी त्रुटियाँ ($e = \hat{Y} - Y$) स्वतंत्र चरों ($X$) के साथ असंबद्ध (uncorrelated) हों।
• परिकल्पना: यदि किसी LLM का त्रुटि प्रोफाइल व्यवस्थित रूप से उपचार समूहों (treatment groups) या सहचरों (covariates) के साथ सह-संबंधित है (व्यवस्थित पक्षपात), तो परिणामी प्रतिगमन गुणांक ($\hat{\beta}$) पक्षपाती होंगे, भले ही मॉडल की समग्र सटीकता उच्च हो।

C. सिमुलेशन अध्ययन (Simulation Study)

• डिज़ाइन: एक कृत्रिम डेटासेट ($N=10,000$) बनाया गया जो एक नैदानिक परीक्षण (एंटीबायोटिक सुरक्षा) की नकल करता है।
• एनोटेटर (Annotators): तीन सिम्युलेटेड एनोटेटरों की तुलना की गई:
  1. निम्न प्रदर्शन (यादृच्छिक/Random): 85% सटीकता लेकिन यादृच्छिक त्रुटियों के साथ।
  2. उच्च प्रदर्शन (व्यवस्थित पक्षपात A): 93.6% सटीकता, लेकिन उपचार समूह (treatment group) में प्रतिकूल घटनाओं को व्यवस्थित रूप से कम करके दिखाना।
  3. उच्च प्रदर्शन (व्यवस्थित पक्षपात B): 93.8% सटीकता, लेकिन नियंत्रण समूह (control group) में प्रतिकूल घटनाओं को व्यवस्थित रूप से कम करके दिखाना।
• लक्ष्य: यह प्रदर्शित करना कि उच्च-सटीकता वाले मॉडलों में व्यवस्थित त्रुटियाँ, कम-सटीकता वाली यादृच्छिक त्रुटियों की तुलना में बड़े और विपरीत पक्षपात उत्पन्न कर सकती हैं।

D. अनुभवजन्य पुन: विश्लेषण (Empirical Re-analysis)

दो प्रकाशित अध्ययनों का पुन: विश्लेषण आठ अलग-अलग उच्च-प्रदर्शन वाले LLMs (ओपन-सोर्स और वाणिज्यिक दोनों) के आउटपुट को मानव एनोटेशन से बदलकर किया गया:

1. शिक्षा (Kim et al., 2021): साक्षरता हस्तक्षेप पर एक यादृच्छिक परीक्षण। LLMs ने मानव रूब्रिक के आधार पर छात्रों के निबंधों को पुनः स्कोर किया।
2. राजनीति विज्ञान (Rozenas and Stukal, 2019): रूसी राज्य मीडिया में "चयनात्मक आरोपण" (selective attribution) पर एक अध्ययन। LL-Ms ने समाचार अंशों को इस आधार पर पुनः वर्गीकृत किया कि अधिकारियों को श्रेय दिया गया या दोषी ठहराया गया।

3. मुख्य परिणाम (Key Results)

A. बेंचमार्क असहमति (Benchmark Disagreement)

• उच्च विचलन: तुलनीय सटीकता वाले मॉडलों के बीच भी युग्मवार असहमति काफी अधिक है:
  • MMLU-Pro: 16% – 66% असहमति।
  • GPQA: 17% – 65% असहमति।
• फ्रंटियर मॉडल्स: शीर्ष-स्तरीय मॉडलों (सटीकता > 60%) के बीच भी असहमति उच्च बनी हुई है (16% – 38%)।
• निहितार्थ: मॉडल "10 में से 7 सही" पाते हैं, लेकिन व्यवस्थित रूप से अलग-अलग 7 प्रश्नों को सही पाते हैं, जो अलग-अलग आंतरिक प्रतिनिधित्व का संकेत देता है।

B. सिमुलेशन निष्कर्ष (Simulation Findings)

• यादृच्छिक बनाम व्यवस्थित त्रुटि: निम्न-सटीकता वाले एनोटेटर (यादृच्छिक त्रुटि) ने 0.62 का अनुमान दिया (attenuation bias)।
• व्यवस्थित पक्षपात का प्रभाव: दो उच्च-सटीकता वाले एनोटेटरों (93%+ सटीकता) ने नाटकीय रूप से भिन्न परिणाम दिए:
  • एनोटेटर 2 (उपचार समूह के विरुद्ध पक्षपात): अनुमानित प्रभाव = 0.37 (गंभीर अल्प-अनुमान)।
  • एनोटेटर 3 (नियंत्रण समूह के विरुद्ध पक्षपात): अनुमानित प्रभाव = 1.43 (गंभीर अति-अनुमान)।
• निष्कर्ष: त्रुटियों की दर की तुलना में त्रुटियों की संरचना अधिक महत्वपूर्ण है। उच्च समग्र सटीकता गंभीर अनुमानात्मक पक्षपात (inferential bias) से सुरक्षा नहीं देती है।

C. अनुभवजन्य पुन: विश्लेषण के परिणाम (Empirical Re-analysis Outcomes)

1. शिक्षा मामला (Kim et al.):

   • मूल मानव अनुमान: 0.44।
   • LLM अनुमानों की सीमा 0.19 से 0.35 के बीच थी।
   • परिणाम: उपचार प्रभाव के परिमाण में 84% का अंतर देखा गया।
   • सहसंबंध विरोधाभास (Correlation Paradox): मानव स्कोर के साथ उच्चतम सहसंबंध (0.73) रखने वाले मॉडल ने सबसे सटीक प्रभाव अनुमान नहीं दिया, जो यह सिद्ध करता है कि सहसंबंध, अनुमानात्मक वैधता (inferential validity) का एक खराब प्रॉक्सी है।

2. राजनीति विज्ञान मामला (Rozenas and Stukal):

   • मूल निष्कर्ष: अधिकारी अच्छी खबरों के लिए श्रेय प्राप्त करते हैं (सकारात्मक प्रभाव ~0.24)।
   • LLM परिणाम: कुछ मॉडलों ने निष्कर्ष को दोहराया, लेकिन दो मॉडलों (Gemma-3-27B, Qwen-2.5-72B) ने विपरीत संकेत (opposite sign) वाले अनुमान दिए, जिससे पता चला कि अधिकारी बुरी खबरों के लिए दोषी ठहराए जाते हैं।
   • असहमति: एनोटेटरों के बीच युग्मवार असहमति 29% से 66% के बीच थी।

4. मुख्य योगदान (Key Contributions)

1. "बेंचमार्क भ्रम" की पहचान: यह शोध पत्र औपचारिक रूप से परिभाषित और प्रदर्शित करता है कि बेंचमार्क अभिसरण (convergence) का अर्थ मॉडल की परस्पर विनिमेयता (interchangeability) या साझा ज्ञानमीमांसीय प्रोफाइल नहीं है।
2. वैज्ञानिक जोखिम का परिमाणीकरण: यह प्रमाण प्रदान करता है कि मॉडल चयन एक ऐसा "शोधकर्ता डिग्री ऑफ फ्रीडम" (researcher degree of freedom) है जो मात्रात्मक निष्कर्षों को 80% से अधिक बदल सकता है या उनके संकेतों को उलट सकता है, जो सांख्यिकीय विधियों को बदलने के समान है।
3. मूल्यांकन प्रतिमान में बदलाव: लेखक एक नई मूल्यांकन व्यवस्था का प्रस्ताव करते हैं जो समग्र सटीकता के बजाय स्थिरता, सहमति और त्रुटि संरचना को प्राथमिकता देती है। वे "मानव संरेखण" (Human Alignment) के पूरक के रूप में "वैज्ञानिक संरेखण" (Scientific Alignment) का प्रस्ताव करते हैं।
4. कार्यप्रणाली ढांचा: वे यह समझने के लिए एक ढांचा पेश करते हैं कि कैसे व्यवस्थित एनोटेशन त्रुटियाँ पक्षपाती प्रतिगमन अनुमानों में परिवर्तित होती हैं, जो इस बात का सैद्धांतिक आधार प्रदान करता है कि "अच्छे" मॉडल वैज्ञानिक संदर्भों में क्यों विफल होते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

• पुनरुत्पादकता संकट (Reproducibility Crisis): निष्कर्ष बताते हैं कि वैज्ञानिक एनोटेशन के लिए LLMs पर बढ़ती निर्भरता पुनरुत्पादकता के लिए खतरा पैदा कर सकती है। परिणाम डेटा के बजाय उपयोग किए गए विशिष्ट मॉडल API या संस्करण पर अधिक निर्भर हो सकते हैं।
• अनुसंधान अभ्यास: शोधकर्ताओं को मॉडल चयन को एक महत्वपूर्ण डिज़ाइन विकल्प के रूप में मानना चाहिए। शोध पत्र निम्नलिखित की सिफारिश करता है:
  • कई अलग-अलग उच्च-प्रदर्शन वाले मॉडलों का उपयोग करके संवेदनशीलता विश्लेषण (sensitivity analyses) करना।
  • "प्लग-एंड-प्ले" धारणाओं से दूर जाना।
  • हाइब्रिड वर्कफ़्लो अपनाना (पैमाने के लिए LLMs + पक्षपात सुधार के लिए मानव अंशांकन)।
• मॉडल विकास: AI समुदाय को ऐसे बेंचमार्क विकसित करने चाहिए जो केवल सामान्य ज्ञान पुनर्प्राप्ति के बजाय अनुमानात्मक मजबूती (inferential robustness) और त्रुटि अंशांकन (error calibration) को माप सकें।
• ज्ञानमीमांसीय विविधता (Epistemic Diversity): हालांकि असहमति वर्तमान में एक खतरा है, लेखक सुझाव देते हैं कि इसे अनिश्चितता को मापने और निष्कर्षों का परीक्षण करने के लिए एक संसाधन के रूप में उपयोग किया जा सकता है, बशर्ते कि असहमति को समझा और प्रबंधित किया जाए।

संक्षेप में, यह शोध पत्र चेतावनी देता है कि समान सटीकता का अर्थ समान वैधता नहीं है। यदि विज्ञान को LLMs को सुरक्षित रूप से एकीकृत करना है, तो क्षेत्र को केवल हेडलाइन बेंचमार्क स्कोर से आगे बढ़कर उन व्यवस्थित, मॉडल-विशिष्ट पक्षपातों को समझना और कम करना होगा जो वैज्ञानिक अनुमान की अखंडता के लिए खतरा हैं।