तकनीकी सारांश: LLMs में तर्क की गुणवत्ता का मापन: एक बहु-आयामी व्यवहारिक ढांचा

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान मूल्यांकन पद्धतियां मुख्य रूप से अंतिम-उत्तर की शुद्धता (final-answer correctness) पर आधारित हैं। यह न्यूनीकरणवादी दृष्टिकोण तर्क की गुणवत्ता के बहु-आयामी स्वरूप को पकड़ने में विफल रहता है, जिसे संज्ञानात्मक विज्ञान (cognitive science) ने लंबे समय से यह स्थापित किया है कि इसके लिए न केवल सटीक निष्कर्षों की आवश्यकता होती है, बल्कि सुसंगत अनुमानात्मक श्रृंखलाओं (inferential chains), प्रासंगिक भिन्नता के तहत स्थिरता और कुशल संसाधन आवंटन की भी आवश्यकता होती है।

यह शोध पत्र तर्क देता है कि इन गुणों को एक एकल सटीकता स्कोर में समाहित करना महत्वपूर्ण जानकारी को त्याग देता है, विशेष रूप से उच्च-जोखिम वाले डोमेन (जैसे क्लिनिकल, कानूनी) में जहाँ तर्क प्रक्रिया ऑडिट के अधीन होती है। मौजूदा बेंचमार्क अक्सर वास्तविक तर्क और पैटर्न पहचान (pattern recognition) के बीच अंतर करने में विफल रहते हैं, और वर्तमान मजबूती (robustness) या निष्ठा (faithfulness) अध्ययन आमतौर पर केवल पृथक आयामों का परीक्षण करते हैं, जिससे संचयी कमजोरियां अनियंत्रित रह जाती हैं। इसके अलावा, हालिया अनुभवजन्य कार्य संकेत देते हैं कि LLMs ऐसे तर्कपूर्ण श्रृंखलाएं उत्पन्न कर सकते हैं जो अपने अंतिम उत्तरों से कारणत्मक रूप से विच्छेदित (causally disconnected) होती हैं या समानार्थक इनपुट के तहत असंगत आउटपुट उत्पन्न करते हैं।

2. कार्यप्रणाली

2.1 सैद्धांतिक ढांचा

लेखक संज्ञानात्मक विज्ञान में निहित छह सैद्धांतिक रूप से आधारित आयामों को संचालित करने वाला एक एकीकृत व्यवहारिक ढांचा प्रस्तावित करते हैं:

1. शुद्धता (Correctness - CQ): ज्ञान संबंधी सटीकता (ग्राउंड ट्रुथ से मेल खाने वाले निष्कर्षों का उत्पादन)।
2. संगति (Consistency - CS): तर्कसंगत अपरिवर्तनीयता (स्वतंत्र रन के दौरान आउटपुट की स्थिरता)।
3. मजबूती (Robustness - RS): अर्थ-संरक्षण परिवर्तनों (जैसे पर्यायवाची प्रतिस्थापन, सिंटैक्टिक पुनर्व्यवस्था, पैराफ्रेसिंग) के तहत स्थिरता।
4. तार्किक सुसंगतता (Logical Coherence - LS): अनुमानात्मक श्रृंखलाओं में बाधा संतुष्टि (क्रमिक तर्क चरणों के बीच विरोधाभासों का अभाव)।
5. दक्षता (Efficiency - ES): शुद्धता और कम्प्यूटेशनल लागत (टोकन उपयोग) के बीच का ट्रेडऑफ, जो 'बाउंडेड रेशनैलिटी' पर आधारित है।
6. स्थिरता (Stability - SS): स्टोकेस्टिक रन के दौरान तर्क के निशानों (reasoning traces) की अर्थ संबंधी समानता, जो आउटपुट निरंतरता से भिन्न है।

2.2 मीट्रिक परिभाषाएं

यह ढांचा एक मॉडल-एग्नोस्टिक पाइपलाइन का उपयोग करता है जिसके लिए मॉडल के आंतरिक वेट्स (weights) तक पहुंच की आवश्यकता नहीं है:

• CQ: ग्राउंड ट्रुथ के विरुद्ध मल्टी-स्ट्रेटजी मैचिंग (सटीक, सबस्ट्रिंग, संख्यात्मक निष्कर्षण) के माध्यम से गणना की जाती है।
• CS: तापमान $0.7$पर उत्पन्न$K=3$ स्वतंत्र प्रतिक्रियाओं के युग्म मिलान दर (pairwise agreement rate) के रूप में मापा जाता है।
• RS: इसे विशेष रूप से मूल रूप से सही उदाहरणों पर गणना की जाती है ताकि स्वाभाविक रूप से गलत मॉडल्स के लिए स्कोर बहुत अधिक न हो। यह $P=3$ नियम-आधारित परिवर्तनों के तहत शुद्धता के प्रतिधारण को मापता है।
• LS: क्रमिक तर्क चरणों के बीच विरोधाभासों का पता लगाने के लिए DeBERTa-v3-small क्रॉस-एनकोडर (MNLI पर फाइन-ट्यून किया गया) का उपयोग करके मूल्यांकन किया जाता है। एकल-वाक्य प्रतिक्रियाओं को परिभाषा के अनुसार पूर्ण स्कोर दिया जाता है।
• ES: शुद्धता और सामान्यीकृत टोकन लागत ($1 - \text{token ratio}$) के हार्मोनिक मीन (harmonic mean) के रूप में परिभाषित है।
• SS: $K=3$ रन के दौरान तर्क के निशानों की अर्थ संबंधी समानता पर BERTScore F1 के माध्यम से मापा जाता है।

2.3 एकत्रीकरण और प्रयोगात्मक सेटअप

• एकत्रीकरण: आयामों के स्कोर को भारित औसत ($Q_w$) के माध्यम से एकत्रित किया जाता है। पेपर सात पूर्व-कॉन्फ़िगर किए गए वेटिंग स्कीम्स (जैसे Safety Priority, Legal/Compliance, Edge Device/IoT) प्रदान करता है ताकि संदर्भ-विशिष्ट मॉडल चयन में सहायता मिल सके।
• मॉडल्स: सात LLMs का मूल्यांकन किया गया, जिनमें क्लोज्ड-सोर्स API मॉडल्स (GPT-4o-mini, Claude-Haiku-4.5, DeepSeek-V3, Gemini-2.5-Flash) से लेकर ओपन-वेट लोकल मॉडल्स (LLaMA-3-70B, Qwen2.5-1.5B, Phi-2) शामिल हैं।
• डेटासेट्स: चार बेंचमार्क में 975 आइटम:
  • GSM8K: अंकगणितीय शब्द समस्याएँ।
  • MMLU: 9 तर्क विषयों (तर्क, गणित, भौतिकी, आदि) से 225 आइटम।
  • StrategyQA: अंतर्निहित मल्टी-स्टेप कॉमन-सेंस रीजनिंग।
  • सिंथेटिक डेटासेट: मजबूती और संगति का परीक्षण करने के लिए निर्मित 250 आइटम, जिसमें प्रतिकूल तार्किक विरोधाभास शामिल हैं।

3. प्रमुख परिणाम

3.1 बहु-आयामी प्रोफाइलिंग

• रैंकिंग उलटाव (Ranking Inversions): समान कुल स्कोर वाले मॉडल्स स्पष्ट रूप से भिन्न आयामी प्रोफाइल प्रदर्शित करते हैं। उदाहरण के लिए, DeepSeek-V3 और Gemini-2.5-Flash के समान संतुलित स्कोर हैं लेकिन उनके प्रोफाइल भिन्न हैं। अधिक महत्वपूर्ण बात यह है कि DeepSeek-V3 "Accuracy Priority" के तहत #2 स्थान पर है, लेकिन "Legal/Compliance" वेटिंग के तहत कम तार्किक सुसंगतता (LS) और संगति (CS) के कारण #5 पर गिर जाता है।
• आयामों की ऑर्थोगोनैलिटी (Orthogonality):
  • शुद्धता बनाम तार्किक सुसंगतता: सहसंबंध नगण्य ($r = -0.172$) है, जो पुष्टि करता है कि सही उत्तर असंगत तर्क पथों से भी उत्पन्न हो सकते हैं।
  • संगति बनाम स्थिरता: आउटपुट निरंतरता (CS) स्टोकेस्टिक जनरेशन के कारण सभी मॉडल्स में समान रूप से कम (0.37–0.45) है, जबकि तर्क पथ की स्थिरता (SS) उच्च (0.82–0.92) बनी रहती है। यह अलगाव इंगित करता है कि मॉडल्स अंतिम उत्तरों में भिन्न हो सकते हैं लेकिन अपने तर्क की प्रक्रिया में स्थिर अर्थ बनाए रखते हैं।
• छोटे मॉडल का व्यवहार: छोटे स्थानीय रूप से तैनात मॉडल्स (जैसे Phi-2, Qwen2.5-1.5B) गैर-तुच्छ आयामी प्रोफाइल प्रदर्शित करते हैं। Phi-2 कम शुद्धता (0.495) के बावजूद उच्च तार्किक सुसंगतता (0.869) और स्थिरता (0.828) प्राप्त करता है, जो यह सुझाव देता है कि सुसंगतता और स्थिरता, छोटे स्तरों पर भी शुद्धता से स्वतंत्र हैं।

3.2 विभेदक वैधता (Discriminant Validity)

28 अवलोकनों (7 मॉडल्स × 4 डेटासेट्स) पर 15 आयाम जोड़ों का विश्लेषण पुष्टि करता है कि आयाम काफी हद तक गैर-अतिरेखी (non-redundant) संकेतों को कैप्चर करते हैं:

• 11 जोड़े स्वीकार्य विभेदक पृथक्करण ($|r| < 0.50$) दिखाते हैं।
• संरचनात्मक सहसंबंध: शुद्धता-मजबूती ($r=0.783$) और शुद्धता-दक्षता ($r=0.787$) के बीच उच्च सहसंबंध को परिभाषात्मक माना गया है (क्योंकि RS केवल सही उदाहरणों पर गणना की जाती है; ES में CQ शामिल है)। जब CQ को नियंत्रित किया जाता है, तो ये संबंध कम हो जाते हैं, जो निर्माण की विशिष्टता (construct distinctness) की पुष्टि करते हैं।
• स्वतंत्रता: ऐसे जोड़े जैसे तार्किक सुसंगतता-दक्षता ($r=0.040$) और संगति-मजबूती ($r=-0.091$) सांख्यिकीय रूप से स्वतंत्र हैं।

4. प्रमुख योगदान

1. सैद्धांतिक ढांचा: एक छह-आयामी व्यवहारिक ढांचा जो संज्ञानात्मक विज्ञान के सिद्धांतों (बाउंडेड रेशनैलिटी, बाधा संतुष्टि, तर्कसंगत अपरिवर्तनीयता) को मापने योग्य LLM गुणों में संचालित करता है।
2. अनुभवजन्य स्वतंत्रता: प्रमाण कि तर्क के आयाम काफी हद तक स्वतंत्र हैं, और संरचनात्मक सहसंबंधों को मेट्रिक डिजाइन के बजाय कंस्ट्रक्ट ओवरलैप द्वारा समझाया जा सकता है।
3. तैनाती-जागरूक चयन (Deployment-Aware Selection): पहला व्यवस्थित प्रदर्शन कि बहु-आयामी प्रोफाइल एकल-मीट्रिक मूल्यांकन द्वारा पता न चलने वाले विशिष्ट तैनाती परिदृश्यों (जैसे कानूनी/अनुपालन बनाम सटीकता) में पर्याप्त रैंकिंग उलटाव को उजागर करते हैं।
4. पुनरुत्पादक पाइपलाइन: एक मॉडल-एग्नोस्टिक मूल्यांकन पाइपलाइन जो किसी भी LLM पर लागू की जा सकती है, बिना उसके वेट्स या आंतरिक अवस्थाओं तक पहुंच के।

5. महत्व और निहितार्थ

यह शोध पत्र ढांचे को केवल एक रैंकिंग टूल के रूप में नहीं, बल्कि एक पूर्व-तैनाती नैदानिक उपकरण (pre-deployment diagnostic instrument) के रूप में स्थापित करता है। इसका प्राथमिक महत्व तर्क की गुणवत्ता के मूल्यांकन के तरीके को बदलने में निहित है:

• सटीकता अपर्याप्त है: केवल शुद्धता पर निर्भर रहना उच्च-जोखिम वाले डोमेन में सक्रिय रूप रूप से भ्रामक हो सकता है। एक मॉडल सटीक हो सकता है लेकिन उसमें ऑडिटेबिलिटी और अनुपालन के लिए आवश्यक तार्किक सुसंगतता या निरंतरता की कमी हो सकती है।
• लक्षित निदान: आयामों की ऑर्थोगोनैलिटी सटीक विफलता निदान की अनुमति देती है। उदाहरण के लिए, कम शुद्धता लेकिन उच्च सुसंगतता वाले मॉडल को ज्ञान संवर्धन (knowledge augmentation) की आवश्यकता हो सकती है, जबकि कम स्कोर वाले मॉडल को चेन-ऑफ-थॉट निरंतरता प्रशिक्षण की आवश्यकता हो सकती है।
• संदर्भगत प्रासंगिकता: यह ढांचा चिकित्सकों को विशिष्ट तैनाती बाधाओं (जैसे IoT उपकरणों के लिए दक्षता को प्राथमिकता देना या कानूनी अनुप्रयोगों के लिए मजबूती) के आधार पर मॉडल चुनने में सक्षम बनाता है।

लेखक निष्कर्ष निकालते हैं कि जबकि यह ढांचा तर्क व्यवहार के निदान के लिए एक आधार प्रदान करता है, भविष्य के कार्यों को डोमेन-विशिष्ट सत्यापन और स्थानीय विरोधाभास पहचान से परे कारण निष्ठा (causal faithfulness) और वैश्विक तर्क वैधता का आकलन करने के लिए मेट्रिक्स के विस्तार पर ध्यान केंद्रित करना चाहिए।