तकनीकी सारांश: FailureScope – भाषा मॉडल की कमजोरियों का क्रॉस-रेजीम व्यवहार संबंधी निदान (Cross-Regime Behavioral Diagnosis)

1. समस्या विवरण (Problem Statement)

मानक लार्ज लैंग्वेज मॉडल (LLM) बेंचमार्क आमतौर पर कुल सटीकता स्कोर (जैसे, MMLU, GSM8K) रिपोर्ट करते हैं, जो उन विशिष्ट क्षमताओं को छिपा देते हैं जिनका मॉडल में अभाव है। जैसे-जैसे मॉडल जटिल, मल्टी-टर्न और एजेंटिक परिदृश्यों में तैनात होते हैं, एक एकल समग्र संख्या और चिकित्सकों (practitioners) की विशिष्ट नैदानिक आवश्यकताओं के बीच की खाई चौड़ी होती जाती है। इसके अलावा, अनुसंधान समुदाय सिंगल-टर्न बेंचमार्क, मल्टी-टर्न संवाद, और एडवरसैरियल एजेंट मूल्यांकन के लिए अलग-अलग उप-समुदायों में विभाजित हो गया है, जिनके अपने विशिष्ट मेट्रिक्स और नैदानिक ढांचे हैं जो एक-दूसरे में स्थानांतरित नहीं होते हैं।

यह शोध पत्र तर्क देता है कि निदान की मौलिक इकाई कार्य (task) नहीं, बल्कि क्रॉस-मॉडल व्यवहार पैटर्न (cross-model behavioral pattern) होनी चाहिए: विशेष रूप से, कौन से मॉडल दिए गए प्रोब (probe) पर विफल होते हैं। वर्तमान विधियाँ अक्सर मूल्यांकन लागत को कम करने के लिए बेंचमार्क को संकुचित करने पर ध्यान केंद्रित करती हैं, जिससे अक्सर उस सूक्ष्म जानकारी को हटा दिया जाता है जो चिकित्सकों के लिए आवश्यक 'विफलता के प्रकारों' (types of failures) के बारे में होती है।

2. कार्यप्रणाली: FAILURESCOPE

लेखक FAILURESCOPE पेश करते हैं, जो एक व्यवहार-नैदानिक पद्धति है जो क्रॉस-मॉडल पास/फेल हस्ताक्षरों (signatures) के आधार पर मूल्यांकन प्रोब्स को क्लस्टर करके विफलता वर्गीकरण (failure taxonomies) का निर्माण करती है। यह दृष्टिकोण विभिन्न मूल्यांकन व्यवस्थाओं (regimes) में पोर्टेबल होने के लिए डिज़ाइन किया गया है।

मुख्य पाइपलाइन (Core Pipeline)

यह कार्यप्रणाली एक पांच-चरणीय एल्गोरिदम का पालन करती है जो सिंगल-टर्न, मल्टी-टर्न और एडवरसैरियल व्यवस्थाओं में सुसंगत रहती है:

1. मैट्रिक्स निर्माण (Matrix Construction): प्रोब-दर-मॉडल पास/फेल मैट्रिक्स बनाएं।
2. इम्प्यूटेशन (Imputation): कॉलम माध्य (column means) का उपयोग करके लुप्त प्रविष्टियों को भरें (जो तब होता है जब मॉडलों का सभी बेंचमार्क पर मूल्यांकन नहीं किया जाता है)। लेखक नोट करते हैं कि सेंटिनल मानों (जैसे, -1) का उपयोग दूरी गणनाओं में गलत नकारात्मक संकेतों को इंजेक्ट करता है।
3. एम्बेडिंग और नॉर्मलाइजेशन (Embedding & Normalization):
   • कार्यों को एक संयुक्त वेक्टर द्वारा दर्शाया जाता है: $z_{combined} = [\alpha \hat{z}_{sem} \parallel (1-\alpha) \hat{z}_{beh}]$।
   • $\hat{z}_{sem}$ एक सिमेंटिक एम्बेडिंग (Voyage-3-Large) है।
   • $\hat{z}_{beh}$ एक 18-आयामी व्यवहारिक वेक्टर है जो मॉडलों के माध्यम से पास/फेल स्थिति को एनकोड करता है।
   • लेखक पाते हैं कि $\alpha=0.1$ (व्यवहार-प्रधान) इष्टतम है, क्योंकि एक छोटा सिमेंटिक घटक सीमावर्ती क्लस्टर्स को अलग करने में मदद करता है बिना व्यवहारिक संकेत को दबाए।
   • वेक्टर्स को L2-नॉर्मलाइज किया जाता है।
4. क्लस्टरिंग (Clustering): UMAP (या फॉलबैक के रूप में PCA) के माध्यम से आयामीता को कम करें, फिर HDBSCAN का उपयोग करके क्लस्टर करें।
5. लेबलिंग (Labeling): LLM-प्रॉम्प्टेड उदाहरणों (5 निकटतम पड़ोसियों का उपयोग करके) के माध्यम से क्लस्टर्स को लेबल किया जाता है।

सत्यापन प्रोटोकॉल: लीव-वन-मॉडल-आउट (LOMO)

चक्रीयता (circularity) के बिना वर्गीकरण को मान्य करने के लिए, लेखक LOMO प्रोटोकॉल का उपयोग करते हैं:

• एक मॉडल ($m^*$) को बाहर रखा जाता है।
• शेष $N-1$ मॉडलों का उपयोग करके वर्गीकरण को पुनर्गठित किया जाता है।
• रखे गए मॉडल के कमजोरी प्रोफाइल का इस नए वर्गीकरण के विरुद्ध दो मेट्रिक्स का उपयोग करके मूल्यांकन किया जाता है:
  1. नैदानिक दक्षता (Diagnostic Efficiency): टैक्सोनॉमी-कंडीशनड सैंपलिंग (सभी क्लस्टर्स को कवर करने के लिए कार्यों का चयन करना) रैंडम या स्ट्रैटिफाइड सैंपलिंग की तुलना में रखे गए मॉडल की कमजोरी रैंकिंग को कितनी अच्छी तरह रिकवर करती है? (Kendall's $\tau$ द्वारा मापा गया)।
  2. क्रॉस-मॉडल भविष्यवाणी (Cross-Model Prediction): क्या प्रशिक्षण मॉडलों के साथ समानता के आधार पर रखे गए मॉडल के विफलता प्रोफाइल की भविष्यवाणी की जा सकती है? (AUC द्वारा मापित)।

3. प्रमुख योगदान और परिणाम

यह शोध पत्र तीन अलग-अलग व्यवस्थाओं में FAILURESCOPE को मान्य करता है, यह प्रदर्शित करते हुए कि एक ही मूल तत्व प्रत्येक में स्थिर, व्याख्या योग्य क्लस्टर उत्पन्न करता है।

A. सिंगल-टर्न बेंचमार्क (Single-Turn Benchmarks)

• डेटासेट: 18 मॉडलों द्वारा मूल्यांकित 6 बेंचमार्क (GSM8K, ARC, MMLU, HumanEval, MBPP, IFEval) से 2,664 कार्य।
• क्लस्टरिंग: व्यवहार-प्रधान सेटिंग ($\alpha=0.1$) 25 स्थिर क्लस्टर प्रदान करती है जिसका सिलुएट स्कोर 0.12 है। महत्वपूर्ण रूप से, 86.7% क्लस्टर कई बेंचमार्क में फैले हुए हैं, जो दर्शाता है कि विफलता हस्ताक्षर विशिष्ट डेटासेट सीमाओं से परे जाते हैं।
• नैदानिक दक्षता: LOMO के तहत, टैक्सोनॉमी-कंडीशनड सैंपलिंग 50 कार्यों पर 0.81 का Kendall's $\tau$ प्राप्त करती है। यह रैंडम चयन ($\tau=0.34$) और बेंचमार्क-स्ट्रैटिफाइड सैंपलिंग ($\tau=0.64$) की तुलना में काफी बेहतर है।
• भविष्यवाणी: निकटतम-मॉडल दृष्टिकोण का उपयोग करके क्रॉस-मॉडल विफलता भविष्यवाणी 0.88 का AUC तक पहुँचती है।

B. मल्टी-टर्न संवाद (Multi-Turn Dialogue)

• डेटासेट: 5 फ्रंटियर मॉडलों के विरुद्ध 363 फ्रंटियर-हार्ड बातचीत, जिसमें 11 कौशल अक्ष (skill axes) और 7 संवादात्मक गहराई शामिल हैं।
• क्लस्टरिंग: विधि 6 क्लस्टर को रिकवर करती है जिसका उच्च सिलुएट 0.92 है।
• मुख्य निष्कर्ष:
  • डीप-कॉन्टेक्स्ट कोलैप्स (Deep-Context Collapse): एक बड़ा क्लस्टर (162 कार्य, अधिकांश गहराई-6) जहाँ सभी मॉडल सार्वभौमिक रूप से विफल होते हैं, एक पैटर्न जो सिंगल-टर्न विश्लेषण में दिखाई नहीं देता है।
  • मॉडल-चयनात्मक लचीलापन (Model-Selective Resilience): एक क्लस्टर (n=11) दिखाता है कि Claude Sonnet 4.6 लगभग 70% विफलता दर पर विफल होता है जबकि अन्य मॉडल 85-100% विफलता दिखाते हैं।
  • DeepSeek-इम्यून कैंडिडेट: एक छोटा क्लस्टर (n=10) जहाँ DeepSeek सफल होता है जबकि GPT और Claude परिवार विफल हो जाते हैं। लेखक इसे बड़े पैमाने पर प्रतिकृति (replication) के लिए एक परिकल्पना-जनरेटिंग सिग्नल मानते हैं।

C. एडवरसैरियल एजेंट अटैक्स (Adversarial Agent Attacks)

• डेटासेट: तीन अटैक फैमिली और तीन फ्रंटियर मॉडलों के विरुद्ध कोड-एग्जीक्यूशन सैंडबॉक्स के खिलाफ 630 मल्टी-टर्न एजेंट ट्रेसेस।
• क्लस्टरिंग: विधि 3 विशिष्ट व्यवहारिक प्रोफाइल की पहचान करती है:
  1. मूल्यांकन की मेटा-विफलता (Meta-Failure of Evaluation): कॉग्निटिव-लोड हमलों पर LLM-जज अटैक सक्सेस रेट (ASR) और वास्तविक नेटवर्क-एक्जीक्यूशन ASR के बीच 73-100 प्रतिशत अंक का अंतर। क्लस्टर प्रकट करता है कि मूल्यांकन उपकरण (जज) अविश्वसनीय है, न कि मॉडल।
  2. चयनात्मक कंपोजिशनल रिफ्यूजल (Selective Compositional Refusal): Claude Sonnet 4.6 एक अनूठा प्रोफाइल प्रदर्शित करता है जहाँ यह पहले चरण को पास करने के बावजूद दूसरे चरण पर दुर्भावनापूर्ण पेलोड को अस्वीकार कर देता है (21/30 मामले), जबकि GPT-5.4 92% बार हमला निष्पादित करता है।
  3. कंपोजिशनल कंप्लायंस (Compositional Compliance): GPT-5.4 और GPT-5.4-mini उच्च निष्पादन दर दिखाते हैं, जो एक "वास्तव में समझौताकृत" (genuinely compromised) क्लस्टर बनाते हैं जो इंस्ट्रूमेंट फेल्योर और रिफ्यूजल क्लस्टर्स से अलग है।

4. महत्व और दावे

शोध पत्र दावा करता है कि व्यवहार क्लस्टरिंग एक पोर्टेबल डायग्नोसिस प्रिमिटिव है जो किसी भी एकल बेंचमार्क से परे सामान्यीकृत होता है।

• पोर्टेबिलिटी: समान पांच-चरणीय एल्गोरिदम सिंगल-टर्न, मल्टी-टर्न और एडवरसैरियल व्यवस्थाओं में स्थिर, व्याख्या योग्य वर्गीकरण (taxonomies) उत्पन्न करता है। लेखक जोर देते हैं कि हालांकि क्लस्टर काउंट और आयामों के कारण विभिन्न व्यवस्थाओं में सिलुएट स्कोर भिन्न होते हैं (0.12, 0.92, 0.71), लेकिन गुणात्मक सुसंगतता और डाउनस्ट्रीम उपयोगिता (उच्च $\tau$ और AUC) सुसंगत रहती है।
• दक्षता: यह विधि कुशल संरचित निदान सक्षम करती है। चिकित्सक एक नया मॉडल लगभग 50 टैक्सोनॉमी-कंडीशनड कार्यों पर मूल्यांकन करके उच्च निष्ठा ($\tau=0.81$) के साथ कमजोरी प्रोफाइल रिकवर कर सकते हैं, या क्रॉस-मॉडल भविष्यवाणी का उपयोग करके मूल्यांकन के बिना प्रोफाइल की भविष्यवाणी कर सकते हैं (AUC 0.88)।
• छिपे हुए पैटर्न की खोज: दृष्टिकोण उन विफलता मोड को उजागर करता है जो सिंगल-बेंचमार्क विश्लेषण में अदृश्य हैं, जैसे कि मल्टी-टर्न संवाद में गहराई-निर्भर सार्वभौमिक पतन और एडवरसैरियल संदर्भों में LLM जजों की अविश्वसनीयता।

5. सीमाएं और दायरा (Limitations and Scope)

लेखक अपने दावों पर एक विनम्र रुख बनाए रखते हैं:

• एक्सट्रपलेशन (Extrapolation): LOMO सत्यापन उन्हीं मॉडलों के लिए मान्य है जो समान क्षमता सीमा के भीतर हैं। वे यह दावा नहीं करते कि 7B-70B मॉडलों पर बना वर्गीकरण बिना पुनर्गठन के महत्वपूर्ण रूप से मजबूत सिस्टम (जैसे, GPT-5 क्लास) में स्थानांतरित होगा।
• डेटा स्पर्सिटी (Data Sparsity): विधि लुप्त बेंचमार्क डेटा के लिए इम्प्यूटेशन पर निर्भर करती है; समृद्ध मूल्यांकन डेटा क्लस्टरिंग की गुणवत्ता में सुधार कर सकता है।
• लेबलिंग व्यक्तिपरकता (Labeling Subjectivity): क्लस्टर लेबल LLM द्वारा उत्पन्न किए जाते हैं। जबकि संरचना मजबूत है, विशिष्ट विफलता मोड लेबल (जैसे, रीजनिंग बनाम नॉलेज गैप) संदिग्ध हो सकते हैं।
• दायरा: सिंगल-टर्न कॉर्पस मल्टीमॉडल रीजनिंग या लॉन्ग-कॉन्टेक्स्ट कार्यों को कवर नहीं करता है, हालांकि मल्टी-टर्न केस स्टडीज छोटे मॉडल पूल के साथ इन कमियों को संबोधित करती हैं।

शोध पत्र संरचित मॉडल निदान में आगे के अनुसंधान को सुविधाजनक बनाने के लिए पाइपलाइन, तीन एनोटेटेड कॉर्पस, क्रॉस-रेजीम टैक्सोनॉमी और 1,203 जनरेटेड एडवरसैरियल टास्क जारी करके समाप्त होता है।