💻 computer science

Capturing LLM Capabilities via Evidence-Calibrated Query Clustering

यह शोध पत्र ECC को प्रस्तुत करता है, जो एक साक्ष्य-कैलिब्रेटेड (evidence-calibrated) क्वेरी क्लस्टरिंग एल्गोरिदम है जो पोस्टीरियर मॉडल तुलनाओं के माध्यम से सिमेंटिक एम्बेडिंग्स को परिष्कृत करके सतही अर्थ (surface-level semantics) और लेटेंट क्षमता आवश्यकताओं (latent capability requirements) के बीच के अंतर को पाटता है, जिससे मौजूदा बेसलाइन की तुलना में LLM क्षमता रैंकिंग और रूटिंग प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Fangzhou Wu, Sandeep Silwal, Qiuyi Zhang

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fangzhou Wu, Sandeep Silwal, Qiuyi Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Capting LLM Capabilities via Evidence-Calibrated Query Clustering" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

बड़ी समस्या: "लेबल" का जाल (The "Label" Trap)

कल्पना कीजिए कि आपके पास प्रश्नों (queries) का एक विशाल पुस्तकालय है और आपके पास अलग-अलग रसोइयों (Large Language Models, या LLMs) की एक टीम है। आप जानना चाहते हैं कि कौन सा रसोइया किस विशिष्ट प्रश्न का उत्तर देने में सबसे अच्छा है।

वर्तमान में, लोग इन प्रश्नों को उनके विषय लेबल (topic labels) के आधार पर समूहों में व्यवस्थित करने की कोशिश करते हैं, जैसे "गणित," "रसायन विज्ञान," या "इतिहास।" यह पेपर तर्क देता है कि यह किराने के सामान को उसके अंदर की चीज़ के बजाय पैकेजिंग के रंग के आधार पर छाँटने जैसा है।

दोष: "गणित" लेबल वाला एक प्रश्न एक साधारण "2+2 क्या है?" (आसान, रटी-रटाई याददाश्त) हो सकता है या एक जटिल "इस प्रमेय को सिद्ध करें" (कठिन, गहरा तर्क) हो सकता है। यदि आप उन्हें केवल इसलिए एक साथ रखते हैं क्योंकि दोनों ही "गणित" कहते हैं, तो आप यह नहीं बता पाएंगे कि कौन सा रसोइया वास्तव में कठिन तर्क में अच्छा है बनाम आसान याददाश्त में।
परिणाम: मौजूदा तरीके अक्सर प्रश्न के लिए आवश्यक वास्तविक "कौशल" (skill) को देखने में विफल रहते हैं क्योंकि वे सतह के शब्दों को देख रहे होते हैं, न कि वास्तविक कठिनाई या सोचने के प्रकार को।

समाधान: ECC (एविडेंस-कैलिब्रेटेड क्लस्टरिंग)

लेखक ECC नामक एक नई विधि प्रस्तावित करते हैं। ECC को एक स्मार्ट लाइब्रेरियन के रूप में समझें जो केवल पुस्तक के शीर्षक को नहीं देखता, बल्कि वास्तव में पुस्तकों का परीक्षण करता है ताकि यह देख सके कि उन्हें किस तरह के पाठक की आवश्यकता है।

ECC कैसे काम करता है, इसके चरण यहाँ दिए गए हैं:

1. "स्वाद परीक्षण" (पोस्टीरियर एविडेंस - Posterior Evidence)

केवल विषय (जैसे "रसायन विज्ञान") द्वारा प्रश्नों को समूहित करने के बजाय, ECC कुछ सरल प्रश्न पूछता है: "यदि रसोइया A और रसोइया B दोनों इस प्रश्न का उत्तर देते हैं, तो कौन जीतेगा?"

इसे हर प्रश्न पर हर रसोइये का परीक्षण करने की आवश्यकता नहीं है। इसे प्रश्न की वास्तविक कठिनाई और कौशल आवश्यकताओं का संकेत पाने के लिए बस कुछ "स्वाद परीक्षणों" (pairwise comparisons) की आवश्यकता है।
उपमा: कल्पना कीजिए कि आप रहस्यमयी बक्सों के ढेर को छाँटने की कोशिश कर रहे हैं। बॉक्स पर लिखे लेबल को पढ़ने के बजाय, आप उनमें से कुछ को हिलाकर देखते हैं कि वे भारी (कठिन) हैं या हल्के (आसान)। यह "हिलाना" ही साक्ष्य (evidence) है।

2. "हाइब्रिड मैप" (क्लस्टर्स को कैलिब्रेट करना - Calibrating the Clusters)

ECC मानक "विषय मानचित्र" (लेबल) को लेता है और उन स्वाद परीक्षणों के परिणामों का उपयोग करके उसे कैलिब्रेट (परिशोधित) करता है।

यह ऐसे समूह (clusters) बनाता है जो केवल विषय के बारे में नहीं, बल्कि आवश्यक क्षमता (capability) के बारे में होते हैं।
जादू: यह महसूस करता है कि "दवा डिजाइन करने" के बारे में एक "रसायन विज्ञान" के प्रश्न के लिए एक अलग कौशल सेट की आवश्यकता होती है, जबकि "समीकरण को संतुलित करने" के बारे में एक "रसायन विज्ञान" के प्रश्न के लिए अलग। भले ही उनका लेबल एक ही हो, ECC उन्हें अलग-अलग समूहों में विभाजित करता है क्योंकि "स्वाद परीक्षणों" ने दिखाया कि उन्हें अलग-अलग रसोइयों की आवश्यकता है।

3. "लचीली फाइलिंग प्रणाली" (सॉफ्ट रिस्पॉन्सिबिलिटीज़ - Soft Responsibilities)

कभी-कभी एक प्रश्न कौशलों का मिश्रण होता है। शायद एक प्रश्न 60% "गणित" और 40% "तर्क" है।

पुराने तरीके एक प्रश्न को एक ही बॉक्स में डालने के लिए मजबूर करते हैं।
ECC एक लचीली फाइलिंग प्रणाली का उपयोग करता है। यह कहता है, "यह प्रश्न 60% गणित के बॉक्स में और 40% तर्क के बॉक्स में है।"
यह प्रणाली जटिल प्रश्नों को संभालने की अनुमति देता है जिन्हें मिश्रित कौशल की आवश्यकता होती है, बजाय इसके कि उन्हें एक एकल, कठोर श्रेणी में डाला जाए।

4. "त्वरित जाँच" (प्रोब इन्फरेंस - Probe Inference)

जब कोई बिल्कुल नया प्रश्न आता है जिसे सिस्टम ने पहले नहीं देखा है, तो यह कैसे जानता है कि वह किस समूह से संबंधित है?

ECC को सब कुछ फिर से परीक्षण करने की आवश्यकता नहीं है। यह बस एक त्वरित "स्वाद परीक्षण" (दो मॉडलों के बीच एक एकल तुलना) मांगता है।
यह इस एक त्वरित परीक्षण को प्रश्न के टेक्स्ट के साथ जोड़ता है ताकि यह पता लगाया जा सके कि वह किस "क्षमता समूह" (capability group) में फिट बैठता है, और फिर काम के लिए सबसे अच्छा रसोइया सुझाता है।

यह क्यों महत्वपूर्ण है (परिणाम)

इस पेपर ने पुराने तरीकों (मानव लेबल या केवल टेक्स्ट समानता का उपयोग करने वाले तरीकों) के मुकाबले इस विधि का परीक्षण किया और पाया:

बेहतर रैंकिंग: ECC किसी विशिष्ट प्रश्न पर कौन सा मॉडल जीतेगा, इसकी भविष्यवाणी करने में बहुत बेहतर था। इसने पुराने तरीकों की तुलना में अपनी भविष्यवाणियों की सटीकता में लगभग 17-18 प्रतिशत अंक का सुधार किया।
स्मार्ट रूटिंग: जब उन्होंने ECC का उपयोग प्रश्नों को सबसे अच्छे मॉडल को स्वचालित रूप से भेजने के लिए किया (एक स्मार्ट राउटर की तरह), तो उत्तर काफी बेहतर थे।
दक्षता (Efficiency): इसने यह परिणाम बिना हर प्रश्न पर हर मॉडल का परीक्षण किए प्राप्त किया, जिससे समय और पैसा बचा।

एक वाक्य में सारांश

ECC प्रश्नों को समूहित करने का एक स्मार्ट तरीका है जो सतह के विषय लेबल को अनदेखा करता है और इसके बजाय उन्हें उत्तर देने के लिए आवश्यक वास्तविक कौशल के आधार पर समूहित करता है, जिसमें सही समूह का पता लगाने के लिए AI मॉडलों के बीच कुछ त्वरित "स्वाद परीक्षणों" का उपयोग किया जाता है।

तकनीकी सारांश: साक्ष्य-कैलिब्रेटेड क्वेरी क्लस्टरिंग के माध्यम से LLM क्षमताओं को कैप्चर करना

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) विभिन्न डोमेन और कार्य प्रकारों में विविध क्षमताएं प्रदर्शित करते हैं। इन शक्तियों का सटीक मूल्यांकन व्यक्तिगत सेटिंग्स में विश्वसनीय तैनाती के लिए महत्वपूर्ण है। हालांकि, LLMs के मूल्यांकन के मौजूदा तरीके अक्सर मोटे-स्तर के डेटासेट या क्वेरी समूहों पर निर्भर करते हैं जो शोर युक्त साक्ष्य (noisy evidence) प्रदान करते हैं, जिससे वे अंतर्निहित क्षमता आवश्यकताओं को प्रभावी ढंग से चित्रित करने में विफल रहते हैं।

वर्तमान क्वेरी क्लस्टरिंग दृष्टिकोण आमतौर पर दो श्रेणियों में आते हैं:

स्थिर मानव-लेबल वाले वर्गीकरण (Static Human-Labeled Taxonomies): पूर्व-निर्धारित श्रेणियों (जैसे, "गणित," "रसायन विज्ञान") का उपयोग करने वाली विधियाँ अक्सर विफल हो जाती हैं क्योंकि एक एकल लेबल उन क्वेरीज को समाहित कर सकता है जिनमें बहुत अलग अंतर्निहित क्षमताओं की आवश्यकता होती है (जैसे, रटने वाली स्मृति बनाम बहु-चरणीय तर्क)।
असुपरवाइज्ड सिमेंटिक एम्बेडिंग्स (Unsupervised Semantic Embeddings): केवल सतही सिमेंटिक एम्बेडिंग्स के आधार पर क्लस्टरिंग अक्सर वास्तविक मॉडल प्रदर्शन के साथ संरेखित नहीं होती है। समान सिमेंटिक विषयों वाली क्वेरीज के लिए अलग-अलग क्षमताओं की आवश्यकता हो सकती है, जबकि अलग-अलग विषयों वाली क्वेरीज में समान अंतर्निहित क्षमता मांगें हो सकती हैं।

सतही सिमेंटिक्स और अंतर्निहित क्षमता आवश्यकताओं के बीच यह मिसअलाइनमेंट (misalignment) मॉडल क्षमता अनुमानों की सामान्यीकरण क्षमता को सीमित करता है, विशेष रूप से अनदेखी (unseen) क्वेरीज के लिए। इसके अलावा, कौशल लेबल निकालने वाले मौजूदा "LLM-as-a-judge" दृष्टिकोण अक्सर हार्ड, डिस्क्रीट पार्टिशन (discrete partitions) का परिणाम देते हैं जो मिश्रित क्षमता मांगों वाली क्वेरीज को समायोजित नहीं कर सकते और उच्च कम्प्यूटेशनल लागत का कारण बनते हैं।

कार्यप्रणाली: साक्ष्य-कैलिब्रेटेड क्लस्टरिंग (ECC)

लेखक ECC प्रस्तावित करते हैं, जो एक नवीन एल्गोरिदम है जो पूर्व सिमेंटिक एम्बेडिंग्स को सीमित पोस्टीरियर मॉडल तुलनाओं के साथ एकीकृत करके सतही सिमेंटिक्स और अंतर्निहित क्षमता आवश्यकताओं के बीच के अंतर को पाटता है।

मुख्य घटक

सिस्टम पैरामीटर्स ( $\Theta$ ): ECC प्रत्येक क्लस्टर $k$ $k$ को दो घटकों का उपयोग करके चित्रित करता है:
- सिमेंटिक सेंट्रॉइड ( $c_k$ ): एम्बेडिंग स्पेस में पूर्व सिमेंटिक संकेतों को कैप्चर करता है।
- कैपेबिलिटी प्रोफाइल ( $\theta^{(k)}$ ): $M$ LLMs के लिए $k$ क्लस्टर से जुड़ी क्वेरीज पर क्षमता का एक वेक्टर, जिसे ब्रैडली-टेरी (BT) मॉडल द्वारा पैरामीटराइज किया गया है।
सॉफ्ट रिस्पॉन्सिबिलिटीज़ ( $P$ ): मिश्रित क्षमताओं की आवश्यकता वाली क्वेरीज को समायोजित करने के लिए, ECC प्रशिक्षण योग्य सॉफ्ट असाइनमेंट $r_{qk}$ पेश करता है। ये वेट (weights) यह मापते हैं कि एक क्वेरी $q$ क्लस्टर $k$ के क्षमता प्रोफाइल के साथ कितनी मजबूती से संरेखित है, जिससे एक एकल क्वेरी को कई क्लस्टरों में योगदान देने की अनुमति मिलती है।

अनुकूलन प्रक्रिया (Optimization Procedure)

ECC सिस्टम पैरामीटर्स और सॉफ्ट रिस्पॉन्सिबिलिटीज़ को संयुक्त रूप से सीखने के लिए एक अल्टरनेटिंग ऑप्टिमाइजेशन प्रक्रिया का उपयोग करता है:

ऑब्जेक्टिव फंक्शन: एल्गोरिदम एक एंट्रॉपी-रेगुलराइज्ड एक्सपेक्टेड लॉस को मिनिमाइज करता है जो जोड़ता है:
- कैपेबिलिटी लॉस ( $\ell_{comp}$ ): यह मापता है कि क्लस्टर का BT प्रोफाइल क्वेरी के लिए देखे गए पेयरवाइज मॉडल तुलनाओं में कितनी अच्छी तरह फिट बैठता है।
- एम्बेडिंग लॉस ( $\ell_{emb}$ ): यह क्वेरी एम्बेडिंग और क्लस्टर सेंट्रॉइड के बीच सिमेंटिक मिसमैच को मापता है।
- एंट्रॉपी रेगुलराइजेशन: विविध असाइनमेंट को प्रोत्साहित करता है और डिजेनरेट समाधानों को रोकता है।
अल्टरनेटिंग अपडेट्स:
1. $\Theta$ को अपडेट करें: फिक्स्ड रिस्पॉन्सिबिलिटीज़ के आधार पर, सेंट्रॉइड्स (एम्बेडिंग्स के नॉर्मलाइज्ड वेटेड मीन्स के रूप में) और कैपेबिलिटी प्रोफाइल्स (वेटेड BT लॉस को मिनिमाइज करके) को अपडेट करें।
2. $P$ को अपडेट करें: फिक्स्ड पैरामीटर्स के आधार पर, संयुक्त लॉस और टेम्परेचर पैरामीटर $T$ से प्राप्त क्लोज्ड-फॉर्म बोल्ट्जमैन डिस्ट्रीब्यूशन का उपयोग करके रिस्पॉन्सिबिलिटीज़ को अपडेट करें।

इन्फरेंस: प्रोब-इन्फॉर्म्ड मिक्सचर इन्फरेंस

अनदेखी क्वेरीज के लिए, ECC एक लाइटवेट इन्फरेंस रणनीति का उपयोग करता है:

प्रोब सिग्नल: नई क्वेरी के लिए एक एकल पेयरवाइज मॉडल तुलना एकत्र की जाती है।
कैलिब्रेशन: इस प्रोब का उपयोग क्लस्टरों में क्वेरी की सॉफ्ट रिस्पॉन्सिबिलिटीज़ ( $r_q$ ) को कैलिब्रेट करने के लिए किया जाता है, जो एम्बेडिंग सिग्नल को पोस्टीरियर साक्ष्य के साथ सुसंगत बनाता है।
रैंकिंग: अंतिम कैपेबिलिटी-अवेयर रैंकिंग को क्लस्टर-विशिष्ट BT प्रोफाइल्स के वेटेड मिक्सचर के रूप में प्राप्त किया जाता है:
$P(m_j \succ m_i | q) = \sum_{k=1}^K r_{qk} \sigma(\theta^{(k)}_j - \theta^{(k)}_i)$

मुख्य योगदान

नवीन एल्गोरिदम: ECC अंतर्निहित क्षमता मांगों के साथ सिमेंटिक मिसअलाइनमेंट को दूर करने के लिए पोस्टीरियर मॉडल तुलनाओं को पूर्व एम्बेडिंग्स के साथ एकीकृत करता है।
सैंपल-एफिशिएंट एस्टीमेशन: क्लस्टर्स को ब्रैडली-टेरी कैपेबिलिटी प्रोफाइल्स के साथ चित्रित करके, ECC सीमित पेयरवाइज तुलनाओं से सापेक्ष मॉडल स्ट्रेंथ का अनुमान लगाने में सक्षम बनाता है।
लचीली संरचना: सॉफ्ट रिस्पॉन्सिबिलिटीज़ का परिचय मिश्रित क्षमता आवश्यकताओं को कैप्चर करने की अनुमति देता है, जिससे एक लचीला, कैपेबिलिटी-अवेयर क्लस्टरिंग स्ट्रक्चर मिलता है।
अनुभवजन्य सत्यापन: व्यापक मूल्यांकन यह प्रदर्शित करते हैं कि ECC अधिक कैपेबिलिटी-कोहेरेंट क्लस्टर बनाता है और बेसलाइन्स की तुलना में रैंकिंग की गुणवत्ता में काफी सुधार करता है।

प्रयोगात्मक परिणाम

लेखकों ने SPROUT, RouterBench, और Open LLM Leaderboard v2 जैसे तीन बेंचमार्क पर ECC का मूल्यांकन किया, जिसमें MMLU, MMLU-Pro, और MATH जैसे डेटासेट्स शामिल हैं।

रैंकिंग क्वालिटी: ECC ने मानव-लेबल वाले क्लस्टरिंग और एम्बेडिंग-ओनली क्लस्टरिंग की तुलना में काफी बेहतर प्रदर्शन किया।
- अनदेखी क्वेरीज पर, ECC ने मानव-लेबल वाले क्लस्टरिंग पर औसतन 17.64 प्रतिशत अंक (pp) और एम्बेडिंग-ओनली क्लस्टरिंग पर 18.02 pp अधिक रैंकिंग क्वालिटी में सुधार किया।
- ECC ने विभिन्न इन्फरेंस सिग्नल्स (एम्बेडिंग-ओनली, प्रोब-ओनली, और कंबाइंड) के तहत लगातार सर्वश्रेष्ठ प्रदर्शन किया।
क्लस्टर कोहेरेंस: गुणात्मक विश्लेषण ने दिखाया कि ECC क्लस्टर्स बेसलाइन्स की तुलना में अधिक आंतरिक रूप से सुसंगत (उच्चกว่า within-cluster BT प्रोफाइल कंसिस्टेंसी) और बेहतर तरीके से अलग (कम inter-cluster समानता) हैं।
डाउनस्ट्रीम टास्क:
- क्वेरी रूटिंग: ECC ने एम्बेडिंग-ओनली क्लस्टरिंग की तुलना में रूट किए गए क्वेरीज की रिस्पॉन्स क्वालिटी में औसतन 16.6% का सुधार किया।
- सैंपल-एफिशिएंट रैंकिंग: सीमित तुलना बजट वाले कार्यों में, ECC ने एम्बेडिंग-ओनली बेसलाइन्स की तुलना में 16.3 pp अधिक रैंकिंग क्वालिटी हासिल की।
रोबस्टनेस: ECC ने क्लस्टर्स की संख्या, प्रोब चयन, एम्बेडिंग मॉडल्स और टाइड (tied) तुलनाओं में बदलाव के प्रति मजबूती प्रदर्शित की।

महत्व और दावे

पेपर का दावा है कि ECC वर्तमान LLM मूल्यांकन की एक मौलिक सीमा को संबोधित करता है: सतही सिमेंटिक्स पर निर्भरता जो वास्तविक क्षमता वितरण को प्रतिबिंबित नहीं करती है। पोस्टीरियर साक्ष्य के साथ सिमेंटिक प्रायर्स (priors) को कैलिब्रेट करके, ECC एक अधिक सटीक, व्याख्या योग्य और लचीला कैपेबिलिटी-अवेयर मूल्यांकन ढांचा प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि ECC ट्रेनिंग-फ्री है (इसके लिए न्यूरल कंपोनेंट्स के ग्रेडिएंट-आधारित ऑप्टिमाइजेशन की आवश्यकता नहीं है) और कम्प्यूटेशनल रूप से कुशल है, जो इसे संसाधन-बाधित वातावरण के लिए उपयुक्त बनाता है। यह विधि विषम (heterogeneous) क्वेरीज के लिए सूक्ष्म अनुकूलन सक्षम करती है और विस्तृत बेंचमार्किंग की आवश्यकता के बिना अनुकूल क्वेरी रूटिंग और कुशल नए मॉडल रैंकिंग जैसे डाउनस्ट्रीम अनुप्रयोगों का समर्थन करती है।

पेपर निष्कर्ष निकालता है कि हालांकि यह वर्तमान में केवल टेक्स्ट-ओनली क्वेरीज पर केंद्रित है, यह फ्रेमवर्क मोडालिटी-न्यूट्रल (modality-agnostic) है और सैद्धांतिक रूप से मल्टीमॉडल इनपुट को भी समायोजित कर सकता है। यह यह भी नोट करता है कि भविष्य के कार्य को कन्वर्सेशनल हिस्ट्री से जुड़े कॉन्टेक्स्ट-अवेयर सेटिंग्स में विस्तारित किया जा सकता है।