💬 NLP

SemBench: A Universal Semantic Framework for LLM Evaluation

यह शोध पत्र SemBench प्रस्तुत करता है, जो एक स्केलेबल और भाषा-स्वतंत्र ढांचा है जो विभिन्न भाषाओं में बड़े भाषा मॉडलों की सिमेंटिक समझ (semantic understanding) का कुशलतापूर्वक मूल्यांकन करने के लिए शब्दकोश की परिभाषाओं और वाक्य एनकोडर्स का उपयोग करके स्वचालित रूप से सिंथेटिक बेंचमार्क उत्पन्न करता है।

मूल लेखक: Mikel Zubillaga, Naiara Perez, Oscar Sainz, German Rigau

प्रकाशित 2026-03-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mikel Zubillaga, Naiara Perez, Oscar Sainz, German Rigau

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट है जो कविताएँ लिख सकता है, कोड लिख सकता है और इंसान की तरह बातें कर सकता है। आप यह जानना चाहते हैं: क्या यह रोबोट वास्तव में समझता है कि वह क्या कह रहा है, या वह केवल उन पैटर्न्स के आधार पर अनुमान लगा रहा है जो उसने अपने ट्रेनिंग डेटा में देखे थे?

यह वह समस्या है जिसे "SemBench" नामक पेपर हल करने की कोशिश करता है।

पुराना तरीका: "मानव शिक्षक" परीक्षण

पारंपरिक रूप से, यह परीक्षण करने के लिए कि क्या कोई रोबोट शब्दों को समझता है, शोधकर्ता WiC (Word-in-Context) नामक एक विधि का उपयोग करते हैं।

इसे एक शिक्षक द्वारा छात्र को क्विज़ देने की तरह समझें:
शिक्षक दो वाक्य लिखता है:

"मैं नाचने के लिए एक पार्टी (party) में गया।"
"वह पार्टी (party) चुनाव हार गई।"

छात्र (AI) को उत्तर देना होता है: "क्या इन दोनों 'पार्टी' का अर्थ एक ही है?" (उत्तर 'नहीं' है; एक उत्सव है, दूसरा एक राजनीतिक समूह)।

समस्या: ऐसे क्विज़ बनाना कठिन काम है।

यह महंगा है: हजारों अनूठे वाक्य लिखने के लिए मानव विशेषज्ञों की आवश्यकता होती है।
यह धीमा है: किसी नई भाषा के लिए क्विज़ बनाने में बहुत समय लगता है।
यह सीमित है: यदि आप किसी दुर्लभ भाषा (जैसे बास्क) का परीक्षण करना चाहते हैं, तो आपके पास पर्याप्त मानव-लिखित क्विज़ नहीं हो सकते।

नया तरीका: SemBench (द डिक्शनरी डिटेक्टिव)

इस पेपर के लेखक, मिकेल और उनकी टीम ने SemBench का आविष्कार किया। इंसानों से क्विज़ लिखने के बजाय, उन्होंने एक मशीन बनाई जो केवल एक डिक्शनरी (शब्दकोश) और एक सेंटेंस एनकोडर (एक टूल जो यह मापता है कि दो वाक्य कितने समान हैं) का उपयोग करके अपने स्वयं के क्विज़ बनाती है।

SemBench कैसे काम करता है, यहाँ एक रचनात्मक उपमा दी गई है:

उपमा: "आकार बदलने वाला अनुवादक" (The Shape-Shifting Translator)

कल्पना कीजिए कि आपके पास एक जादुई डिक्शनरी है। आप एक शब्द चुनते हैं, मान लीजिए "Bank"।

अर्थ चुनें: डिक्शनरी कहती है कि "Bank" के दो अर्थ हैं: (A) पैसे रखने की जगह, और (B) नदी का किनारा।
AI का काम: AI से एक अनुवादक की तरह कार्य करने को कहा जाता है।
- चरण 1: AI "River Bank" (नदी का किनारा) की परिभाषा देखता है और उसका उपयोग करके एक वाक्य बनाना होता है। (जैसे, "हम कीचड़ भरे किनारे पर बैठे थे।")
- चरण 2: AI फिर उस नए वाक्य को लेता है और उसके लिए एक परिभाषा लिखनी होती है।
परीक्षण: AI द्वारा लिखी गई नई परिभाषा की तुलना मूल डिक्शनरी परिभाषा से की जाती है।
- यदि AI ने ऐसी परिभाषा लिखी जो "River Bank" जैसी लगती है, तो वह पास हो गया।
- यदि उसने ऐसी परिभाषा लिखी जो "Money Bank" जैसी लगती है, तो वह फेल हो गया।

यदि AI बिना भ्रमित हुए परिभाषाओं (Definitions) और उदाहरणों (Examples) के बीच सहजता से स्विच कर सकता है, तो यह साबित करता है कि वह शब्द के अर्थ को वास्तव में समझता है।

यह एक बड़ी बात क्यों है?

1. यह "भाषा-निरपेक्ष" है (Universal)
आपको हर देश में भाषाविदों की एक टीम की आवश्यकता नहीं है। जब तक आपके पास किसी भी भाषा के लिए एक डिक्शनरी (भले ही वह साधारण हो) है, आप यह परीक्षण चला सकते हैं। लेखकों ने इसका परीक्षण अंग्रेजी (समृद्ध संसाधन), स्पेनिश (मध्यम संसाधन), और बास्क (बहुत कम संसाधन) पर किया। यह सभी के लिए काम आया।

2. यह एक "लाइटवेट" परीक्षण है
आपको एक विशाल डेटासेट की आवश्यकता नहीं है। पेपर दिखाता है कि आपको यह जानने के लिए कि कौन सा AI अधिक स्मार्ट है, केवल लगभग 250 से 500 उदाहरणों की आवश्यकता है। यह एक धावक का परीक्षण करने जैसा है जिसमें फुल मैराथन के बजाय एक छोटी स्प्रिंट कराई जाती है।

3. इसमें धोखाधड़ी करना कठिन है
मानक परीक्षणों में अक्सर ऐसे पैटर्न होते हैं जिन्हें AI याद कर सकता है। SemBench गतिशील है। क्योंकि AI को वाक्य बनाना होता है और फिर परिभाषा को "रिवर्स-इंजीनियर" करना होता है, इसलिए AI के लिए केवल सही उत्तर का "अनुमान" लगाना बहुत कठिन हो जाता है। उसे वास्तव में तर्क को समझना होगा।

परिणाम: क्या यह काम आया?

टीम ने अपने नए "डिक्शनरी डिटेक्टिव" टेस्ट की तुलना पुराने "मानव शिक्षक" टेस्ट (WiC) से की।

फैसला: परिणाम लगभग पूरी तरह से मेल खाते हैं! यदि किसी AI ने पुराने टेस्ट में अच्छा प्रदर्शन किया, तो उसने नए टेस्ट में भी अच्छा प्रदर्शन किया।
बोनस: SemBench वास्तव में एक "अच्छे" AI और एक "महान" AI के बीच अंतर बताने में बेहतर था। यह बुद्धिमत्ता के उन सूक्ष्म अंतरों को पकड़ सका जिन्हें पुराने टेस्ट मिस कर देते थे।
लो-रिसोर्स जीत: बास्क (एक ऐसी भाषा जिसके डिजिटल संसाधन बहुत कम हैं) में, नया टेस्ट अभी भी यह बता सका कि कौन सा AI उस भाषा के लिए विशेष रूप से बनाया गया है और कौन सा केवल अनुमान लगा रहा है। पुराना टेस्ट यहाँ संघर्ष कर रहा था।

निष्कर्ष (The Takeaway)

SemBench एक यूनिवर्सल ट्रांसलेटर के टूलकिट की तरह है। दुनिया की हर भाषा के लिए हजारों कठिन क्विज़ लिखने के लिए इंसानों का इंतज़ार करने के बजाय, अब हम एक डिक्शनरी और एक कंप्यूटर का उपयोग करके स्वचालित रूप से एक ऐसा टेस्ट बना सकते हैं जो यह जाँचता है कि क्या AI वास्तव में शब्दों के अर्थ को समझता है।

यह सस्ता है, तेज़ है, लगभग किसी भी भाषा के लिए काम करता है, और हमें इस बात की स्पष्ट तस्वीर देता है कि हमारे AI असिस्टेंट वास्तव में कितने "स्मार्ट" हैं।

यहाँ शोध पत्र "SemBench: A Universal Semantic Framework for LLM Evaluation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जनरेटिव और रीजनिंग कार्यों में लार्ज लैंग्वेज मॉडल्स (LLMs) की तीव्र प्रगति के बावजूद, उनकी वास्तविक सिमेंटिक समझ (semantic understanding) का मूल्यांकन करना एक महत्वपूर्ण चुनौती बनी हुई है।

वर्तमान बेंचमार्क की सीमाएँ: पारंपरिक बेंचमार्क जैसे Word-in-Context (WiC) प्रभावी रूप से संदर्भ के आधार पर मॉडल की शब्द अर्थ (word senses) को पहचानने की क्षमता का परीक्षण करते हैं। हालाँकि, WiC डेटासेट बनाना संसाधन-गहन है, जिसमें अक्सर भाषाई विशेषज्ञों द्वारा मैन्युअल एनोटेशन की आवश्यकता होती है।
स्केलेबिलिटी और भाषाई पूर्वाग्रह: मौजूदा डेटासेट मुख्य रूप से उच्च-संसाधन वाली भाषाओं (जैसे अंग्रेजी) के लिए उपलब्ध हैं। कम-संसाधन वाली भाषाओं के लिए उन्हें बनाना कठिन है क्योंकि क्यूरेटेड उदाहरणों की कमी है और डिक्शनरी पर लाइसेंसिंग प्रतिबंध होते हैं।
स्वचालन की आवश्यकता: एक ऐसे मूल्यांकन ढांचे की महत्वपूर्ण आवश्यकता है जो स्वचालित, स्केलेबल, भाषा-स्वतंत्र हो और जिसमें मैन्युअल रूप से क्यूरेट किए गए उदाहरण वाक्यों पर निर्भरता न हो।

2. कार्यप्रणाली: SemBench (Methodology: SemBench)

लेखक SemBench का प्रस्ताव करते हैं, जो केवल डिक्शनरी सेंस डेफिनिशन (शब्द के अर्थ की परिभाषा) और एक सेंटेंस एनकोडर (sentence encoder) का उपयोग करके सिमेंटिक सक्षमता का आकलन करने के लिए सिंथेटिक बेंचमार्क उत्पन्न करने वाला एक पूर्णतः स्वचालित ढांचा है।

मुख्य वर्कफ़्लो (Core Workflow)

यह ढांचा इस अंतर्ज्ञान पर काम करता है कि एक वास्तविक सिमेंटिक समझ रखने वाला मॉडल किसी शब्द की परिभाषा और उसके उपयोग के उदाहरणों के बीच निरंतर संक्रमण (transition) कर सकता है। यह प्रक्रिया चार चरणों में शामिल है (पेपर के चित्र 1 में दर्शाया गया है):

चयन (Selection): एक डिक्शनरी से एक बहुअर्थी शब्द $w$ चुना जाता है, और एक विशिष्ट अर्थ $s_i$ (परिभाषा $d_i$ के साथ) को सीड (seed) के रूप में चुना जाता है।
जेनरेशन - उदाहरण (Generation - Example): LLM को परिभाषा $d_i$ और पार्ट-ऑफ-स्पीच (PoS) के आधार पर एक उपयोग उदाहरण वाक्य ( $e'_i$ ) उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है।
जेनरेशन - परिभाषा (Generation - Definition): इसके बाद LLM को उत्पन्न उदाहरण $e'_i$ और PoS के आधार पर एक नई डिक्शनरी परिभाषा ( $d'_i$ ) उत्पन्न करने के लिए प्रॉम्प्ट किया जाता है।
मूल्यांकन (Evaluation): उत्पन्न परिभाषा $d'_i$ $d_{i}^{'}$ की तुलना डिक्शनरी से दो संदर्भ परिभाषाओं के साथ की जाती है:
- लक्ष्य (Target - $d_i$ ): इच्छित अर्थ के अनुरूप मूल परिभाषा।
- डिस्ट्रैक्टर (Distractor - $d_j$ ): उसी शब्द के एक अलग अर्थ के अनुरूप परिभाषा।
- मेट्रिक (Metric): एक सेंटेंस एनकोडर सिमेंटिक समानता (एम्बेडिंग्स का डॉट प्रोडक्ट) की गणना करता है। यदि $sim(d'_i, d_i) > sim(d'_i, d_j)$ है, तो मॉडल को सही माना जाता है।

प्रयोगात्मक कॉन्फ़िगरेशन (Experimental Configurations)

संसाधनों की उपलब्धता के आधार पर SemBench दो मोड प्रदान करता है:

SemBenchDef (डिफ़ॉल्ट): यह मानता है कि केवल परिभाषाएँ उपलब्ध हैं। मॉडल को एक उदाहरण उत्पन्न करना होगा और फिर एक परिभाषा (दो-चरणीय जेनरेशन)।
SemBenchEx: यह मानता है कि डिक्शनरी एक उदाहरण वाक्य प्रदान करती है। मॉडल को केवल उदाहरण से परिभाषा उत्पन्न करने की आवश्यकता है (एक-चरणीय जेनरेशन)।

कठिनाई नियंत्रण (Difficulty Control)

इवैल्यूएशन स्पेस को परिभाषित करने के लिए, ढांचा लक्ष्य के प्रति सिमेंटिक समानता के आधार पर डिस्ट्रैक्टर परिभाषाओं का चयन करके कठिनाई को नियंत्रित करता है:

आसान (Easy): सबसे कम समान परिभाषा।
मध्यम (Mid): समानता सूची के मध्य में।
कठिन (Hard): सबसे अधिक समान परिभाषा।
रैंडम (Rand): यादृच्छिक रूप से चयनित।

3. प्रमुख योगदान (Key Contributions)

पूर्णतः स्वचालित ढांचा: SemBench मैन्युअल एनोटेशन या क्यूरेट किए गए उदाहरण वाक्यों की आवश्यकता को समाप्त करता है, और केवल डिक्शनरी परिभाषाओं (जो व्यापक रूप से उपलब्ध हैं) और एक सेंटेंस एनकोडर पर निर्भर करता है।
क्रॉस-लिंगुअल अनुकूलन क्षमता: इस ढांचे को तीन विविध प्रकार की भाषाओं में मान्य किया गया है:
- अंग्रेजी: उच्च-संसाधन (Oxford Dictionary)।
- स्पेनिश: मध्यम-संसाधन (RAE Dictionary)।
- बास्क (Basque): कम-संसाधन (EEH Dictionary)।
डेटा दक्षता: अध्ययन प्रदर्शित करता है कि बहुत कम टेस्ट इंस्टेंस (केवल 250–500) के साथ भी स्थिर और सार्थक मॉडल रैंकिंग प्राप्त की जा सकती है, जो इसे अत्यधिक कुशल बनाता है।
डिफिकल्टी ह्यूरिस्टिक (Difficulty Heuristic): कार्य की जटिलता (Easy/Med/Hard) को नियंत्रित करने के लिए एक सरल तंत्र, जो मानक बेंचमार्क के साथ उच्च सहसंबंध बनाए रखते हुए सिमेंटिक कठिनाई को सटीक रूप से दर्शाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न आकार और आर्किटेक्चर के विविध LLMs (Gemma, Qwen, Llama, Latxa) का मूल्यांकन किया।

WiC के साथ सहसंबंध (Correlation with WiC):
- SemBench रैंकिंग मानक WiC बेंचमार्क के साथ मजबूत सहसंबंध दिखाती है।
- अंग्रेजी: $\rho = 0.930$ (SemBenchDef) और $\rho = 0.911$ (SemBenchEx)।
- स्पेनिश: $\rho = 0.765$ ।
- बास्क: $\rho = 0.657$ (सांख्यिकीय रूप से महत्वपूर्ण, हालांकि सामान्य मॉडल्स के बास्क WiC पर लगभग रैंडम प्रदर्शन के कारण कम है)।
विभेदक शक्ति (Discriminative Power): SemBench, WiC की तुलना में मॉडल्स के बीच स्कोर की एक विस्तृत रेंज प्रदर्शित करता है, जहाँ WiC उच्च प्रदर्शन करने वाले मॉडल्स को बहुत करीब से क्लस्टर करता है। यह सुझाव देता है कि SemBench सूक्ष्म सिमेंटिक सक्षमता के अंतर को पहचानने में बेहतर है।
मजबूती (Robustness):
- सैंपल साइज: सहसंबंध तेजी से स्थिर होता है; विश्वसनीय रैंकिंग के लिए 500 इंस्टेंस पर्याप्त हैं।
- ज़ीरो-शॉट बनाम फ्यू-शॉट: हालांकि फ्यू-शॉट (5 उदाहरण) थोड़ा उच्च सहसंबंध देता है, ढांचा ज़ीरो-शॉट सेटिंग्स में भी प्रभावी रहता है, विशेष रूप से SemBenchEx वेरिएंट में।
मॉडल प्रदर्शन रुझान:
- बड़े मॉडल्स आम तौर पर छोटे मॉडल्स की तुलना में बेहतर प्रदर्शन करते हैं।
- रीजनिंग-केंद्रित मॉडल्स (जैसे Qwen3) ने उत्कृष्ट प्रदर्शन दिखाया।
- कम-संसाधन सफलता: बास्क में, भाषा-विशेष मॉडल्स (Latxa) ने सामान्य-उद्देश्य वाले मॉडल्स से बेहतर प्रदर्शन किया, जिसे SemBench ने WiC की तुलना में अधिक प्रभावी ढंग से कैप्चर किया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

SemBench स्टैटिक, मैन्युअल रूप से क्यूरेट किए गए डेटासेट्स से हटकर डायनेमिक, जेनरेशन-आधारित मूल्यांकन की ओर बढ़कर LLM मूल्यांकन में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है।

स्केलेबिलिटी: यह उन कम-संसाधन वाली भाषाओं में सिमेंटिक समझ के मूल्यांकन को सक्षम बनाता है जहाँ पारंपरिक बेंचमार्क मौजूद नहीं हैं, बशर्ते कि अर्थ परिभाषाओं वाली डिक्शनरी उपलब्ध हो।
दक्षता: इसमें न्यूनतम मानवीय हस्तक्षेप (केवल प्रारंभिक डिक्शनरी और एनकोडर सेटअप) की आवश्यकता होती है और विश्वसनीय परिणाम देने के लिए छोटे टेस्ट सेट की आवश्यकता होती है।
वैधता: WiC के साथ मजबूत सहसंबंध यह प्रमाणित करता है कि परिभाषाओं और उदाहरणों को उत्पन्न करना सिमेंटिक समझ को मापने के लिए एक मजबूत प्रॉक्सी है।

निष्कर्षतः, Sem-Bench एक हल्का, अनुकूलनीय और डेटा-कुशल उपकरण है जिसे नई भाषाओं और डोमेन में आसानी से लागू किया जा सकता है, जो बहुभाषी LLM के मूल्यांकन में एक महत्वपूर्ण बाधा को दूर करता है।