JE-IRT: A Geometric Lens on LLM Abilities through Joint Embedding Item Response Theory
JE-IRT एक ज्यामितीय ढांचे (geometric framework) को प्रस्तुत करता है जो LLMs और प्रश्नों को एक साझा स्थान में समाहित करता है जहाँ प्रश्न की दिशा अर्थविज्ञान (semantics) को और परिमाण (norm) कठिनाई को कूटबद्ध करती है, जो वैश्विक रैंकिंग के स्थान पर एक बहुआयामी दृष्टिकोण प्रदान करता है जो मॉडल विशेषज्ञता को प्रकट करता है, आउट-ऑफ-डिस्ट्रीब्यूशन व्यवहार की व्याख्या करता है, और मानव-परिभाषित श्रेणियों से परे अंतर्निहित क्षमता संरचनाओं को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐसी कक्षा के छात्रों को ग्रेड देने की कोशिश कर रहे हैं जो परीक्षाओं का एक विशाल, मिला-जुला बैग ले रहे हैं। कुछ परीक्षाएँ गणित के बारे में हैं, कुछ इतिहास के बारे में, कुछ जीव विज्ञान के बारे में हैं, और कुछ बस पेचीदा तर्क पहेलियाँ (logic puzzles) हैं।
पुराना तरीका (एक एकल स्कोर)
पारंपरिक रूप से, जब हम लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन करते हैं, तो हम उन्हें एक एकल संख्या देते हैं, जैसे कि एक GPA। हम कहते हैं, "मॉडल A का स्कोर 90 है, और मॉडल B का स्कोर 85 है, इसलिए मॉडल A बेहतर है।"
लेखक तर्क देते हैं कि यह भ्रामक है। यह एक ऐसे छात्र को कहने जैसा है जो कैलकुलस में जीनियस है लेकिन कविता में बहुत खराब है, कि वह उस छात्र से "बेहतर" है जो एक औसत गणितज्ञ है लेकिन एक शानदार कवि है। एक एकल स्कोर इस तथ्य को छिपा देता है कि विशिष्ट विषयों के आधार पर मॉडल्स की अलग-अलग ताकत और कमजोरियाँ होती हैं।
नया तरीका: JE-IRT (एक ज्यामितीय मानचित्र)
लेखक एक नया सिस्टम प्रस्तावित करते हैं जिसे JE-IRT कहा जाता है। एक एकल संख्या के बजाय, वे एक विशाल, बहु-आयामी मानचित्र (ज्यामितीय स्थान) की कल्पना करते हैं जहाँ दोनों मॉडल्स और प्रश्न निवास करते हैं।
यह मानचित्र कैसे काम करता है, इसके लिए एक सरल उपमा यहाँ दी गई है:
प्रश्न तीर (Arrows) हैं:
- दिशा (तीर किस ओर इशारा करता है): यह प्रश्न के विषय या अर्थ को दर्शाता है। "उत्तर" की ओर इशारा करने वाला तीर गणित के प्रश्नों का प्रतिनिधित्व कर सकता है, जबकि "पूर्व" की ओर इशारा करने वाला तीर इतिहास के प्रश्नों का प्रतिनिधित्व कर सकता है।
- लंबाई (तीर कितना लंबा है): यह कठिनाई को दर्शाता है। एक छोटा तीर एक आसान प्रश्न है; एक लंबा तीर एक बहुत कठिन प्रश्न है।
मॉडल्स भी तीर हैं:
- प्रत्येक AI मॉडल का मानचित्र पर अपना स्वयं का तीर होता है।
- दिशा: यह दिखाता है कि मॉडल किस चीज़ में अच्छा है। यदि किसी मॉडल का तीर उत्तर की ओर इशारा करता है, तो वह गणित में अच्छा है। यदि उसका तीर पूर्व की ओर इशारा करता है, तो वह इतिहास में अच्छा है।
- लंबाई: यह मॉडल के लिए कठिनाई के बारे में नहीं है, बल्कि उसकी सामान्य "शक्ति" या क्षमता के बारे में है।
वे कैसे परस्पर क्रिया करते हैं (जादुई सूत्र)
यह प्रणाली भविष्यवाणी करती है कि क्या एक मॉडल प्रश्न का सही उत्तर देगा या नहीं, यह देखते हुए कि उनके तीर कैसे परस्पर क्रिया करते हैं:
- संरेखण (Alignment): यदि मॉडल का तीर प्रश्न के तीर की दिशा में ही इशारा करता है, तो वे "संरेखित" होते हैं। इसका अर्थ है कि मॉडल उस विशिष्ट विषय में अच्छा है।
- युद्ध (The Battle): मॉडल की सही उत्तर देने की क्षमता की गणना उसकी "संरेखित शक्ति" में से प्रश्न की "लंबाई" (कठिनाई) को घटाकर की जाती है।
- यदि मॉडल मजबूत और संरेखित है और प्रश्न बहुत लंबा (कठिन) नहीं है, तो मॉडल जीत जाता है (सही उत्तर देता है)।
- यदि प्रश्न बहुत लंबा (कठिन) है या मॉडल किसी अलग दिशा में इशारा कर रहा है (गलत विषय), तो मॉडल हार जाता है।
उन्होंने क्या खोजा
इस मानचित्र का निर्माण करके, शोधकर्ताओं ने कुछ आश्चर्यजनक चीजें पाईं:
- कोई भी सब कुछ में "सर्वश्रेष्ठ" नहीं है: उन्होंने सिद्ध किया कि आप मॉडल्स को एक एकल रेखा में "सबसे खराब" से "सबसे अच्छे" के रूप में रैंक नहीं कर सकते। एक मॉडल गणित का राजा हो सकता है लेकिन जीव विज्ञान में विफल हो सकता है, जबकि दूसरा इसके विपरीत हो सकता है। पुराना "एकल स्कोर" सिस्टम विफल हो जाता है क्योंकि यह एक 3D दुनिया पर एक सपाट रैंकिंग थोपने की कोशिश करता है।
- कठिनाई वास्तविक है: प्रश्न के तीरों की लंबाई (norms) ने विश्वसनीय रूप से भविष्यवाणी की कि प्रश्न कितना कठिन था। विषय की परवाह किए बिना, लंबे तीरों का अर्थ कठिन प्रश्न था।
- मॉडल्स का अपना "विषय" मानचित्र है: जब शोधकर्ताओं ने मॉडल्स द्वारा देखे गए प्रश्नों को समूहों में बांटा, तो वे मानव स्कूली विषयों (जैसे "गणित" या "इतिहास") से पूरी तरह मेल नहीं खाए।
- उदाहरण: उन्होंने एक छिपा हुआ "अंकगणित अक्ष" (Arithmetic Axis) पाया। यह केवल गणित की कक्षा के बारे में नहीं था। इसने दिखाया कि वायरोलॉजी (Virology) या वैश्विक तथ्यों (Global Facts) जैसे विषयों में जो प्रश्न अनुपात या प्रतिशत की गणना करने की आवश्यकता रखते थे, वे मॉडल की दृष्टि में वास्तव में "गणित के प्रश्न" थे, भले ही वे गणित के सवाल न दिखें। मॉडल्स ज्ञान को इस आधार पर व्यवस्थित करते हैं कि उसे हल करने के लिए किस कौशल की आवश्यकता है, न कि केवल पाठ्यपुस्तक के लेबल के आधार पर।
- तेजी से अपडेट: यदि कोई बिल्कुल नया AI मॉडल आता है, तो आपको पूरे मानचित्र को फिर से बनाने की आवश्यकता नहीं है। आपको बस यह पता लगाना है कि उसका तीर मौजूदा मानचित्र पर कहाँ स्थित है। यह एक क्लास रोस्टर में नए छात्र को जोड़ने जैसा है; आपको बस उनके कौशल के आधार पर उन्हें एक सीट देनी है, बिना पूरे स्कूल को फिर से सिखाए।
यह क्यों महत्वपूर्ण है
यह ढांचा हमें एक स्पष्ट और अधिक ईमानदार तस्वीर देता है कि AI मॉडल्स वास्तव में क्या कर सकते हैं। एक धुंधले औसत स्कोर के बजाय, हमें एक विस्तृत मानचित्र मिलता है जो दिखाता है कि कौन सा मॉडल किन विषयों में उत्कृष्ट है, किनमें वह संघर्ष करता है, और प्रश्न वास्तव में कितने कठिन हैं। यह हमें समझने में मदद करता है कि AI केवल "स्मार्ट" या "डम्ब" नहीं है—इसका कौशल का एक जटिल, बहु-आयामी व्यक्तित्व है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।