💬 NLP
JE-IRT: A Geometric Lens on LLM Abilities through Joint Embedding Item Response Theory
JE-IRT एक ज्यामितीय ढांचे (geometric framework) को प्रस्तुत करता है जो LLMs और प्रश्नों को एक साझा स्थान में समाहित करता है जहाँ प्रश्न की दिशा अर्थविज्ञान (semantics) को और परिमाण (norm) कठिनाई को कूटबद्ध करती है, जो वैश्विक रैंकिंग के स्थान पर एक बहुआयामी दृष्टिकोण प्रदान करता है जो मॉडल विशेषज्ञता को प्रकट करता है, आउट-ऑफ-डिस्ट्रीब्यूशन व्यवहार की व्याख्या करता है, और मानव-परिभाषित श्रेणियों से परे अंतर्निहित क्षमता संरचनाओं को उजागर करता है।