Domain-level metacognitive monitoring in frontier LLMs: A 33-model atlas
यह अध्ययन 33 फ्रंटियर एलएलएम (LLMs) के माध्यम से 1,500 एमएमएलयू (MMLU) मदों का विश्लेषण करता है ताकि यह प्रकट किया जा सके कि समग्र मेटाकॉग्निटिव मॉनिटरिंग स्कोर महत्वपूर्ण, स्थिर डोमेन-स्तरीय विविधताओं को छिपा देते हैं, जिसमें प्रयुक्त ज्ञान (applied knowledge) की निगरानी करना औपचारिक तर्क या प्राकृतिक विज्ञान की तुलना में विश्वसनीय रूप से आसान है, जिससे मॉडल परिनियोजन से पहले डोमेन-विशिष्ट स्क्रीनिंग के उपयोग का समर्थन मिलता है।