Hallucination Is Linearly Decodable from Mid-Layer Hidden States in Quantized LLMs
यह शोध पत्र प्रदर्शित करता है कि 4-बिट क्वांटाइज़्ड ओपन-सोर्स एलएलएम (LLMs) के मिड-लेयर हिडन स्टेट्स में मतिभ्रम (hallucination) को एनकोड करने वाला एक रैखिक रूप से विभाज्य सत्यता संकेत (linearly separable truthfulness signal) मजबूती से मौजूद है, जो सरल लीनियर प्रोब्स का उपयोग करके लगभग पूर्ण AUROC स्कोर के साथ पता लगाने में सक्षम बनाता है, जबकि सैंपलिंग-आधारित विधियाँ समान मूल्यांकन प्रोटोकॉल के तहत काफी खराब प्रदर्शन करती हैं।