Feature Rivalry in Sparse Autoencoder Representations: A Mechanistic Study of Uncertainty-Driven Feature Competition in LLMs
यह शोध पत्र "फीचर राइवलरी" (feature rivalry) को नकारात्मक रूप से सह-संबंधित स्पार्स ऑटोएन्कोडर फीचर युग्मों के रूप में प्रस्तुत करता है जो Gemma-2-2B में मॉडल अनिश्चितता के एक यांत्रिक हस्ताक्षर (mechanistic signature) के रूप में कार्य करते हैं, यह प्रदर्शित करते हुए कि उच्च-एन्ट्रॉपी वाले प्रॉम्प्ट विशिष्ट परतों में तीव्र राइवलरी को ट्रिगर करते हैं, राइवलरी अक्षों (rivalry axes) के अनुदिश स्टीयरिंग आउटपुट को कार्यमूलक रूप से प्रभावित करती है, और राइवलरी स्कोर उत्तर की शुद्धता का पूर्वानुमान लगा सकते हैं।