Expander Sparse Autoencoders: Parameter-Efficient Dictionaries for Mechanistic Interpretability
यह शोध पत्र एक्सपैंडर स्पार्स ऑटोएनकोडर (Expander Sparse Autoencoders) का परिचय देता है, जो एक पैरामीटर-कुशल संस्करण है जो उच्च फीचर रिकवरी फिडेलिटी बनाए रखते हुए और पहचान क्षमता (identifiability) तथा सटीक सपोर्ट रिकवरी के लिए सैद्धांतिक गारंटी प्रदान करते हुए डिकोडर स्टोरेज और कम्प्यूटेशनल लागत को नाटकीय रूप से कम करने के लिए लेफ्ट--रेगुलर एक्सपैंडर मास्क का उपयोग करता है।