🤖 machine learning
Polymorphism Is Rotation: Operational Mechanistic Interpretability from a Two-Layer Transformer to Pythia-70m
यह शोध पत्र यह प्रदर्शित करता है कि स्वतंत्र रूप से प्रशिक्षित ट्रांसफॉर्मर एक समान यादृच्छिक घूर्णन (uniform random rotation) द्वारा संबंधित परस्पर अविबोध्य आंतरिक निर्देशांकों का उपयोग करके समान फलनों की गणना करते हैं, जिसे "पॉलीमॉर्फिज्म" (polymorphism) नामक एक घटना कहा जाता है जिसे बिना पुनप्रशिक्षण के फीचर डिक्शनरी और स्टीयरिंग वेक्टर्स के प्रत्यक्ष हस्तांतरण को सक्षम करने के लिए एक एकल ऑर्थोगोनल प्रोक्रस्टेस फिट (orthogonal Procrustes fit) के माध्यम से हल किया जा सकता है।