💬 NLP
Signal in the Noise: Polysemantic Interference Transfers and Predicts Cross-Model Influence
छोटे मॉडलों में अर्थहीन रूप से असंबंधित किंतु हस्तक्षेप करने वाले बहुरूपी (polysemantic) लक्षणों की पहचान करने और उन पर हस्तक्षेप करने के लिए स्पार्स ऑटोएनकोडर्स का लाभ उठाते हुए, यह अध्ययन प्रदर्शित करता है कि ऐसे हस्तक्षेप पैटर्न स्केल और आर्किटेक्चर के पार सामान्यीकृत होते हैं, जो बड़े ब्लैक-बॉक्स लैंग्वेज मॉडल्स में पूर्वानुमानित व्यवहार नियंत्रण को सक्षम बनाते हैं और आंतरिक निरूपणों के एक अभिसारी, उच्च-क्रम संगठन को प्रकट करते हैं।