Emergence of Minimal Circuits for Indirect Object Identification in Attention-Only Transformers
यह शोध पत्र यह प्रदर्शित करता है कि एक प्रतीकात्मक इनडायरेक्ट ऑब्जेक्ट आइडेंटिफिकेशन (Indirect Object Identification) कार्य पर स्क्रैच से छोटे, अटेंशन-ओनली ट्रांसफॉर्मर्स को प्रशिक्षित करने से न्यूनतम, अत्यधिक व्याख्या योग्य सर्किट—विशेष रूप से एक दो-हेड सिंगल-लेयर मॉडल—प्राप्त होते हैं जो विशिष्ट योगात्मक (additive) और विरोधाभासी (contrastive) उप-सर्किट्स के माध्यम से पूर्ण सटीकता प्राप्त करते हैं, जिससे ट्रांसफॉर्मर रीजनिंग के कम्प्यूटेशनल आधारों को समझने के लिए एक नियंत्रित ढांचा प्रदान होता है।