Local Credit Assignment for CPU Transformers: Readout Consensus and the Cost of Predictive Coding
यह शोध पत्र CPU-आधारित ट्रांसफॉर्मर्स के लिए स्थानीय क्रेडिट असाइनमेंट विधियों का मूल्यांकन करता है, जिसमें यह पाया गया है कि जबकि एसिंक्रोनस रीडआउट-ग्रेडिएंट कंसेंसस (asynchronous readout-gradient consensus) प्रशिक्षण थ्रूपुट में सुधार करता है, वह और प्रेडिक्टिव कोडिंग दृष्टिकोण दोनों ही बैकप्रोपैगेशन की गुणवत्ता का मुकाबला करने या एक सामान्य, गुणवत्ता-संरक्षण त्वरण विकल्प स्थापित करने में विफल रहते हैं।