Hierarchical vs. Flat Iteration in Shared-Weight Transformers
यह शोध पत्र एक अनुभवजन्य अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि फास्ट और स्लो मॉड्यूल वाला एक पदानुक्रमित, साझा-भार पुनरावृत्ति आर्किटेक्चर (HRM-LM), ट्रांसफॉर्मर-आधारित भाषा मॉडलों में स्वतंत्र-परत स्टैकिंग की प्रतिनिधित्व गुणवत्ता से मेल खाने में विफल रहता है, जो पैरामीटर-मैच तुलनाओं में भी एक तीव्र प्रदर्शन अंतराल को प्रकट करता है।