Multi-Mixer Models: Flexible Sequence Modeling with Shared Representations
यह शोध पत्र Oryx को प्रस्तुत करता है, जो एक हाइब्रिड आर्किटेक्चर है जो टोकन अनुक्रम के साथ कुशल लीनियर रिकरेंट मिक्सर्स और क्वाड्रेटिक अटेंशन मैकेनिज्म के बीच गतिशील रूप से स्विच करता है और 90% से अधिक पैरामीटर्स साझा करता है, जिससे सिंगल-मिक्सर बेसलाइन की तुलना में बेहतर प्रदर्शन और लॉन्ग-कॉन्टेक्स्ट रिट्रीवल क्षमताएं प्राप्त होती हैं।