Jordan-RoPE: Non-Semisimple Relative Positional Encoding via Complex Jordan Blocks
यह शोध पत्र जॉर्डन-RoPE (Jordan-RoPE) को प्रस्तुत करता है, जो एक गैर-अर्द्ध-सरल (non-semisimple) सापेक्ष स्थिति संबंधी एन्कोडिंग है जो दूरी-मॉड्यूलेटेड चरण अंतःक्रियाओं (distance-modulated phase interactions) को मॉडल करने के लिए ऑसिलेटरी-पॉलीनोमियल (oscillatory-polynomial) विशेषताओं को उत्पन्न करने हेतु जटिल जॉर्डन ब्लॉकों का लाभ उठाता है, जो कुछ संदर्भों में मानक RoPE और ALiBi बेसलाइनों की तुलना में संरचनात्मक लाभ और विशिष्ट प्रदर्शन लाभ प्रदर्शित करता है।