CALYREX: Cross-Attention LaYeR EXtended Transformers for System Prompt Anchoring
यह शोध पत्र CALYREX को प्रस्तुत करता है, जो एक ट्रांसफॉर्मर आर्किटेक्चर है जो सिस्टम प्रॉम्प्ट्स को संरचनात्मक रूप से एंकर करने और उन्हें उपयोगकर्ता इनपुट से अलग करने के लिए क्रॉस-अटेंशन का उपयोग करता है, जिससे विभिन्न मॉडल स्केल्स में निर्देश पालन में उल्लेखनीय सुधार होता है और जेलब्रेक कमजोरियों में कमी आती है।