How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning
تتقصى هذه الورقة كيفية تأثير استراتيجيات قناع الانتباه المختلفة على جودة تضمينات المستخدم في النماذج اللغوية الكبيرة ذات فك التشفير فقط، وتقترح "القناع الناعم الموجه بالتدرج" لتسهيل الانتقال المستقر من الانتباه السببي إلى الانتباه ثنائي الاتجاه أثناء تعلم تمثيل المستخدم.