💬 NLP
As X, Do Y: How Persona and Task Combine in Instruction-Tuned LLMs
यद्यपि यह शोध पत्र यह प्रदर्शित करता है कि निर्देश-ट्यून किए गए (instruction-tuned) LLMs में व्यक्तित्व (persona) और कार्य निर्देश (task instructions), रेसिडुअल स्ट्रीम (residual stream) में प्रॉम्प्ट-टू-आंसर ट्रांज़िशन के दौरान एक स्पष्ट, योगात्मक रैखिक अपघटन (additive linear decomposition) प्रदर्शित करते हैं, किंतु यह अंततः यह सिद्ध करता है कि यह स्थानीय योगात्मकता (local additivity) रोल प्रॉम्प्ट्स को एक एकल कैश किए गए वेक्टर में संकुचित करने में सक्षम नहीं बनाती है क्योंकि व्यक्तित्व-सशर्त जनरेशन (persona-conditioned generation) एक वितरित अटेंशन तंत्र (distributed attention mechanism) पर निर्भर करता जिसे स्थानीय रेसिडुअल प्रतिस्थापन (local residual substitution) द्वारा पुनरुत्पादित नहीं किया जा सकता है।