ملخص تقني: استدخال الذاكرة (Memory Inception - MI)

بيان المشكلة

تتطلب النماذج اللغوية الكبيرة (LLMs) توجيهاً مستمراً لمهام مثل الحفاظ على سمات الشخصية، أو الحفاظ على النبرة عبر الحوارات متعددة الأدوار، أو تطبيق قواعد استدلال مهيكلة. تواجه طرق التوجيه الحالية مقايضة جوهرية:

• التلقين (Prompting): يقوم بإدراج رموز تذكيرية في السياق المرئي. ورغم فعاليته، إلا أنه يجسد التوجيه عند كل طبقة من طبقات المحول (Transformer)، مما يؤدي إلى ازدحام التفاعلات الطويلة وزيادة تكلفة ذاكرة المفتاح-القيمة (KV cache) بشكل خطي ($L \times T_{prompt}$).
• توجيه التنشيط (مثل CAA): يعدل الحالات الخفية عبر نواقل متبقية. هذه الطريقة مدمجة ولكنها غالباً ما تكون أضعف في التحكم، وتفتقر إلى الأمانة النصية، وتواجه صعوبة مع التذكيرات الكبيرة والمهيكلة.

تفترض الورقة أن التوجيه لا يحتاج إلى أن يكون مخزناً في كل مكان؛ بل يحتاج فقط إلى أن يكون متاحاً حيث توجه آلية الانتباه في النموذج مسارها إليه.

المنهجية: استدخال الذاكرة (MI)

استدخال الذاكرة هو طريقة خالية من التدريب (training-free) تقوم بتوجيه النماذج اللغوية الكبيرة عبر حقن بنوك "مفتاح-قيمة" (KV) مشتقة من النص في فضاء الانتباه الكامن (latent attention space) عند طبقات مختارة بعناية، بدلاً من تجسيد النص في كامل ذاكرة التلقين (prompt cache).

الآلية الجوهرية

1. بنوك KV الكامنة: يتم تشفير واصف، أو ملخص، أو قاعدة استدلالية في بنك من فترات (slots) المفتاح-القيمة الكامنة ($B$). يتم اشتقاق هذه الفترات عبر تمرير النص المصدر من خلال النموذج الأساسي المجمد واستخراج الحالات الخفية عند مواضع رموز محددة، والتي يتم بعد ذلك إسقاطها عبر طبقات $W_K$ و $W_V$ الخاصة بالنموذج نفسه.
2. الوضع الانتقائي: بدلاً من إلحاق هذه الفترات بكل طبقة، يستخدم MI مُنتقياً آلياً لتحديد طبقات محددة ($L_{ctrl}$) ووحدات انتباه (رؤوس أو مجموعات KV) حيث تتماشى استعلامات (queries) النموذج بقوة مع البنك المستهدف.
3. توجيه الانتباه: عند المواقع المختارة، تحسب آلية الانتباه درجات لكل من رموز التلقين العادية وفترات بنك الذاكرة الكامنة. وتكون مخرجات الانتباه عبارة عن مزيج من تاريخ التلقين وبنك الذاكرة، مرجحاً بأوزان تعتمد على أدلة الاستعلام.
   • تُصاغ مخرجات الانتباه كالتالي: $o^\star_t = \sum_{b=0}^B e^{\pi^{(b)}_t} o^{(b)}_t$، حيث تتنافس البنوك بناءً على الأدلة بدلاً من الإزاحة المتبقية العالمية.
4. تفاصيل التنفيذ:
   • التعامل مع RoPE: يتم تخزين مفاتيح الذاكرة في إحداثيات ما قبل الـ RoPE المعيارية لضمان بقاء البنك مستقلاً عن الموقع بالنسبة لخطوة التوليد.
     টি
   • دعم البنية: تدعم الطريقة الانتباه الكثيف (اختيار الرؤوس) وانتباه المجموعة الاستعلامية (GQA) (اختيار مجموعات KV)، مما يجعلها متوافقة مع نماذج مثل Llama-3.1 و Qwen3.
   • التوجيه التبايني: يدعم الإطار عمل البنوك المستهدفة، والمرجعية (السلوك المعاكس)، والمساعدة، مما يسمح بالتوجيه التبايني عبر بوابات تكيفية للاستعلام.

كفاءة ذاكرة KV

الميزة الأساسية للنظام هي تقليل تخزين الـ KV.

• التلقين: يخزن الحالات المشتقة من التوجيه عبر جميع الطبقات $L$.
• MI: يخزن الحالات المشتقة من التوجيه عبر الطبقات المختارة $L_{ctrl}$ فقط.
• النتيجة: نسبة التخزين هي $\frac{L \cdot T_{prompt}}{L_{ctrl} \cdot S_{bank}}$. بالنسبة للتوجيه الطويل والمهيكل، يحقق هذا معامل ضغط يتراوح بين 6 إلى 118 ضعفاً مقارنة بالتلقين المرئي.

المساهمات الرئيسية

1. واجهة التوجيه: تقديم "استدخال الذاكرة"، وهي طريقة تحقن بنوك KV كامنة مشروطة بالنص فقط في طبقات مختارة، مما يتجنب التجسيد الكامل لذاكرة التلقين.
2. الصياغة والتنفيذ: صياغة توجيه انتباه على مستوى البنك تتعامل مع الذاكرة المستهدفة، والمرجعية، والمساعدة، بالإضافة إلى تنفيذ RoPE للمفاتيح المعيارية الذي يدعم الانتباه الكثيف وانتباه المجموعة الاستعلامية.
3. التموضع التجريبي:
   • توجيه الشخصية: يظل MI منافساً للتلقين، بينما يتفوق باستمرار على "إضافة التنشيط التباينية" (CAA) في مقايضات الانحراف في التحكم.
   • تحديث التوجيه (تغيير الحوار): يدعم MI تغيير السلوك في منتصف المحادثة (مثل تغيير النبرة) دون إعادة كتابة النص المرئي، محققاً أعلى مستوى من المواءمة بعد التغيير على Qwen3.
   • الاستدلال المهيكل: يعمل MI كبديل خالٍ من التدريب لعملية الضبط الدقيق (fine-tuning)، حيث يحمل قواعد استدلال قابلة لإعادة الاستخدام لمسائل الفيزياء والرياضيات، متفوقاً على النماذج العادية وغالباً ما يضاهي أو يتجاوز التلقين في اختبارات محددة.

النتائج التجريبية

تقيم الورقة MI على نموذجي Meta-Llama-3.1-8B-Instruct و Qwen3-30B-A3B عبر أربعة أنظمة:

1. توجيه شخصية "الخمس الكبرى" (Big Five):

   • في مهام التقييم الذاتي، يحقق MI أعلى درجة معدلة للانحراف (DAS) على Llama (0.775 مقابل 0.645 للتلقين) ونتائج تنافسية على Qwen3.
   • في مهام التوليد، يتفوق MI بشكل كبير على CAA ويظل قريباً من التلقين، خاصة في تقليل الانحراف عن الهدف.

2. تحول الحوار (تحديثات منتصف المحادثة):

   • في بيئة ذات ميزانية ثابتة حيث لا يمكن إعادة كتابة التلقين المرئي، يحقق MI أعلى مواءمة بعد التغيير على Qwen3 (0.816 إجمالاً)، متفوقاً بشكل كبير على "التلقين الأولي" (0.438) و"CAA" (0.526).
   • يثبت هذا قدرة MI على تحديث السلوك ديناميكياً دون تراكم السياق المرئي.

3. الاستدلال المهيكل (HARDMath & PHYSICS):

   • الفيزياء (PHYSICS): يفوز MI في 10 من أصل 12 خلية (موضوع × نمط)، محققاً أفضل متوسط عام (76.9%) مقارقة بالتلقين (75.4%) والنموذج العادي (73.9%).
   • الرياضيات الصعبة (HARDMath): النتائج مختلطة؛ يتصدر التلقيد الإجمالي (67.3% مقابل 63.8% لـ MI)، لكن MI يتحسن بشكل ملحوظ عن النموذج العادي (60.8%) ويفوز أو يتعادل في 7 من 8 فئات.
   • يثبت MI فعاليته في حمل قواعد الاستدلال القابلة لإعادة الاستخدام، رغم أن الصياغة الدقيقة في التلقينات المرئية لا تزال تمتلك أفضلية في الاختبارات الرمزية الصارمة.

4. توفير ذاكرة KV:

   • يقلل MI من بصمة الـ KV بمقدار 6.4 ضعفاً في حالات السياق الطويل لـ Llama، و 60–118 ضعفاً في PHYSICS، و 63–74 ضعفاً في HARDMath.
   • تزداد التوفيرات مع طول وقابلية إعادة استخدام محتوى التوجيه.

الأهمية والادعاءات

تضع الورقة "استدخال الذاكرة" كطريقة توجيه قوية خاصة عندما يكون التوجيه مستمراً، أو مهيكلاً، أو مكلفاً للإبقاء عليه في النص المرئي.

• تحسين المقايضة: يشغل MI "منطقة وسطى" بين التلقين المرئي وتوجيه التنشيط، حيث يقدم تحكماً أميناً للنص دون التكلفة الكاملة للذاكرة التي يتطلبها التلقين.
• القيمة النظامية: تمكن هذه الطريقة من تقليل بصمة الـ KV بشكل كبير (حتى 118 ضعفاً)، مما يجعلها جذابة لتطبيقات السياق الطويل حيث تمثل عرض نطاق الذاكرة وسعتها عائقاً.
• القيود: يقر المؤلفون بأن MI ليس واجهة خالية من التصميم (يتطلب معايرة خاصة بالمهمة لاختيار الطبقات)، وأن جودة البنك تعتمد على المهمة، وأن النتائج تختلف باختلاف النموذج الأساسي (يظهر Qwen3 مكاسب أوضح من Llama).
• السلامة: تشير الورقة إلى أن التوجيه الكامن يمكن أن يخفي توجيهاً سلوكياً مستمراً، مما يستوجب الإفصاح والقدرة على التدقيق قبل النشر في العالم الحقيقي لمنع حقن السياسات الخفية.

باخت ملخص، يثبت MI أن توجيه النماذج اللغوية الكبيرة لا يتطلب تخزين التوجيه في كل مكان؛ فمن خلال التوجيه الانتقائي للانتباه نحو بنوك الذاكرة الكامنة، يمكن تحقيق تحكم عالي الدقة مع تقليل هائل في العبء الحسابي.