ملخص تقني: ذاكرة النماذج اللغوية ونماذج الذاكرة للغة

1. بيان المشكلة

تتناول الورقة البحثية فجوة جوهرية في فهم كيفية تخزين النماذج اللغوية الكبيرة (LLMs) للمعلومات المدخلة. وبينما يُفترض على نطاق واسع أن تمثيلات الطبقات الخفية (hidden layer embeddings) تعمل كـ "ذاكرة" لتسلسل المدخلات، يرى المؤلفون أن هذه الذاكرة ضعيفة التوصيف وغالباً ما تكون غير كافية للمهام التي تتطلب الوصول إلى معلومات عشوائية.

تتمثل المشكلة الجوهرية المحددة في أن النماذج اللغوية السببية القياسية، التي تتدرب فقط على التنبؤ بالرمز التالي (next-token prediction)، تنتج تمثيلات تحتوي على القليل جداً من معلومات المدخلات. ويرجع ذلك إلى أن دالة الهدف (predicting the next token) هي دالة غير قابلة للعكس (non-invertible) وكثير لواحد (many-to-one)؛ حيث يحتاج النموذج فقط إلى الاحتفاظ بالقدر الكافي من المعلومات للتنبؤ بالرمز التالي مباشرة، وليس بكامل التاريخ. وبناءً على ذلك، تفشل هذه النماذج في تكوين ذاكرات عالية الدقة قادرة على الاسترجاع العشوائي، مما يحد من فائدتها كأنظمة ذاكرة للنماذج الأخرى أو لتوسيع نوافذ السياق بكفاءة.

2. المنهجية

2.1 قياس المعلومات والعكس

لقياس كمية المعلومات المحتفظ بها في التمثيلات، يقترح المؤلفون إطار عمل عكسي. بدلاً من استخدام الانحدار الاشتقاقي (gradient descent) -الذي وجدوا أنه غير فعال للتمثيلات الفردية- قاموا بتدريب نموذج فك تشفير (decoder) لإعادة بناء تسلسل المدخلات من تمثيل الطبقة الخفية النهائية للمشفر (encoder).

• المقاييس: تم استخدام مقيًسين أساسيين:
  1. نسبة الإنتروبيا ($H_r$): تقيس كسر معلومات المدخلات المحتفظ بها من خلال مقارنة خسارة الإنتروبيا المتقاطعة (cross-entropy loss) لإعادة البناء مقابل الحدود النظرية.
  2. دقة الرموز (Token Accuracy): نسبة رموز المدخلات التي تم تحديدها بشكل صحيح بواسطة فك التشفير (مقياس هامينج).
• البنى المعمارية المختبرة: تقيم الدراسة النماذج اللغوية السببية (Causal LLMs)، ونماذج الاسترجاع (Retrieval models)، ونماذج الترميز التلقائي (Autoencoders) -المدربة لإعادة توليد المدخلات- عبر مقاييس مختلفة (من نماذج Mixer/Transformers الصغيرة إلى النماذج الكبيرة مثل BERT وLlama وQwen).

2.1 بنى نماذج الذاكرة

تقدم الورقة بنية نموذج ذاكرة (مشفر-فك تشفير) قابلة للتوازي، مصممة لفصل عملية الاحتفاظ بالمعلومات عن عملية استخراج المعلومات:

• المشفر (Encoder): يحول تسلسلات الرموز إلى تمثيل ثابت الحجم (ذاكرة).
• فك التشفير (Decoder): يأخذ هذه التمثيلات الذاكرية (والمعلومات الإضافية المحتملة) للتنبؤ بالرموز التالية.
• التوازي: على عكس نماذج الذاكرة المتكررة، تسمح هذه البنية للمشفر بمعالجة أجزاء المدخلات (chunks) بشكل متوازٍ، مما يقلل من تعقيد الاستدلال من $O(n^2)$ إلى حوالي $O(n^{4/3})$ أو أفضل اعتماداً على استراتيجيات تقسيم الأجزاء.

2.3 استراتيجيات التدريب

يستكشف المؤلفون عدة نماذج تدريب لتحسين تكوين الذاكرة:

1. الأهداف المشتركة: تدريب النماذج باستخدام مزيج خطي من خسارة التنبؤ بالرمز التالي وخسارة "النسخ" (حيث يجب على النموذج إعادة إنتاج تسلسل رآه مسبقاً).
2. التعلم المنهجي (Curriculum Learning): نهج مرحلي حيث يتعلم فك التشفير أولاً معالجة التمثيلات الغنية بالمعلومات (عبر مهمة "النسخ الفارغ" حيث لا يتم توفير أي رموز) قبل إدخال تمثيلات الرموز.
3. المشفرات المجمدة (Frozen Encoders): تدريب مشفر لنموذج ترميز تلقائي عالي الدقة أولاً، ثم تجميده، وبعد ذلك تدريب فك التشفير على استخدام هذه التمثيلات. يهدف هذا إلى فصل المهمة الصعبة المتمثلة في تكوين الذاكرات عن مهمة فك التشفو.

3. النتائج الرئيسية

3.1 النماذج السببية تمتلك ذاكرة ضعيفة

تؤكد التجارب أن النماذج اللغوية السببية ونماذج الاسترجاع تظهر حداً أدنى من الاحتفاظ بالمعلومات. وحتى مع زيادة حجم النموذج والحوسبة، فإن تمثيلات النماذج السببية تحتفظ بقليل جداً من معلومات المدخلات (على سبيل المثال، دقة الرموز حوالي 5% لسياقات مكونة من 512 رمزاً). في المقابل، تحقق نماذج الترميز التلقائي المدربة خصيصاً لإعادة توليد المدخلات تكويناً شبه مثالي للذاكرة (دقة الرموز > 90% لـ 512 رمزاً).

3.2 القابلية للعكس والاعتماد على البيانات

تثبت الدراسة أنه بينما يستحيل تحقيق العكس الرياضي الصارم للبنى القياسية بسبب العمليات غير القابلة للعكس (مثل ReLU وLayerNorm)، فإن النماذج تكون "قابلة للعكس عملياً" على مجموعات البيانات المحدودة إذا كان بُعد المخرجات مرتفعاً بما يكفي. ومع ذلك، فإن التدريب السببي لا يشجع على تكوين هذه التمثيلات القابلة للعكس والغنية بالمعلومات. علاوة على ذلك، تتعلم نماذج الترميز التلقائي تمثيلات غير تافهة وتعتمد على البيانات بدلاً من مجرد خرائط بسيطة من الرمز إلى المتجه.

3.3 نجاح الأهداف المشتركة والتعلم المنهجي

• التدريب المشترك: تنجح النماذج المدربة بكل من التنبؤ بالرمز التالي وأهداف النسخ في تعلم تكوين وفك تشفير ذاكرات غنية بالمعلومات مع الحفاظ على قدرات التنبؤ السببي.
• التعلم المنهجي: يمكن لفك التشفير المدرب عبر التعلم المنهجي (بدءاً بمهام النسخ الفارغ) استخدام تمثيلات المشفر عالية الدقة والمجمدة بفعالية. يتفوق هذا النهج على تدريب المشفرات القابلة للتدريب في المهام الصعبة مثل "النسخ الفارغ" (إعادة بناء التسلسلات دون مدخلات الرموز).
• أداء الاختبارات المرجعية: تظهر النماذج المدربة بالأهداف المشتركة تحسينات ملحوظة في الاختبارات المرجعية الكثيفة المعلومات (مثل LongBench وMulti-Document QA وCode Completion) مقارنة بالنماذج السببية البษيطة، رغم أن اختبارات فهم اللغة العامة (مثل ARC وHellaSwag) لم تشهد تغييراً كبيراً.

3.4 التوافق المعماري

تشير الورقة إلى أن بنى "Mixer" هي عموماً مشفرات أكثر كفاءة للاحتفاظ بالمعلومات، بينما تعتبر نماذج Transformer أكثر كفاءة لفك التشفير. ومع ذلك، وجد المؤلفون أن تمثيلات مشفرات Mixer المجمدة غالباً ما تكون غير متوافقة مع فك تشفير Transformer، مما يؤدي إلى انخفاض كفاءة التدريب، مما يشير إلى أن الفضاءات (manifolds) التي تتعلمها هذه البنى تختلف بشكل كبير.

4. الأهمية والادعاءات

تدعي الورقة أنها تقدم أساساً لفهم سبب ضعف أداء نماذج الذاكرة تاريخياً مقارنة بنماذج Transformer ذات السياق الكامل: أهداف التدريب السببي غير مناسبة بطبيعتها لتكوين ذاكرة عالية الدقة.

تشمل المساهمات الرئيسية ما يلي:

1. توصيف الذاكرة: إثبات أن تمثيلات النماذج اللغوية القياسية فقيرة بالمعلومات، وأن هذا نتيجة للطبيعة غير القابلة للعكس للتنبؤ بالرمز التالي.
2. نموذج تدريب جديد: اقتراح أن تكوين الذاكرة الدقيقة يتطلب وظائف أهداف مشتركة (تتضمن تحديداً مهام إعادة البناء أو النسخ) وربما التعلم المنهجي.
3. اقتراح معماري: تقديم نموذج ذاكرة (مشفر-فك تشفير) قابل للتوازي يفصل بين تكوين الذاكرة واستخدامها، مما يوفر كفاءات حوسبية عند الاستدلال (تقليل ذاكرة KV cache، وتقليل زمن الوصول لأول رمز).
4. الآثار على الاسترجاع: تشير النتائج إلى أن أنظمة الاسترجاع الحالية القائمة على التضمين (embedding-based retrieval) محدودة بشكل أساسي لأن نماذج التضمين القياسية لا تحتفظ بالمعلومات الكافية للسماح بالبحث العشوائي للمحتوى داخل كتلة نصية.

يخلص المؤلفون إلى أنه بينما لا يكفي التنبؤ بالرمز التالي وحده لإنشاء ذاكرة قابلة للاستخدام، يمكن تدريب النماذج لتشكيل وفك تشفير ذاكرات دقيقة، مما يتيح أنظمة لغوية أكثر كفاءة وقدرة على الوصول إلى معلومات المدخلات العشوائية.