🤖 machine learning

Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models

تقدم هذه الورقة أول دراسة في التفسير الآلي لآلية الانتباه الكامن متعدد الرؤوس (MLA)، كاشفةً أن عنق الزجاجة منخفض الرتبة الخاص بها يفصل بفعالية بين المحتوى والموقع عبر الحفاظ على هوية الكيان مع التخلص من المعلومات الموضعية، مما يعيد تشكيل تنظيم دوائر المحولات إلى طبقات استحثاث وطبقات مركز دلالي متميزة.

المؤلفون الأصليون: Dhruvil S, Fenil Sojitra, Ravirajsinh Chauhan

نُشر 2026-07-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Dhruvil S, Fenil Sojitra, Ravirajsinh Chauhan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول إرسال رسالة سرية عبر غرفة مزدحمة. في عالم الذكاء الاصطناعي، تشبه النماذج اللغوية الكبيرة الطلاب الأذكياء للغاية الذين قرأوا كل شيء تقريبًا على الإنترنت. وللإجابة على أسئلتك، يحتاجون إلى تذكر المحادثة التي جرت حتى الآن. لكن تذكر كل كلمة ومكانها الدقيق في الجملة يستهلك مساحة "ذهنية" هائلة، مما يبطئهم ويكلف الكثير من المال لتشغيلهم.

مؤخرًا، اخترع المهندسون حيلة ذكية تسمى الانتباه الكامن متعدد الرؤوس (Multi-head Latent Attention - MLA). فكر في الأمر كخدمة بريد سريع فائقة الكفاءة؛ فبدلاً من إرسال صندوق ضخم وثقيل يحتوي على كل تفاصيل الرسالة، يقوم البريد بضغط "الماهية" (الكلمات والمعاني الفعلية) في ظرف صغير وخفيف الوزن، بينما يرسل "المكان" (موقع الكلمات) عبر مسار منفصل وسريع. هذا يوفر مساحة هائلة من الذاكرة—بنسبة تصل إلى 81%! ولكن هنا يكمن الغموض: كنا نعلم أن هذه الحيلة تعمل، لكننا لم نكن نعرف كيف قام البريد بتعبئة الصندوق فعليًا. هل رمى تفاصيل مهمة؟ هل خلط بين "الماهية" و"المكان"؟ أم أنه تعلم بالفعل كيف يفصل بينهما بشكل مثالي؟

قرر فريق من الباحثين إلقاء نظرة داخل هذا الصندوق الأسود. لقد بنوا نسخة أصغر وأبسط من نموذج الذكاء الاصطناعي هذا لدراسة دماغه دون الضياع في تعقيدات النماذج العملاقة المستخدمة في العالم الحقيقي. أرادوا معرفة ما إذا كان "الظرف الصغير" يحمل حقًا معنى الكلمات فقط، أم أنه يحتفظ بمعلومات الموقع بالخطأ أيضًا. كما أرادوا معرفة كيف غيرت طريقة التعبئة الجديدة طريقة عمل الدوائر الداخلية للذكاء الاصطناعي.

الفصل العظيم: المعنى مقابل الموقع

وجد الباحثون أن "الظرف الصغير" للذكاء الاصطناعي (والذي يسمونه عنق زجاجة cKV) بارع للغاية في مهمته. فهو يعمل كأمين مكتبة صارم يهتم فقط بـ من الموجود في القصة، وليس أين يقفون.

وعندما اختبروا النموذج، اكتشفوا أن المعلومات المضغوطة احتفظت بـ 98% من هوية الشخصيات والأشياء. إذا كانت القصة عن "قطة"، فإن النسخة المضغوطة عرفت أنها قطة. ومع ذلك، عندما سألوا النسخة المضغوطة عن موقع كلمة ما (مثل "هل هذه هي الكلمة الخامسة أم العاشرة؟")، أخطأت في الإجابة بنفس القدر الذي تخطئ به لو كانت تخمن عشوائيًا فقط.

هذا يؤكد أن التصميم يعمل تمامًا كما تمنى المهندسون: فقد تعلم النموذج فصل المحتوى (القصة) عن الموقع (الجدول الزمني) تمامًا. إن معلومة "أين" يتم التعامل معها بواسطة جزء مختلف من النظام، مما يترك جزء "الماهية" حرًا ونقيًا. الأمر يشبه قرار الذكاء الاصطناعي بالتوقف عن حمل خريطة في جيبه لأن لديه نظام تحديد مواقع (GPS) على معصمه؛ أصبح الجيب الآن فارغًا وجاهزًا لشيء آخر.

حفلة "الاستقراء" في طابق واحد

كان أحد الاكتشافات الأكثر إثارة للدهشة هو كيفية تنظيم الذكاء الاصطناعي لـ "فرق التفكير" لديه. في نماذج الذكاء الاصطناعي القديمة، كانت هناك فرق خاصة تسمى رؤوس الاستقراء (induction heads) (والتي تساعد الذكاء الاصطناعي على التعلم من الأنماط، مثل ملاحظة أنه "بعد كلمة 'الـ' تأتي كلمة 'قطة'") منتشرة عبر العديد من الطوابق المختلفة. كانت مثل مجموعة من الأصدقاء يتسكعون في مستويات مختلفة من مركز تجاري.

ولكن في نموذج MLA الجديد، وجد الباحثون أن جميع الفرق الخمسة من رؤوس الاستقراء الخاصة كانت تتسكع في طابق واحد فقط: الطابق 12. يبدو الأمر كما لو أن "الظرف" المشترك والمضغوط أجبر كل هؤلاء الأصدقاء على الالتقاء في نفس الغرفة لأنهم جميعًا بحاجة إلى القراءة من مصدر واحد للقيام بعملهم. ويقترح الباحثون أنه نظرًا لأن المعلومات مضغوطة بشدة، فمن الأكفأ لهذه الفرق أن تعمل معًا في مكان واحد بدلاً من محاولة التنسيق عبر المبنى بأكل.

المركز المزدحم والغرفة الفارغة

نظر الفريق أيضًا في مقدار المساحة المستخدمة فعليًا من "الظرف". تم تصميم الظرف ليحمل 128 وحدة من المعلومات، ومع ذلك، استخدم النموذج في المتوسط 46% فقط من تلك المساحة. كان الأمر يشبه شراء حافلة تتسع لـ 128 مقعدًا ولكن ملؤها بـ 59 شخصًا فقط.

يشير هذا إلى أن النموذج "مجهز بأكثر من حاجته" (over-provisioned)—لديه مساحة أكبر مما يحتاج. ومع ذلك، لاحظ الباحثون أن طابقًا محددًا، وهو الطابق 15، كان الاستثناء. كان هذا الطابق هو "المركز الدلالي"، المكان الأكثر ازدحامًا في المبنى. لقد استخدم أكبر قدر من المساحة (88 من أصل 128 وحدة) وكان الأكثر أهمية لتوقعات النموذج. إذا أفسدت المعلومات في هذا الطابق، ستصبح إجابات النموذج أسوأ بكثير. وهذا يشير إلى أنه بينما يحتوي المبنى بأكمله على مساحة إضافية، فإن هذا الطابق المحدد هو من يقوم بالعمل الشاق.

ماذا يعني هذا (وما لا يعنيه)

يؤكد الباحثون بحذر أنهم درسوا نموذجًا صغيرًا نسبيًا (114 مليون معلمة) تم تدريبه على مزيج محدد من القصص والبرمجيات. هم لا يدّعون أن هذه هي الإجابة النهائية لكل ذكاء اصطناعي عملاق موجود. كما يعترفون بأن أرقام الطوابق المحددة (مثل الطابق 12 أو 15) قد تختلف في النماذج الأكبر، وأنهم لم يثبتوا هذه النتائج بتجربة "مثالية" بعد.

ومع ذلك، فإن عملهم يشير إلى شيء مثير: تصميم MLA لا يكتفي بضغط البيانات لتوفية المساحة فحسب، بل يغير أيضًا كيفية تفكير الذكاء الاصطناعي. فهو يجبر الذكاء الاصطناعي على تنظيم أفكاره بشكل مختلف، حيث يبقي "الماهية" و"المكان" منفصلين تمامًا، ويجمع فرق التعرف على الأنماط في مجموعات واحدة فعالة.

يقترح المؤلفون أنه في المستقبل، قد نتمكن من بناء نماذج أفضل من خلال منح الطوابق المزدحمة (مثل الطابق 15) مساحة أكبر والطوابق الهادئة مساحة أقل، بدلاً من إعطاء كل طابق نفس الظرف الكبير. في الوقت الحالي، تعد هذه الدراسة نظرة أولى رائعة في الحياة السرية لأدمغة الذكاء الاصطناعي المضغوطة، حيث تظهر لنا أنه في بعض الأحيان، لجعل النموذج أكثر ذكاءً وسرعة، يجب عليك تعليمه كيفية التخلي عن التفاصيل التي لا يحتاجها.

ملخص تقني: عبر عنق الزجاجة

بيان المشكلة

يُعد انتباه الـ "لاتنت" متعدد الرؤوس (Multi-head Latent Attention - MLA)، الذي قدمته DeepSeek-V2، ابتكارًا معماريًا رئيسيًا لنماذج اللغات الكبيرة (LLMs) الفعالة. فهو يحقق خفضًا في ذاكرة التخزين المؤقت لـ (KV-cache) يصل إلى 81% من خلال ضغط أزواج المفتاح-القيمة (KV) عبر عنق زجاجة مشترك منخفض الرتبة ( $cKV$ ) قبل إسقاطها في مفاتيح وقيم لكل رأس. وبينما تم اعتماد هذه التقنية في نماذج إنتاجية بمليارات المعلمات (مثل DeepSeek-V2 وDeepSeek-V3)، إلا أن الميكانيكا الداخلية لعنق الزجاجة هذا لا تزال غير مستكشفة. وتحديدًا، لم تحدد الدراسات السابقة ما يلي:

ما هي المعلومات اللغوية التي يحافظ عليها النموذج أو يتخلص منها داخل تمثيل $cKV$ المضغوط.
كيف يؤثر عنق الزجاجة المشترك على تشكيل الدوائر المعروفة في الـ Transformer، مثل رؤوس الاستقراء (induction heads).
أي الطبقات من عنق الزجاجة تعد مهمة سببيًا لتنبؤات النموذج.
ما إذا كان الفصل المعماري بين المحتوى (عبر $cKV$ ) والموقع (عبر RoPE) يتم استغلاله بشكل نشط من قبل النموذج المتعلم.

المنهجية

أجرى المؤلفون دراسة شاملة للتفسير الميكانيكي على نموذج Transformer بـ 114 مليون معلمة. تم تدريب النموذج مسبقةً على مزيج من نصوص الويب، والبرمجة، والنصوص الرياضية، ثم ضبطه دقيقًا (fine-tuning) على مجموعة بيانات TinyStories. اعتمدت الدراسة على أربع تجارب متكاملة:

تحليل SVD: تفكيك مصفوفات الضغط ( $W_{DKV}$ و $W_{DQ}$ ) لقياس الرتبة الفعالة (الأبعاد) للمعلومات التي تمر عبر عنق الزجاجة في كل طبقة.
تصنيف رؤوس الانتباه: تصنيف جميع رؤوس الانتباه البالغ عددها 192 (24 طبقة × 8 رؤوس) بناءً على مقاييس وظيفية: الانتباه للتوكن السابق، درجات الاستقراء، "بالوعة" بداية الجملة (BOS-sink)، وانتباه النافذة المحلية.
الاستقصاء الخطي (Linear Probing): تدريب مصنفات خطية على تمثيلات $cKV$ (بأبعاد 128) والتدفق المتبقي (residual stream) (بأبعاد 512) لتحديد إمكانية الوصول الخطي لميزات لغوية محددة (هوية الكيان، وسوم أقسام الكلام، هوية التوكن، الموقع، والتنبؤ بالتوكن التالي).
إسناد تعطيل $cKV$ : نسخة خفيفة من "ترقيع التنشيط" (activation patching). بدلاً من استعادة التنشيطات النظيفة جراحيًا، أضاف المؤلفون ضوضاء غاوسية (Gaussian noise) إلى تضمينات التوكنات المبكرة، وقاسوا التغيير الناتج في $cKV$ عند كل طبقة، ثم أعادوا وزن هذا التغيير بناءً على الانخفاض في احتمالية المخرجات. وقد عمل هذا كوكيل ارتباطي للأهمية السببية.

المساهمات والنتائج الرئيسية

1. استغلال الفصل بين المحتوى والموقع بشكل نشط

تقدم الدراسة أول دليل تجريبي على أن التصميم المعماري لـ MLA يتحقق وظيفيًا من خلال النموذج.

النتائج: يتعلم عنق زجاجة $cKV$ تمثيل محتوى نقيًا. فهو يحافظ على هوية الكيان بنسبة احتفاظ تتراوح بين 98-100% عبر جميع الطبقات. وعلى العكس من ذلك، فإنه يتخلص من المعلومات الموضعية، حيث تحوم دقة الاستقصاء للمواقع حول مستويات الصدفة (13-22% لـ 16 فئة).
الآثار المترتبة: لا يقوم النموذج بتشفير الموقع بشكل زائد في عنق الزجاجة؛ بل يلتزم بصرامة بالتصميم الذي يتدفق فيه المحتوى عبر $cKV$ والموقع عبر مسار RoPE المنفصل ( $k^{rope}_h$ ).

2. تمركز رؤوس الاستقراء في طبقة واحدة

على عكس آلية الانتباه متعددة الرؤوس القياسية (MHA)، حيث تتوزع رؤوس الاستقراء عادةً عبر طبقات متعددة، يُظهر نموذج MLA قيدًا طوبولوجيًا متميزًا.

النتائج: جميع رؤوس الاستقاء الخمسة المكتشفة في هذا النموذج تقع حصريًا في الطبقة 12.
الفرضية: يفرض عنق زجاجة $cKV$ المشترك قيودًا على طوبولوجيا الدائرة. وبما أن دائرة الاستقراء تتطلب حسابات مفتاح-قيمة منسقة مشتقة من نفس التمثيل المضغوط، فمن الأكثر كفاءة لهذه الرؤوس أن تعمل على عنق زجاجة طبقة واحدة بدلاً من إعادة بناء معلومات متسقة عبر طبقات مختلفة.

3. تحديد "المركز الدلالي" (Semantic Hub)

يحدد التحليل طبقة معينة تعمل كعقدة معالجة حرجة.

النتائج: تبرز الطبقة 15 كـ "مركز دلالي". فهي تُظهر في آن واحد أعلى رتبة فعالة لـ SVD (88/128 بُعدًا مستخدمًا) وأعلى درجة إسناد للتعطيل.
الآثار المترتبة: تمثل هذه الطبقة النقطة التي يتم فيها استغلال عنق الزجاجة بالكامل، وحيث يرتبط الفساد في $cKV$ بقوة بتدهور التنبؤات، مما يشير إلى دور مركزي في التكامل الدلالي.

4. الإفراط العالمي في توفير سعة عنق الزجاجة

تكشف الدراسة أن سعة عنق الزجاجة الثابتة ليست مستغلة بشكل موحد.

النتائج: يتم توفير سعة عنق الزجاجة البالغ عدد أبعادها 128 بشكل زائد عالميًا. في المتوسط، يستخدم النموذج 46% فقط من سعته (الرتبة الفعالة ~59).
التباين: يوجد تباين كبير من طبقة إلى أخرى. فبينما تستخدم الطبقة 15 نسبة 69% من السعة، تستخدم طبقات أخرى (مثل الطبقة 7) أقل من ذلك بكثير.
المقترح: يقترح المؤلفون تخصيص رتبة غير متجانسة كتحسين معماري، مما يشير إلى أن تخصيص عناق زجاجة أكبر للطبقات الحرجة (مثل 13-19) وأصغر للطبقات الأخرى يمكن أن يقلل من ذاكرة $KV$ -cache بنسبة ~30% إضافية مع تأثير ضئيل على الأداء.

الأهمية والنطاق

تضع الورقة هذه النتائج كـ نقطة بيانات أولية وليس كتشخيص نهائي لـ MLA عند النطاقات الكبيرة. ويؤكد المؤلفون أن الدراسة تعتمد على نموذج واحد بـ 114 مليون معلمة تم تدريبه على نطاق ضيق (TinyStories) بعد تدريب مسبق واسع.

الحداثة: هذه هي أول دراسة تفسير ميكانيكي لـ MLA، والتي تتجاوز كفاءتها الهندسية لفهم تنظيم دوائرها الداخلية.
التواضع: يحذر المؤلفون صراحةً من تعميم مؤشرات الطبقات المحددة (مثل رؤوس الاستقراء في الطبقة 12، أو المركز في الطبقة 15) على جميع نماذج MLA، مشيرين إلى أن تنظيم الدائرة يمكن أن يتغير مع الحجم وبذور التدريب.
القيود: تقر الدراسة بوجود قيود، بما في ذلك عدم وجود نموذج مرجعي MHA مطابق تم تدريبه تحت ظروف متطابقة، واستخدام الاستقصاء الخطي (الذي لا يمكنه استبعاد التشفير غير الخطي)، واستخدام إسناد التعطيل (الارتباطي) بدلاً من ترقيع التنشيط الكامل (السببي).

في الختام، تشير الورقة إلى أن MLA لا يقوم بمجرد ضغط الانتباه بشكل سلبي؛ بل يبدو أنه يعيد تشكيل كيفية تنظيم النموذج للمحتوى والموقع وهيكل الدائرة بشكل نشط، مما قد يسمح باستراتيجيات ضغط أكثر كفاءة وإدراكًا للدلالات.