🤖 machine learning

Attention Drift: What Autoregressive Speculative Decoding Models Learn

تحدد هذه الورقة البحثية "انحراف الانتباه" كقصور رئيسي في نماذج فك التشفير التخميني ذات التوليد الذاتي، حيث ينزاح الانتباه من النص الأصلي (prompt) إلى الرموز المولدة بسبب المسارات المتبقية غير المعيرة، وتقترح إصلاحات معمارية مثل "التطبيع البعدي" (post-norm) و"تطبيع RMS لكل حالة مخفية" (per-hidden-state RMSNorm) والتي تحسن بشكل كبير أطوال القبول عبر مختلف المهام وأطوال السياق.

المؤلفون الأصليون: Doğaç Eldenk, Payal Mohapatra, Yigitcan Comlek, Kaan Oktay, Hongyang Zhang, Stephen Xia

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Doğaç Eldenk, Payal Mohapatra, Yigitcan Comlek, Kaan Oktay, Hongyang Zhang, Stephen Xia

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تسريع عمل أمين مكتبة ذكي جداً، ولكنه بطيء (النموذج المستهدف)، وهو يكتب قصة. ولتوفير الوقت، استأجرت مساعداً سريعاً ولكنه أقل خبرة (المسودة) ليخمن الكلمات القليلة التالية قبل أن يقوم أمين المكتبة بفحصها. إذا أصاب المساعد في تخميناته، يكتفي أمين المكتبة بقول "عمل جيد" ويمضي قدماً، متجاوزاً عملية التفكير البطيئة في تلك الكلمات. يُسمى هذا "التشفير التخميني" (Speculative Decoding).

ومع ذلك، اكتشفت الورقة البحثية خللاً غريباً في كيفية عمل هؤلاء المساعدين، أطلق عليه المؤلفون اسم "انحراف الانتباه" (Attention Drift).

المشكلة: المساعد يصبح مهووساً بذاته

تخيل أن أمين المكتبة يروي قصة عن تنين. من المفترض أن يبقي المساعد عينيه على تعليمات أمين المكتبة (المطالبة/البرومبت) لتخمين الكلمات التالية.

ولكن هذا ما يحدث:

البداية: في البلى، ينظر المساعد إلى تعليمات أمين المكتبة.
الانحراف: بمجرد أن يبدأ المساعد في تخمين كلماته الخاصة، يتشتت انتباهه. يتوقف عن النظر إلى تعليمات أمين المكتبة الأصلية ويبدأ في التحديق بتركيز شديد في الكلمات التي كتبها للتو.
النتيجة: يصبح المساعد مهووساً بمخرجاته الأخيرة. ينسى سياق القصة. إذا قمت بتغيير طريقة تقديم القصة (اضطراب القالب) أو جعلت القصة طويلة جداً، يصاب المساعد بالارتباك التام ويتوقف عن التخمين بشكل صحيح.

تسمي الورقة البحثية هذا "انحراف الانتباه". فتركيز المساعد "ينحرف" بعيداً عن المادة المصدر ويبدأ في التعلق بأفكاره الأخيرة الخاصة.

لماذا يحدث هذا؟ تشبيه "مقبض الصوت"

تعمق المؤلفون في الرياضيات لمعرفة سبب حدوث ذلك. ووجدوا مشكلة في "مقبض الصوت" الخفي داخل عقل المساعد (حالات بياناته الداخلية).

التصميم الحالي (Pre-norm): تخيل أن المساعد لديه ميكروفون يزداد صوته عالياً في كل مرة يتحدث فيها بكلمة.
- الكلمة 1: مستوى صوت طبيعي.
- الكلمة 2: أعلى قليلاً.
- الكلمة 10: صراخ.
- الكلمة 20: صاخب لدرجة الصمم.

لأن "حجم صوت" المساعد الداخلي (مقدار حالاته الخفية) يستمر في النمو مع كل كلمة يخمنها، يبدأ في الشعيد وكأنه يضيف طبقات متزايدة من التعقيد فوق أمين المكتبة. يتوقف عن كونه مجرد مُخمن بسيط ويبدأ في التصرف كنموذج جديد تماماً وأكثر عمقاً يحاول "تحسين" التخمينات السابقة. هذا الصوت المتنامي يجعله يفقد توازنه وينسى التعليمات الأصلية.

الحل: "زر إعادة الضبط" (Post-norm)

اقترح المؤلفون حلاً بسيطاً: Post-norm.

فكر في هذا كإضافة "زر إعادة ضبط الصوت" بعد كل كلمة يخمنها المساعد.

قبل أن يخمن المساعد الكلمة التالية، يتحقق النظام من حجم صوته الداخلي ويعيده إلى مستوى قياسي.
هذا يمنع "الصوت" من أن يصبح صاخباً ومزعجاً.
هذا يجبر المساعد على البقاء متزناً والتعامل مع كل تخمين كتنبؤ مستقل وجديد، بدلاً من كونه كومة فوضوية من التخمينات السابقة.

كما أضافوا أيضاً "إعادة ضبط" مماثلة للبيانات القادمة من أمين المكتبة قبل أن يبدأ المساعد في التخمين، لضمان أن الإشارة الابتدائية ليست عالية جداً أو غير متوازنة.

النتائج: مساعد أكثر قوة

بإضافة هذه "أزرار إعادة الضبط" (Post-norm)، أصبح المساعد أفضل بكثير في أداء مهمته:

أقل تشتتاً: توقف عن الانحراف بعيداً عن التعليمات الأصلية.
أكثر قوة: حتى لو قمت بتغيير تنسيق القصة (مثل إزالة علامات محددة أو تغيير التحية)، لم ينهار المساعد. لقد تعامل مع هذه التغييرات بشكل أفضل بمرتين من النسخة القديمة.
قصص أطول: استطاع التعامل مع قصص أطول بكmuch دون أن يرتبك.
تدريب أسرع: لأن المساعد كان أكثر استقراراً، تمكنوا من تدريبه على تسلسلات أقصر، ومع ذلك ظل يعمل بشكل جيد على التسلسلات الأطول لاحقاً.

الخلاية الجوهرية

تجادل الورقة البحثية بأن السبب في فشل هؤلاء المساعدين في المواقف الحقيقية والفوضوية ليس مجرد كونهم "أغبياء"، بل لأن تصميمهم الداخلي يجعلهم يصبحون "صاخبين" ومهووسين بذواتهم أثناء العمل. ومن خلال إضافة خطوة تطبيع بسية للحفاظ على ثبات حجم صوتهم الداخلي، يصبحون موثوقين، متسقين، وأسرع بكثير في مساعدة النموذج الكبير على الكتابة.

باختصار: وجدت الورقة أن مسودات الذكاء الاصطناعي تتشتت بسبب عملها الخاص لأن "حجم صوتها" الداخلي يستمر في الارتفاع. إن خفض هذا الصوت باستخدام إصلاح هيكلي بسيط يجعلهم أفضل بكثير في أداء وظيفتهم.

ملخص تقني: انحراف الانتباه في فك التشفير الاستدلالي التكراري (Autoregressive Speculative Decoding)

بيان المشكلة

يعمل فك التشفير الاستدلالي (Speculative Decoding) على تسريع استنتاج النماذج اللغوية الكبيرة (LLMs) باستخدام نموذج "مسودة" (Drafter) خفيف الوزن للتنبؤ بالرموز (Tokens) المستقبلية، والتي يتم التحقق منها لاحقًا بواسطة نموذج "هدف" (Target) أكبر. ورغم فعاليته، إلا أن نماذج المسودة الحالية (تحديدًا EAGLE-3 ورؤوس التنبؤ متعددة الرموز - Multi-Token Prediction heads) تظهر هشاشة كبيرة تحت تأثير تغيرات النشر، مثل اضطرابات القوالب (Template Perturbations) والمدخلات ذات السياق الطويل. غالبًا ما يضطر الممارسون إلى إعادة تدريب نماذج المسودة لتناسب محركات استنتاج معينة أو مطالبات (Prompts) محددة للحفاظ على الأداء، مما يشير إلى وجود عدم استقرار بنيوي كامن.

تحدد الورقة ظاهرة لم تُبلغ من قبل تسمى انحراف الانتباه (Attention Drift). فبينما يقوم نموذج المسودة بتوليد تسلسل من الرموز الاستدلالية، تنزاح آلية الانتباه لديه تدريجيًا بعيدًا عن "بالوعة الانتباه" (Attention Sink) — وهي رمز مرساة مستقر، عادة ما يكون قريبًا من بداية المطالبة — وتتركز بشكل متزايد على الرموز التي تم توليدها مؤخرًا. ويرتبط هذا الانحراف بتدهور معدلات القبول، لا سيالما في سيناريوهات السياق الطويل وعندما تنحرف قوالب المدخلات عن توزيعات التدريب.

المنهجية والتحليل

يتقصى المؤلفون الأسباب الجذرية لانحراف الانتباه من خلال مزيج من الملاحظة التجريبية والتحليل البنيوي عبر عائلات متعددة من النماذج (Llama 3.1، Qwen 3/3.5، وGPT-oss).

1. الملاحظة الظواهرية

باستخدام خرائط حرارية للانتباه ومقاييس كمية، يثبت المؤلفون أن:

هجرة البالوعة (Sink Migration): في النماذج ذات بالوعات الانتباه القوية (مثل Llama وQwen)، يتضاءل انتباه المسودة لرمز البالوعة مع تعمق سلسلة الاستدلال، بينما يزداد الانتباه للرمز الذي تم توليده مؤخرًا.
الشمولية: لوحظ هذا الانحراف في كل من مسودات EAGLE-3 (التي تم تدريبها لاحقًا على أهداف مجمدة) ورؤوس MTP (التي تم تدريبها بشكل مشترك مع الهدف)، مما يشير إلى أنها خاصية للتصاميم التكرارية التي تستهلك مخرجاتها الخاصة.
غياب البالوعة: حتى في النماذج المصممة لقمع البالوعات (مثل GPT-oss باستخدام الانتباه المبوّب أو الانحيازات القابلة للتعلم)، يحدث شكل من أشكال الانحراف حيث يتركز الانتباه على رموز القوالب المتكررة بدلاً من بداية المطالبة.

2. تحليل السبب الجذري: مقدار الحالة المخفية (Hidden State Magnitude)

تتبع الورقة انحراف الانتباه إلى المسار المتبقي غير المعياري (Unnormalized Residual Path) بين خطوات الاستدلال في بنيات الـ pre-norm القياسية:

النمو الرتيب: في نماذج الـ transformer من نوع pre-norm، تراكم الاتصالات المتبقية (Residual Connections) المقدار دون معايرة. ويظهر المؤلفون أن مقدار الحالة المخفية للمسودة ( $\|h^*_k\|$ ) ينمو بشكل رتيب مع عمق الاستدلال ( $k$ ).
تراكم الطبقات مقابل التكرار: يتسبب هذا النمو في جعل المسودة تتصرف كأنها أقل من نموذج تكراري مستقل وأكثر كأنها سلسلة من طبقات الـ transformer الإضافية المكدسة فوق النموذج الهدف. عند الخطوة $k$ ، تقرب المسودة فعليًا النموذج الهدف عند العمق $N+k$ ، بدلًا من التنبؤ بالرمز التالي بناءً على توزيع مستقر.
المدخلات غير المتوازنة: غالبًا ما تهيمن الحالات المخفية المدمجة من النموذج الهدف ( $h_{FC}$ ) من قبل الطبقات الأعمق ذات المقادير الأكبر، مما يؤدي إلى تفاقم عدم التوازن في الحجم عند تغذيتها في المسودة.

3. التدخلات المقترحة

لمواجهة تراكم المقدار واستقرار عملية المسودة، يقترح المؤلفون تعديلين بنيويين:

استخدام الـ Post-Norm على حالات المسودة المخفية: تطبيق RMSNorm على الحالات المخفية للمسودة بعد الاتصال المتبقي (بين خطوات الاستدلال) يمنع النمو الرتيب للمقدار. هذا يجبر المسودة على تعلم قاعدة تكرارية ثابتة العمق بدلاً من تحسينات مرتبطة بالعمق.
استخدام Per-Hidden-State RMSNorm: إضافة طبقات RMSNorm قبل دمج الحالات المخفية للهدف ( $h_{low}, h_{mid}, h_{high}$ ) في مدخلات المسودة لموازنة مقدار الإشارة الواردة.

كما قيم المؤلفون الانتباه المبوّب (Gated Attention) (الذي يقمع الاعتماد على بالوعة ثابتة) كتدخل منفصل. ووجدوا أنه بينما يلغي التبويب البالوعة، فإنه لا يمنع نمو المقدار، كما أن الجمع بين التبويب والـ post-norm قد يؤدي إلى "انهيار الإنتروبيا" (Entropy Collapse) بسبب الإفراط في التنظيم.

النتائج الرئيسية

تم تقييم بنية الـ post-norm المقترحة مقابل EAGLE-3 (التي تعتمد على pre-norm) وهي الحالة الأحدث حاليًا، عبر اختبارات وظروف متنوعة:

اضطراب القوالب: تحت تأثير اضطرابات القوالب (مثل إزالة قوالب الدردشة أو رموز بداية التسلسل)، حسنت مسودة الـ post-norm طول القبول بمقدار يصل إلى 2× مقارنة بـ pre-norm. عانت نماذج pre-norm من انخفاض كارثي (خسارة تصل إلى 52%)، بينما ظلت نماذج post-norm صامدة (أقصى خسارة 5%).
مهام السياق الطويل: في مهام السياق الطويل (LongBench، والدردشة متعددة الجولات مع نافذة الانتباه المنزلقة)، حسنت post-norm طول القبول بمقدار 1.18×. وفي إعدادات السياق الطويل ذات الانتباه الكامل، انهارت نماذج pre-norm إلى قبول يقترب من الصفر، بينما حافظت post-norm على أداء قابل للاستخدام.
الاختبارات القياسية: عبر سبعة اختبارات قياسية (الدردشة متعددة الجولات، الرياضيات، البرمجة)، أظهرت post-norm تحسنًا ثابتًا بنسبة 1.10× في طول القبول.
كفاءة التدريب: تتميز مسودات post-nom بقدرتها على التعميم على أعماق استدلال تتجاوز أفق التدريب الخاص بها. وهذا يسمح بالتدريب بأعماق "وقت التدريب-وقت الاختبار" (TTT) أقصر (على سبيل المثال، تقليلها من 8 إلى 4 خطوات)، مما يقلل وقت التدريب بنحو الثلث دون التضحية بالأداء.
المتانة ضد الضجيج: تتحمل بنيات post-norm ضجيجًا أكبر بكثير في الحالات المخفية (احتفاظ بنسبة 58% من القبول عند مستوى ضجيج $\alpha=0.5$ مقابل 5% لـ pre-norm)، مما يشير إلى متانة أفضل تجاه التكميم (Quantization) وتحولات التوزيع.

الأهمية والادعاءات

تدعي الورقة أن انحراف الانتباه هو وضع فشل حرج لم يُبلغ عنه سابقًا في فك التشفير الاستدلالي، وينتج عن التفاعل بين المسارات المتبقية غير المعايرة والتغذية الراجعة الذاتية التكرارية.

التشخيص: يجادل المؤلفون بأن انحراف الانتباه هو عرض لمشكلة أعمق: تراكم مقدار الحالة المخفية، مما يجعل المسودة تتعلم تحويلات تعتمد على العمق بدلاً من التنبؤ المستقر بالرموز.
الحل: يؤكدون أن مجرد إصلاح بالوعة الانتباه (مثل التبويب) ليس كافيًا؛ بل يجب معالجة ديناميكيات المقدار الأساسية. وتُقدم بنية post-norm كحل بسيط وفعال يعمل على استقرار عملية المسودة.
التعميم: تشير النتائج إلى أن post-norm يجب أن تُعتبر خيارًا بنيويًا افتراضيًا لمسودات فك التشفير الاستدلالي، خاصة للأنظمة الإنتاجية التي تتطلب متانة ضد المتغيرات المختلفة والسياقات الطويلة.

تخلص الورقة إلى أن تسمية وتوصيف "انحراف الانتباه" يوفر أداة تشخيصية مفيدة لمتانة المسودة، وأن التدخلات البنيوية التي تستهدف تراكم المقدار ضرورية لضمان موثوقية فك التشفير الاستدلالي.