💬 NLP

Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation

تقدم هذه الورقة آلية الانتباه البايزي (BAM)، وهي إطار عمل احتمالي يوحد طرق الترميز الموضعي الحالية ويقترح توزيع غاوسي معمم (Generalized Gaussian prior) لتحقيق أداء فائق في تعميم السياق الطويل، مما يتيح استرجاع المعلومات بدقة عند 500 ضعف طول سياق التدريب مع حد أدنى من الزيادة في عدد المعلمات.

المؤلفون الأصليون: Arthur S. Bianchessi, Yasmin C. Aguirre, Rodrigo C. Barros, Lucas S. Kupssinskü

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Arthur S. Bianchessi, Yasmin C. Aguirre, Rodrigo C. Barros, Lucas S. Kupssinskü

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة من نوع "ترانسفورمر" (المحرك الذي يقف وراء روبوتات الدردشة الذكية الحديثة) كأنه أمين مكتبة فائق الذكاء يحاول قراءة كتاب ضخم. أمين المكتبة هذا بارع للغاية في فهم معاني الكلمات، لكن لديه مشكلة غريبة: ليس لديه أي إحساس بالترتيب. إذا أعطيته جملة مثل "القط جلس على الحصيرة"، فلن يستطيع معرفة ما إذا كانت كلمة "القط" جاءت قبل "جلس" أم بعدها، لأن الكلمات تبدو له متشابهة بغض النظر عن مكان جلوسها.

ولإصلاح ذلك، نمنح أمين المكتبة عادةً ما يسمى "التشفير الموضعي" (Positional Encoding - PE). فكر في هذا الأمر كأنه بطاقة اسم صغيرة غير مرئية أو ملصق ملون على كل كلمة يقول: "أنا الكلمة الأولى"، "أنا الكلمة الثانية"، وهكذا. هذا يساعد أمين المكتبة على فهم تدفق القصة.

ومع ذلك، فإن معظم أنظمة "الملصقات" هذه بها عيب: فهي تعمل بشكل رائع في القصص القصيرة، لكنها تنهار عندما يصبح الكتاب طويلاً حقاً (مثل رواية مكونة من 100,000 صفحة). يبدأ أمين المكتبة في تجاهل بداية الكتاب لأن الملصقات تصبح مربكة للغاية أو تتلاشى.

الفكرة الجديدة: "آلية الانتباه البايزي" (BAM)

يقترح مؤلفو هذه الورقة البحثية طريقة جديدة للتفكير في هذه الملصقات، والتي يسمونها BAM. بدلاً من مجرد لصق ملصق ثابت على الكلمة، تعامل BAM موقع الكلمة كأنه تخمين احتمالي.

إليك التشبيه:
تخيل أن أمين المكتبة يحاول العثور على معلومة محددة (مفتاح مرور) مخبأة في مكان ما داخل وثيقة طويلة.

الطريقة القديمة (مثل ALiBi): يفترض أمين المكتبة أن الإجابة هي الأرجح أن تكون بجوار الكلمة الحالية مباشرة، وكلما ابتعدت المسافة، قل احتمال وجود الإجابة. الأمر يشبه البحث عن مفتاح مفقود في منزلك؛ تفحص جيوبك أولاً، ثم الطاولة، وتتوقف عن البحث في المرآب لأن المكان "بعيد جداً".
طريقة BAM: يستخدم أمل المكتبة "اعتقاداً مسبقاً" (خريطة احتمالية) حول مكان وجود الإجابة المحتمل. هذه الخريطة ليست ثابتة؛ بل هي قاعدة مرنة يمكن ضبطها.

السر الكامن: خريطة "غاوس المعممة" (Generalized Gaussian)

قدمت الورقة نوعاً معيناً من خرائط الاحتمالات يسمى "الاحتمال الغاوسي المعمم" (Generalized Gaussian Prior). فكر في هذه الخريطة كأنها تضاريس بها تلال ووديان تمثل مدى احتمالية بحث أمين المكتبة عن كلمة معينة.

"التل المحلي": يمكن أن تحتوي الخريطة على تل شديد الانحدار بجوار الكلمة الحالية مباشرة. هذا يساعد أمين المكتبة على فهم السياق المباشر (مثل القواعد وبنية الجملة).
"ذيل المسافات الطويلة": هنا يكم ت السحر. وجد المؤلفون أنه من خلال ضبط مقبض معين (يسمى $\beta$ )، يمكنهم تغيير شكل الخريطة.
- إذا أداروا المقبض في اتجاه واحد، فإن أمين المكتبة يتجاهل الأجزاء البعيدة من الكتاب (مثل الطرق القديمة).
- إذا أداروا المقبض في الاتجاه الآخر (تحديداً بضبطه على رقم سالب)، فإن أمين المكتبة يتوقف عن النظر إلى الجيران المباشرين ويبدأ في التركيز بشدة على الكلمات التي تبعد مسافة بعيدة جداً.

ماذا حققوا بالفعل؟

لا تدعي الورقة البحثية أن هذا سيشفي الأمراض أو يكتب لك روايات بعد؛ فقد اختبروا الأمر في مهام محددة للغاية وخاضعة للتحكم:

اختبار "إبرة في كومة قش": قاموا بإخفاء رقم مكون من 5 أرقام (مفتاح مرور) في عمق نص يبلغ طوله آلاف الكلمات.
- النتيجة: بينما استسلمت الطرق الأخرى (مثل RoPE أو ALiBi) وخمنت بشكل عشوائي عندما أصبح النص طويلاً جداً، استطاع نموذج BAM لاحقاً العثور على الرقم بدقة، حتى عندما كان النص أطول بـ 500 مرة مما تدرب عليه النموذج.
اختبار "الارتباك" (Perplexity): يقيس هذا الاختبار مدى قدرة النموذج على التنبؤ بالكلمة التالية في الجملة.
- النتيجة: كان BAM جيداً في التنبؤ بالكلمات تماماً مثل أفضل الطرق الموجودة، مما يعني أنه لم يضحِّ بمهارات اللغة العامة في سبيل اكتساب هذه القوة الخارقة للمسافات الطويلة.

التكلفة "غير المرئية"

أحد أروع أجزاء اكتشافهم هو مدى رخص ثمن إضافته.

لقد أضافوا أقل من 1,000 معلمة جديدة (bits صغيرة من الذاكرة) إلى نموذج يمتلك بالفعل 120 مليون معلمة.
هذا يشبه إضافة حبة رمل واحدة إلى شاطئ، وفجأة يصبح الشاطل بأكمله قادراً على رؤية الأفق.
لم يؤدِ ذلك إلى إبطاء النموذج أو زيادة استهلاك قوة الكمبيوتر.

ملخص باللغة البسيطة

بنى المؤلفون نظام "ملصقات موضعية" جديد للذكاء الاصطنا Artificial Intelligence. بدلاً من افتراض أن الإجابة ستكون دائماً قريبة، منحوا الذكاء الاصطناعي كتاب قواعد مرناً يسمح له بتجاهل المحيط المباشر والتركيز على المعلومات المدفونة في الماضي البعيد.

لقد أثبتوا رياضياً أن هذا يعمل، وأظهروا في التجارب أن ذكاءهم الاصطناعي يمكنه العثور على إبرة في كومة قش مكونة من 500,000 كلمة، بينما يضيع الذكاء الاصطناعي الآخر بعد بضعة آلاف من الكلمات فقط. لم يختبروا ذلك على وثائق طبية أو قانونية حقيقية، لكنهم أظهروا أن الآلية لإيجاد المعلومات بعيدة المدى أصبحت الآن أقوى وأكثر موثوقية.

ملخص تقني: آلية الانتباه البايزي (BAM)

بيان المشكلة

تعتمد النماذج اللغوية القائمة على المحولات (Transformers) على الترميز الموضعي (Positional Encoding - PE) للتعامل مع ترتيب الرموز، ومع ذلك تواجه الأساليب الحالية قصورين حرجين فيما يتعلق بالقدرة على تعميم طول السياق (القدرة على التعميم إلى تسلسلات أطول مما تمت رؤيته أثناء التدريب):

الغموض النظري: تعتمد العديد من تقنيات الترميز الموضعي (مثل Sinusoidal وRoPE وALiBi وNoPE) على الدوافع التجريبية مع أسس نظرية محدودة، مما يجعل سلوكها أثناء عملية التعميم غير مفهوم بشكل جيد.
التقييم غير الكافي: إن الاعتماد على "الارتباك" (Perplexity) كمقياس أساسي هو أمر غير كافٍ. إذ يمكن للنماذج تحقيق ارتباك منخفض من خلال أنماط انتباه محلية (التركيز فقط على الرموز الحديثة) دون دمج المعلومات بعيدة المدى حقًا، وهو عيب سلط الضوء عليه التقييم عبر النوافذ المنزلقة (sliding-window evaluations).

المنهجية: آلية الانتباه البايزي (BAM)

يقترح المؤلفون آلية الانتباه البايزي (BAM)، وهي إطار نظري يعيد صياغة الانتباه الذاتي كقيمة متوقعة (expectation) فوق قيم محسوبة تحت نموذج احتمالي مشترك لمحتوى الرمز وموقعه.

الإطار النظري

صياغة الاحتمال المشترك: في آلية BAM، يتم تعريف وزن الانتباه $p_{ij}$ (احتمال انتباه الرمز $j$ إلى الرمز $i$ ) كتوزيع احتمالي مشترك:
$p_{ij} = p(f_{cont}(q_i, k_j) | g_{pos}(i, j)) \times p(g_{pos}(i, j))$
هنا، تمثل $f_{cont}$ تشابه المحتوى، وتمثل $g_{pos}$ العلاقة الموضعية.
الترميز الموضعي كتوزيعات سابقة (Priors): يفترض الإطار أن استراتيجيات الترميز الموضعي تقابل توزيعات سابقة محددة $p(g_{pos}(i, j))$ $p (g_{p os} (i, j))$ على مواضع الرموز.
- NoPE مشتق كـ توزيع سابق منتظم (مقيد بالقناع السببي).
- ALiBi مشتق كحاصل ضرب توزيع سابق منتظم وتوزيع لابلاس (اضمحلال أسي بناءً على المسافة).
المقياس المعياري ( $Z$ ): يقدم الاشتقاق قياسًا $Z$ يعمل على توحيد حاصل ضرب احتمالات المحتوى والموقع، وهو ما يمثل طاقة التفاعل الحرة (interaction free-energy) أو اقتران المعلومات بين المحتوى والموقع.

الحل المقترح: GGD-BAM

بالاستفادة من هذا الإطار، يقترح المؤلفون GGD-BAM، الذي يستخدم توزيع غاوس المعمم (GGD) كـتوزيع سابق موضعي. تُعرف مصفوفة الانحياز $B$ المضافة إلى درجات الانتباه كالتالي:
$b_{ij} = -\left| \frac{j - i - \mu}{\alpha} \right|^\beta$
حيث $\mu$ و $\alpha$ و $\beta$ هي معاملات قابلة للتعلم (أو ثابتة لسلوكيات محددة).

$\beta \in (0, 1)$ : ينتج توزيعًا ذو ذيل ثقيل (heavy-tailed) يتلاشى ببطء أكثر من توزيع لابلاس (ALiBi)، مما يسمح للانتباه بالامتداد لمسافات أبعد من ALiBi مع الحفاظ على المحلية.
$\beta < 0$ : هو استرخاء مبتكر لتعريف GGD القياسي. يخلق هذا "توزيعًا سابقًا مقلوبًا" حيث يتم كبح الكتلة الاحتمالية بالقرب من رمز الاستعلام وتركيزها عند الطرف البعيد من نافذة السياق. نظريًا، يسمح هذا للنموذج بتجاهل السياق المحلي والتركيز على التبعيات طويلة المدى بشكل تعسفي.
الـ Softmax القابل للتوسع (SSMax): يشير المؤلفون إلى أن BAM عرضة لـ "تلاشي الانتباه" (التوزيع المنتظم مع نمو السياق). لذا قاموا بدمج BAM مع SSMax، الذي يعيد تحجيم الدرجات (logits) ديناميكيًا، للحفاظ على حدة التوزيع.

المساهمات الرئيسية

إطار نظري موحد: توفر BAM توحيدًا احتماليًا لطرق الترميز الموضي الموجودة، حيث تربط صراحةً بين NoPE وALiBi وبين التوزيعات المنتظمة وتوزيعات لابلاس على التوالي.
توزيع غاوس المعمم كـتوزيع سابق: يقدم اقتراح GGD-BAM عائلة مرنة من التوزيعات السابقة الموضعية. من خلال تعلم معامل الشكل $\beta$ ، يمكن للنموذج التبديل تكيفيًا بين أنماط الانتباه المحلي وأنماط استرجاع المدى الطويل.
أعباء إضافية ضئيلة: يقدم الأسلوب أقل من 1,000 معلمة إضافية قابلة للتعلم (تحديدًا 384 لنموذج بـ 120 مليون معلمة) عن طريق تعلم $\theta_\alpha$ و $\theta_\beta$ لكل رأس انتباه، مع تثبيت $\theta_\mu = 0$ .
القابلية للتفسير: يوفر الإطار طريقة منهجية لتصور وتفسير أنماط الانتباه كتوزيعات احتمالية صريحة على المواضع.

النتائج التجريبية

أُجريت التجارب على نماذج تتراوح أحجامها بين 120 مليون و1.1 مليار معلمة، تم تدريبها على FineWeb 10B بطول سياق قدره 512 رمزًا.

استرجاع المفتاح (Passkey Retrieval): حققت GGD-BAM (تحديدًا مع SSMax) دقة مثالية في استرجاع رمز محدد من تسلسلات تصل إلى 32,000 رمز (64 ضعف طول التدريب) وحافظت على دقة تزيد عن 80% حتى 512,000 رمز (1000 ضعف طول التدريب). في المقابل، تدهورت النماذج المرجعية مثل RoPE وSinusoidal وNoPE إلى دقة تقارب العشوائية بعد أفق التدريب الخاص بها. أظهرت ALiBi تعميمًا أفضل في الارتباك (perplexity) ولكنها فشلت بشكل كبير في مهام الاسترجاع عند الأطوال القصوى.
اختبار RULER (NIAH): تفوقت GGD-BAM على جميع النماذج المرجعية (بما في ذلك RoPE وALiBi) في مجموعة "الإبرة في كومة القش" (Needle In A Haystack)، حيث كانت الطريقة الوحية التي حافظت على دقة عالية بما يتجاوز 6,000 رمز في مهمة Single 1.
الارتباك (Perplexity): حافظت GGD-BAM على ارتباك مماثل لـ ALiBi وRoPE في السياقات الطويلة، مما يثبت أن تحسين الاسترجاع لا يأتي على حساب طلاقة النمذجة اللغوية.
المهام النهائية (Downstream Tasks): في اختبارات MMLU وARC، تفوق أداء BAM SSMax على RoPE SSMax.
تصور الانتباه: أكدت التصورات أن الرؤوس ذات $\beta \le 0$ قامت بكبح السياق المحلي بفعالية وركزت على الرموز البعيدة (المفتاح)، بينما حافظت الرؤوس ذات $\beta \in (0, 1)$ على انتباه ذي ذيل طويل.

الأهمية والادعاءات

يزعم البحث أن BAM تخدم غرضًا مزدوجًا:

نظريًا: توفر أساسًا احتماليًا صارمًا للترميز الموضعي، مما يوضح سبب عمل بعض الطرق (مثل ALiBi) في تقليل الارتباك ولكن فشلها في الاسترجاع (بسبب طبيعتها المحلية).
عمليًا: توفر طريقة عالية الكفاءة لتعميم طول السياق. من خلال السماح لرؤوس الانتباه بتعلم قيم $\beta$ سالبة، يمكن للنموذج كبح المحلية صراحةً لاسترجاع المعلومات من سياقات طويلة للغاية دون الحاجة إلى التعرض المباشر لهذه الأطوال أثناء التدريب.

يؤكد المؤلفون أنه بينما يعد الارتباك مقياسًا قياسيًا، فإنه غير كافٍ لتقييم قدرات السياق الطويل الحقيقية؛ إذ تعد مهام الاسترجاع ضرورية للتحقق مما إذا كانت النماذج تنتبه بالفعل إلى المعلومات البعيدة أم أنها تعتمد فقط على الأنماط المحلية. يشير العمل إلى أن القدرة على نمذجة التوزيعات السابقة الموضعية صراحةً تعد انحيازًا استقرائيًا (inductive bias) حاسمًا للجيل القادم من نماذج Transformers ذات السياق الطويل.