🤖 machine learning

A Structural Theory of Position Bias in Transformers

تقترح هذه الورقة نظرية هيكلية تُظهر أن ظاهرة "الضياع في المنتصف" في نماذج المحولات السببية تنشأ من التفاعل بين القناع السببي والاتصالات المتبقية، مما يستحث ملفات تأثير على شكل حرف U تفسر الانحياز المنهجي للمواقع.

المؤلفون الأصليون: Hanna Herasimchyk, Robin Labryga, Tomislav Prusina, Sören Laue

نُشر 2026-05-28

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Hanna Herasimchyk, Robin Labryga, Tomislav Prusina, Sören Laue

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: لماذا "تضيع" نماذج الترانسفورمر في المنتصف؟

تخيل أنك تقرأ قصة طويلة لصديق لك. تلاحظ نمطًا غريبًا: صديقك يتذكر الجملة الأولى بدقة متناهية، ويتذكر الجملة الأخيرة بدقة متناهية، لكنه ينسى تمامًا منتصف القصة.

هذا هو بالضبط ما يحدث في نماذج الذكاء الاصطني\ الحديثة (الترانسفورمر - Transformers). فهي تعاني من ظاهرة تُسمى "الضياع في المنتصف" (Lost-in-the-Middle). فهي بارعة في البداية (انحياز الأولوية - primacy bias) وفي النهاية (انحياز الحداثة - recency bias)، لكنها تتجاهل المعلومات الموجودة في الوسط.

لفترة طويلة، اعتقد العلماء أن هذا بسبب عدم "فهم" الذكاء الاصطناعي لمعاني كلمات المنتصف. لكن هذه الورقة البحثية تجادل بشيء مختلف: المشكلة ليست في "عقل" الذكاء الاصطناعي؛ بل في "هيكله العظمي". هذا الانحياز مبني في صلب بنية النموذج، مثل خلل في المخطط الهندسي لمبنى.

الفكرة الجوهرية: مصعد "المتبقي" (The Residual Elevator)

لفهم سبب حدوث ذلك، نحتاج إلى النظر في كيفية انتقال المعلومات عبر طبقات الذكاء الاصطناعي. فكر في "الترانسفورمر" كمبنى متعدد الطوابق يتكون من 30 إلى 70 طابقًا. كل طابق هو "طبقة" تعالج النص.

1. النظرية القديمة (مصعد "الانتباه فقط")

اقترحت الأبحاث السابقة أنه إذا كان لديك "الانتباه" (Attention) فقط (وهي الآلية التي ينظر من خلالها الذكاء الاصطناعي إلى الكلمات السابقة)، فإن المعلومات ستتصرف مثل كرة تتدحرج على منحدر. وبسبب قواعد اللعبة (القناع السببي/causal masking، مما يعني أنه يمكنك فقط النظر للخلف في الزمن)، ستتدحرج الكرة حتمًا لتصل إلى الطابق السفلي وتستقر عند الكلمة الأولى تمامًا.

لو كان هذا صحيحًا، لكان الذكاء الاصطناعي يهتم بالكلمة الأولى فقط وينسى كل شيء آخر. لكن في الواقع، نماذج الذكاء الاصطناعي الحديثة لا تفعل ذلك؛ فهي تتذكر الكلمة الأخيرة أيضًا. لذا، كانت النظرية القديمة تفتقد قطعة مفقودة من اللغز.

2. القطعة المفقودة: مصعد "المتبقي" (The Residual Elevator)

أدرك المؤلفون أن نماذج "الترانسفورمر" الحقيقية تحتوي على اتصالات متبقية (residual connections). تخيل أنه بين كل طابق وطابق في المبنى، يوجد مصعد سريع (الاتصال المتبقي) يسمح للمعلومات بتجاوز غرفة المعالجة والانتقال مباشرة إلى الطابق التالي.

مسار الانتباه (The Attention Path): المسار "البطيء" حيث ينظر الذكاء الاصطناعي إلى الكلمات السابقة.
المسار المتبقي (The Residual Path): المسار "السريع" حيث تستمر الكلمة الحالية في التحرك للأمام دون تغيير.

تثبت الورقة أن التفاعل بين هذين المسارين هو ما يخلق هذا الانحياز.

القوى الأربع التي تشكل الانحياز

حدد المؤلفون أربع "قوى معمارية" تدفع المعلومات حول داخل النموذج، مما يخلق ذلك المنحنى الذي يشبه حرف (U) (مرتفع في البداية، منخفض في المنتصف، ومرتفع في النهاية).

القناع السببي (الشارع ذو الاتجاه الواحد):
- التشبيه: تخيل صفًا من الناس يمررون ورقة. يمكنك فقط تمرير الورقة للشخص الذي خلفك، ولا يمكنك أبدًا تمريرها لمن أمامك.
- الأثر: هذا يخلق انحياز الأولوية (Primal Bias). لأن الكلمة الأولى هي الوحيدة التي يمكن للجميع رؤيتها، فإن مسار "الانتباه" ينجذب طبيعيًا نحو بداية النص.
الاتصالات المتبقية (تدفق الهوية):
- التشبيه: تخيل أن الشخص الذي يحمل الورقة لديه أيضًا نسخة من الورقة في جيبه يحملها معه طوال الطريق إلى النهاية دون أن يقرأها.
- الأثر: هذا يخلق انحياز الحداثة (Recency Bias). ولأن المعلومات من الكلمة الحالية تنتقل مباشرة إلى النهاية عبر "الجيب" (الاتصال المتبقي)، فإن النموذج يتذكر الكلمات الأخيرة جيدًا جدًا.
الترميز الموضعي (أرقام المقاعد):
- التشبيه: يُقال للذكاء الاصطناعي: "أنت تجلس في المقعد رقم 50". بعض أرقام المقاعد (مثل ALiBi) مصممة لجعل الذكاء الاصطناعي ينتبه أكثر للأشخاص الجالسين في الخلف (الكلمات الحديثة).
- الأثر: هذا يعزز انحياز الحداثة، مما يدفع التركيز أكثر نحو نهاية النص.
مساهمات المحتوى (تحول الموضوع):
- التشبيه: أحيانًا، الكلمات نفسها تهم. إذا كانت الكلمة مهمة جدًا، فقد تجذب الانتباه.
- الأثر: وجد المؤلفون أن المحتوى يعمل عادةً كدفعة خفيفة. يمكنه إزاحة التركيز قليلاً، لكنه لا يغير شكل حرف (U) الأساسي الذي تفرضه البنية.

النتيجة: التأثير على شكل حرف "U"

عندما تجمع هذه القوى معًا، تحصل على نمط محدد:

البداية: تأثير عالٍ بسبب "الشارع ذو الاتجاه الواحد" (القناع السببي).
النهاية: تأثير عالٍ بسبب "الجيب" (الاتصالات المتبقية) وأرقام المقاعد.
المنتصف: تأثير منخفض. "الشارع ذو الاتجاه الواحد" يدفع التركيز بعيدًا عن المنتصف، و"الجيب" لم يلتقط كلمات المنتصف بعد لأنها بعيدة جدًا في الخلف.

ظاهرة "الضياع في المنتصف" هي ببساطة المساحة الفارغة في منتصف هذا المنحنى (U). إنها ليست خطأً في التدريب، بل هي سمة هيكلية في تصميم المبنى.

ماذا يحدث إذا أصبح المبنى لانهائيًا؟

نظرت الورقة أيضًا فيما يحدث إذا كان للمبنى عدد لا نهائي من الطوابق (عمق لانهائي).

بدون المصعد (بدون الـ Residuals): قالت النظرية القديمة إن المعلومات ستنهار تمامًا على الكلمة الأولى. وسينسى الذكاء الاصطناعي كل شيء آخر.
مع وجود المصعد (وجود الـ Residuals): أثبت المؤلفون أنه طالما أن "المصعد" (الاتصال المتبقي) قوي بما يكفي، فإن المعلومات لا تنهار. يمكن للنموذج الحفاظ على حيوية المعلومات في نهاية النص، حتى في نموذج ذي عمق لانهائي.

الإثبات: هل تطابق النظرية الواقع؟

لم يكتفِ المؤلفون بالرياضيات فقط؛ بل اختبروا ذلك على نماذج ذكاء اصطناعي حقيقية مدربة مسبقًا (مثل BLOOM و Falcon).

قاموا بقياس مدى تأثير كل كلمة على الإجابة النهائية.
بنوا نموذجًا رياضيًا بسيطًا يعتمد فقط على البنية المعمارية (متجاهلين معنى الكلمات).
النتيجة: تنبأ النموذج المعماري البسيط بنفس المنحنى الذي يشبه حرف (U) الذي أظهره الذكاء الاصطناعي المعقد والحقيقي.

هذا يؤكد أن الانحياز هو انحياز هيكلي. لست بحاجة لفهم معنى النص لترى هذا الانحياز؛ فهو محفور في الكود البرمجي.

الملخص

المشكلة: نماذج الذكاء الاصطناي تتجاهل منتصف النصوص الطويلة.
السبب: ليس لأنها "غبية" أو غير مدربة جيدًا؛ بل بسبب طريقة بنائها. إن الجمع بين "النظر للخلف" (الانتباه) و"الحمل للأمام" (المتبقي) يخلق طبيعيًا تركيزًا على شكل حرف (U).
الخلاصة: لعلاج مشكلة "الضياء في المنتصف"، لا يمكننا مجرد تدريب النموذج بشكل أفضل. نحن بحاجة على الأرج_ح لتغيير البنية المعمارية نفسها (المخطط الهندسي) لموازنة شكل حرف (U).

ملخص تقني: نظرية بنيوية لانحياز الموضع في نماذج المحولات (Transformers)

بيان المشكلة

تُظهر نماذج المحولات (Transformers) انحيازات منهجية في تحديد المواضع، بما في ذلك انحياز الأولوية (تفضيل الرموز الأولى)، وانحياز الحداثة (تفضيل الرموز الحديثة)، وظاهرة "الضياع في المنتصف" (Lost-in-the-Middle)، حيث يتم استغلال المعلومات في منتصف السياقات الطويلة بشكل غير كافٍ. وبينما تشير الأدلة التجريبية إلى أن هذه الانحيازات هي بنيوية وليست دلالية، إلا أن الأصول النظرية تظل غير مفهومة بشكل جيد.

هناك فجوة حرجة بين التحليلات النظرية الحالية وسلوك المحولات العملي. فقد أظهر عمل حديث لـ وو وآخرون [2025] أنه في نماذج المحولات السببية المعتمدة على "الانتباه فقط" (attention-only)، يجب أن ينهار الانتباه التراكمي على الرمز الأول مع زيادة العمق. ومع ذلك، فإن هذا التنبؤ يتناقض مع الملاحظات التجريبية في النماذج العميقة والحديثة، والتي لا تُظهر مثل هذا الانهيار. ويعزو البحث هذا التباين إلى إغفال الروابط المتبقية (residual connections) في الأطر النظرية السابقة، رغم دورها المركزي في البنى الفعلية.

المنهجية

يطور المؤلفون نظرية بنيوية لانحياز الموضع بناءً على التدفق التراكمي للانتباه المدرك للروابط المتبقية (residual-aware cumulative attention rollout). يحلل الإطار انتشار المعلومات عبر الطبقات بشكل مستقل عن أهداف التدريب، أو البيانات، أو ديناميكيات التحسين.

الإطار الجوهري

الانتقال المدرك للروابط المتبقية: على عكس النماذج السابقة التي تعامل الروابط المتبقية كتركيبات محدبة ثابتة (مثل $0.5I + 0.5A$ )، ينمذج المؤلفون الروابط المتبقية كتقريبات زمنية مستمرة. حيث يعرّفون معامل خلط $\lambda_t(x)$ يعتمد على الطبقة والمدخلات، ويمثل القوة النسبية لتحديث الانتباه مقابل مسار الهوية:
$\lambda_t(x) := \frac{\| \text{Attn}(X^{(t-1)}) \|}{\| X^{(t-1)} \| + \| \text{Attn}(X^{(t-1)}) \|}$
وتُعرف مصفوفة الانتقال بـ $R^{(t)} = (1 - \lambda_t)I + \lambda_t A^{(t)}$ ، حيث $A^{(t)}$ هو نواة الانتباه المتوسطة للبيانات.
التدفق التراكمي (Cumulative Rollout): يتم التقاط انتشار المعلومات إلى العمق $T$ عبر مصفوفة التدفق $P^{(T)} = R^{(T)} \cdots R^{(1)}$ . ويحدد توزيع الصف الأخير، $p^{(T)}(j)$ ، التأثير التراكمي للرمز المدخل $j$ على المخرج النهائي.
أربع قوى بنيوية: يعزل تحليل العمق المحدود أربع قوى تشكل توزيع التدفق تحت فرضية "نواة الانتباه الرتيبة عشوائياً":
- القناع السببي (Causal Masking): يؤدي إلى انزياح الأولوية (انتقال الكتلة نحو المواضع المبكرة).
- الروابط المتبقية (Residual Connections): تؤدي إلى انزياح الحداثة (انتقال الكتلة نحو المواضع الحديثة) من خلال الحفاظ على مسارات الهوية.
- ترميزات الموضع (Positional Encodings): الانحيازات التي تفضل المفاتيح الحديثة (مثل ALiBi) تتراكم لتسبب انزياح الحداثة.
- مساهمات المحتوى (Content Contributions): تُنمذج كخلفية ثابتة بالإضافة إلى حد الانتباه الذاتي القطري، وهي تعمل على تعديل الانزياح (المحتوى القطري الإيجابي يزيد من الحداثة؛ والسالب يزيد من الأولوية).
تحليل العمق اللانهائي: يوسع المؤلفون التحليل ليشمل حد العمق اللانهائي، مؤسسين ثنائية تعتمد على قابلية جمع معاملات الخلط $\sum \lambda_t$ .

المساهمات الرئيسية

1. تدفق الانتباه المدرك للروابط المتبقية

يقدم البحث صياغة تنمذج الروابط المتبسبة صراحةً كمسارات هوية مستمرة. وهذا يتماشى مع نموذج انتشار المعلومات مع بنى المحولات الحديثة، متجاوزاً افتراض "الانتباه فقط" المقيد.

2. الأصل البنيوي لانحياز الموضع

يثبت المؤلفون أن بنية المحول وحدها تفرض ملفات تأثير على شكل حرف U واسعة النطاق. إن التفاعل بين القناع السببي (الأولوية) والروابط المتبقية (الحداثة) يخلق أولوية بنيوية حيث تتلقى كل من الرموز المبكرة والحديثة تأثيراً مرتفعاً مقارنة بالمواضع المتوسطة. وهذا يوفر تفسيراً نظرياً لظاهرة "الضياع في المنتصف" حتى في غياب المحتوى الدلالي.

3. حل التناقض في انهيار الانتباه

يعالج البحث التناقض بين عمل وو وآخرون [2025] والواقع التجريبي. حيث يوضح أن انهيار الانتباه ليس حتمياً تحت القناع السببي وحده، بل يعتمد الانهيار على قوة خلط الانتباه التراكمية ( $\sum \lambda_t$ ):

الخلط الإجمالي المحدود ( $\sum \lambda_t < \infty$ ): لا ينهار الانتباه إلى الرمز الأول؛ وتظل المدخلات القطرية لمصفوفة التدفق موجبة تماماً.
الخلط الإجمالي اللانهائي ( $\sum \lambda_t = \infty$ ): يحدث الانهيار، وتتركز كتلة الانتباه على الرمز الأول.

4. التحقق التجريبي

تم التحقق من صحة النظرية مقابل تأثير الرموز المدخلة المقاس في نماذج اللغة سابقة التدريب (BLOOM, MPT, Falcon).

التدفق المتحكم فيه: تُظهر المحاكاة أن تدفق "الانتباه فقط" ينهار إلى الرمز الأول، بينما ينتج تدفق "الانتقال المدرك للروابط المتبقية" ملف تعريف على شكل حرف U كما هو ملاحظ.
المطابقة الكمية: تتطابق ملفات التأثير المتوقعة من النموذج المدرك للروابط المتبسبة بشكل وثيق مع التوزيعات المقدرة تجريبياً (المقاسة عبر الاستدلال القائم على التدرج)، مع مسافات "واسرستاين" (Wasserstein distances) أقل بكثير مقارنة بنماذج "الانتباه فقط".

النتالئج

العمق المحدود: يؤدي الجمع بين القناع السببي والروابط المتبسبة إلى ملف تأثير على شكل حرف U. هذا الملف قوي عبر مختلف النماذج والبيانات.
العمق اللانهائي: يثبت التحليل النظري أن الروابط المتبسبة تغير جذرياً ديناميكيات الانتباه العميقة. الانهيار مشروط بتراكم قوة الخلط، وليس مجرد وجود القناع السببي.
المطابقة التجريبية:
- في نماذج مثل bloom-176b و mpt-7b ، يعيد التدفق النظري (بدون محتوى) إنتاج الهيكل المهيمن على شكل حرف U للمحتوى المقاس.
- إضافة تجريد محتوى خشن (ثابت + قطري) يعمل على تحسين المطابقة، مما ينقل الكتلة نحو المواضع الحديثة ويتماشى بدقة مع البيانات التجريبية.
- فشل متغير "الانتباه فقط" في إعادة إنتاج الملفات التجريبية، مما يؤكد ضرورة نمذجة الروابط المتبسة.

الأهمية والادعاءات

يدعي البحث تقديم إطار عمل مخلص للبنية لفهم انحياز الموضع. تكمن أهميته الأساسية في:

سد الفجوة بين النظرية والتطبيق: يحل المشكلة المفتوحة التي حددها وو وآخرون [2025] من خلال إظهار أن الروابط المتبسة تمنع الانهيار الحتمي الذي تتنبأ به نظريات "الانتباه فقط".
تفسير "الضياع في المنتصف": يثبت أن ملف التأثير على شكل حرف U (وبالتالي تأثير LiM) ينشأ من أولوية بنيوية متأصلة في بنية المحول، وليس فقط من الديناميكيات الدلالية أو عمليات التدريب.
القدرة التنبؤية: تتنبأ النظرية بدقة بشكل توزيعات التأثير في النماذج سابقة التدريب باستخدام المعلمات البنيوية فقط (القناع، الروابط المتبسة، انحيازات ترميز الموضع) مع قياس معاملات الخلط، دون الحاجة إلى الوصول إلى بيانات تدريب محددة أو دلالات الرموز.

يحافظ المؤلفون على نطاق متواضع، حيث يصف عملهم بأنه توصيف لـ الأولويات البنيوية في انتشار المعلومات بدلاً من تعلم التمثيل من البداية إلى النهاية. ويشيرون إلى أنه بينما يمكن أن يشكل المنطلق ذو الشكل U الأساس لظاهرة تدهور أداء المهام (مثل مهام الاسترجاع)، فإن إغلاق الحلقة حول تدهور أداء المهام النوعية يُترك للعمل المستقبلي.