🤖 machine learning

Length Generalization Bounds for Transformers

تحل هذه الورقة البحثية المشكلة المفتوحة المتعلقة بحدود تعميم الطول القابلة للحوسبة لنماذج المحولات (transformers) من خلال إثبات أن مثل هذه الحدود غير قابلة للحوسبة لنموذج CRASP (وبالتالي للمحولات العامة) باستخدام طبقتين فقط، مع وضع حدود أسية مثالية للجزء الإيجابي من نموذج CRASP والمحولات ذات الدقة الثابتة.

المؤلفون الأصليون: Andy Yang, Pascal Bergsträßer, Georg Zetzsche, David Chiang, Anthony W. Lin

نُشر 2026-03-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Andy Yang, Pascal Bergsträßer, Georg Zetzsche, David Chiang, Anthony W. Lin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

السؤال الكبير: هل يمكن للذكاء الاصطناعي أن "يتعلم السباحة" في المياه العميقة؟

تخيل أنك تعلم طفلاً السباحة. تبدأ به في مسبح صغير للأطفال (جمل قصيرة). يتعلم الطفو والركل بشكل مثالي. السؤال الكبير هو: إذا أخذته إلى الجزء العميق من المحيط (جمل طويلة ومعقدة)، هل سيظل يعرف كيف يسبح؟

في عالم الذكاء الاصطناعي (وتحديداً نماذج "الترانسفورمرز" - Transformers، وهي العقول الكامنة وراء نماذج مثل ChatGPT)، يُسمى هذا "تعميم الطول" (Length Generalization). هل يمكن لنموذج تدرب على قصص قصيرة أن يفهم رواية؟

لفترة طويلة، أمل الباحثون في وجود قاعدة بسيطة (أو "معادلة") يمكن أن تخبرنا بالضبط مقدار بيانات التدريب التي نحتاجها لضمان عمل الذكاء الاصطناعي على أي طول. إذا دربت النموذج على 100 كلمة، فهل سيعمل على 1,000؟ أم على مليون؟

هذه الورقة البحثية تقول: "لا. لا توجد مثل هذه المعادلة".

الاكتشاف الرئيسي: جدار "غير قابل للحوسبة"

نظر المؤلفون في نوع معين من منطق الذكاء الاصطناعي (يسمى C-RASP) والذي يعمل بمثابة مخطط لكيفية تفكير نماذج "الترانسفورمرز". وسألوا: هل هناك حد رياضي يمكننا حسابه يضمن أن الذكاء الاصطناعي لن يفشل أبداً، بغض النظر عن مدى طول المدخلات؟

الإجابة: لا. من المستحيل رياضياً حساب هذا الحد.

التشبيه: المتاهة اللانهائية
تخيل أنك تحاول العثور على مخرج محدد في متاهة.

الخبر الجيد: إذا كانت المتاهة صغيرة (منطق بسيط)، يمكنك بسهولة رسم خريطة وقول: "إذا مشيت 50 خطوة، ستجد المخرج بالتأكيد".
الخبر السيئ: أثبت المؤلفون أنه بالنسبة لنماذج "الترانسفورمرز" المعقدة، فإن المتاهة تشبه قاعة المرايا التي تزداد اتساعاً كلما نظرت إليها أكثر.
- لكي تتأكد بنسبة 100% أن الذكاء الاصطناعي يفهم جملة ما، قد تحتاج إلى إظهار جملة أطول من عدد الذرات في الكون.
- والأسوأ من ذلك، لا توجد خوارزمية (أي برنامج كمبيوتر) يمكنها إخبارك كم يجب أن يكون طول تلك الجملة. الأمر يشبه مطالبة آلة حاسبة بحل مسألة رياضية ليس لها حل.

لماذا يهم هذا؟
هذا يعني أنه حتى لو كان لديك ذكاء اصطناعي مثالي، فلا يوجد "رقم سحري" لعدد أمثلة التدريب التي تضمن عمله على المدخلات الطويلة. أحياناً، مهما دربت النموذج، قد يفشل ببساطة عندما تصبح القصة طويلة جداً.

الجانب المشرق: نماذج "الترانسفورمرز" البسيطة

الورقة البحثية ليست سيئة تماماً. فقد وجد المؤلفون نسخة أبسط من هذه النماذج (تسمى نماذج الترانسفورمرز ذات الدقة الثابتة - Fixed-Precision Transformers) حيث يمكننا إيجاد حد لها.

التشبيه: المسطرة مقابل شريط القياس

نماذج "الترانسفورمرز" القياسية تشبه شريط قياس سحري يمكنه التمدد إلى ما لا نهاية، لكنه مصنوع من مادة قد تنقطع بشكل غير متوقع. لا يمكنك التنبؤ متى سينقطع.
نماذج "الترانسفورمرز" ذات الدقة الثابتة تشبه مسطرة صلبة. لها حد في طول ما يمكنها قياسه، لكنك تعرف بالضبط أين يقع هذا الحد.

بالنسبة لهذه النماذج الأبسط، وجد المؤلفون الحد.

الحد: لتعلم قاعدة ما، تحتاج إلى رؤية أمثلة طويلة بشكل أسي (Exponentially long).
ماذا يعني "أسي"؟ تخيل أنك بحاجة لرؤية جملة مكونة من 10 كلمات لتعلم قاعدة ما. للمستوى التالي، قد تحتاج إلى 100 كلمة. ثم 1,000. ثم مليون.
العقبة: بينما يمكننا حساب هذا الحد، إلا أن الرقم يصبح ضخماً جداً بسرعة كبيرة لدرجة أنه من المستحيل عملياً تدريب الذكاء الاصطناعي على بيانات بهذا الطول. الأمر يشبه قول: "لتعلم هذا، عليك قراءة كل كتاب في المكتبة، بالإضافة إلى كل كتاب سيُكتب في المستقبل".

لماذا تعاني نماذج "الترانسفورمرز" مع النصوص الطويلة؟

تقدم الورقة تفسيراً رائعاً لسبب فشل نماذج الذكاء الاصطناعي في العالم الحقيقي غالباً في المهام الطويلة (مثل تلخيص كتاب من 100 صفحة).

مشكلة "الإبرة في كومة القش"
يشير المؤلفون إلى أن المشكلة ليست في أن الذكاء الاصطناعي "غبي". بل إن الذكاء الاصطناعي يحتاج لرؤية "إبرة" (نمط محدد) في "كومة قش" (سلسلة طويلة من النصوص) لتعلم القاعدة.

إذا كانت كومة القش كبيرة جداً، فقد لا يرى الذكاء الاصطناعي "الإبرة" أبداً أثناء التدريب.
ولأن "منطقة الأمان" للتعلم واسعة جداً (بشكل أسي)، فإن الذكاء الاصطناعي يقوم فعلياً بالتخمين في الظلام عندما يواجه مدخلات طويلة لم يسبق له رؤيتها من قبل.

"منطقة غولديلوكس" (المنطقة المثالية)
هذا يفسر لماذا يعمل الذكاء الاصطناعي بشكل رائع أحياناً في النصوص القصيرة، وبشكل جيد في النصوص المتوسطة، ويفشل في النصوص الطويلة. هذا ليس خطأً برمجياً (Bug)؛ بل هو قيد رياضي أساسي. الذكاء الاصطناعي لم يرَ أمثلة "طويلة" كافية ليتأكد من أن القواعد لا تزال سارية.

الملخص: الخلاصة

لا يوجد حل سحري: لا توجد معادلة بسيطة لتخبرنا مقدار البيانات الكافية لجعل الذكاء الاصطناعي يعمل على أي طول من النصوص. بالنسبة للنماذج المعقدة، هذا الحد "غير قابل للحوسبة" رياضياً.
تكلفة الأمان: بالنسبة للنماذج الأبسط والأكثر قابلية للتنبؤ، يمكننا حساب الحد، لكن ذلك يتطلب التدريب على بيانات ضخمة جداً (كبيرة بشكل أسي) لدرجة تجعل تحقيق ذلك مستحيلاً من الناحية العملية.
التأثير في العالم الحقيقي: يوضح هذا سبب حساسية نماذج الذكاء الاصطناعي لكيفية تدريبها. التغييرات الصغيرة في الإعدادات (مثل سرعة التعلم أو كيفية عد الكلمات) يمكن أن تصنع الفارق بين ذكاء اصطناعي يفهم رواية، وآخر يضيع بعد الفقرة الأولى.

باختصار: لا يمكننا الوعد بأن ذكاءً اصطناعياً تدرب على قصص قصيرة سيفهم تلقائياً رواية. الرياضيات تقول إن "شبكة الأمان" إما غير موجودة أو أنها ضخمة جداً لدرجة أنها لا وجود لها في الواقع العملي. يجب أن نكون حذرين جداً عندما نطلب من الذكاء الاصطناعي التعامل مع مهام طويلة ومعقدة.

إليك ملخص تقني مفصل لورقة البحث "Length Generalization Bounds for Transformers" للباحث آندي يانغ وآخرون.

1. بيان المشكلة

تتناول الورقة البحثية قابليّة حساب حدود تعميم الطول (Length Generalization Bounds) لنماذج المحولات (Transformers).

السياق: تعميم الطول هو قدرة النموذج المدرب على بيانات محدودة (سلاسل ذات طول مقيد $N$ ) على التنبؤ بشكل صحيح بمدخلات ذات أطوال عشوائية ( $> N$ ).
الفجوة: بينما تظهر الدراسات التجريبية أن نماذج المحولات غالباً ما تفشل في التعميم على السلاسل الأطول، فقد أثبتت الأعمال النظرية الحديثة (Chen et al., 2025) أن التعميم غير الحتمي للطول (non-asymptotic length generalization) يكافئ قابلية تقرير لغة التكافؤ (language equivalence)، إلا أن القابلية الحسابية لهذه الحدود لفئة نماذج المحولات كاملة ظلت مشكلة مفتوحة.
السؤال الجوهري: هل توجد خوارزمية يمكنها حساب حد طول $N$ بحيث يضمن التدريب على سلاسل تصل إلى الطول $N$ تعلم اللغة المعرفة بواسطة نموذج محول (أو ما يكافئه منطقياً: C-RASP) بشكل مثالي؟

2. المنهجية

استخدم المؤلفون نظرية التعلم الحسابي (Computational Learning Theory) ونظرية اللغات الصورية (Formal Language Theory) لتحليل المشكلة.

الإطار النظري: اعتمدوا إطار التعميم غير الحتمي للطول (Non-Asymptotic Length Generalization). يحقق المتعلم هذا إذا كان بإمكانه، بالنظر إلى حد أعلى للتعقيد الوصفي للغة المستهدفة، تعلم اللغة بشكل مثالي باستخدام بيانات تدريب تصل إلى طول $N$ قابل للحساب.
التكافؤ الرئيسي: تعتمد الورقة على نتيجة حاسمة من (Chen et al., 2025): يوجد حد حسابي لتعميم الطول إذا وفقط إذا كانت مسألة تكافؤ اللغات (تحديد ما إذا كان برنامجان يعرفان نفس اللغة) قابلة للتقرير (decidable) لتلك الفئة من اللغات.
الصياغة المنطقية (C-RASP): حلل المؤلفون لغة C-RASP (العدّ في RASP)، وهي لغة برمجة ثبت تكافؤها تعبيرياً مع نماذج المحولات (مع دقة ثابتة خارج آلية الانتباه).
- عرّفوا قواعد وسيمانتيكا (دلالات) C-RASP، والتي تتضمن معاملات العد ( $\# \phi$ )، ومعاملات الماضي ( $\ominus \phi$ )، والمقارنات الحسابية.
- ميزوا بين C-RASP العامة وC-RASP $^+$ (النسخة الإيجابية المقيدة التي تحذف الطرح/الثوابت السالبة بطرق معينة).
استراتيجية الاختزال: لإثبات عدم القابلية للتقرير، قاموا باختزال المشكلة إلى مسألة هيلبرت العاشرة (عدم قابلية تقرير المعادلات الديوفانتية). ولإثبات الحدود القابلة للحساب للنسخة المقيدة، قاموا باختزال C-RASP $^+$ إلى المنطق الزمني أحادي الحد (Unary Temporal Logic - TL[ $\ominus$ ]).

3. المساهمات والنتائج الرئيسية

أ. النتيجة السلبية: عدم القابلية للتقرير للمحولات العامة

المساهمة الأساسية للورقة هي إثبات أنه لا يوجد حد حسابي لتعميم الطول للمحولات العامة (وC-RASP)، حتى مع وجود طبقتين فقط.

مبرهنة 3.1 (عدم قابلية تقرير الفراغ): من غير القابل للتقرير معرفة ما إذا كان برنامج C-RASP معين يعرّف لغة فارغة.
- مخطط الإثبات: قاموا ببناء برنامج C-RASP يشفر نظاماً من المعادلات الديوفانتية. تكون اللغة التي يعرفها البرنامج غير فارغة إذا وفقط إذا كان للنظام الديوفانتي حل. وبما أن حل المعادلات الديوفانتية غير قابل للتقرير (Matiyasevich, 1993)، فإن فحص الفراغ في C-RASP غير قابل للتقرير.
نتيجة 3.6 (تعقيد الطول غير القابل للحساب): بما أن تكافؤ اللغات غير قابل للتقرير (بالاختزال من مسألة الفراغ)، فإن تعقيد الطول (أقصى طول سلسلة مطلوب للتمييز بين الفرضيات) ليس محدوداً بشكل حسابي.
- الاستنتاج: طول التدريب الضروري لضمان التعميم ينمو بسرعة أكبر من أي دالة قابلة للحساب (مثل دالة أكرمان).
مبرهنة 5.1: بناءً على ذلك، نماذج المحولات (حتى بعمق 2) لا تقبل التعميم غير الحتمي للطول. لا توجد خوارزمية تعلم يمكنها تحديد حجم مجموعة تدريب نهائية تضمن التعميم المثالي لجميع اللغات المعرفة بالمحولات.

ب. النتيجة الإيجابية: حدود أسية للمحولات ذات الدقة الثابتة

حدد المؤلفون مجموعة فرعية طبيعية من C-RASP تسمى C-RASP $^+$ ، والتي تقابل المحولات ذات الدقة الثابتة (حيث يتم تقريب أوزان الانتباه أيضاً إلى دقة منتهية).

مبرهنة 4.7 (الحد الأسي): بالنسبة لـ C-RASP $^+$ $^{+}$ ، فإن تعقيد الطول قابل للحساب وأسي في حجم البرنامج.
- مخطط الإثبات: أظهروا أنه يمكن ترجمة C-RASP $^+$ إلى TL[ $\ominus$ ] (المنطق الزمني أحادي الحد مع عامل الماضي الصارم فقط).
- تؤدي الترجمة إلى تضخم أسي في الحجم.
- ومع ذلك، لأي صيغة قابلة للإشباع في TL[ $\ominus$ ]، توجد سلسلة شاهدة بطول متعدد الحدود في حجم الصيغة.
- بدمج هذه النتائج، يكون طول التدريب المطلوب أسياً في حجم البرنامج الأصلي.
مبرهنة 5.2: المحولات ذات الدقة الثابتة تقبل تعميم الطول بحدود تعقيد أسية.
- الحد الأدنى: أثبتوا أن هذا الحد الأسي هو حد ضيق (أمثل) عبر بناء عائلة من البرامج حيث يكون أقصر طول سلسلة تمييزي هو طول أسي بالنسبة لحجم البرنامج (بسبب الترميز الثنائي للثوابت).

4. الأهمية والآثار

الحدود النظرية: تضع الورقة حاجزاً نظرياً أساسياً: لا يمكن ضمان تعلم المحولات لتعميم الطول عبر بيانات منتهية. وهذا يفسر لماذا تفشل المحاولات التجريبية لفرض التعميم غالباً أو تكون حساسة للغاية للمعلمات (التهيئة، معدل التعلم).
تفسير الإخفاقات التجريبية: يشير المؤلفون إلى أن الصعوبة الملحوظة في تعميم الطول ليست مجرد مسألة ديناميكيات تدريب، بل هي مسألة تعقيد جوهرية. لتعلم محول يعمم بشكل مثالي، قد يحتاج الخوارزمي نظرياً إلى رؤية سلاسل بأطوال طويلة جداً (غير قابلة للحساب).
الدقة الثابتة كحل: تسلط النتائج الضوء على أن الدقة الثابتة (تقريب أوزان الانتباه) هي قيد حيوي يستعيد القابلية للحساب. ورغم أن الحد أسي (وهو مرتفع، لكنه منتهٍ)، فإنه يوفر ضماناً نظرياً بأن المحولات ذات الدقة الثابتة يمكنها التعميم إذا تم تدريبها على سلاسل طويلة بما يكفي (ولكن منتهية).
التمييز عن قوانين القياس (Scaling Laws): توضح الورقة أن تعميم الطول يختلف عن قوانين القياس القياسية (حجم النموذج مقابل الخسارة). زيادة حجم النموذج أو حجم البيانات لا تحل بالضرورة مشكلة تعميم الطول إذا كانت فئة اللغة الأساسية تمتلك حدوداً غير قابلة للحساب.

جدول ملخص

الميزة	المحولات العامة / C-RASP	المحولات ذات الدقة الثابتة / C-RASP $^+$
القدرة التعبيرية	C-RASP كامل (يتضمن الطرح، والعد المعقد)	C-RASP مقيد (النسخة الإيجابية)
مسألة الفراغ	غير قابلة للتقرير (اختزال من مسألة هيلبرت 10)	قابلة للتقرير
حد تعميم الطول	غير قابل للحساب (ينمو أسرع من أي دالة قابلة للحساب)	قابل للحساب (أسي في حجم البرنامج)
متطلبات التدريب	لا يوجد حد منتهٍ يضمن التعلم المثالي	يجب رؤية سلاسل ذات طول أسي
الاستنتاج	التعميم المثالي مستحيل نظرياً ضمانه	التعميم ممكن ولكنه يتطلب بيانات ضخمة

في الختام، تحل هذه الورقة المسألة المفتوحة حول حدود تعميم الطول من خلال إثبات أنه بالنسبة للمحولات العامة، فإن هذه الحدود غير قابلة للحساب، بينما بالنسبة للنسخ ذات الدقة الثابتة، فهي قابلة للحساب ولكنها أسية. يوفر هذا تفسيراً نظرياً صارماً للتحديات التجريبية التي تواجه تدريب المحولات للتعميم على سياقات أطول.