ملخص تقني: كم عدد المخرجات المختلفة التي يمكن لنموذج Transformer إنتاجها؟

بيان المشكلة

على الرغم من النجاح التجريبي لنماذج Transformer في معالجة اللغات الطبيعية والرؤية الحاسوبية، إلا أن هذه النماذج تظهر إخفاقات جوهرية في المهام الخوارزمية البسيطة، مثل نسخ أو تكرار المتواليات، بمجرد تجاوز طول المدخلات حداً معيناً. وبينما عزت أعمال سابقة هذه الإخفاقات إلى مشاكل في بيانات التدريب أو التحسين (optimization)، تفترض هذه الورقة أنها تنبع من قيود معمارية ذاتية. وبشكل محدد، يبحث المؤلفون في إمكانية الوصول (accessibility) إلى متواليات المخرجات: وهي مجموعة جميع متواليات الرموز (tokens) التي يمكن لـ Transformer إنتاجها بالنظر إلى أي مطالبة (prompt) ممكنة (بما في ذلك المطالبات الناعمة المحسنة - optimized soft prompts) وطول سياق تعسفي. السؤال الجوهري هو: كم عدد المتواليات المتميزة التي يمكن لـ Transformer إنتاجها بالفعل، وكيف يتوسع هذا السعة مع طول المطالبة ومعمارية النموذج؟

المنهجية

يتناول المؤلفون المشكلة من خلال تحليل القيود الهندسية التي تفرضها الدقة العددية المحدودة (finite numerical precision) والطبيعة المحدودة للتمثيلات الداخلية داخل معمارية Transformer.

1. صياغة المجال المتوسط (Mean-Field Formulation): للتعامل مع أطوال المطالبات التعسفية، يفسر المؤلفون نماذج Transformer كخرائط بين مقاييس الاحتمالية (امتداد المجال المتوسط) بدلاً من كونها متواليات محدودة. وهذا يستفيد من خاصية التماثل التبادلي (permutation equivariance) لطبقات الانتباه (attention layers).
2. تقسيم فضاء التضمين (Embedding Space Partitioning): يتم تقسيم فضاء التضمين إلى مناطق ($E_t$) تتوافق مع الرمز التالي الأكثر احتمالاً (أو سلسلة الرموز) بناءً على إسقاط فك التشفير (decoder's output projection).
3. تحليل عدد التعبئة (Packing Number Analysis): يستخدم المؤلفون مفهوم أعداد التعبئة (الحد الأقصى لعدد الكرات المنفصلة ذات نصف قطر معين التي يمكن أن تتسع في مساحة ما) لقياس عدد المدخلات المتميزة التي يمكن لـ Transformer تمييزها.
   • افتراض الدقة المحدودة: يفترضون أن Transformer لديه دقة محدودة $\epsilon$، مما يعني أنه لا يمكنه التمييز بين المدخلات التي تقترب من بعضها أكثر من $\epsilon$ (يتم نمذجة ذلك ككعبات محاذية للمحاور أو كرات).
   • الدعم المحدود (Bounded Support): يفترضون أن دعم التضمين محصور داخل منطقة محدودة (على سبيل المثال، كرة بنصف قطر $r$).
4. الاشتقاق النظري: من خلال وضع حدود لعدد التعبئة لفضاء المدخلات بالنسبة لحجم دعم التضمين، يشتق المؤلفون حدوداً عليا على عدد المتواليات الممكن الوصول إليها.
5. التحقق التجريبي: يتم اختبار التوقعات النظرية باستخدام مهمة الحشو (Cramming task) (Kuratov et et al., 2025)، حيث يتم توجيه نموذج Transformer مجمد (frozen) عبر مطالبات ناعمة محسنة لتوليد متواليات مستهدفة محددة. كما يقيمون مهام النسخ (copying tasks) لملاحظة إخفاقات التعميم المعتمدة على الطول.

المساهمات الرئيسية

1. إمكانية الوصول المحدودة للمتواليات

تثبت الورقة أن Transformer يمكنه إنتاج مجموعة محدودة فقط من المتواليات المتميزة، بغض النظر عن طول المطالبة أو استراتيجية الاستدلال.

• النظرية 4.5: بالنسبة لـ Transformer بدقة $\epsilon$، ونصف قطر تضمين $r$، وطول مطالبة $m$، فإن عدد المتواليات المتميزة التي يمكن الوصول إليها محكوم بحد أعلى هو $(1 + 2r/\epsilon)^{dm}$.
• الاستنتاج: معظم المتواليات غير قابلة للوصول بشكل أساسي؛ لا يمكن لأي اختيار للمطالبة أن يجعل النموذج يولدها.

2. التوسع الخطي والاضمحلال الأسي

يضع المؤلفون علاقة دقيقة بين طول المطالبة والحد الأقصى لطول المتواليات الممكن الوصول إليها:

• النمو الخطي: ينمو الطول الأقصى $n$ للمتواليات الممكن الوصول إليها خطياً مع طول المطالبة $m$ ($n \propto m$).
• الاضمحلال الأسي: بعد عتبة حرجة $N$، يتناقص تناسب المتواليات الممكن الوصول إليها من طول $n$ أسياً مع $n$.
• العتبة النظرية: يشتقون صيغة صريحة لهذه العتبة: $n^* \approx C \cdot m$، حيث يعتمد $C$ على أبعاد التضمين $d$، وحجم المفردات $|V|$، والدقة $\epsilon$، ونصف قطر الدعم $r$.

3. تفسير الإخفاقات التجريبية

يوفر التحليل تفسيراً نظرياً لـ "الإخفاق المفاجئ" الملحوظ في الممارسة العملية (على سبيل المثال، النسخ المثالي حتى الطول $L$، ثم الفشل التام). تجادل الورقة بأن هذا ليس تدهوراً تدريجياً بل نتيجة للاضمحلال الأسي للمتواليات الممكن الوصول إليها بعد العتبة الحرجة.

4. الحدود المنقحة عبر الهندسة

يقوم المؤلفون بتحسين حدودهم النظرية العليا من خلال تخفيف افتراض دعم التضمين المنتظم الذي يشبه الكرة. يقترحون:

• الدعم متباين الخواص (Anisotropic Supports): نمذجة الدعم كأشكال مخروطية أو قطع ناقص لتمثيل توزيع التضمينات بشكل أفضل.
• أحجام الخلايا غير المنتظمة: مراعاة حقيقة أن الرموز الشائعة تشغل مناطق أكبر في فضاء التضمين من الرموز النادرة.
  تؤدي هذه التحسينات إلى تقليل الفجوة بين الحدود العليا النظرية والملاحظات التجريبية (من عامل ~10 إلى ~5–6).

النتائج

التوقعات النظرية

• النتيجة 4.6: بالنسبة لميزانية مطالبة ثابتة $m$، تظل إمكانية الوصول مرتفعة حتى طول $n^*(m)$ ثم تنخفض أسياً. الحد المسموح به للميل في هذه العلاقة الخطية هو $C \leq \frac{d \ln(1 + 2r/\epsilon)}{\ln(|V|)}$.
• النتيجة 4.10: حتى مع وجود سياق وحوسبة غير محدودة، توجد عتبة $N$ تصبح بعدها معظم المتواليات غير قابلة للوصలు.

التحقق التجريبي

• مهمة الحشو: تظهر التجارب على نماذج (Pythia, Qwen-2.5, Llama-3.2, Gemma-3) أن الطول $n_{50}$ (حيث تنخفض إمكانية الوصول إلى 50%) يتوسع خطياً مع عدد ناقلات الذاكرة القابلة للتدريب $m$ ($R^2 > 0.99$).
• مقارنة الميل: تكون الميول المرصودة تجريبياً أقل باستمرار من الحدود العليا النظرية، حيث تتراوح النسبة بين النظرية والتجربة من 4.5 إلى 20.4 اعتماداً على النموذج والافتراضات الهندسية المستخدمة.
• مهمة النسخ: تفشل النماذج المدربة على نسخ المتواليات حتى طول 50 عند اختبارها على متواليات أطول، مما يؤكد وجود عتبة وصول حادة ومستقلة عن طول المطالبة.
• توزيع حجم الخلية: يكشف التحليل أن أحجام خلايا فك التشفير منحرفة بشدة؛ حيث تشغل مجموعة صغيرة من الرموز المتكررة (مثل المسافات البيضاء وعلامات الترقيم) جزءاً غير متناسب من فضاء التضمين، مما يضيق حدود إمكانية الوصول مقارنة بالافتراضات الموحدة.

الأهمية والادعاءات

تدعي الورقة تقديم أول تفسير نظري صارم للقيود الجوهرية لنماذج Transformer في مهام توليد المتواليات. تكمن أهميتها في:

1. الحدود المعمارية: إثبات أن عدم القدرة على نسخ المتواليات الطويلة هو خاصية أساسية لـ الدقة المحدودة والتمثيلات المحدودة للمعمارية، وليس مجرد نتاج عرضي للتدريب.
2. القدرة التنبؤية: تقديم صيغة للتنبؤ بحدود أداء Transformer بناءً فقط على هندسة فضاء التضمين الخاص به (الأبعاد، حجم المفردات، الدقة، وشكل الدعم)، دون الحاجة إلى فحص مجموعة المعلمات الكاملة.
3. القدرة على التعميم: تمتد النتائج إلى ما وراء نماذج Transformer لتشمل أي معمارية ذات تمثيلات داخلية محدودة ودقة نهائية (مثل نماذج حالة الفضاء - State-Space Models مثل Mamba، رغم أن الحالات المخفية المتباعدة تفرض تحديات).

يخلص المؤلفون إلى أن فضاء التضمين، رغم أنه يمثل جزءاً صغيراً فقط من معلمات النموذج، يحمل معلومات ذات مغزى حول قدرات النموذج وحدوده الأساسية.