ملخص تقني: المحولات العالمية الثابتة (Fixed Universal Transformers)

بيان المشكلة

تتناول هذه الورقة البحثية التساؤل عما إذا كان بإمكان بنية "محول" (Transformer) واحدة ذات معاملات ثابتة أن تحاكي أي محول آخر ضمن فئة محددة، بشرط تعديل تضمين المدخلات (input embedding) بشكل مناسب. يستند هذا المفهوم إلى قياس على آلة تورينج الشاملة (Universal Turing Machine) والدوائر الشاملة (Universal Circuits) من نظرية الحوسبة. وخلافًا لـ "التقريب الشامل" (universal approximation) -حيث يتم ضبط معاملات النموذج لتقريب دوال عشوائية- أو "اكتمال تورينج" (Turing-completeness) -حيث يمكن لعائلة من الشبكات محاكاة أي آلة تورينج بمعاملات محددة- يبحث هذا العمل في مفهوم الشمولية (universality) بمعناه الأكثر صرامة: حيث تكون الأوزان الداخلية (مصفوفات الانتباه والقيم) للمحول "الشامل" ثابتة (إما مُنشأة صراحةً أو تم تهيئتها عشوائيًا)، ويتم تحقيق محاكاة المحول المستهدف حصريًا عن طريق تغيير مصفوفة تضمين المدخلات $E$.

يدفع المؤلفين هذا البحث نتائج تجريبية حديثة (Zhong and Andreas, 2024) تشير إلى أن العديد من قدرات النماذج اللغوية موجودة بالفعل في المحولات ذات التهيئة العشوائية، والتي تتطلب فقط طبقات تضمين وفك تضمين (embedding and unembedding) مدربة. تسعى الورقة إلى صياغة هذه الظاهرة نظريًا وتحديد الشروط التي تتحقق فيها هذه الشمولية.

المنهجية

1. التعريف الرسمي

يعرف المؤلفون المحول الشامل (UT) بأنه محول مكون من $H$ من الرؤوس، و$L$ من الطبقات، وبُعد تضمين $m$. يتم تمثيله بمصفوفات ثابتة $\{R^l_{Q}, R^l_{K}, R^l_{V}\}$ ومصفوفة فك تضمين $U$. يُعطى المحول المستهدف $T$ بمعاملات $\{W^l_{Q}, W^l_{K}, W^l_{V}, W^l_{O}\}$ وبُعد تضمين $d$. يحاكي المحول الشامل (UT) المحول المستهدف $T$ إذا وجدت مصفوفة تضمين $E \in \mathbb{R}^{d \times m}$ بحيث:
$$\text{UT}(X, E) = T(X)$$
لكل تسلسلات المدخلات $X$. تعمل مصفوفة التضمين $E$ كـ "برنامج" يقوم بتشفير معاملات المحول المستهدف.

2. البناءات النظرية

تقدم الورقة نتيجتين نظريتين رئيسيتين فيما يتعلق بوجود هذه المحولات الشاملة:

• البناء المتناثر الصريح (Explicit Sparse Construction): يبني المؤلفون محولًا شاملًا ثابتًا بمعاملات ذات قيم $\{0, 1\}$. وقد أُثبت أن بُعد التضمين $m$ يكون كافيًا إذا كان $m = O(Ld)$ في حالة الرأس الواحد ($H=1$) و $m = O(HLd)$ في حالات الرؤوس المتعددة ($H \ge 2$). يقوم هذا البناء بتشفير أوزان المحول المستهدف داخل التضمين $E$ ويستخدم معاملات المحول الشامل الثابتة لتوجيه وقراءة هذه الأوزان عبر بنية شجرية من مسارات الانتباه. ويمتد هذا البناء أيضًا إلى المحولات المتكررة (ذات الأوزان المشتركة)، حيث يتم مشاركة المعاملات عبر الطبقات.
• الشمولية العشوائية (Random Universality): يثبت المؤلفون أن الشمولية هي خاصية عامة. إذا كانت معاملات المحول مستمدة من توزيع مستمر مطلق (مثل التوزيع الطبيعي المستقل والمتماثل i.i.d. Gaussian)، فإنه مع احتمال 1، يكون المحول الناتج شاملاً، بشرط أن يحقق بُعد التضمين نفس الحدود ($m = O(HLd)$). يعتمد الإثبات على بيان أن الشروط الجبرية المطلوبة للمحاكاة تفشل فقط في مجموعة ذات قياس صفري (حيث تصبح مصفوفات معينة ناقصة الرتبة/rank-deficient).

3. الحدود الدنيا (Lower Bounds)

تضع الورقة حداً أدنى لبُعد التضمين $m$ لنهج "مطابقة الانتباه" (attention-matching)، حيث يجب على المحول الشامل إعادة إنتاج مصفوفات الانتباه الدقيقة للمحول المستهدف. تُظهر النظرية 4.1 أنه بالنسبة لـ $H \ge 2$، يجب أن ينمو $m$ بشكل أسي مع العمق $L$ (تحديدًا $m \ge HL/2$) حتى في أبسط الحالات حيث يكون بُعد المدخلات 1. يسلط هذا الضوء على تعقيد تمثيل المسارات الحسابية الكثيرة (الأسية) التي يستحثها تعدد الرؤوس.

4. التقييم التجريبي

يتحقق المؤلفون من نظريتهم باستخدام مهمتين خوارزميتين:

1. توازن الأقواس (Dyck-1): تحديد ما إذا كان تسلسل الأقواس متوازنًا.
2. رؤوس الاستقراء لـ $k$-خطوة (k-hop Induction Heads): تعميم لآلية رأس الاستقراء، والتي تتطلب استرجاعًا تكراريًا للرموز (tokens).

يقارنون بين ثلاثة نماذج:

• المحول الشامل المتناثر (Sparse Universal Transformer): باستخدام البناء الصريح من النظرية 3.1.
• المحول الشامل العشوائي (Random Universal Transformer): باستخدام معاملات ثابتة مهيأة عشوائيًا.
• المحول المدرب بالكامل (Fully-trained Transformer): وهو محول قياسي تم تدريبه من البداية إلى النهاية.

في جميع التجارب، يتم تدريب مصفوفة التضمين $E$ ومصفوفة فك التضمين $U$ فقط؛ بينما تظل جميع معاملات الانتباه والقيم الداخلية ثابتة.

النتائج الرئيسية

النتائج النظرية

• الوجود: توجد محولات شاملة بمعاملات متناثرة صريحة ومع معاملات مهيأة عشوائيًا.
• الأبعاد: يتناسب بُعد التضمين المطلوب خطيًا مع عدد الطبقات والرؤوس ($O(HLd)$).
• العمومية: المحولات ذات التهيئة العشوائية هي محولات شاملة "شبه مؤكد" (almost surely)، مما يشير إلى أن "القدرة التعبيرية" للهيكل كامنة في بنيته وليس في أوزانه المتعلمة المحددة.
• الحدود الدنيا: بالنسبة لاستراتيجيات "مطابقة الانتباه"، يجب أن ينمو بُعد التضمين أسيًا مع العمق، مما يشير إلى حد أساسي لضغط فضاء جميع المحولات الممكنة في تضمين منخفض الأبعاد دون مطابقة أنماط الانتباه.

النتائج التجريبية

• توازن الأقواس: حقق كل من المحول الشامل المتناثر والعشوائي دقة 100% (للمتناثر) و 94.4% (للعشوائي) في إعداد "الانتباه فقط"، وهو ما يطابق النماذج المدربة بالكامل.
• رؤوس الاستقراء: في إعداد "الانتباه فقط"، كان الأداء دون المستوى الأمثل (على سبيل المثال، ~30-40% لمهام $k$-hop مقابل ~99% للمدربة بالكامل). ومع ذلك، فإن إضافة المكونات القياسية حسنت الأداء بشكل كبير:
  • أدت إضافة وصلات المتبقي (residual connections) وتطبيع الطبقة (layer normalization) إلى السماح للمحول الشامل المتناثر بالوصول إلى دقة 100% في جميع مهام الاستقراء، وللمحول الشامل العشوائي بالوص്യത إلى 85.7%–96.1%.
  • أدت إضافة طبقات MLP (المجمدة والمهيأة عشوائيًا) إلى تحسين أداء المحول الشامل العشوائي بشكل أكبر.
• التحسين (Optimization): تُظهر النتائج أن التحسين القياسي القائم على التدرج (gradient-based optimization) يمكنه بنجاح تعلم التضمينات المطلوبة للمحولات الشاملة لحل المهام الخوارزمية المعقدة، بشرط أن تتضمن البنية مكونات تثبيت مثل وصلات المتبقي وتطبيع الطبقة.

الأهمية والادعاءات

تدعي الورقة أن جزءًا كبيرًا من القدرة التعبيرية للمحول يكمن في تمثيل المدخلات (التضمين) بدلاً من أوزانه الداخلية المتعلمة. ومن خلال صياغة مفهوم "المحول الشامل"، يقدم المؤلفون أساسًا نظريًا لـ:

1. إعادة برمجة النموذج (Model Reprogramming): القدرة على تكييف نموذج مدرب مسبقًا (أو ثابت) مع مهام جديدة عن طريق تعديل طبقات التضمين فقط.
2. التهيئة العشوائية: تفسير سبب امتلاك المحولات ذات التهيئة العشوائية لقدرات مذهلة، حيث أنها قادرة بطبيعتها على محاكة محولات مخصصة لمهمة معينة بمجرد توفر التضمين المناسب.
3. الكفاءة: اقتراح أنه بالنسبة لفئات معينة من المشكلات، قد لا تحتاج إلى تعلم كامل معاملات المحول، بل تعلم تضمين مدمج "يبرمج" هيكلًا عالميًا ثابتًا.

يظل المؤلفون متواضعين في طرحهم، مشيرين إلى أن حدودهم الدنيا النظرية تنطبق تحديدًا على استراتيجيات "مطابقة الانتباه"، وأن توسيع هذه النتائج لتشمل البنيات الأكثر واقعية التي تحتوي على طبقات MLP وتطبيع (وهي واعدة تجريبيًا) يظل اتجاهًا نظريًا مفتوحًا. كما أوضحوا أن عملهم لا يغير بنية المحول نفسها، بل يعيد تفسير دور تضمين المدخلات.