🤖 AI

Full-bandwidth transformer

تقدم هذه الورقة البحثية "المحول كامل النطاق" (full-bandwidth transformer)، وهو بنية معمارية مبتكرة تعزز فك التشفير ذاتي الانحدار عبر تغذية الحالة الخفية للطبقة العليا السابقة مرة أخرى إلى النموذج عبر التغذية الراجعة الكامنة، مما يحسن الأداء عبر مهام متنوعة مع الحفاظ على الكفاءة القياسية ويتطلب بيانات تدريب أقل بكثير من المحولات التقليدية.

المؤلفون الأصليون: Xi Wang, Ziyang Cai, Zheng Zhan, Harry Dong, Ying Fan, Gustavo de Rosa, Tim Pearce, John Langford

نُشر 2026-08-11

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xi Wang, Ziyang Cai, Zheng Zhan, Harry Dong, Ying Fan, Gustavo de Rosa, Tim Pearce, John Langford

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية، ولكن لديك قاعدة صارمة جدًا: يمكنك فقط أن تهمس بكلمة واحدة فقط لنفسك المستقبلية في كل مرة. إذا اكتشفت خطوة معقدة في خطتك، يجب عليك كتابتها ككلمة، ثم تنتظر حتى يقرأها مستقبلك، ثم تبدأ من جديد. هكذا تعمل معظم روبوتات الدردشة الآلية الحديثة؛ فهي بارعة في القراءة والكتابة، ولكن عندما تفكر، فإنها تُجبر على "نطق" أفكارها بصوت عالٍ، كلمة واحدة في كل مرة، حتى لو كانت تلك الأفكار معقدة. هذا يشبه محاولة حمل حقيبة ظهر ثقيلة من المعلومات، لكن لا يمكنك سوى تسليم نسخة بريدية (بطاقة بريدية) واحدة من الحقيبة إلى نفسك المستقبلية عند كل خطوة.

يسمي العلماء هذه النماذج من الذكاء الاصطناعي "المحولات" (Transformers). وهي المحركات التي تقف وراء روبوتات الدردشة الذكية التي نستخدمها كل يوم. تعمل هذه النماذج في اتجاهين: فهي تقرأ الكلمات عبر صفحة (أفقيًا) وتعالج المعلومات من خلال العديد من طبقات "النيورونات" المتراكمة فوق بعضها البعض (عموديًا). المشكلة هي أنه بينما يمكنها رؤية جميع الكلمات التي كتبتها بالفعل، إلا أنها لا تستطيع بسهولة إرسال أفكارها الداخلية العميقة والمعقدة إلى أسفل دماغها ليتم معالجتها مرة أخرى. بمجرد تحويل الفكرة إلى كلمة، تضيع معظم التفاصيل الغنية والخفية لتلك الفكرة، مما يترك الذكاء الاصطناعي إما لكتابة شرح طويل ومسهب أو إعادة حساب كل شيء من الصفر. يريد الباحثون معرفة: هل يمكننا السماح للذكاء الاصطناعي بالاحتفاظ بـ "ملاحظاته السرية" وإرسالها مرة أخرى إلى بداية دماغه دون الحاجة إلى كتابتها ككلمات؟ إذا استطعنا فعل ذلك، فقد يفكر الذكاء الاصطناعي بشكل أسرع وأذكى وبكلمات أقل.

تقدم هذه الورقة نوعًا جديدًا من الذكاء الاصطناعي يسمى "المحول كامل النطاق الترددي" (Full-bandwidth Transformer). وجد الباحثون، الذين يعملون في مايكروسوفت وجامعات مرموقة، طريقة لتوسيع قناة "الهمس" الضيقة تلك. فبدلاً من إرسال كلمة واحدة فقط إلى البداية، سمحوا للذكاء الاصطناعي بإرسال "حالته الخفية" بأكملها — وهي ملخص ضخم ومعقد لكل ما فكر فيه حتى الآن — عائدة إلى أسفل دماغه. يقومون بذلك باستخدام خدعة ذكية تسمى "التغذية الراجعة الكامنة" (Latent Feedback). تخيل لو أنه بدلاً من تسليم نفسك المستقبلية بطاقة بريدية، كان بإمكانك نقل حقيبة ملاحظاتك بأكملها فورًا عبر الانتقال الآني إلى نقطة البداية، ولكنك لا تزال تحتفظ بالبطاقة البريدية كسجل لما قلته. يقوم الذكاء الاصطناعي بدمج ملخصه الداخلي العميق مع الكلمة الجديدة التي ولدها للتو، مما يخلق مدخلًا فائق القوة للخطوة التالية.

قام الفريق بتدريب هذه النماذج الجديدة باستخدام جدول زمني خاص يقدم هذه القدرة على "الانتقال الآني" ببطء أثناء مرحلة التعلم. واختبروا نماذج بمليار معلمة (Parameter) على كمية هائلة من النصوص (تصل إلى 400 مليار توكن). وتشير النتائج إلى أن هذه الطريقة تعمل بشكل جيد بشكل مدهش. لم يصبح الذكاء الاصطناعي أفضل في الرياضيات والبرمجة فحسب، بل بدأ أيضًا في التفكير بطرق أقصر وأكثر كفاءة. في العديد من الاختبارات، قدم "المحول كامل النطرة الترددية" أداءً يضاهي النماذج القياسية التي تم تدريبها على ضعف كمية البيانات، وفي بعض الأحيان طابق النماذج التي تدربت على خمسة أضعاف كمية البيانات. ولعل الأمر الأكثر إثارة للحماس هو أنه عند حل المسائل الرياضية، غالبًا ما أنتجت هذه النماذج الجديدة إجابات أقصر بكثير مع الوصول إلى النتيجة الصحيحة، مما يشير إلى أنها كانت تقوم بالتفكير الصعب في "رأسها" بدلاً من إضاعة الكلمات في الشرح. ووجد الباحثون أن هذا النهج لا يضيف أي تكلفة إضافية تقريبًا إلى سرعة الذكاء الاصطناعي، مما يجعله طريقة واعدة لبناء ذكاء اصطناعي أكثر ذكاءً وكفاءة دون الحاجة إلى كميات لا نهاية لها من البيانات الجديدة.

ملخص تقني: المحول كامل النطاق الترددي (Full-Bandwidth Transformer)

بيان المشكلة

تقوم نماذج المحولات ذات التوليد الذاتي (Autoregressive transformers) بالحوسبة عبر محورين: أفقيًا عبر الرموز (tokens) المولدة، وعموديًا عبر عمق النموذج. وبينما توفر آلية الانتباه الكثيف وصولاً أفقيًا واسعًا إلى الرموز الماضية، تظل قناة التغذية الراجعة العمودية بين خطوات فك التشفير ضيقة. في عملية فك التشفير القياسية، يقوم النموذج بضغط حالته الخفية كاملة الأبعاد ( $D$ ) في الطبقة العليا إلى رمز منفصل واحد (يحمل على الأكثر $\log_2 |V|$ بت) ليكون مدخلًا للخطوة التالية. وبناءً على ذلك، فإن الحوسبة غير اللفظية (التمثيلات الوسيطة، عدم اليقين، الخطط الجزئية) تظل "مجمدة في العمق" داخل ذاكرة التخزين المؤقت (KV cache)؛ حيث تظل متاحة للطبقات فوق نقطة إنتاجها، لكنها لا تستطيع العودة إلى أسفل المكدس لمزيد من المعالجة. هذا يجبر النموذج إما على صياغة الحالات الوسيطة لفظيًا رمزًا تلو الآخر، أو إعادة حسابها من الصفر، مما يحد من العمق الفعال للاستدلال لكل رمز.

المنهجية: فك التشفير بالتغذية الراجعة الكامنة

يقترح المؤلفون المحول كامل النطاق الترددي، الذي يوسع قناة التغذية الراجعة بين الخطوات عبر تغذية الحالة الخفية السابقة للطبقة العليا في المدخلات جنبًا إلى جنب مع تضمين الرمز (token embedding) الذي تم اختياره.

1. آلية التغذية الراجعة الكامنة

في كل خطوة فك تشفير $t$ ، يتم تشكيل المدخل $u_t$ عن طريق دمج تضمين الرمز المختار $e_t$ مع الحالة الخفية السابقة للطبقة العليا $h^L_{t-1}$ :
$u_t = e_t \otimes h^L_{t-1}$
عامل الدمج $\otimes$ هو وحدة خطية مبوبة (GLU):
$e_t \otimes h^L_{t-1} = (W_U h^L_{t-1}) \odot \sigma(W_G e_t)$

عدم التماثل: تشغل الحالة الخفية مسار القيمة، بينما يعمل الرمز كبوابة ضربية. هذا التصميم يمنع النموذج من تعلم تجاهل مسار الحالة (وهو مسار مختصر محتمل في الدمج المتماثل)، مما يجبره على استخدام الحالة الخفية بالكامل.
البنية: يضيف هذا فقط عمليتي ضرب مصفوفتين من نوع $D \times D$ لكل رمز. تظل بنية المحول القياسية، وتخطيط ذاكرة التخزين المؤقت (KV cache)، ومكدس الخدمة دون تغيير.
الأثر: يسمح هذا للحالات غير اللفظية بإعادة الدخول إلى أسفل المكدس مع ميزانية عمق متجددة. يمكن لكل طبقة، بما في ذلك الأكثر ضحالة، الوصول الآن إلى التاريخ الكامل كما تمت معالجته بواسطة المكدس بأكمله، وليس فقط الطبقات التي تحتها.

2. استراتيجية التدريب المتوازي

إن تدريب هذه التكرارية بشكل مباشر سيؤدي إلى فقدان التوازي في "إجبار المعلم" (teacher forcing)، لأن المدخل عند الموضع $t$ يعتمد على المخرج عند $t-1$ . لذا قدم المؤلفون هدفًا متعدد الممرات (multi-pass objective) لحل هذه المشكلة:

التوازي الزمني: بد بدلًا من فك التكرار تسلسليًا عبر الرموز، يقوم النموذج بتشغيل $K$ $K$ من عمليات التمرير الأمامي المتوازية عبر التسلسل.
- الممر 1: تمرير أمامي قياسي مع تضمينات الرموز العادية.
- الممر $k$ ( $k > 1$ ): يتم إزاحة الحالات الخفية من الممر $k-1$ بمقدار موضع واحد جهة اليمين، ودمجها مع تضمينات الرموز، وتغذيتها مرة أخرى في المكدس بالتوازي.
دالة الخسارة: يجمع الهدف بين خسارة "توقع الرمز التالي" (NTP) القياسية من الممر الأول وخسائر NTP الإضافية من الممرات اللاحقة. تنتقل التدرجات من الممرات اللاحقة إلى الخلف لتصل إلى الحالات الكامنة المبكرة، مما يشجعها على أن تكون مدخلات قابلة لإعادة الاستخدام.
الجدولة: لضمان الاستقرار وإدارة تكاليف الحوسبة، يستخدم المؤلفون جدولة تدريجية:
- يبدأ التدريب بأهداف الممر الواحد القياسية.
- يتم تقديم التغذية الراجعة الكامنة في منتصف التدريب (على سبيل المثال، دفعات مكونة من ممرين).
- يتم خلط جزء صغير (على سبيل المثال، 3%) من الدفعات ذات الممرات الأعلى (مثل 3 ممرات) في التدريب. تجريبيًا، يعمل هذا الجزء الصغير على تثبيت خريطة التغذية الراجعة المتعلمة، مما يجعلها تقارب نحو نقطة ثابتة تظل مستقرة حتى عند التوسع إلى آفاق طويلة (مئات الممرات) أثناء الاستدلال.
خلط البادئة (Prefix Mix-in): للتعامل مع عدم التطابق في التوزيع بين التدريب (مدخلات مدمجة بالكامل) والاستدلال (بادئة عادية ثم توليد)، تعمل عملية التدريب على عشوائية طول البادئة التي تبدأ عندها المدخلات المدمجة، لتطابق هيكل (البادئة ثم التوليد) المستخدم في الاستدلال.

3. تقنيات الاستقرار

لمنع التباعد أثناء الاستدلال طويل الأمد، يستخدم المؤلفون:

تدرج العمق (Depth Scaling): ضمان بقاء معيار (norm) حالة الطبقة العليا عند $O(1)$ بدلاً من النمو مع العمق.
ربط الأوزان (Weight Tying): ربط أوزان طبقة التضمين وطبقة القراءة لضمان التوافق بين مدخلات الرمز العادي والحالة المدمجة.
تنظيم الضجيج (Noise Regularization): إضافة ضجيج اهتزازي صغير إلى الحالة المحمولة أثناء التدريب لتحسين المتانة.

النتائج الرئيسية

قام المؤلفون بتدريب نماذج بحجم 1 مليار معلمة حتى 400 مليار رمز، وقارنوها بالمحولات القياسية المدربة على 100 مليار إلى 1 تريليون رمز.

كفاءة البيانات: تضاهي نماذج المحول كامل النطاق الترددي أو تقترب من أداء المحولات القياسية المدربة باستخدام ما يقرب من 1.5 إلى 2 ضعف عدد الرموز. على سبيل المثال، يقترب نموذج كامل النطمان الترددي بحجم 200 مليار رمز من أداء نموذج قياسي بحجم 400 مليار رمز.
مكاسب الأداء:
- خسارة التحقق (Validation Loss): تحسن عبر جميع المقاييس.
- الاستدلال والبرمجة: في مهام التوليد الحر (GSM8K, Math500, HumanEval, MBPP)، يتفوق فك التشفير بالتغذية الراجعة الكامنة (نظامي SOFT و FUSED) باستمرار على فك التشفيد القياسي لنفس الأوزان.
  - SOFT (التغذية الراجعة الكامنة): الأفضل لمهام الرياضيات، مما يشير إلى أن الحالة الخفية تحمل الاستدلال بشكل أفضل من الرموز المنطوقة.
  - FUSED (التعبئة المسبقة متعددة الممرات): الأفضل لمهام البرمجة، مما يشيد بأن تمثيلات المطالبات المنقحة أمر بالغ الأهمية.
- ضبط التعليمات (Instruction Tuning):est: تستمر المكاسب بعد تمديد السياق الطويل وضبط التعليمات.
الإيجاز: في النماذج الأساسية (قبل ضبط التعليمات)، ينتج فك التشفير بالتغذية الراجعة الكامنة مسارات استدلال أقصر بشكل ملحوظ مع تحقيق دقة مساوية أو أفضل. يقوم النموذج بالحوسبة "صامتًا" في الحالة الخفية بدلاً من سردها رمزًا تلو الآخر. يتضاءل هذا التأثير بعد ضبط التعليمات، نظرًا لأن بيانات الضبط تحاكي أسلوب الاستدلال اللفظي.
إمكانية الوصول إلى الحالة: تؤكد تجارب الفحص (Probing) أن التعبئة المسبقة المتكررة تعرض معلومات الحالة العالمية للطبقات الضحلة (الطبقة 0) بشكل أكثر فعالية بكثير من التعبئة المسبقة القياسية، مما يؤكد ادعاء "النطاق الترددي الكامل".

الأهمية والادعاءات

يزعم الورقة البحثية أن المحول كامل النطاق الترددي يقدم محور توسع جديدًا للنماذج اللغوية الكبيرة: تخصيص المزيد من الحوسبة لكل رمز بدلاً من مجرد زيادة عدد الرموز أو المعلمات.

إعادة النظر في التوسع: مع تحول البيانات الفريدة عالية الجودة إلى مورد محدود، يجادل المؤلفون بضرورة استخراج المزيد من إشارات التعلم من كل رمز. يحقق ذلك عبر التغذية الراجعة الكامنة من خلال السماح للنموذج بالتحاور حول حالته الداخلية دون عائق التعبير اللفظي.
كفاءة الاستدلال: يوفر هذا النهج مكاسب في الأداء مع تكلفة إضافية ضئيلة لكل رمز أثناء فك التشفير (عمليتي ضرب مصفوفتين فقط). تُستهلك الحوسبة الإضافية بشكل أساسي أثناء التعبئة المسبقة الاختيارية متعددة الممرات أو أثناء التدريب، وليس أثناء التوليد المتسلسل لكل رمز.
التقليلية الهيكلية: تحافظ الطريقة على بنية المحول القياسية وذاكرة التخزين المؤقت (KV cache)، ولا تتطلب سوى تغيير في بناء المدخلات وجدول تدريب محدد.
الاستقرار: يوضح العمل أن حلقات التغذية الراجعة المتكررة يمكن تدريبها بفعالية في المحولات باستخدام أهداف متعددة الممرات متوازية، مما يتغلب على عدم الاستقرار المرتبط غالبًا بالشبكات المتكررة.

يخلص المؤلفون إلى أن المحولات كاملة النطاق الترددي تمثل تحولًا من الاعتماد حصريًا على حجم البيانات إلى الاستفادة من الحوسبة المتكررة القائمة على التغذية الراجعة لتحسين جودة التمثيل وكفاءة الاستدلال.