🤖 machine learning

Adaptive Computation Depth via Learned Token Routing in Transformers

تقدم الورقة البحثية آلية "الانتباه الانتقائي للرموز" (TSA)، وهي آلية بوابات خفيفة الوزن وقابلة للتفاضل من طرف إلى طرف، تُمكّن نماذج المحولات (transformers) من تخطي حسابات الطبقات الزائدة ديناميكياً لكل رمز على حدة بناءً على الصعوبة السياقية، مما يحقق مكاسب كفاءة كبيرة مع حد أدنى من فقدان الجودة ودون الحاجة إلى تنظيم صريح للعمق.

المؤلفون الأصليون: Ahmed Abdelmuniem Abdalla Mohammed

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ahmed Abdelmuniem Abdalla Mohammed

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مصنعاً حيث يحصل كل منتج يمر عبر خط التجميع على نفس المعاملة تماماً. سواء كان منتجاً بسيطاً ومثالياً أو معقداً ومعيباً، يقضي كل عنصر بالضبط نفس القدر من الوقت في كل محطة. هكذا تعمل نماذج الذكاء الاصطناعي القياسية حالياً (Transformers): فهي تعالج كل كلمة في الجملة عبر نفس العدد من "طبقات التفكير"، بغض النظر عما إذا كانت الكلمة سهلة أو صعبة الفهم.

تقدم هذه الورقة نظاماً جديداً يسمى الانتباه الانتقائي للرموز (Token-Selective Attention - TSA). فكر في (TSA) كأنك قمت بتثبيت "حارس بوابة" ذكي وتلقائي عند كل محطة في المصنع.

المشكلة: مصنع "مقاس واحد يناسب الجميع"

في نموذج الذكاء الاصطناعي القياسي، إذا طلبت منه كتابة "To be, or not to be"، سيعامل النموذج كلمة "To" وكلمة "question" بنفس القدر من القدرات الذهنية.

الكلمات السهلة (مثل "the" أو "is") تشبه المنتجات البسيطة؛ فهي لا تحتاج إلى الكثير من المعالجة.
الكلمات الصعبة (مثل المفاهيم المعقدة أو الأسماء النادرة) تشبه المنتجات المعيبة؛ فهي تحتاج إلى وقت واهتمام إضافيين لإصلاحها.

حالياً، يهدر المصنع الطاقة في معالجة المنتجات السهلة بنفس الكثافة التي يعالج بها المنتجات الصعبة.

الحل: الحارس الذكي (TSA)

أضاف المؤلفون "حارساً" صغيراً وخفيف الوزن (شبكة عصبية صغيرة) بين كل طبقة وأخرى في نموذج الذكاء الاصطناعي. ينظر هذا الحارس إلى كل كلمة (رمز/token) بشكل فردي ويسأل: "هل تحتاج هذه الكلمة للمرور بمحطة المعالجة التالية، أم يمكنها تخطيها؟"

القرار: لا يكتفي الحارس بقول "نعم" أو "لا" فحسب، بل يعطي درجة احتمالية (مثل مفتاح التحكم في شدة الإضاءة). إذا كانت الكلمة سهلة، قد يقول الحارس: "يمكنك تخطي الخطوة التالية"، أو "تحتاجين فقط إلى نصف العمل". وإذا كانت الكلمة صعبة، يقول: "اذهبي عبر المسار كاملاً".
السحر: الجزء الأفضل هو أن الحارس يعلّم نفسه بنفسه. فهو لا يحتاج إلى إنسان ليخبره أي الكلمات صعبة. إنه يتعلم ببساطة من خلال محاولة تقليل الأخطاء. إذا أدى تخطي خطوة معينة لكلمة ما إلى حدوث خطأ، يتعلم الحارس ضرورة إبقاء تلك الكلمة نشطة في المرة القادمة. وإذا كان التخطي يعمل بشكل جيد، فإنه يتعلم توفير الطاقة.

كيف يعمل في الواقع

اختبرت الورقة هذا النظام على شيئين رئيسيين:

الألغاز المنطقية البسيطة: عندما كان على الذكاء الاصطناعي نسخ قائمة من الأرقام، أدرك الحارس أن "هذا سهل"، فقام بتخطي حوالي 65% من العمل. وعندما طُلب منه ترتيب الأرقام (وهو أمر أصعب)، لم يتخطَّ سوى 27% من العمل. لقد استنتج طبيعياً أن المهام الأصعب تتطلب خطوات أكثر.
كتابة القصص: عندما طُلب من الذكاء الاصطناعي الكتابة بأسلوب شكسبير أو تلخيص مقالات ويكيبيديا، وفر الذكاء الاصطناعي ما بين 14% إلى 23% من قدرته الحوسبية.
- تعلم أن علامات الترقيم، والمسافات، والكلمات الشائعة هي كلمات سهلة ويمكن معالجتها بسرعة.
- تعلم أن كلمات المحتوى الفريدة تحتاج إلى معاملة "المصنع" الكاملة.

النتائج: أسرع وأذكى

لا فقدان في الجودة: كتب الذكاء الاصطناعي بجودة تماثل النموذج القياسي، لكنه استخدم طاقة أقل بكثير (قدرة حوسبية).
أفضل من "الخروج المبكر": تحاول طرق أخرى إيقاف الجملة بأكملها مبكراً إذا شعر الذكاء الاصطناعي بـ "الثقة". لكن (TSA) أكثر ذكاءً؛ فهو يوقف الكلمات الفردية عن المرور عبر خطوات غير ضرورية بينما يسمح للكلمات الصعبة بالاستمرار. وجدت الورقة أن (TSA) أنتج نتائج أفضل من هذه الطرق القديمة عندما تم ضبطها لتوفير نفس القدر من الطاقة.
سرعة حقيقية: عندما قام الباحثون بتشغيل الكود فعلياً على جهاز كمبيوتر، لاحظوا سرعة حقيقية (حوالي 2.3% أسرع) لأن الكمبيوتر لم يضطر حرفياً للقيام بالعمليات الحسابية للكلمات التي تم تخطيها.

الخلا الخلاصة

تقدم هذه الورقة طريقة لجعل نماذج الذكاء الاصطناعي "كسولة" بالطريقة الأذكى الممكنة. فبدلاً من إجبار كل كلمة على القيام بنفس القدر من العمل، يسمح (TSA) للذكاء الاصطناعي أن يقرر، في اللحظة ذاتها، أي الكلمات سهلة وأيها يحتاج إلى مساعدة إضافية. الأمر يشبه امتلاك مصنع تمر فيه المنتجات السهلة عبر الخط بسرعة، بينما تحصل المنتجات الصعبة على معاملة الـ VIP الكاملة، مما يوفر الوقت والطاقة دون التضحية بالجودة.

ملخص تقني: عمق الحوسبة التكيفي عبر التوجيه المكتسب للرموز في نماذج المحولات (Transformers)

بيان المشكلة

تطبق بنيات المحولات (Transformers) القياسية عددًا ثابتًا من الطبقات لكل رمز (token) في التسلسل، بغض النظر عن الصعوبة السياقية أو كثافة المعلومات لهذا الرمز. يعطي هذا التصميم الأولوية للبساطة الهيكلية على حساب القدرة على التكيف لكل رمز، مما يؤدي إلى عدم كفاءة حوسبية كبيرة. ومن الناحية العملية، تتطلب الرموز الشائعة في السياقات المتوقعة معالجة أقل بكثير من الرموز النادرة في البناءات المستحدثة، ومع ذلك تتلقى كلاهما موارد حوسبية متطابقة خلال كل تمريرة أمامية (forward pass). وتعد هذه الفعالية غير الكافية مكلفة بشكل خاص عند التوسع في مرحلة الاستنتاج (inference)، حيث تتركز التكلفة الأساسية في التمريرة الأمامية الكاملة لجميع الطبقات لجميع الرموز. تحاول الحلول الحالية، مثل "وقت الحوسبة التكيفي" (ACT) للنماذج المتكررة (RNNs)، والمحولات العالمية (Universal Transformers)، ومزيج الأعماق (Mixture-of-Depths - MoD)، وآليات الخروج المبكر (Early Exit)، معالجة ذلك، لكنها غالبًا ما تعتمد على الاختيار القاسي، أو الميزانيات المتراكمة، أو عتبات الثقة اللاحقة التي قد لا تكون قابلة للاشتقاق بالكامل أو مثالية.

المنهجية: الانتباه الانتقائي للرموز (TSA)

يقترح البحث آلية الانتباه الانتقائي للرموز (Token-Selective Attention - TSA)، وهي آلية تُدخل بوابة (gate) متعلمة لكل رمز على التحديثات المتبقية (residual updates) بين كتل المحول المتتالية.

البنية والتوجيه

تدرج آلية TSA موجهًا خفيف الوزن $r_l$ بعد كل كتلة $f_l$ (لـ $l = 0, \dots, L-2$ ) في نموذج محول (decoder-only) يتبع نظام الـ pre-norm. وتنفذ كتلة الجذع (stem block) $f_0$ دائمًا دون شرط.

تصميم الموجه (Router Design): كل موجه هو عبارة عن طبقة MLP مكونة من طبقتين مع مخرج sigmoid، ينتج احتمالية توقف مستمرة $p_l \in (0, 1)$ لكل رمز. البعد المخفي هو $d/4$ (بحد أدنى 16)، مما يضيف حوالي 1.7% فقط من زيادة المعلمات (parameters) إلى النموذج الأساسي.
التحديث المبوّب (Gated Update): يتم تغيير حجم التحديثات المتبقية للكتلة التالية $f_{l+1}$ $f_{l + 1}$ بمقدار $(1 - p_l)$ $(1 - p_{l})$ .
- إذا كانت $p_l = 0$ ، يكون التحديث قياسيًا.
- إذا كانت $p_l = 1$ ، تظل الحالة دون تغيير، مما يعني تخطي الكتلة فعليًا.
- عملية الاستيفاء (interpolation) سلسة، مما يضمن أن الآلية قابلة للاشتقاق بالكامل دون الحاجة إلى مقدرات "المرور المباشر" (straight-through estimators)، أو أخذ عينات Gumbel، أو التعلم التعزيزي.

التدريب والانتظام

أثناء التدريب، تُنفذ جميع الطبقات بالكامل؛ تقوم البوابة بتغيير حجم التحديثات المتبقية ولكنها لا تتخطى الحوسبة. يتم تعريف إجمالي الخسارة كـ $L = L_{task} + L_{depth}$ .

انتظام العمق (Depth Regularization): يُضاف حد $L_{depth} = \lambda \cdot \frac{1}{L-1} \sum (1 - p_l)$ لتشجيع التوقف المبكر بلطف.
السلوك الناشئ (Emergent Behavior): من الملاحظ أن البحث يوضح أن آلية التوجيه تتعلم تخطي العمليات حتى عندما تكون $\lambda = 0$ (أي بدون ضغط عمق صريح)، مدفوعة فقط بمتجه تدرج خسارة المهمة (task-loss gradient).

الاستنتاج (Inference)

عند الاستنتاج، تنتقل الآلية إلى "الوضع المتفرق" (sparse mode). يتم استبعاد الرموز التي تكون فيها $p_l > 0.5$ من الشبكة المغذية للأمام (FFN) عبر عمليات الجمع والتشتيت (gather/scatter)، بينما يظل الانتباه كثيفًا للحفاظ على دلالات المفتاح والقيمة (key-value semantics) بدقة. وهذا يحقق وفورات حقيقية في عمليات الـ FLOPs وسرعات في وقت التنفيذ الفعلي.

المساهمات الرئيسية

التوجيه القابل للاشتقاق للرموز: بوابة ناعمة مستمرة وسهلة لكل رمز على التحديثات المتبقية، مما يسمح بتوجيه لكل رمز ولكل طبقة دون تغييرات هيكلية في نموذج المحول الأساسي.
النشوء المدفوع بالتدرج: دليل على أن التوجيه المتناسب مع الصعوبة ينشأ طبيعيًا من تدرج خسارة المهمة وحده. حتى بدون تنظيم العمق ( $\lambda=0$ )، يتعلم الموجه تخطي حوالي 20% من عمليات الرموز والطبقات.
المفاضلة بين الكفاءة والجودة: التحقق من خلال نمذجة اللغة على مستوى الحروف، حيث حققت TSA وفورات بنسبة 14-23% في عمليات طبقة الرموز (TLOps) مع فقدان في الجودة يقل عن 0.5%.
التفوق على الخروج المبكر: عند تساوي الكفاءة، تحقق TSA خسارة تحقق (validation loss) أقل من نماذج الخروج المبكر (Early Exit)، مما يشير إلى أن قرارات التوجيه المتعلمة بالكامل هي أفضل من عتبات الثقة اللاحقة.
تسريع حقيقي في وقت التنفيذ: إظهار تسريع حقيقي في وقت التنفيذ (يصل إلى 2.3%) على أجهزة عادية (Apple M1 Pro) عبر الاستنتاج المتفرق.

النتائج التجريبية

المهام الاصطناعية

على مهام النسخ (copy) والفرز (sort) (تسلسلات بطول 10):

مهمة النسخ (Copy Task): تعلم الموجه أن المهمة هي عملية مطابقة للهوية، فقام بتخطي 54.9% من عمليات طبقة الرموز ( $\alpha = 0.341$ ) دون أي فقدان في الدقة.
مهمة الفرز (Sort Task): خصص الموجه المزيد من الحوسبة، حيث تخطى 22.5% من العمليات ( $\alpha = 0.730$ )، مما يعكس الصعوبة الأعلى.

نمذجة اللغة على مستوى الحروف

Tiny-Shakespeare: وفرت TSA نسبة 22.8% من عمليات طبقة الرموز ( $\alpha = 0.726$ ) مع زيادة في خسارة التحقق قدرها 0.006 نات (+0.4%) فقط.
enwik8: على مجموعة بيانات أكثر تنوعًا (Wikipedia)، وفرت TSA نسبة 13.9% من عمليات طبقة الرموز ( $\alpha = 0.833$ ) دون أي تدهور في الجودة (بل حققت خسارة تحقق أفضل قليلاً).
المتانة (Robustness): الآلية متينة تجاه معامل الانتظام $\lambda$ عبر رتبتين من المقدار ( $[0, 0.1]$ ). عند $\lambda=0.05$ ، حققت وفورات بنسبة 50.4% في عمليات طبقة الرموز مع تكلفة ضئيلة في الجودة.

المقارنة مع الخروج المبكر (Early Exit)

عند تساوي الجزء النشط ( $\alpha \approx 0.726$ )، حققت TSA خسارة تحقق أقل بنسبة 0.71% من نموذج الخروج المبكر الأساسي. يشير هذا إلى أن تعلم قرارات التوجيه بالكامل (end-to-end) ينتج قرارات أفضل من تطبيق عتبة ثقة في وقت الاستنتاج.

إنتاجية وقت التنفيذ الفعلي (Wall-Clock Throughput)

Soft-TSA (التدريب): أضافت زيادة قدرها ~1% بغض النظر عن قيمة $\alpha$ .
Sparse-TSA (الاستنتاج): حققت تسريعًا بنسبة 2.3% في Tiny-Shakespeare ( $\alpha=0.726$ ) وأداءً متعادلًا في enwik8 ( $\alpha=0.833$ ). تطلبت عمليات التسريع حجم دفعة (batch size) $\ge 64$ للتغلب على عبء المزامنة بين المعالج المركزي (CPU) ومعالج الرسوميات (GPU).

الأهمية والادعاءات

يزعم البحث أن TSA تقدم حلاً بسيطاً للغاية من الناحية الهيكلية لمشكلة عدم كفاءة نماذج المحولات ذات العمق الثابت. تكمن أهميتها الأساسية في إثبات أن عمق الحوسبة التكيفي يمكن تعلمه مباشرة من هدف المهمة دون الحاجة إلى إشراف صريح بشأن الصعوبة أو إشارات تعلم تعزيزي معقدة.

يؤكد المؤلفون أن الموجه يعمل كـ "بوابة ضوضاء متعلمة"، حيث يخفف التحديثات عندما تكون المساهمات المتبقية زائدة عن الحاجة. وهذا يسمح للنموذج بتخصيص الحوسبة ديناميكيًا بناءً على صعوبة الرمز، مما يحقق مكاسب كفاءة كبيرة (تصل إلى 55% في المهام الاصطناعية، و14-23% في نمذجة اللغة) مع حد أدنى من التضحية بالجودة. ويشير العمل إلى أن التوجيه القابل للاشتقال بالكامل هو استراتيجية أكثر فعالية للعمق التكيفي من الاختيار المنفصل أو العتبات اللاحقة، مما يمهد الطريق لحوسبة أكثر كفاءة في مرحلة الاستنتاج على الأجهزة العادية.

يبقى البحث متواضعًا فيما يتعلق بالحجم، حيث يشير إلى أن جميع التجارب أجريت على نماذج تحتوي على حوالي 5-6 ملايين معلمة، ولا يزال سلوك التوسع مع النماذج الأكبر (10M-100M+) سؤالًا مفتوحًا. بالإضافة إلى ذلك، فإن التسريعات الحالية تعتمد على حجم الدفعة (batch size)، ولم يتم تنفيذ تفرق الانتباه (attention sparsity) بعد.