💬 NLP

What Layers When: Learning to Skip Compute in LLMs with Residual Gates

تُعد GateSkip آلية بوابية مستقرة وقابلة للضبط الدقيق تتيح تخطي الطبقات على مستوى الرمز (token-wise) في النماذج اللغوية ذات فك التشفير فقط (decoder-only)، مما يسمح بتوفير كبير في الحوسبة أثناء الاستدلال مع حد أدنى من الفقد في الدقة.

المؤلفون الأصليون: Filipe Laitenberger, Dawid Kopiczko, Cees G. M. Snoek, Yuki M. Asano

نُشر 2026-02-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Filipe Laitenberger, Dawid Kopiczko, Cees G. M. Snoek, Yuki M. Asano

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقرأ عقداً قانونياً ضخماً يتكون من 1,000 صفحة.

أثناء القراءة، يعمل دماغك بطريقتين طبيعيتين: عندما تصادف جملة مثل "الطرف الأول من..."، قد تمر عليها سريعاً لأنها مجرد حشو معتاد. ولكن عندما تصادف جملة مثل "إجمالي الغرامة هو 50 مليون دولار"، ينتقل دماغك إلى أقصى درجات التركيز، ويسخر كل ذرة من انتباهك للتأكد من أنك لن تفوت تفصيلاً واحداً.

حالياً، لا يعمل الذكاء الاصطناعي (نماذج اللغات الكبيرة - LLMs) بهذه الطريقة. فسواء كان يقرأ كلمة "الـ" المملة أو كلمة "مليون دولار" الحاسمة، يستخدم الذكاء الاصطناعي نفس القدر من "قوة الدماغ" (الحوسبة) لكل كلمة. وهذا أمر غير فعال للغاية.

GateSkip هي طريقة جديدة صُممت لمنح الذكاء الاصطناعي "مرشح تركيز"، مما يسمح له بتصفح الأجزاء الممل__ة بسرعة والتركيز فقط على الأشياء المهمة.

التشبيه: بوابة الرسوم الذكية

تخيل طريقاً سريعاً (المسار المتبقي - Residual Stream) حيث تسير السيارات (المعلومات/الرموز - Tokens Information). وعلى طول هذا الطريق السريع، توجد عدة بوابات رسوم ضخمة ومكلفة (طبقات الانتباه وMLP - Attention and MLP Layers) حيث يجب على كل سيارة التوقف، والدفع، والخضوع لفحص كامل.

في نموذج الذكال الاصطناعي القياسي، يجب على كل سيارة - حتى لو كانت دراجة هوائية صغيرة أو راكباً واحداً - التوقف عند كل بوابة رسوم. وهذا يجعل الرحلة بطيئة ومكلفة للغاية.

تقدم GateSkip "بوابة ذكية" عند كل بوابة رسوم:

الفحص (البوابة): قبل أن تدخل السيارة منطقة الفحص المكلفة، يقوم مستشعر خفيف وسريع (البوابة - Gate) بفحص السيارة. ويسأل: "هل يوجد شيء مهم في هذه المركبة، أم أنها مجرد مساحة فارغة؟"
القرار (التخطي):
- إذا رأى المستشعر شاحنة ثقيلة محملة بالذهب (كلمة عالية الأهمية مثل "مليون" أو مسألة رياضية معقدة)، فإنه يفتح البوابة ويسمح للسيارة بالمرور عبر الفحص الكامل.
- إذا رأى المستشعر قطعة صغيرة من الوبر (كلمة منخفضة الأهمية مثل "الـ" أو "من")، فإنه يخبر السيارة: "أنتِ لستِ مهمة بما يكفي لهذه البوابة. فقط ابقي في الطريق السريع وتخطي هذا التوقف."
الميزانية (الكمية - Quantile): لضمان عدم ازدحام الطريق السريع، يوجد نظام "ميزانية". يقول النظام: "لدينا ميزانية تكفي لفحص 80% فقط من السيارات عند هذه البوابة." ثم يقوم النظام بتصنيف جميع السيارات ويسمح لأفضل 80% منها بالمرور، بينما يترك الـ 20% المتبقية تتخطى الخطوة وتكمل طريقها.

لماذا يعد هذا أمراً هاماً؟

عادةً، عندما يحاول العلماء جعل الذكاء الاصطناعي أسرع عن طريق تخطي بعض الأجزاء، يصبح الذكاء الاصطناعي "أغبى" بسرعة كبيرة؛ فالأمر يشبه محاولة تعلم القراءة عبر تخطي كل ثالث كلمة؛ في النهاية، ستفقد سياق القصة.

لكن GateSkip مميزة لأنها:

سلسة وليست متقطعة: بدلاً من اتخاذ قرارات "قاسية" تربك الذكاء الاصطناعي أثناء التدريب، فهي تستخدم نهجاً رياضياً "ناعماً" يسم يسمح للذكاء الاصطناعي بتعلم كيفية التخطي دون إرباك قدراته.
يمكنها فعلياً جعل الذكاء الاصطناعي أذكى: من المثير للدهشة أن الباحثين وجدوا أنه في مهام معينة، ساعد تأثير "التركيز" هذا الذكاء الاصطناعي على الأداء بشكل أفضل من النسخة الأصلية، لأنه تعلم كيفية منح الأولوية للمعلومات الصحيحة.
تتوافق مع التقنيات الأخرى: إنها تشبه نوعاً جديداً من مضافات الوقود؛ فهي لا تكسر المحرك. يمكنك استخدامها جنباً إلى جنب مع حيل الكفاءة الأخرى (مثل "الكمية" - Quantization، والتي تشبه جعل السيارات أصغر حجماً) لجعل الذكاء الاصطناعي أسرع بكثير.

النتيجة

باختختصار، تحول GateSkip الذكاء الاصطناعي من عامل يحدق بتركيز شديد في كل حبة رمل، إلى قارئ ذكي يتصفح الحشو ويركز على المعنى. وهذا يسمح للذكاء الاصطناعي بالعمل بشكل أسرع بكثير واستهلاك كهرباء أقل بكثير، مع بقائه بنفس الذكاء (أو حتى أكثر ذكاءً) مما كان عليه من قبل.

ملخص تقني: GateSkip: تعلم تخطي الحوسبة في النماذج اللغوية الكبيرة باستخدام البوابات المتبقية (Residual Gates)

نُشر في: ICLR 2026

1. بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) حاليًا من عدم كفاءة حوسبية بسبب التخصيص الموحد للموارد. تطبق بنى المحولات (Transformer) القياسية نفس القدر من الحوسبة (كل طبقة، كل رأس انتباه، كل وحدة MLP) لكل رمز (token)، بغض النظر عما إذا كان الرمز عبارة عن علامة ترقيم بسيطة أو مفهوم دلالي معقد.

المحاولات الحالية لحل هذه المشكلة — مثل خليط العمق (Mixture-of-Depoths - MoD) (الذي يستخدم موجهات منفصلة وغير مستقرة) أو طرق الخروج المبكر (Early-Exit methods) (التي تتطلب رؤوسًا مساعدة وتغير الحالات المخفية للنماذج المدربة مسبقًا) — غالبًا ما تعاني من عدم استقرار التدريب، أو تتطلب التدريب من الصفر، أو تفشل في الحفاظ على الأداء أثناء عمليات الاستدلال التوليدي طويلة المدى.

2. المنهجية: آلية GateSkip

يقترح المؤلفون GateSkip، وهي آلية بوابات متبقية (residual-gate) خفيفة الوزن وقابلة للاشتقاق، مصممة لنماذج المحولات ذات فك التشفير فقط (decoder-only transformers).

البوابة المتبقية (Residual Gating): بدلاً من الموجه المنفصل، تضيف GateSkip بوابة خطية صغيرة قابلة للتدريب مع تفعيل "سيجمويد" (sigmoid) عند نقطة الخروج من كل وحدة انتباه (Attention) ووحدة MLP. يتم ضرب مخرج الوحدة ( $o_\ell$ ) في قيمة البوابة ( $g_\ell$ ) عبر الضرب العنصري قبل إضافتها مرة أخرى إلى المجرى المتبقي (residual stream):
$h_{\ell+1} = h_\ell + (o_\ell \odot \sigma(W_G h_\ell + b))$
هدف التدريب: يتم تدريب النموذج باستخدام دالة خسارة مشتركة:
$\mathcal{L} = \mathcal{L}_{CE} (\text{Cross-Entropy}) + \lambda_S \mathcal{L}_S (\text{Sparsity Penalty})$
عقوبة التخلخل (Sparsity penalty $\mathcal{L}_S$ ) هي مسافة $L_2$ التي تشجع تنشيطات البوابة على البقاء قريبة من الصفر، مما يعلم النموذج فعليًا كيفية "ضغط" أو تخطي المعلومات غير المهمة.
تخطي الرموز (Inference): أثناء الاستدلال، يحسب النموذج درجات الأهمية لجميع الرموز في طبقة ما. يستخدم عتبة قائمة على المئينات (quantile-based threshold) لاختيار أعلى الرموز فقط (بناءً على ميزانية محددة $b_t$ ) لمعالجتها. الرموز التي يتم تخطيها تقوم ببساطة بنسخ حالاتها المخفية ومدخلات (KV-cache) من الطبقة السابقة إلى الطبقة التالية، مما يوفر عمليات حسابية (FLOPs) كبيرة.
الاستقرار: نظرًا لأن البوابات سلسة وقابلة للاشتقاق، يمكن ضبط GateSkip بدقة (fine-tuning) فوق النماذج المدربة مسبقةً دون الاستقرار المرتبط بطرق التوجيه الصلبة (hard-routing).

3. المساهمات الرئيسية

العمق التكيفي المستقر: تقديم طريقة تتيح تخطي الطبقات على مستوى الرمز، وهي مستقرة في التدريب ومتوافقة مع النماذج الأساسية المدربة مسبقًا.
مقايضات متفوقة: إثبات تحقيق أفضل مستويات الأداء في المقايضة بين الحوسبة والدقة، لا سيما في مهام الاستدلال التوليدي حيث تنهار الطرق السابقة (مثل MoD) غالبًا.
التوافق المتعامد: إثبات أن GateSkip تعمل بسلاسة مع تقنيات الكفاءة الأخرى، بما في ذلك التكميم بـ 4 بت (4-bit quantization)، والتقليم الهيكلي (structured pruning)، وفك التشفيد الذاتي التكهني (self-speculative decoding).
رؤى التفسير: تقديم تحليل لتنشيطات البوابة، مما كشف أن النموذج يستخدم رموز بداية الجملة (BOS) وعلامات الترقيم كـ "مرتكزات هيكلية" لإدارة تدفق المعلومات.

4. النتائج الرئيسية

قيم المؤلفون GateSkip على نماذج Llama 3.1 (حتى 8B) و Gemma 2 (2B).

الاستدلال التوليدي (مثل GSM8K، CSQA): في مهام الاستدلال طويلة المدى، توفر GateSkip ما يصل إلى 15% من الحوسبة مع الاحتفاظ بـ أكثر من 90% من دقة النموذج الأساسي.
النماذج المضبوطة للتعليمات (Instruction-Tuned Models): في نماذج مثل Llama-3b-Instruct، تعمل GateSkip في الواقع على تحسين الدقة عند الحوسبة الكاملة ويمكنها مطابقة جودة النموذج الأساسي حتى مع توفير في الحوسبة بنسبة ~50%.
معايسات احتمالية الإمكان (Log-Likelihood Benchmarks): تتفوق على أو تضاهي الطرق الرائدة السابقة (MoD, CALM, FREE) عبر معايضات متعددة (MMLU, HellaSwag، إلخ).
الكفاءة في العالم الحقيقي: في البيئات المحسنة (vLLM)، تترجم توفيرات العمليات الحسابية (FLOPs) النظرية مباشرة إلى زيادات ملموسة في الإنتاجية (throughput) وانخفاض في زمن الاستجابة (latency).
المتانة: على عكس "التخطي العشوائي" الذي يسبب انهيارًا كارثيًا في الدقة، تتدهور أداء GateSkip بشكل تدريجي وسلس مع انخفاض ميزانية الحوسبة.

5. الأهمية

تمثل GateSkip خطوة هامة نحو الاستدلال الديناميكي الفعال. من خلال تحويل المجرى المتبقي إلى آلية تحكم، فإنها تسمح للنماذج اللغوية الكبيرة بـ "التفكير بعمق أكبر" في الرموز الصعبة و"التصفح السريع" للرموز السهلة. إن قدرتها على التطبيق فوق النماذج المدربة مسبقًا دون إعادة تدريب ضخمة وتوافقها مع التكميم يجعلها حلاً عمليًا للغاية لنشر النماذج واسعة النطاق في البيئات الحساسة لزمن الاستجابة أو محدودة الموارد. علاوة على ذلك، فإن اكتشاف أن البوابات يمكن أن تعمل كأدوات سلامة وتفسير (بتسليط الضوء على الرموز "ذات الصلة بالسياسات" مثل "السلاح الكيميائي") يفتح آفاقًا جديدة لأبحاث سلامة الذكاء الاصطناعي.