🤖 machine learning

TIDE: Token-Informed Depth Execution for Per-Token Early Exit in LLM Inference

إنَّ TIDE هو نظام ما بعد التدريب يتيح الخروج المبكر لكل رمز (per-token early exit) في النماذج اللغوية الكبيرة عبر إلحاق موجهات متعلمة خفيفة الوزن بطبقات نقاط التفتيش (checkpoint layers)، مما يسمح للرموز بتجاوز الحسابات الفائضة بمجرد تقارب حالاتها الخفية دون الحاجة إلى إعادة تدريب النموذج.

المؤلفون الأصليون: Jaber Jaber, Osama Jaber

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jaber Jaber, Osama Jaber

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مصنعاً ضخماً وعالي الجودة ينتج قصصاً مخصصة، كلمة بكلمة. يحتوي هذا المصنع على 32 (أو حتى 80) محطة عمل مختلفة، أو "طبقات"، يجب أن تمر عبرها كل كلمة.

في نماذج اللغات الكبيرة (LLM) القياسية، تحصل كل كلمة على معاملة كبار الشخصيات (VIP) الكاملة.

كلمة مثل "الـ" (كلمة شائعة ومملة) تمر عبر الـ 32 محطة، حيث يتم صقلها وتحليلها ومعالجتها تماماً مثل معادلة رياضية معقدة أو رؤية فلسفية عميقة.
الأمر يشبه إرسال كلمة "مرحباً" بسيطة عبر فحص أمني مكون من 32 خطوة، و3ر 32 خطوة لمراقبة الجودة، و32 خطوة من الطهي الفاخر. هذا آمن، ولكنه هدر هائل للموارد. أنت تنفق ثروة من الكهرباء والوقت على كلمات لا تحتاج إلى ذلك.

دخول TIDE: "الحارس الذكي"

TIDE (التنفيذ ذو العمق المدرك للرموز - Token-Informed Depth Execution) هو نظام جديد يعمل مثل حارس ذكي للغاية لهذا المصنع. هو لا يمنع الكلمات من دخول المصنع، لكنه يقرر بالضبط متى يمكنها المغادرة مبكراً.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. "الجولة التجريبية" (المعايرة)

قبل أن يفتح المصنع أبوابه للأعمال، يقوم TIDE بـ "بروفة" سريعة. يقوم بتغذية النموذج بـ 2,000 جملة بسيطة (مثل مقال من ويكيبيديا) ويراقب كيف تتغير الكلمات أثناء حركتها عبر الطبقات.

لاحظ أنه بالنسبة لكلمة "الـ"، يتوقف معناها عن التغير بعد الطبقة 8. بحلول الطبقة 9، تصبح مجرد الكلمة نفسها مرة أخرى.
بالنسبة لكلمة رياضية معقدة، يستمر معناها في التطور طوال الطبقة 31.
يقوم TIDE بتدريب "موجهات" (Routers) صغيرة وخفيفة الوزن (مثل رقائق اتخاذ قرار صغيرة) للتعرف على هذا النمط. يستغرق تعلم هذا الأمر 3 دقائق فقط، و"كتيب القواعد" الناتج صغير جداً (4 ميجابايت فقط).

2. "مراجعة ما بعد المباراة" (الاستدلال)

هذا هو الجزء الذكي. TIDE لا يمنع الكلمة من المرور عبر جميع الطبقات الـ 32 أثناء معالجة الكلمة. لماذا؟ لأن الإيقاف المبكر يكسر ذاكرة المصنع ("KV Cache")، مما يسبب أخطاءً.

بدلاً من ذلك، يسمح TIDE للكلمة بالمرور عبر جميع الطبقات الـ 32 مثل المعتاد، ولكنه يفعل شيئاً خاصاً في الخلفية:

بينما تمر الكلمة بكل نقطة تفتيش، يهمس الموجه الصغير: "مهلاً، هذه الكلمة جاهزة! لقد اكتملت تماماً!"
بمجرد انتهاء الكلمة من الطبقات الـ 32 كاملة، ينظر النظام إلى ملاحظات الموجه.
إذا قال الموجه: "كانت هذه الكلمة جاهزة عند الطبقة 8"، فإن النظام يتجاهل العمل الذي تم من الطبقة 9 إلى 32 لهذا الكلمة تحديداً. يأخذ النتيجة من الطبقة 8 ويمضي قدماً.

فكر في الأمر كطالب يؤدي امتحاناً مكوناً من 32 سؤالاً:

الطريقة القديمة: يجيب الطالب على جميع الأسئلة الـ 32، حتى لو كان يعرف الإجابة على السؤال الأول فوراً.
طريقة TIDE: يجيب الطالب على جميع الأسئلة الـ 32 (للحفاظ على انسيابية الاختبار)، ولكن المعلم يصحح لهم بناءً على أبكر سؤال أجاب عليه الطالب بشكل صحيح. إذا أجاب على السؤال الأول بشكل صحيح، يتجاهل المعلم بقية الورقة بالنسبة لتلك الإجابة المحددة.

3. النتائج: السرعة والتوفير

لأن TIDE يدرك أن معظم الكلمات (مثل "الـ"، "يكون"، "و") بسيطة ولا تحتاج إلى تفكير عميق، فإنه يلغي العمل غير الضروري.

للكلمات البسيطة: قد تخرج عند الطبقة 11، متجاوزة 21 طبقة من العمل.
للكلمات الصعبة: تستمر حتى النهاية.
العملية الحسابية: في اختبار لمسألة رياضية، كانت 99% من الكلمات بسيطة بما يكفي للخروج مبكراً، ومع ذلك حل النموذج المسألة المعقدة بشكل مثالي.

لماذا يعد هذا أمراً هاماً؟

لا حاجة لإعادة التدريب: لا تحتاج إلى إعادة بناء المصنع أو إعادة تدريب العمال. TIDE مجرد "إضافة" صغيرة يمكن تركيبها على النماذج الموجودة (مثل تلك الموجودة في Hugging Face).
يعمل على أي نموذج: سواء كان Llama أو Qwen أو GPT، يمكن لـ TIDE معرفة كيفية الاتصال به.
أسرع وأرخص: من خلال تخطي العمل الإضافي للكلمات البسيطة، يعمل المصنع بشكل أسرع (زمن استجابة أقل) ويمكنه التعامل مع المزيد من العملاء في وقت واحد (إنتاجية أعلى). على وحدات معالجة الرسومات (GPUs) القوية، يعني هذا توليد النصوص بسرعة أكبر بنسبة تصل إلى 8% مع استهلاك طاقة أقل.

العقبة (القيود)

TIDE حالياً هو نظام "مراجعة ما بعد المباراة". فهو لا يزال يشغل الكلمة عبر جميع الطبقات فعلياً، لضمان السلامة مع الذاكرة. إنه لا يوقف الكلمة فيزيائياً عن دخول الغرف اللاحقة بعد.

التشبيه: الأمر يشبه حارساً يسمح للجميع بدخول النادي، ولكنه يفحص هوياتهم عند الباب. إذا كانوا على القائمة، فإنه يخبر منسق الموسيقى (DJ) بالتوقف عن تشغيل الموسيقى لهم. هذا يوفر الطاقة على الموسيقى، لكنهم لا يزالون قد مروا عبر الباب.
المستقبل: الخطوة التالية هي جعل الحارس يمنعهم حتى قبل دخول الغرف اللاحية، مما سيوفر وقتاً أكبر بكثير.

الملخص

TIDE هو أداة كفاءة ذكية. إنه يدرك أن ليس كل كلمة تحتاج إلى تحليل بمستوى الدكتوراه. من خلال إرفاق "حساسات ذكية" متعلمة بالنماذج الحالية، فإنه يسمح للكلمات البسيطة بالمغادرة من المصنع مبكراً بينما يترك الكلمات المعقدة لتتلقى المعاملة الكاملة. النتيجة؟ ذكاء اصطناعي أسرع، تكاليف أقل، ونفس الإجابات عالية الجودة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "TIDE: تنفيذ العمق المعتمد على التوكن (Token-Informed Depth Execution) للخروج المبكر لكل توكن في استنتاج النماذج اللغوية الكبيرة (LLM)."

1. بيان المشكلة

تعمل النماذج اللغوية الكبيرة (LLMs) الحالية وفق استراتيجية تخصيص حوسبة موحد: حيث يمر كل توكن، بغض النظر عن تعقيده الدلالي أو صعوبته، عبر جميع طبقات الشبكة.

عدم الكفاءة: تحصل التوكنات البسيطة (مثل كلمات الوظيفة مثل "the") على نفس معالجة الـ 32 طبقة التي تحصل عليها خطوات الاستدلال المعقدة، مما يؤدي إلى هدر كبير في الحوسبة.
محدودية الحلول الحالية:
- طرق المشفّر فقط (مثل DeeBERT): مصممة للتصنيف، ولا يمكن تعميمها على التوليد الذاتي الانحداري (autoregressive generation) مع وجود ذاكرة التخزين المؤقت (KV cache).
- الطرق القائمة على إعادة التدريب (مثل LayerSkip و EE-LLM): تتطلب الوصول إلى مسار التدريب وساعات مئات من وحدات معالجة الرسومات (GPU)، مما يجعلها غير عملية لمستخدمي النسخ المسبقة التدريب.
- الاستدلالات القائمة على الثقة: الاعتماد على "إنتروبي Softmax" غير موثوق في مهام التوليد حيث تكون الإنتروبي مرتفعة بطبيعتها.
الهدف: تطوير نظام يتيح الخروج المبكر لكل توكن في النماذج اللغية الكبيرة ذات التوليد الذاتي الانحداري دون الحاجة لإعادة تدريب النموذج الأساسي، مع الحفاظ على سلامة ذاكرة التخزين المؤقت (KV cache)، وتقليل زمن التأخير واستهلاك الطاقة.

2. المنهجية: TIDE

TIDE هو نظام ما بعد التدريب (post-training system) يقوم بإرفاق موجهات (routers) خفيفة الوزن تم تعلمها عند طبقات نقاط التحقق الدورية لنموذج مجمد. يعمل النظام في مرحلتين: المعايرة في وضع عدم الاتصال (Offline Calibration) و الاستنتاج في وضع الاتصال (Online Inference).

أ. المعايرة في وضع عدم الاتصال (لمرة واحدة)

جمع البيانات: يقوم النموذج المجمد بمعالجة 2,000 عينة من WikiText-103 مع تفعيل خاصية output_hidden_states=True.
تسمية التقارب (Convergence Labeling): لكل توكن $i$ عند طبقة نقطة التحقق $k$ ، يحسب النظام تشابه جيب التمام (cosine similarity) بين الحالة المخفية $h_k$ والحالة المخفية للطبقة النهائية $h_L$ :
$s_k^{(i)} = \frac{h_k^{(i)} \cdot h_L^{(i)}}{\|h_k^{(i)}\| \|h_L^{(i)}\|}$
يتم تعيين تسمية ثنائية ( $y=1$ ) إذا تجاوز التشابه عتبة $\tau$ (الافتراضية 0.98)، مما يشير إلى أن التوكن قد "تقارب".
تدريب الموجه (Router Training): يتم تدريب مصنف ثنائي خفيف الوزن (موجه) $\phi_k$ $ϕ_{k}$ لكل طبقة نقطة تحقق.
- البنية: شبكة MLP مكونة من طبقتين مع بُعد عنق الزجاجة قدره 128 ( $d \times 128 + 128$ معلمة).
- التدريب: 100 دورة (epoch) من خسارة الإنتروبي المتقاطعة الثنائية (binary cross-entropy loss) على وحدة معالجة رسومات واحدة (يتم في أقل من 3 دقائق).
- المخرج: ملف نقطة تحقق صغير الحجم (~4 ميجابايت).

ب. الاستنتاج في وضع الاتصال (لكل طلب)

التمرير الأمامي الكامل: يمر النموذج بتمرير أمامي كامل عبر جميع الطبقات $L$ لكل توكن، مما يضمن بقاء ذاكرة التخزين المؤقت (KV cache) ممتلئة وسليمة تماماً.
التقييم اللاحق (Post-Hoc Evaluation): بعد التمرير الأمامي، تقوم الموجهات المدربة بتقييم الحالات المخفية عند طبقات نقاط التحقق.
اختيار الخروج: يختار النظام أبكر طبقة $k$ يتجاوز فيها الموجه العتبة $\theta$ .
حساب اللوجيت (Logit Computation): يتم حساب اللوجيت النهائي باستخدام الحالة المخفية لطبقة الخروج المختارة (عبر LMHead)، متخطياً الطبقات المتبقية لهذا التوكن المحدد.

ج. تفاصيل التنفيذ التقني

المحول الشامل (Universal Adapter): يقوم UniversalAdapter بفحص 17 مساراً للسمات للكشف تلقائياً عن هياكل المحولات (مثل LLaMA، GPT-2، Qwen، Phi، إلخ) دون تعديلات يدوية على الكود.
نواة CUDA المدمجة (Fused CUDA Kernels): لتقليل العبء الإضافي، يستخدم TIDE نوى مدمجة لـ:
- RMSNorm + تقييم الموجه (إطلاق واحد).
- عمليات التجميع المدمج (batch compacting) والانتشار (scatter) للتوكنات الخارجة.
- دعم float32 و float16 و bfloat16.
التوافق: يعمل مع أي نموذج لغوي سببي (causal LM) من HuggingFace وهو متوافق مع transformers v5.3+ (يتعامل مع المزخرفات التي تعترض الاستثناءات).

3. المساهمات الرئيسية

الخروج المبكر لما بعد التدريب: أول نظام يتيح الخروج المبكر لكل توكن في النماذج اللغوية الكبيرة ذات التوليد الذاتي الانحداري دون تعديل أوزان النموذج الأساسي أو الحاجة لإعادة التدريب.
دعم بنية شاملة: محول يدعم أكثر من 17 بنية نموذج (مثل LLaMA، Mistral، Qwen، إلخ) بشكل مباشر.
سلامة ذاكرة التخزين المؤقت (KV Cache): على عكس طرق "التخطي" (skip) التي تكسر استمرارية الذاكرة، يقوم TIDE بتشغيل جميع الطبقات ولكن يختار طبقة المخرج لاحقاً، مما يضمن التوافق مع خطوط أنابيب الاستنتاج القياسية.
نوى عالية الأداء: نوى CUDA مدمجة مخصصة لتقييم الموجه ونقل البيانات، تدعم معماريات GPU من V100 إلى Blackwell.
مفتوح المصدر: حزمة كاملة ومختبرة (tide-inference) مع 74 اختباراً ناجحاً، متاحة على PyPI و GitHub.

4. النتائج التجريبية

تم التقييم باستخدام NVIDIA A100 (bf16) باستخدام DeepSeek R1 Distill 8B (32 طبقة) و Qwen3 8B (36 طبقة).

معدلات الخروج:
- مرحلة التعبئة (Prefill): 100% من التوكنات تجد نقطة خروج. في DeepSeek R1، يخرج 5% عند الطبقة 11، بينما يخرج الباقي عند الطبقة 31.
- مرحلة فك الترميز (Decoding): 98-99% من التوكنات تخرج مبكراً (معظمها عند الطبقة قبل الأخيرة).
مكاسب الأداء:
- زمن التأخير (Latency): تقليل زمن تأخير التعبئة بنسبة 5.5% – 7.2%.
- الإنتاجية (Throughput):
  - DeepSeek R1: زيادة بنسبة +6.6% عند حجم دفعة (batch size) يساوي 1.
  - Qwen3: زيادة بنسبة +8.1% عند حجم دفعة يساوي 8.
- ملاحظة: عند أحجام الدفعات العالية (BS=8) لنموذج DeepSeek، انخفضت الإنتاجية (-16.3%) بسبب زيادة العبء الإضافي لـ output_hidden_states بشكل فائق الخطية، مما يسلط الضوء على قيد حالي.
الحفاظ على الجودة:
- في مسألة رياضية متعددة الخطوات، حافظ TIDE على دقة بنسبة 100% مع 95 توكن مخرج فريد (مقابل 99 للنموذج الأساسي) بينما خرجت 99.6% من التوكنات مبكراً.
كفاءة المعايرة: تستغｒق أقل من 3 دقائق باستخدام 2,000 عينة لإنتاج ملف موجه بحجم ~4 ميجابايت.

5. الأهمية والعمل المستقبلي

الأهمية:
يسد TIDE الفجوة بين الكفاءة النظرية والنشر العملي. فهو يثبت أن التقارب على مستوى التوكن هو إشارة قابلة للتعلم يمكن استغلالها بعد التدريب لتقليل تكاليف الاستنتاج دون التضحية بجودة النموذج أو كسر البنية التحتية الحالية للاستنتاج (KV caches). إنه يقدم حلاً "جاهز للاستخدام" لمستخدمي النماذج سابقة التدريب.

القيود والتوجهات المستقبلية:

التخطي الفعلي للزمن (Wall-Clock Skipping): حالياً، يقوم TIDE بتشغيل جميع الطبقات فعلياً للحفاظ على الذاكرة. يهدف العمل المستقبلي إلى تنفيذ "تخطي حقيقي" (تجاوز الطبقات فيزيائياً) من خلال إدارة عدم استمرارية الذاكرة.
ضبط العتبة (Threshold Tuning): عتبة التقارب الحالية ( $\tau=0.98$ ) متحفظة، مما يجعل معظم حالات الخروج تتكتل عند الطبقة قبل الأخيرة. قد تتيح العتبات الديناميكية أو المخصصة لكل طبقة عمليات خروج أعمق.
توسع الدفعات (Batch Scaling): يصبح العبء الإضافي لجمع الحالات المخفية لجميع الطبقات عائقاً عند أحجام الدفعات الكبيرة؛ ويُقترح نهج هجين يجمع الحالات فقط عند نقاط التحقق.
النماذج العميقة: رغم اختباره على نماذج 8B، فإن إمكانية تحقيق وفورات أكبر في نماذج 70B+ (التي تحتوي على 80+ طبقة) تظل بحاجة إلى إثبات تجريبي.