💬 NLP

RAEE: A Robust Retrieval-Augmented Early Exit Framework for Efficient Inference

تقترح هذه الورقة البحثية إطار عمل RAEE، وهو إطار عمل متين معزز بالاسترجاع ينمذج الخروج المبكر كمسألة تنبؤ بالتوزيع للاستفادة من معلومات الخروج للبيانات المماثلة لتوجيه الإنهاء التكيفي للطبقات، مما يؤدي إلى تسريع استنتاج النماذج اللغوية الكبيرة مع الحفاظ على أداء الصفر (zero-shot) أو تعزيزه عبر مهام متعددة.

المؤلفون الأصليون: Lianming Huang, Shangyu Wu, Yufei Cui, Ying Xiong, Haibo Hu, Xue Liu, Tei-Wei Kuo, Nan Guan, Chun Jason Xue

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lianming Huang, Shangyu Wu, Yufei Cui, Ying Xiong, Haibo Hu, Xue Liu, Tei-Wei Kuo, Nan Guan, Chun Jason Xue

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك خبير رفيع المستوى تم استئجارك لقراءة كتاب طويل ومعقد والإجابة على أسئلة حوله. عادةً، للحصول على الإجابة المثالية، تقرأ الكتاب بأكمله من الغلاف إلى الغلاف، بغض النظر عن بساطة السؤال. هكذا تعمل النماذج اللغوية الكبيرة (LLMs) الحالية: فهي تعالج كل طبقة من "دماغها" لكل مدخلات، مما يستغفرق الكثير من الوقت والطاقة.

المشكلة:
أحياناً، تكون الإجابة واض خلال الصفحات الأولى فقط. ولكن لأن الخبير مبرمج على قراءة الكتاب كاملاً، فإنه يضيع الوقت في الأسئلة السهلة. تحاول طرق أخرى إيقاف القراءة مبكراً، لكنها غالباً ما تصبح "كسولة" وتبدأ في ارتكاب الأخطاء، أو تتطلب من الخبير العودة إلى المدرسة (إعادة التدريب) ليتعلم متى يتوقف، وهو أمر مكلف للغاية.

الحل: RAEE (نظام "أمين المكتبة الذكي")
تقدم الورقة البحثية RAEE، وهو إطار عمل جديد يعمل مثل أمين مكتبة فائق الذكاء يساعد الخبير في تحديد الوقت المناسب تماماً للتوقف عن القراءة.

إليك كيف يعمل، مقسماً إلى تشبيهات بسيطة:

1. خدعة "القصة المشابهة" (الاسترجاع - Retrieval)

تخيل أنك تقرأ رواية غموض. واجهت دليلاً يبدو مألوفاً جداً.

الطريقة القديمة: تستمر في قراءة الكتاب كاملاً لتتأكد.
طريقة RAEE: تصرخ لأمين مكتبتك: "مهلاً! لقد رأيت دليلاً كهذا من قبل!"
يقوم أمين المكتبة فوراً بسحب مجموعة من الحالات الماضية (قاعدة بيانات) حيث ظهرت أدلة مشابهة. يفحص أمين المكتبة تلك الحالات الماضية ويقول: "في 9 من أصل 10 قصص مشابهة، حل المحقق اللغز تماماً عند الفصل الخامس. يمكنك التوقف عن القراءة عند هذا الحد!"

من الناحية التقنية، يقوم RAEE بالنظر في السؤال الحالي، ويجد أسئلة مشابهة من بيانات التدريب الماضية الخاصة به، ويتحقق من متى تمت الإجابة على تلك الأسئلة المشابهة بنجاح في الماضي.

2. "آلية التصحيح" (الجزء السحري)

هذا هو الجزء الأكثر إثارة في الورقة البحثية. عادةً ما تكون طرق "الخروج المبكر" عبارة عن مقايضة: سرعة أكبر، مقابل ذكاء أقل.
لكن RAEE يقلب هذا السيناريو. فهو يعمل كـ شبكة أمان.

السيناريو أ (سؤال سهل): النموذج واثق من نفسه في وقت مبكر. يقول RAEE: "توقف هنا!" أنت توفر الوقت، وتظل الإجابة مثالية.
السيناريو ب (سؤال صعب): يشعر النموذج بالارتباك بالقرب من نهاية الكتاب وعلى وشك إعطاء إجابة خاطئة. لكن RAEE ينظر إلى قاعدة بياناته ويرى أنه بالنسبة لهذا النوع المحدد من الأسئلة الصعبة، كانت الإجابة واضحة بالفعل في الفصل العاشر، رغم أن النموذج ارتبك لاحقاً.
- يقول RAEE: "انتظر! لا تنهِ الكتاب. عد إلى الفصل العاشر. الإجابة كانت هناك طوال الوقت!"

النتيجة: RAEE لا يسرع العمل فحسب؛ بل إنه في الواقع يصلح الأخطاء التي كان سيقع فيها النموذج لو عمل بكامل طاقته. إنه يشبه وجود رأي ثانٍ يكتشف أخطاءك قبل تقديم الاختبار.

3. "لا دراسة جديدة" (بدون تدريب - Training-Free)

تتطلب معظم الطرق الأخرى من النموذج العودة إلى المدرسة لتعلم قواعد جديدة حول متى يتوقف. هذا يستغرق أسابيع ويكلف ثروة.
RAEE مختلف. فهو لا يغير دماغ النموذج على الإطلاق. هو فقط يبني مكتبة مرجعية (قاعدة بيانات) من "متى نجحنا في هذا من قبل؟"

التشبيه: بد way لتعليم الطالب قواعد جديدة، أنت فقط تعطيه ورقة غش للامتحانات الماضية. إنه سريع الإعداد ولا يتطلب أي دراسة إضافية.

الخلاصة

فكر في RAEE كأنه نظام GPS لقوة معالجة دماغك.

بدون RAEE: تقود المسافة الكاملة (100 ميل مثلاً) للوصول إلى وجهتك في كل مرة، حتى لو كنت ذاهباً فقط إلى البقالة في نهاية الشارع.
مع RAEE: يتحقق نظام الـ GPS من تاريخك. "مهلاً، بالنسبة لرحلة البقالة هذه، أنت عادةً تعرف الطريق بحلول الميل الثاني. لنتوقف هناك." ولكن إذا كنت ذاهباً إلى مدينة جديدة وضعت فيها، سيتحقق الـ GPS من المسارات المشابهة ويقول: "في الواقع، كنت تعرف المنعطف عند الميل العاشر، لا تستمر في القيادة بعده!"

لماذا هذا مهم؟

أسرع: ينهي المهام بسرعة أكبر بكثير.
أذكى: غالباً ما يحصل على إجابات أفضل من النموذج الذي يعمل بالسرعة الكاملة لأنه يتجنب "الإفراط في التفكير" الذي يؤدي إلى الأخطاء.
أرخص: يوفر كميات هائلة من الكهرباء وقدرة الحوسبة دون الحاجة إلى إعادة تدريب الذكاء الاصطناعي.

باخت-القول، يعلم RAEE الذكاء الاصطناعي كيف يكون فعالاً دون أن يكون مهملًا، مستخدماً حكمة تجاربه الماضية ليعرف بالضبط متى يتوقف.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "RAEE: إطار عمل قوي للخروج المبكر المعزز بالاسترجاع من أجل استنتاج فعال".

1. بيان المشكلة

يعوق الارتفاع في التكاليف الحسابية والمتطلبات العالية للذاكرة نشر النماذج اللغوية الكبيرة (LLMs) وغيرها من الشبكات العصبية العميقة. تعالج آليات الخروج المبكر (Early Exit) هذه المشكلة من خلال إنهاء الاستنتاج ديناميكيًا عند طبقات وسيطة بمجرد استيفاء معيار الثقة، بدلاً من تشغيل النموذج بالكامل.

ومع ذلك، تعاني أطر عمل الخروج المبكر الحالية من قيود كبيرة:

الطرق القائمة على التدريب: تتطلب تحسينًا مشتركًا للمصنفات الداخلية والعمود الفقري (backbone)، مما يؤدي إلى أعباء تدريب هائلة.
طرق التدريب الجزئي: تجمّد العمود الفقري ولكنها تعتمد على هندسة الميزات اليدوية والمصنفات خفيفة الوزن، وغالبًا ما تفتقر إلى القدرة على التعميم.
الطرق الخالية من التدريب: تستخدم معايير استدلالية (مثل عتبات الإنتروبيا) التي تفتقر إلى القدرة على التكيف، مما يؤدي غالبًا إلى تدهور الأداء (انخفاض الدقة) مقارنة بالنموذج الكامل.

تفرض معظم الأساليب الحالية مقايضة حيث يتم اكتساب السرعة على حساب الدقة. تهدف الورقة إلى كسر هذه المقايضة من خلال تطوير إطار عمل للخروج المبكر قوي وخالٍ من التدريب، يعمل على تسريع الاستنتاج مع الحفاظ على دقة النموذج أو حتى تحسينها.

2. الملاحظات الرئيسية والدوافع

يقترح المؤلفون ملاحظتين نقدتين تتحديان نماذج الخروج المبكر التقليدية:

الخروج المبكر كآلية تصحيحية: يمكن للطبقات الوسيطة أحيانًا تقديم تنبؤات صحيحة حتى عندما تفشل الطبقة النهائية. إذا خرج النموذج مبكرًا عند طبقة وسيطة يكون فيها التنبؤ صحيحًا، فيمكنه "تصحيح" المخرج النهائي للنموذج الكامل.
اتساق البيانات المتشابهة: تُظهر المدخلات المتشابهة دلاليًا سلوك خروج متسق للغاية. إذا كان من الأفضل إخراج مدخل معين $x$ عند الطبقة $L$ ، فمن المرجح أن جيرانه الأقرب في فضاء التضمين (embedding space) سيخرجون أيضًا عند الطبقة $L$ (أو طبقة مشابهة) بثقة عالية.

3. المنهجية: إطار عمل RAEE

RAEE (الخروج المبكر المعزز بالاسترجاع) هو إطار عمل خالٍ من التدريب يستفيد من قاعدة بيانات استرجاع خارجية لتحديد طبقة الخروج المثلى. وهو يعامل مشكلة الخروج المبكر كـ مشكلة تنبؤ بالتوزيع.

أ. بناء قاعدة بيانات الاسترجاع (مرحلة عدم الاتصال - Offline)

جمع البيانات: يقوم الإطار بمعالجة مجموعة بيانات تدريب $D$ عبر نموذج العمود الفقري $M$ .
استخراج الميزات: لكل مدخل $x_i$ ، يحسب النموذج التضمينات (باستخدام مشفر خارجي أو طبقة التضمين الخاصة بالعمود الفقري) لتعمل كـ مفاتيح (Keys).
بناء القيم (Values): يتتبع النموذج جميع الطبقات. لكل طبقة $j$ حيث يتطابق التنبؤ الوسيط $\hat{y}_j$ مع الحقيقة الأرضية $y_i$ ، يتم تسجيل الزوج $(j, p_j)$ (مؤشر الطبقة واحتمالية التنبؤ).
التخزين: تشكل هذه الأزواج القيم (Values) المرتبطة بمفاتيح المدخلات. يتم بناء فهرس للبحث عن أقرب جار تقريبي (ANN) (مثل FAFFS) لتخزين أزواج المفتاح-القيمة هذه.
- ملاحظة: هذه العملية لا تتطلب أي تحديثات للمعلمات في نموذج العمود الفقري.

ب. مرحلة الاستنتاج (مرحلة الاتصال - Online)

توليد الاستعلام: بالنسبة لمدخل جديد $x$ ، يقوم الإطار بتوليد تضمين للاستعلام.
الاسترجاع: يسترجع النظام أقرب $k$ من الجيران.
تقريب التوزيع: يقوم RAEE بتجميع معلومات الخروج من الجيران $k$ . ويقدر توزيع الاحتمال $P(z=l|x)$ للخروج عند الطبقة $l$ باستخدام مجموع مرجح لطبقات الخروج الصالحة للجيران، حيث تتناسب الأوزان عكسيًا مع المسافة بين الاستعلام والجار.
$P(z = l | x) = \sum_{i=1}^{k} P(v_i | x) \cdot S_i$
حيث تحسب $S_i$ مساهمة الجار $i$ إذا كان لديه خروج صالح عند الطبقة $l$ باحتمالية أعلى من العتبة $\tau$ .
قرار الخروج: يختار الإطار الطبقة $l$ التي تعظم هذا الاحتمال: $f(x) = \arg\max_l P(z=l|x)$ . إذا تساوت عدة طبقات في أقصى احتمال، يتم اختيار الطبقة الأبكر.
التنفيذ: يعمل النموذج للأمام فقط حتى الطبقة المختارة $l$ ، ويتم تمرير المخرج الوسيط إلى رأس التنبؤ النهائي (مثل LM Head).

4. المساهمات الرئيسية

صياغة مبتكرة: تصور الورقة الخروج المبكر كمشكلة تنبؤ بالتوزيع، وتثبت أن توزيع الخروج للاستعلام يمكن تقريبه بفعالية من خلال سلوكيات الخروج لجيرانه المتشابهين دلاليًا.
إطار عمل RAEE: يقترح إطار عمل قوي ومعزز بالاسترجاع وخالٍ من التدريب. فهو يلغي الحاجة إلى تدريب مصنفات داخلية أو ضبط دقيق للعمود الفقري، مما يقلل بشكل كبير من تكاليف النشر.
فائدة مزدوجة (السرعة + الدقة): على عكس الطرق التقليدية التي تضحي بالدقة من أجل السرعة، يعمل RAEE كـ آلية تصحيحية. فمن خلال الاستفادة من معلومات الخروج من الحالات التي نجحت فيها الطبقات الوسيطة بينما قد يفشل النموذج الكامل (أو العكس)، فإنه يحسن الدقة الإجمالية مع تسريع الاستنتاج.

5. النتائج التجريبية

قام المؤلفون بتقييم RAEE على ثماني مهام تطبيقية (معيار GLUE) باستخدام نماذج عمود فقري مختلفة: RoBERTa-Large، وElasticBERT-Large، وT5-Large، وLlama-3-8B، وGemma-7B.

تحسين الدقة:
- تفوق RAEE باستمرار على أحدث طرق الخروج المبكر (مثل DeeBERT، وAdaInfer، وHashEE، وCALM).
- مع RoBERTa-Large، حقق RAEE متوسط دقة قدره 63.41، متفوقًا بشكل كبير على طرق المقارنة الأساسية (التي بلغ متوسطها ~42.99).
- والجدير بالذكر أن RAEE تجاوز أحيانًا دقة النموذج الكامل، مما يؤكد صحة فرضية "الآلية التصحيحية".
كفاءة الاستنتاج:
- بالنسبة للنماذج ذات المليارات من المعلمات (Llama-3-8B، Gemma-7B)، قلل RAEE زمن انتقال الاستنتاج بنسبة تقارب 50% مقارنة بتشغيل النموذج الكامل، مع الحفاظ على الدقة أو تحسينها.
- بالنسبة للنماذج الأصغر، حقق كفاءة مماثلة لطرق الخروج المبكر الأخرى ولكن بدقة فائقة.
دراسات الاستئصال (Ablation Studies):
- حجم الاسترجاع ( $k$ ): تحسن الأداء مع زيادة $k$ حتى 12، وبعد ذلك تسبب الضجيج من الجيران الأقل صلة في انخفاض طفيف.
- حجم قاعدة البيانات: أدت مجموعات التدريب الأكبر المستخدمة لقاعدة البيانات إلى تحسين التعميم والدقة.
- خارج النطاق (OOD): عند اختباره على مهام التلخيص (CNN/DailyMail، XSum) باستخدام قاعدة بيانات استرجاع مبنية من WikiText (مجال مختلف)، ظل RAEE يحسن الأداء ويقلل من استخدام الطبقات، مما أظهر المتانة.

6. الأهمية

يمثل RAEE تحولًا في نموذج الاستنتاج الفعال للنماذج اللغوية الكبيرة.

يلغي أعباء التدريب: يزيل عقبة تدريب المصنفات الداخلية، مما يجعله جاهزًا للنشر الفوري على أي نموذج مدرب مسبقًا.
يكسر مقايضة الدقة والسرعة: يثبت أن الخروج المبكر لا يجب أن يؤدي إلى تدهور الأداء؛ فمع استراتيجية الاسترجاع الصحيحة، يمكنه تعزيزه من خلال تصحيح الأخطاء التي ترتكبها الطبقات الأكثر عمقًا.
القابلية للتوسع: يتوسع الأسلوب بشكل جيد مع النماذج الكبيرة (7B-8B معلمة) حيث تكون تكاليف الاستنتاج هي الأعلى، مما يوفر حلاً عمليًا لنشر النماذج اللغوية الكبيرة في العالم الحقيقي.

باختصار، يستفيد RAEE من "حكمة البيانات المتشابهة" لتقليم مسارات الاستنتاج ديناميكيًا وبذكاء، محققًا مزيجًا نادرًا من السرعة العالية، والدقة العالية، وتكلفة تدريب صفرية.