💬 NLP

EndPrompt: Efficient Long-Context Extension via Terminal Anchoring

تُعد EndPrompt طريقة فعالة لتوسيع نافذة السياق للنماذج اللغوية الكبيرة إلى 64 ألف رمز باستخدام تسلسلات تدريب قصيرة فقط عبر إلحاق مطالبة نهائية تتضمن مؤشرات موضعية بالطول المستهدف، مما يحقق أداءً فائقاً في اختبارات معيارية مثل RULER وLongBench مع تجنب التكاليف الحسابية العالية للضبط الدقيق كامل الطول.

المؤلفون الأصليون: Han Tian, Luxuan Chen, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Jinman Zhao, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

نُشر 2026-05-15

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Han Tian, Luxuan Chen, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Jinman Zhao, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً (نموذج ذكاء اصطنا AI) بارعاً في قراءة القصص القصيرة، لكنه يصاب بالارتباك عندما يُطلب منه قراءة موسوعة كاملة. عادةً، لتعليم هذا الطالب كيفية التعامل مع الموسوعة، سيتعين عليك جعله يقرأ الكتاب بأكمله مراراً وتكراراً. هذا الأمر مكلف، بطيء، ويتطلب مكتبة ضخمة من الكتب الطويلة التي يصعب العثور عليها.

تقترح ورقة بحثية بعنوان "EndPrompt" حلاً ذكياً ومختصراً. فبدلاً من إجبار الطالب على قراءة الكتاب بأكمله، تعطي له قصة قصيرة ثم ترفق في نهايتها ملاحظة صغيرة ومحددة تقول: "هذه هي نهاية كتاب طويل جداً".

إليك كيف يعمل ذلك، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: التكلفة "التربيعية" (Quadratic Cost)

فكر في قراءة مستند طويل كأنك تحاول ربط كل كلمة بكل كلمة أخرى في النص. إذا ضاعفت طول النص، فإن العمل المطلوب لربط الكلمات لا يتضاعف فحسب، بل يتضاعف أربع مرات. هذا يجعل تدريب الذكاء الاصطناعي على النصوص الطويلة مكلفاً للغاية وبطيئاً للغاية.

2. الحل: خدعة "نهاية الكتاب" (The Bookend Trick)

أدرك الباحثون أن الذكاء الاصطناعي لا يحتاج فعلياً إلى قراءة منتصف كتاب مكون من 64,000 كلمة ليفهم كيفية التعامل مع هذا الطول. هو يحتاج فقط لفهم المسافة بين البداية والنهاية.

لقد ابتكروا طريقة تسمى EndPrompt:

الجزء الأول: نأخذ قطعة نصية عادية وقصيرة (مثل قصة قصيرة) ونبقيها كما هي دون تغيير. هذا هو "بداية" الكتاب.
الجزء الثاني: نلحق بـ "مطالبة نهائية" (Terminal Prompt) قصيرة جداً (بضع كلمات) في النهاية.
الخدعة السحرية: على الرغم من أن النص الفعلي قصير، إلا أننا نخبر "الساعة الداخلية" للذكاء الاصطناعي أن القصة القصيرة تقع في الموضع 0، وأن الملاحظة الصغيرة في النهاية تقع في الموضع 64,000.

3. التشبيه: "الشريط المطاطي الممدد"

تخيل أن آلية الانتباه (Attention Mechanism) في الذكاء الاصطناعي تشبه الشريط المطاطي.

الطريقة القديمة: لتعليم الشريط المطاطي كيف يتمدد لمسافة 64,000 بوصة، كان عليك مطه فيزيائياً لتلك المسافة أثناء التدريب، وهو أمر صعب ويتطلب الكثير من القوة (قدرة حوسبية).
طريقة EndPrompt: تبقي الشريط المطاطي قصيراً (فيزيائياً)، لكنك ترسم علامة عند نهايته وتقول: "هذه العلامة تبعد مسافة 64,000 بوصة". ولأن الذكاء الاصطناعي يستخدم أداة رياضية محددة (تسمى RoPE) تفهم المسافة كنمط (مثل الموجة)، فإنه يتعلم أن "موجة" المسافة بين البداية وهذه العلامة النهائية هي مسافة هائلة.

من خلال إبقاء القصة كاملة (دون تقطيعها إلى قطع)، يتعلم الذكاء الاصطناعي معنى القصة وفي الوقت نفسه يتعلم رياضيات العلاقات بعيدة المدى.

4. لماذا ينجح الأمر (نظرية "النعومة")

توضح الورقة البحثية أن رياضيات الذكاء الاصطناعي "ناعمة" (Smooth). إذا علمته كيفية التعامل مع مسافة 1 بوصة ومسافة 64,000 بوصة، فإن الرياضيات ستملأ الفجوات طبيعياً للمسافات التي تقع بينهما (مثل 10,000 أو 30,000 بوصة) دون الحاجة لتعليمه كل خطوة بشكل صريح. الأمر يشبه تعليم شخص ما كيفية القفز فوق بركة صغيرة وفوق أخدود عميق؛ سيفهم تلقائياً كيفية القفز فوق نهر متوسط الحجم في المنتصف.

5. النتائج: أسرع، أرخص، وأفضل

اختبر الباحثون هذه الطريقة على نماذج ذكاء اصطناعي شهيرة (عائلة LLaMA)، محاولين جعلها تتعامل مع 64,000 كلمة بدلاً من 8,000 فقط.

الكفاءة: استخدموا فقط تسلسلات تدريب قصيرة، مما وفر الكثير من الوقت والمال.
الأداء: تفوق الذكاء الاصطناعي على النماذج التي أُجبرت على التدريب على تسلسلات كاملة ومكلفة.
تعدد الاستخدامات: نجحت الط nghiệm في مهام متنوعة مثل الإجابة على الأسئلة، تلخيص النصوص، وكتابة الأكواد البرمجية، مما يثبت أن الذكاء الاصطناعي لم يحفظ الخدعة فحسب، بل تعلم حقاً كيفية التعامل مع السياقات الطويلة.

ملخص

EndPrompt هي وسيلة لتعليم الذكاء الاصطناعي كيفية التعامل مع كميات هائلة من النصوص دون جعله يقرأ كميات هائلة من النصوص. من خلال إبقاء بيانات التدريب قصيرة ولكن مع "تمديد" تسميات المواضع في النهاية، يتعلم الذكاء الاصطناعي مفهوم "المسافة الطويلة" بكفاءة. الأمر يشبه تعليم عداء كيفية ركض ماراثون من خلال جعله يركض مسافة قصيرة وهو يرتدي أحذية تجعله يشعر وكأنه يركض ماراثون.

ملخص تقني: EndPrompt – تمديد السياق الطويل بكفاءة عبر التثبيت الطرفي

1. بيان المشكلة

يعد تمديد نافذة السياق للنماذج اللغوية الكبيرة (LLMs) للتعامل مع مدخلات أطول بكثير من حدود التدريب المسبق لها (على سبيل المثال، من 8 آلاف إلى 64 ألف توكن) تحديًا حاسمًا لتطبيقات مثل الاستعلام عن الوثائق الطويلة، وفهم الأكواد البرمجية، واسترجاع الأدلة. النهج السائد يتضمن الضبط الدقيق للنماذج على تسلسلات بالطول المستهدف. ومع ذلك، تنطوي هذه الطريقة على تكاليف ذاكرة وحوسبة تربيعية باهظة بسبب توسع آلية الانتباه (Attention mechanism). علاوة على ذلك، فإن جمع مجموعات بيانات عالية الجودة ذات تنسيق طويل أمر صعب.

تفرض البدائل الموجودة، مثل استيفاء الموضع (position interpolation)، أو الانتباه المتفرق (sparse attention)، أو المحاكاة القائمة على القطع (chunk-based simulation)، قيودًا غالباً: فقد تتطلب تدريبًا مكثفًا على تسلسلات طويلة، أو تغير هياكل الانتباه، أو تقسم النصوص المتصلة بطرق تضر بالاستمرارية الدلالية. ويبقى هناك سؤال جوههري مفتوح: هل الإشراف الكثيف على التسلسلات كاملة الطول ضروري لتمديد السياق بشكل موثوق، أم أن الإشارات الموضعية المتفرقة والمهيكلة كافية؟

2. المنهجية: EndPrompt

يقترح المؤلفون EndPrompt، وهي طريقة تحقق تمديدًا فعالًا للسياق باستخدام تسلسلات تدريب قصيرة فقط. الرؤية الجوهرية هي أن تعريض النموذج لمسافات موضعية نسبية بعيدة المدى لا يتطلب بناء مدخلات فيزيائية كاملة الطول.

الآلية الجوهرية

يبني EndPrompt تسلسل تدريب يتكون من جزأين:

سياق قصير سليم: يتم الحفاظ على النص التدريبي القصير الأصلي كالجزء الأول.
المطالبة الطرفية (Terminal Prompt): تُلحق مطالبة موجزة وعامة كجزء ثانٍ.

التلاعب بمؤشر الموضع:
بينما يظل طول التسلسل الفيزيائي قصيرًا ( $a + b$ )، يتم التلاعب بمؤشرات الموضع المخصصة لتشمل نافذة السياق المستهدفة ( $L$ ):

يحتفظ السياق القصير بالمؤشرات المحلية $[0, a-1]$ .
يتم تخصيص المطالبة الطرفية للمؤشرات القريبة من الحد النهائي $[L-b, L-1]$ .
استيفاء الموضع (PI): لتكييف تضمين الموضع الدوار (RoPE) لهذا النطاق، يتم إعادة تحجيم المؤشرات بعامل $s > 1$ ، مما يقلل فعليًا من التردد الزاوي للتشفير الموضعي.

الأساس النظري:
تعتمد الطريقة على خصائص RoPE و PI:

قيد النعومة (Smoothness Constraint): يقلل PI من التباين الترددي الفعال، مما يحفز انحيازًا نحو النعومة في دالة الانتباه. هذا يثبط التذبذبات عالية التردد غير المستقرة في المسافات المتوسطة غير المرصودة.
المعلمات المشتركة: تستخدم نماذج Transformer إسقاطات استعلام (query) ومفتاح (key) مشتركة لجميع المسافات. من خلال توفير إشراف متفرق عند كل من الأطراف المحلية (السياق القصير) والبعيدة (المطالبة الطرفية)، تقوم الطريقة بتقييد مساحة المعلمات المشتركة، مما يمنع النموذج من تعلم سلوكيات مستقلة وغير مستقرة للمسافات المتوسطة غير المرصودة.
النزاهة الدلالية: على عكس الطرق القائمة على القطع التي تقسم النص، يحافظ EndPrompt على الاستمرارية الدلالية للسياق الأصلي، مما يضمن تعلم النموذج للتفاعلات طويلة المدى دون تعطيل توقع التوكن المحلي.

هدف التدريب

يخضع النموذج لعملية ضبط دقيق ذاتي الانحدار (autoregressive fine-tuning) قياسية. تتضمن دالة الخسارة تنبؤات لكل من السياق الأصلي والمطالبة الطرفية، مع تخصيص وزن غير صفري للتوكنات الطرفية. هذا يجبر النموذج على الانتباه من المرساة الطرفية عودةً إلى السياق الأصلي عبر المسافة الموضعية الكبيرة المصطنعة، مما يعمل كمنظم ضمني.

3. المساهمات الرئيسية

إطار عمل EndPrompt (ET): طريقة فعالة لتمديد السياق تستخدم تسلسلات تدريب قصيرة، والتلاعب بمؤشر الموضع، ومطالبة طرفية ملحقة لمحاكاة الإشراف الموضعي بعيد المدى.
الحفاظ على الدلالة: تصميم يحافظ على السياق الأصلي كقطعة واحدة غير مجزأة، مما يحافظ على الاستمرارية الدلالية مع استخدام المطالبة الطرفية كمرساة نهائية مستقرة لإنشاء علاقات بعيدة المدى.
التحليل النظري: تفسير يستند إلى RoPE واستيفاء الموضع، يوضح كيف يتيح التباين الموضعي الناعم ومعلمات Transformer المشتركة التعميم عبر المسافات المتوسطة غير المرصودة.
التحقق التجريبي: تقييم شامل يظهر أن الإشراف الموضعي المتفرق والمهيكل يمكن أن يحفز تعميم سياق طويل موثوق دون الحاجة لتدريب كامل الطول.

4. النتائج التجريبية

تم تقييم الطريقة على نماذج عائلة LLaMA (نماذج LLaMA-2 7B و LLaMA-3 8B)، لتمديد نافذة السياق من 8 آلاف إلى 64 ألف توكن.

الاختبارات المرجعية:

RULER (اختبار مرجعي اصطناعي): حقق EndPrompt متوسط درجة 76.03، متفوقًا على LCEG (72.24)، و LongLoRA (72.95)، والضبط الدقيق كامل الطول (69.23). أظهر قوة خاصة في مهام استرجاع المعلومات المعقدة (مثل Multi-needle و Variable Tracking).
LongBench (المهام النهائية): حصل EndPrompt على أعلى متوسط درجة (38.30) عبر المهام بما في ذلك الاستعلام عن وثيقة واحدة/متعددة، التلخيص، التعلم من أمثلة قليلة، وإكمال الأكواد، متفوقًا على الضبط الدقيق كامل الطول (35.63).
قدرات النصوص القصيرة: بعد الضبط الدقيق تحت الإشراف، حافظت الطريقة على أداء قوي في الاختبارات المرجعية القياسية للنصوص القصيرة (MMLU, GSM8K, HumanEval, HellaSwag)، محققة متوسط 53.56، متفوقة على النماذج المرجعية الأخرى.

دراسات الاستئصال (Ablation Studies):

النماذج الأساسية: أثبتت الطريقة فعاليتها عبر بنيات مختلفة (Mistral-7B, LLaMA-2-7B).
طول التمديد: ظل الأداء مستقرًا عند التمديد إلى 32 ألف، 96 ألف، وحتى 128 ألف، مع تدهور طفيف فقط عند الأطوال القصوى.
كمية التوكنات: أدى رفع حجم بيانات التدريب من 0.5 مليار إلى 2.0 مليار توكن إلى تحسينات ثابتة في الأداء.
متانة المطالبة: كانت الطريقة غير حساسة للاختلافات المحددة في صياغة المطالبة النهائية، حيث اعتمدت على الموقع الهيكلي بدلاً من حفظ توكنات محددة.
التوافق: أدى الجمع بين EndPrompt و Positional Skip-Embedding (ET(PoSE)) إلى تحقيق أعلى الدرجات في كلا الاختبارين المرجعيين.

5. الأهمية والادعاءات

يزعم البحث أن EndPrompt يتحدى الافتراض السائد بأن التدريب الكثيف على التسلسلات الطويلة ضروري لتمديد نافذة السياق بشكل موثوق. من خلال إثبات أن النماذج يمكنها اكتساب قدرات السياق الطويل من الإشراف الموضعي المتفرق على تسلسلات قصيرة، يقدم العمل بديلًا عمليًا ومنخفض التكلفة للضبط الدقيق كامل الطول.

يؤكد المؤلفون أن نجاح الط method ينبع من التآزر بين:

الحفاظ على النزاهة الدلالية عبر تجنب تجزئة النصوص.
الاستفادة من انحياز النعومة الناتج عن استيفاء الموضع.
تقييد المعلمات المشتركة من خلال الإشراف مزدوج النطاق (المحلي والطرفي).

يخلص البحث إلى أنه يمكن تحفيز التكيف الموثوق للسياق الطويل من خلال تصميم إشراف موضعي غني بالمعلومات، مع إبقاء التسلسلات الفيزيائية للتدريب قصيرة مع تحقيق أداء رائد في اختبارات السياق الطويل.