💬 NLP

Progress Ratio Embeddings: An Impatience Signal for Robust Length Control in Neural Text Generation

تقدم هذه الورقة البحثية "تضمينات نسبة التقدم" (Progress Ratio Embeddings - PRE)، وهي إشارة جيبية مستمرة تتغلب على عدم استقرار طرق العد التنازلي المنفصلة لتحقيق تحكم قوي وقابل للتعميم في طول النصوص المولدة عصبياً دون المساس بالدقة.

المؤلفون الأصليون: Ivanhoé Botcazou, Tassadit Amghar, Sylvain Lamprier, Frédéric Saubion

نُشر 2026-05-06

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ivanhoé Botcazou, Tassadit Amghar, Sylvain Lamprier, Frédéric Saubion

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف راوياً للقصص (ذكاء اصطناعي) ليحكي لك قصة بناءً على فصل طويل ومعقد من كتاب. تريد أن تكون القصة بطول 300 كلمة بالضبط.

المشكلة: ساعة "العد التنازلي"
سابقاً، حاول الباحثون حل هذه المشكلة عبر إعطاء الذكاء الاصطناعي "ساعة عد تنازلي". كانوا يخبرون الذكاء الاصطناعي: "لديك 300 كلمة متبقية، ثم 299، ثم 298..." وهكذا نزولاً حتى الصفر.

تسمي الورقة البحثية هذه الطريقة بـ "التضمينات الموضعية العكسية" (Reverse Positional Embeddings - RPE). وهي تعمل بشكل جيد إذا طُلب من الذكاء الاصطناعي كتابة قصة قريبة من الأطوال التي تدرب عليها أثناء التدريب (مثل 200 أو 300 كلمة). ولكن إذا طلبت منه فجأة قصة بطول 1,000 كلمة، فسيصاب بالارتباك. الأمر يشبه عداءً تدرب فقط على مضمار طوله 5 أميال؛ فإذا أخبرته أن يركض مسافة 20 ميلاً، فلن يعرف كيف ينظم سرعته لأنه لم يسبق له رؤية هذه المسافة من قبل. يصبح "العد التنازلي" بمثابة إشارة جامدة ومعطلة، مما يجعل الذكاء الاصطناعي إما يتوقف مبكراً جداً أو يستمر في الكتابة لفترة طويلة جداً.

الحل: إشارة "نفاد الصبر"
يقترح مؤلفو هذه الورقة طريقة جديدة تسمى "تضمينات نسبة التقدم" (Progress Ratio Embeddings - PRE).

بدلاً من العد التنازلي الجامد، يمنحون الذكاء الاصطناعي "مقياس نفاد صبر" مستمراً.

كيف يعمل: تخيل الذكاء الاصطناعي كمستمع ينتظر انتهاء أغنية.
- في البداية تماماً (0% مكتمل)، يكون المستمع هادئاً وصبوراً.
- مع تقدم الأغنية (50% مكتملة)، يبدأ المستمع بالنقر بقدمه بشكل أسرع قليلاً.
- عندما تقترب الأغنية من نهايتها (90% مكتملة)، يبدأ المستمع بالنقر بقدمه بسرعة كبيرة جداً، لدرجة الاهتزاز من شدة "نفاد الصبر" لسماع النوتة الأخيرة.

في عالم الذكاء الاصطناعي، "نفاد الصبر" هذا ليس رقماً مثل "متبقي 299 كلمة". بل هو موجة سلسة ومستمرة تزداد سرعة وكثافة كلما اقتربت القصة من خط النهاية. يتعلم الذكاء الاصطناعي التعرف على هذا "الشعور" بمدى اكتمال الرحلة، بدلاً من عد خطوات محددة.

لماذا هذا أفضل؟
لأن إشارة "نفاد الصبر" هذه سلسة ومستمرة، يمكن للذكاء الاصطناعي التعامل مع أي طول، حتى الأطوال التي لم يسبق له رؤيتها.

إذا طلبت منه ملخصاً قصيراً، سيتصاعد "نفاد الصبر" بسرعة.
إذا طلبت منه مقالاً طويلاً، سيتصاعد "نفاد الصبر" ببطء وثبات.

اختبرت الورقة البحثية هذه الطريقة في تلخيص الأخبار (تحويل المقالات الطويلة إلى ملخصات قصيرة) وتوليد الأسئلة. ووجدوا أن:

الدقة: استطاع الذكاء الاصطناعي الوصول إلى عدد الكلمات الذي طلبته بدقة أكبر بكثير من طريقة "العد التنازلي" القديمة.
الجودة: كانت الملخصات والأسئلة بنفس الجودة (أو أفضل) من حيث القواعد والمعنى.
المرونة: عندما طُلب منه كتابة شيء طويل جداً (خارج النطاق "المعتاد")، لم تتعطل الطريقة الجديدة، بينما فشلت الطريقة القديمة فشلاً ذريعاً.

باختصار
الطريقة القديمة كانت تشبه إعطاء الذكاء الاصطناعي مسطرة مكسورة لا تعمل إلا لأطوال محددة. أما الطريقة الجديدة (PRE) فهي تشبه إعطاءه حساً بـ "مدى تقدمه في الطريق"، مما يسمح له بالتوقف تماماً عند النقطة التي تريدها، بغض النظر عن طول أو قصر الطريق.

ملخص تقني: تضمينات نسبة التقدم للتحكم القوي في الطول

1. بيان المشكلة

بينما تحقق النماذج اللغوية العصبية الحديثة دقة عالية في توليد النصوص، لا يزال التحكم الدقيق في طول التوليد غير متطور بشكل كافٍ. تعتمد النماذج اللغوية الكبيرة (LLMs) الحالية على معايير توقف عشوائية (أخذ عينة من رمز <EOS>)، مما يوفر شفافية وتحكماً صريحاً محدوداً. وبينما يمكن للنماذج اللغوية الكبيرة التي تتبع التعليمات التعبير عن تفضيلات الطول عبر التلقين (prompting)، فإن هذا النهج يقتصر على النماذج الضخمة جداً المدربة على بيانات عامة واسعة النطاق.

بالنسبة للنماذج اللغوية الصغيرة (SMLs) المدربة على مجموعات بيانات محددة النطاق، يجب تحقيق التحكم في الطول من خلال التصميم المعماري. تحاول الأساليب الحديثة، مثل تضمينات الموضع العكسية (RPE)، معالجة ذلك عبر تغذية فك التشفير بإشارات عد تنازلي منفصلة تمثل عدد الرموز المتبقية. ومع ذلك، يوضح المؤلفون أن RPE يعاني من قصور حرج: فهو يعتمد على أعداد منفصلة مرتبطة بعدد الرموز المتبقية المطلق، مما يؤدي إلى عدم الاستقرار وضعف التعميم عندما تكون الأطوال المستهدفة المطلوبة خارج نطاق التوزيع (out-of-distribution lengths).

2. المنهجية: تضمينات نسبة التقدم (PRE)

للتغلب على قيود الإشارات المنفصلة، قدم المؤلفون تضمينات نسبة التقدم (PRE)، وهي استراتيجية تضمين مستمرة مرتبطة بإشارة "نفاد صبر" جيبية (trigonometric).

المفهوم الجوهري

على عكس RPE، الذي يستخدم مؤشراً منفصلاً للرموز المتبقية، تُعرف PRE نسبة تقدم مستمرة $r \in [0, 1]$ ، حيث $r = t/l$ ( $t$ هو الخطوة الحالية، و $l$ هو الطول المستهدف). وتحدد هذه النسبة مدى التقدم في عملية فك التشفيد.

إشارة نفاد الصبر الجيبية

يصيغ المؤلفون تقدم التوليد كإشارة "نفاد صبر" تشبه مستمعاً ينتظر نهاية رسالة. واستناداً إلى معالجة الإشارات الرقمية ونظرية نايكويست-شانون، صمموا دالة تضمين $\xi(r)$ تشفر التقدم باستخدام مكونات جيبية تزداد تردداتها مع اقتراب النسبة من 1.

يتم بناء التضمين كما يلي:
$\xi(r)_j = \begin{cases} \sin(\omega_r \cdot x_j) & \text{إذا كان } j \text{ زوجياً} \\ \cos(\omega_r \cdot x_j) & \text{إذا كان } j \text{ فردياً} \end{cases}$
حيث أن:

$\omega_r = r \times M$ هو النبض (التردد)، ويتدرج خطياً مع نسبة التقدم $r$ .
$M$ هو معلم فائق (تم ضبطه على $d_{model}/2$ في الممارسة العملية) والذي يعمل على تغيير مقياس زيادة التردد.
$x_j$ هو متغير مستقل مشتق من مؤشر البعد.

يضمن هذا التصميم أن يكون فضاء التضمين مستمراً وسلساً، مما يسمح للنموذج بالاستكمال (interpolation) بين النسب التي شوهدت أثناء التدريب وتلك التي تمت مواجهتها في وقت الاستنتاج.

التكامل والتدريب

المعمارية: يتم حقن PRE في مدخلات مفكك التشفير القياسي لـ Transformer جنباً إلى جنب مع تضمينات الرموز والموضع: $X_t = E_t + P_t + \xi(r_t)$ .
هدف التدريب: يتم ضبط النموذج بدقة باستخدام تقدير الاحتمال الأقصى (MLE) مع دالة فقدان الإنتروبيا المتقاطعة القياسية.
التنظيم: لتعزيز التعميم، يتم حقن ضوضاء غاوسية في نسبة التقدم $r$ أثناء التدريب ( $r = \text{Clip}(r + \delta; 0, 1)$ )، مما يعرض النموذج لطيف مستمر من القيم بدلاً من الأهداف المنفصلة.
التشبع: بمجرد وصول التسلسل المولد إلى الطول المستهدف أو تجاوزه، يتم قص النسبة عند 1، مما يؤدي إلى تشبع إشارة نفاد الصبر ويمنع المزيد من التوليد.

3. المساهمات الرئيسية

يقدم البحث ثلاث مساهمات رئيسية:

استراتيجية مبتكرة: اقتراح تضمينات نسبة التقدم (PRE)، وهي آلية للتحكم في الطول تعتمد على إشارات "نفاد صبر" مستمرة تعدل فك التشفيد وفقاً لتقدم الإنجاز.
تحليل RPE: إعادة إنتاج وتكييف طريقة تضمينات الموضع العكسية (RPE) على بنية مشفر-فك تشفير كلاسيكية، مع تقديم تحليل مفصل لنقاط قوتها (الفعالية ضمن نطاق التوزيع التدريبي) ونقاط ضعفها (الفشل في التعميم على الأطوال خارج نطاق التوزيع).
التحقق التجريبي: إثبات أن PRE يعمم التحكم في الطول على الأطوال المستهدفة غير المرئية دون المساس بجودة النص، وقد تم التحقق من ذلك عبر مهام التلخيص وتوليد الأسئلة.

4. النتائج التجريبية

قيم المؤلفون PRE على نموذج BART-L (بـ 400 مليون معلمة) من نوع مشفر-فك تشفير عبر ثلاث مجموعات بيانات: CNN/DailyMail، و XSum (تلخيص الأخبار)، و SQuAD (توليد الأسئلة).

أداء التحكم في الطول

متوسط الخطأ المطلق (MAE): يتفوق PRE بشكل كبير على كل من النموذج المرجعي (بدون تحكم) وطريقة RPE.
- في CNN/DailyMail، حقق PRE متوسط خطأ مطلق قدره 0.5 ± 0.3، مقارنة بـ 1.6 لـ RPE و 19.2 للمرجع.
- في XSum، حقق PRE متوسط خطأ مطلق قدره 0.1 ± 0.2، مقارنة بـ 0.7 لـ RPE.
- في SQuAD، حقق PRE متوسط خطأ مطلق قدره 0.0 ± 0.1، مقارنة بـ 0.8 لـ RPE.
التعميم خارج نطاق التوزيع: بينما يتدهور أداء RPE بشكل ملحوظ عندما تتجاوز الأطوال المستهدفة 300 رمز (مع ارتفاع معدلات القيم المتطرفة إلى >50% للأطوال 550-600)، يحافظ PRE على تحكم قوي. على سبيل المثال، في فئة 550-600 رمز في CNN/DailyMail، بلغت نسبة القيم المتطرفة في RPE حوالي 50.1%، بينما كانت في PRE 5.4% فقط.

جودة النص

ROUGE و BERTScore: يحافظ PRE على جودة مقاييس النص أو يحسنها قليلاً مقارنة بالنماذج المرجعية.
- في CNN/DailyMail، حقق PRE درجة ROUGE-1 بلغت 45.3 و BERTScore بلغت 69.8، متفوقاً على RPE (44.5، 69.4) والمرجع (44.2، 69.7).
- في SQuAD، حقق PRE درجة BLEU بلغت 18.6، متفوقاً على RPE (16.4) والمرجع (16.7).

5. الأهمية والادعاءات

يزعم البحث أن PRE يقدم آلية قوية وثابتة الطول للتحكم في التوليد في توليد النصوص العصبية. وتكمن أهميته الأساسية في قدرته على:

التعميم لما وراء التدريب: على عكس RPE، المرتبط بالتوزيع المنفصل لأطوال التدريب، فإن التمثيل المستمر لـ PRE يسمح له بالتعامل مع الأطوال المستهدفة التعسفية وغير المرئية بفعالية.
الحفاظ على الجودة: يحقق تحكماً دقيقاً في الطول دون التضحية بصلة النص أو معلوماتيته أو سلاسته.
القابلية للتطبيق: تم إثبات فعالية الطريقة في مهام التلخيص التجريدي وتوليد الأسئلة باستخدام بنيات مشفر-فك تشفير قياسية.

يخلص المؤلفون إلى أن PRE يفتح آفاقاً جديدة للتحكم الدقيق في عملية التوليد، مما يسمح بتلخيص أكثر تدريجياً، ويحسن من إمكانية التفسير، مع ملاحظة أن العمل المستقبلي يمكن أن يستكشف تطبيقه في نماذج فك التشفير فقط (decoder-only models) وسلاسل التفكير (chain-of-thought reasoning).