💬 NLP

Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling

تقدم الورقة البحثية LenVM، وهو إطار عمل قابل للتوسع وخالٍ من التوسيم، يقوم بنمذجة طول التوليد المتبقي كإشارة قيمة على مستوى الرمز (token)، مما يحسن بشكل كبير من مطابقة الطول الدقيق ويمكّن من التحكم المستمر في المقايضة بين الأداء والكفاءة في النماذج ذات التوليد الذاتي (autoregressive models).

المؤلفون الأصليون: Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

نُشر 2026-05-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhen Zhang, Changyi Yang, Zijie Xia, Zhen Yang, Chengzhi Liu, Zhaotiao Weng, Yepeng Liu, Haobo Chen, Jin Pan, Chenyang Zhao, Yuheng Bu, Alkesh Patel, Zhe Gan, Xin Eric Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد حكواتياً يروي قصة. أحياناً يتوقف بعد بضع جمل، وأحياناً أخرى يسترسل في الحديث لساعات. في عالم الذكاء الاصطناعي، عملية "سرد القصص" هذه هي عملية توليد النصوص، كلمة بكلمة (أو "توكن" بـ "توكن").

المشكلة هي أن نماذج الذكاء الاصطناعي الحالية تشبه الحكواتيين الذين لا يعرفون متى يتوقفون. فقد يتوقفون مبكراً جداً (فيتركون القصة غير مكتملة) أو يستمرون طويلاً (مما يهدر الوقت والمال). الطرق الحالية للتحكم في ذلك تشبه إعطاء الحكواتي تعليمات فضفاضة في البداية تماماً: "احكِ قصة مدتها 5 دقائق". هنا يتعين على الحكواتي تخمين الطول الإجمالي قبل نطق كلمة واحدة، مما يؤدي غالباً إلى الأخطاء.

تقدم هذه الورقة البحثية أداة جديدة تسمى LenVM (نموذج قيمة الطول). فكر في LenVM كبوصلة داخلية ذكية يحملها الذكاء الاصطناعي معه أثناء حديثه.

الفكرة الجوهرية: بوصلة "المسافة إلى النهاية"

بدلاً من محاولة تخمين الطول الإجمالي للقصة، يجيب LenVM على سؤال بسيط عند كل خطوة: "كم بقي لي لأصل؟"

إليك كيف يعمل، باستخدام بعض التشبيهات:

1. تشبيه "طريق المرور"
تخيل أن الذكاء الاصطناعي يقود سيارة على طريق سريع. في كل مرة يولد فيها كلمة ("توكن")، يتعين عليه دفع رسوم مرور صغيرة.

الهدف: يريد الذكاء الاصطناعي الوصول إلى الوجهة (نهاية الجملة) بأكبر قدر من الكفاءة.
الحساب: يحسب LenVM "إجمالي الرسوم" التي يتوقع الذكاء الاصطناعي دفعها من هذه اللحظة تحديداً وحتى نهاية الرحلة.
النتيجة: إذا كان الذكاء الاصطناعي في بداية شرح طويل، فإن "إجمالي الرسوم" يكون مرتفعاً (رقماً سالباً كبيراً). وإذا كان على وشك الانتهاء، فإن "إجمالي الرسوم" يكون منخفضاً جداً (قريباً من الصفر).

2. تشبيه "المنظم الحراري" (الثرموستات)
عادة ما يكون توليد الذكاء الاصطناعي مثل سخان يضخ الحرارة باستمرار حتى تقوم بإيقافه يدوياً. يعمل LenVM مثل منظم حراري ذكي؛ فهو يستشعر باستمرار مدى قرب الغرفة من درجة الحرارة المستهدفة (الطول المستهدف).

إذا كان على الذكاء الاصطناعي التوقف قريباً، يرسل LenVM إشارة: "لقد اقتربنا! اختر كلمات تؤدي إلى نهاية سريعة".
إذا كان على الذكاء الاصطناعي الاستمرار، يرسل LenVM إشارة: "نحن بعيدون! اختر كلمات تسمح بمزيد من التفاصيل".

ما يفعله LenVM فعلياً (ادعاءات الورقة البحثية)

قام الباحثون بتدريب هذه "البوصلة" باستخدام خدعة ذكية: لم يحتاجوا إلى بشر لتسمية البيانات. بل تركوا الذكاء الاصطناعي يولد قصصاً، ثم عدوا الكلمات، وعلموا LenVM التنبؤ بـ "التكلفة المتبقية" لإنهاء تلك القصص. ولأن هذا يحدث عند كل كلمة، فإن بيانات التدريب ضخمة وتلقائية.

إليك ما تثبت الورقة أن LenVM يمكنه فعله:

1. التحكم الدقيق في الطول (الخياط ذو المقاسات الدقيقة)
إذا طلبت من ذكاء اصطناعي كتابة 500 كلمة بالضبط، فإن النماذج القياسية غالباً ما تخطئ في التقدير بفارق كبير. يعمل LenVM مثل خياط يحمل شريط قياس.

النتيجة: في اختبار يسمى LIFEBench، نجح نموذج قياسي بـ 7 مليارات بارامتر باستخدام LenVM في تحسين قدرته على إصابة عدد الكلمات بدقة من درجة 30.9 إلى 64.8.
المقارنة: هذا النموذج مفتوح المصدر المزود بـ LenVM تفوق فعلياً في إصابة الأطوال الدقيقة على بعض أكثر النماذج تقدماً والمغلقة (مثل GPT-4o أو Claude) التي تعتمد على الأوامر البسيطة.

2. "مفتاح الكفاءة" (الموازنة بين الأداء والسرعة)
أحياناً تريد إجابة طويلة ومثالية، وأحياناً تريد إجابة سريعة وجيدة بما يكفي.

النتيجة: يتيح لك LenVM تحريك "مفتاح"؛ يمكنك أن تقول للذكاء الاصطناعي: "أعطني أفضل إجابة يمكنك العثستها، ولكن حاول أن تجعلها أقل من 200 كلمة".
اللمسة السحرية: بدون LenVM، إذا أجبرت الذكاء الاصطناعي على التوقف عند 200 كلمة، فإن دقته في المسائل الرياضية تنخفض إلى 6%. أما مع توجيه LenVM لاختيار الكلمات، فتظل الدقة عالية عند 63%. إنه يجد "الاختصارات" التي يعرفها الذكاء الاصطناعي بالفعل ولكنه يتجاهلها عادةً.

3. "البلورة السحرية" (التنبؤ بالمستقبل)
يمكن لـ LenVM النظر إلى المطالبة الأولى (قبل أن ينطق الذكاء الاصطناعي بكلمة واحدة) والتنبؤ بطول الإجابة.

النتيجة: يمكنه تخمين طول حل مسألة رياضية أو قطعة برمجية بدقة عالية. وهذا يساعد الحواسيب على التخطيط لذاكرتها وميزانيتها قبل البدء في العمل.

4. "الرؤية بالأشعة السينية" (فهم عقل الذكاء الاصطناعي)
لأن LenVM يتحقق من "المسافة إلى النهاية" عند كل خطوة، فإنه يكشف أين يقرر الذكاء الاصطناعي التوقف أو الاستمرار.

الاكتشاف: وجدت الورقة أن كلمات مثل "آه"، "انتظر"، أو "دعنا نفكر" غالباً ما تشير إلى أن الذكاء الاصطناعي على وشك القيام برحلة أطول (توكن طول إيجابي). بينما كلمات مثل "لذلك"، "ممتاز"، أو الرموز التعبيرية مثل علامة الصح (✓) تشير إلى أن الذكاء الاصطناعي ينهي عمله (توكن طول سلبي). وهذا يمنحنا نافذة على عملية التفكير لدى الذكاء الاصطناعي.

الملخص

إن LenVM طريقة جديدة لتعليم الذكاء الاصطناعي فهم "مسافته إلى خط النهاية". إنه يحول المفهوم الغامض لـ "الطول" إلى إشارة رياضية دقيقة يمكن للذكاء الاصطناعي استخدامها في الوقت الفعلي.

لا يحتاج لبيانات مصنفة: فهو يتعلم تلقائياً من مخرجات الذكاء الاصطناعي نفسه.
قابل للتوسع: يعمل بشكل أفضل كلما كبر حجم الذكاء الاصطناعي.
عملي: يتيح لنا التحكم في طول حديث الذكاء الاصطناعي دون تغيير "دماغ" الذكاء الاصطناعي، وذلك ببساطة عبر توجيه خياراته كلمة بكلمة.

تخلص الورقة البحثية إلى أن "إشارة قيمة المستوى التوكني" هذه هي أداة قوية وجديدة لجعل الذكاء الاصطناعي أكثر كفاءة، وقابلية للتنبؤ، وقابلية للتحكم.

إليك ملخص تقني مفصل لورقة البحث بعنوان "نموذج قيمة الطول: ما قبل التدريب القابل للتوسع لقيمة الطول على مستوى الرمز (Token)" (LenVM).

1. بيان المشكلة

في النماذج التوليدية ذاتية الانحدار الحديثة (النماذج اللغوية الكبيرة LLMs والنماذج البصرية اللغوية VLMs)، يُعد طول التوليد وحدة أساسية للحوسبة تؤثر بشكل مباشر على تكلفة الاستدلال (الحوسبة، الذاكرة، زمن التأخير) وأداء الاستنتاج. وبينما تحاول الأساليب الحالية التحكم في طول التوليد أو التنبؤ به، إلا أنها تعاني من قيود كبيرة:

التحكم خشن الحبيبات (Coarse-Grained Control): تعمل معظم الأساليب على مستوى التسلسل (مثل العقوبات على مستوى التسلسل أثناء التدريب أو التعليمات القائمة على المطالبات أثناء الاستدلال) بدلاً من نمذجة ديناميكيات التوليد على مستوى الرمز (Token level).
الافتقار إلى الإشارات دقيقة الحبيبات: هناك آلية مفقودة لتقدير أفق التوليد المتبقي عند كل خطوة فك تشفير.
عقبات التوسيم (Annotation Bottlenecks): تتطلب نماذج المكافأة التقليدية للطول غالباً تسميماً بشرياً أو نماذج مكافأة معقدة، وهي لا تتوسع بشكل جيد.
جمود المقايضة: القيود الصارمة (مثل "توقف عند 200 رمز") غالباً ما تؤدي إلى تدهور الأداء، بينما تفتقر الأساليب الحالية إلى آلية سلسة للمقايضة بين جودة الاستنتاج وميزانية الرموز.

2. المنهجية: نموذج قيمة الطول (LenVM)

يقترح المؤلفون LenVM، وهو إطار عمل على مستوى الرمز ينمذج طول التوليد المتبقي كمسألة تقدير قيمة ضمن إطار عمل قياسي لوظيفة القيمة في التعلم التعزيزي (RL).

الصيغة الجوهرية

بدلاً من التنبؤ بعدد الرموز الخام مباشرة، يصيغ LenVM نمذجة الطول كمسألة عائد مخصوم:

هيكل المكافأة: يتم تخصيص مكافأة سالبة ثابتة لكل رمز يتم توليده: $r_t = -(1 - \gamma)$ ، حيث $\gamma \in (0, 1)$ هو عامل الخصم، وتكون مكافأة الحالة النهائية (EOS) هي 0.
العائد المخصوم: تُعرف القيمة المستهدفة $G_t$ عند الخطوة $t$ لمسار طوله الإجمالي $L$ بأنها مجموع المكافآت المستقبلية المخصومة:
$G_t = \sum_{i=0}^{L-t-1} \gamma^i r_{t+i} = -(1 - \gamma^{L-t})$
الخصائص:
- مقيدة (Bounded): $G_t \in (-1, 0)$ ، مما يتجنب النطاق الديناميكي غير المحدود للأطوال الخام.
- أحادية الميل (Monotone): الآفاق المتبقية الأقصر تعطي قيماً أقرب إلى 0؛ والآفاق الأطول تعطي قيماً أقرب إلى -1.
- متسقة مع معادلة بلمان (Bellman-Consistent): تحقق التكرار $G_t = r_t + \gamma G_{t+1}$ .

البنية والتدريب

الرأس (Head): يقوم LenVM بإرفاق رأس قيمة قياسي (MLP مكون من طبقتين مع تنشيط SiLU) بالحالة المخفية للطبقة الأخيرة لنموذج LLM أو VLM أساسي.
المخرج: يخرج الرأس قيمة $V_\theta(s_t) = -\sigma(z_t)$ ، مما يضمن بقاء المخرج في النطاق $(-1, 0)$ .
هدف التدريب: يتم تدريب النموذج عبر انحدار (Regression) كثيف على مستوى الرمز وخالٍ من التوسيم.
- توليد البيانات: لكل مطالبة (Prompt)، يتم أخذ عينات متعددة من عمليات الإكمال من سياسة تشغيل (Rollout policy) ثابتة.
- الإشراف: يتم حساب العائد المتحقق $G_t$ بشكل حتمي من طول عملية الإكمال التي تم أخذ العينة منها.
- الخسارة: متوسط الخطأ التربيعي المتوسط (MSE) على مستوى الرمز بين القيمة المتوقعة والعائد المتحقق.
- القابلية للتوسع: إشارة الإشراف كثيفة (كل رمز هو هدف)، غير متحيزة (عينة مونت كارلو تحت سياسة ثابتة)، وتتوسع بشكل طبيعي مع حجم النموذج، وعدد المطالبات، وعدد عمليات الإكمال التي تم أخذ عينات منها لكل مطالبة.

3. المساهمات الرئيسية

نمذجة الطول على مستوى الرمز: يعد LenVM أول إطار عمل ينمذج طول التوليد المتبقي كإشارة قيمة مستمرة على مستوى الرمز، مما يسمح بالتحكم والتنبؤ الدقيق.
قابلية التوسع الخالية من التوسيم: تُشتق إشارة التدريب بالكامل من عمليات الإكمال المأخوذة دون الحاجة لتوسيم بشري أو نماذج مكافأة خارجية، مما يجعلها قابلة للتوسع بشكل كبير عبر أحجام النماذج والمجموعات البيانية.
التحكم في وقت الاستدلال: يوفر LenVM آلية للتحكم في طول التوليد دون تعديل أوزان النموذج الأساسي، مما يدعم كلاً من القيود الصارمة والمقايضات المستمرة.
1. القابلية للتفسير: تكشف قيم مستوى الرمز عن "رموز الطول" التي تشير إلى التحولات في أنظمة الاستنتاج (على سبيل المثال، رموز مثل "wait" أو "ah" تشير إلى التحول إلى استنتاج أطول، مقابل "therefore" التي تشير إلى الإغلاق).

4. النتائج التجريبية

قيم المؤلفون LenVM على نماذج LLM (Qwen2.5, Qwen3) ونماذج VLM عبر مجالات الرياضيات، البرمجة، واتباع التعليمات.

التوليد المتحكم في الطول (LIFEBench):
- يتفوق LenVM بشكل كبير على النماذج المغلقة الرائدة (GPT-4o, Claude, Gemini) في مطابقة الطول الدقيق.
- في نموذج بحجم 7B، تحسنت درجة الطول (Length Score) من 30.9 إلى 64.8 في قيد "المساواة مع" (Equal To)، مع تقليل انحراف الطول من 71% إلى 44%.
المقايضة بين الأداء والكفاءة:
- باستخدام الإمالة الأسية (Exponential Tilting) بناءً على قيم LenVM المتوقعة، يمكن للنموذج موازنة الدقة وميزانية الرموز باستمرار.
- في اختبار GSM8K بميزانية 200 رمز، حافظ LenVM على دقة 63%، بينما حقق خط الأساس ذو الميزانية الصارمة للرموز دقة 6% فقط. هذا يثبت أن النموذج الأساسي يحتوي على مسارات استنتاج أقصر ناجحة يمكن لـ LenVM الكشف عنها.
التنبؤ بطول التوليد:
- يمكن لـ LenVM التنبؤ بأفق التوليد المتوقع من حدود المطالبة (قبل توليد أي رموز).
- عند مقياس 32B، يحقق خطأ نسبياً متوسطاً (MRE) قدره 9.8% للرياضيات، 14.9% للبرمجة، و 17.1% لاتباع التعليمات.
القابلية للتوسع:
- ينخفض فقد التحقق (Validation loss) باستمرار مع زيادة حجم النموذج، وعدد مطالبات التدريب، وعدد عمليات الإكمال المأخوذة لكل مطالبة.
دراسة حالة (رموز الطول):
- يكشف تحليل بقايا الفرق الزمني (Temporal-difference residuals) عن رموز محددة تعمل كعلامات لتحولات الطول (مثل "ah"، "but" لإطالة الاستنتاج؛ "therefore"، "perfect" للإنهاء).

5. الأهمية والآثار المستقبلية

إطار عمل عام: يثبت LenVM أن طول التوليد يمكن نمذجته بفعالية كإشارة قيمة على مستوى الرمز، مما يوفر بديلاً مبدئياً للعقوبات خشنة الحبيبات.
أساس التعلم التعزيزي (RL): تسلط الورقة الضوء على أن LenVM يعمل كخط أساس قيمة طبيعي وخاص بالطول لعمليات RL من نوع PPO. يمكن استخدامه إما كمكون هدف مباشر (لتحسين الكفاءة) أو كإشارة مكافأة قائمة على الإمكانات (لتحسين تخصيص الاعتمادات دون تغيير هدف المهمة).
الفائدة العملية: توفر القدرة على التنبؤ بالطول والتحكم فيه ديناميكياً فوائد فورية لجدولة الاستدلال، إدارة الذاكرة، وتقليل التكلفة في أنظمة LLM الإنتاجية.
القابلية للتفسير: من خلال تصور كيفية تغيير رموز معينة للأفق المتوقع، يقدم LenVM عدسة جديدة لفهم الديناميكيات الداخلية لنماذج الاستنتاج.

باختصار، يحول LenVM مشكلة التحكم في الطول من قيد على مستوى التسلسل إلى مهمة تقدير قيمة كثيفة وقابلة للتوسع على مستوى الرمز، مما يتيح التحكم الدقيق، والاستدلال الفعال، والتفسير الأعمق للتوليد ذاتي الانحدار.