🤖 AI

When Entropy Is Not Enough: Reclaiming Lost Semantics in LLM Output Length Prediction

تقدم هذه الورقة إطار عمل ESTP، وهو إطار عمل خفيف الوزن يعمل على تحسين التنبؤ بطول مخرجات النماذج اللغوية الكبيرة (LLM) من خلال الجمع بين اعتلاج الرموز (token entropy) ودرجات الأهمية الدلالية القائمة على الانتباه، لتمكين جدولة أكثر كفاءة ومدركة للطول وتقليل العبء الحسابي.

المؤلفون الأصليون: Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

نُشر 2026-08-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناعي، تعمل النماذج اللغوية الكبيرة كمحركات قوية تولد النصوص، وتجيب على الأسئلة وتحل المشكلات من خلال التنبؤ بالكلمة التالية في الجملة. ولتشغيل هذه المحركات بكفاءة على أجهزة الكمبيوتر، يقوم المهندسون غالبًا بتجميع العديد من الطلبات معًا، تمامًا مثل حافلة تحمل ركابًا متعددين. ومع ذلك، يبرز عدم كفاءة مستمر لأن الأجهزة يجب أن تعامل كل طلب في المجموعة كما لو كان الأطول بينها، مما يؤدي إلى حشو الاستجابات الأقصر بمساحات فارغة لتتناسب معها. هذا المساحة الضائعة تبطئ النظام بأكه، لا سيما عندما يُطلب من النموذج القيام بعمليات استدلال معقدة أو توليد إجابات طويلة ومفصلة. ولحل هذه المشكلة، سعى الباحثون منذ فترة طويلة لإيجاد طريقة للتنبؤ بدقة بمدى طول الإجابة قبل كتابتها بالكامل، مما يسمح للنظام بتخصيص الموارد بدقة. ولفترة من الوقت، اعتمدت الطريقة الرائدة لجعل هذه التنبؤات على قياس مدى عدم اليقين لدى النموذج، وهو مفهوم يُعرف باسم "الاعتلاج" (entropy)، والذي يقيس جوهريًا مدى عدم تأكد النموذج من كلمته التالية.

تتحدى دراسة جديدة الافتراض القائل بأن عدم اليقين وحده هو أفضل دليل لهذه المهمة. فقد وجد الباحثون أنه بينما يعد عدم اليقين مفيدًا، إلا أنه يفتقر إلى طبقة حاسمة من المعنى. ففي عملية توليد النص، ينتج النموذج مجموعة واسعة من الإشارات، فبعضها يشير إلى الارتباك أو التردد، بينما يسلط البعض الآخر الضوء على الحقائق أو الأرقام أو التعليمات الأكثر أهمية. والأساليب السابقة، التي ركزت بشدة على عدم اليقين، كانت غالبًا ما تعامل الكلمات الانتقالية غير المؤكدة على أنها الأكثر أهمية، بينما قللت دون قصد من شأن الرموز (tokens) الواقعية الصلبة التي تحدد بالفعل طول وهيكل الاستجابة. هذا يشبه محاولة التنقل في مدينة من خلال الانتباه فقط إلى التقاطعات الضبابية وتجاهل لافتات الشوارع الواضحة؛ والنتيجة هي تنبؤ خاطئ غالبًا لأنه يفتقد المحتوى الجوهري.

ولحل ذلك، قدم الفريق إطار عمل جديدًا يسمى ESTP، والذي يجمع بين مقياس عدم اليقين والنظرة المباشرة إلى أهمية كل كلمة. فبدلاً من مجرد السؤال عن مدى عدم تأكد النموذج، تسأل الطريقة الجديدة أيضًا عن مقدار الانتباه الذي يوليه النموذج لكلمة معينة. في بنية هذه النماذج، يعمل "الانتباه" ككشاف ضوئي، يوضح الكلمات التي تقود عملية التفكير حاليًا. وقد اكتشف الباحثون أن الكلمات التي تحمل أثقالًا دلالية كبيرة — مثل الكيانات الرئيسية، والأرقام المحددة، والتعليمات الأساسية — غالبًا ما تتلقى انتباهًا عاليًا حتى عندما يكون النموذج واثقًا جدًا بشأنها. ومن خلال دمج هذا الأهمية القائمة على الانتباه مع إشارة عدم اليقين التقليدية، يخلق النظام الجديد رؤية متوازنة للنص؛ حيث يتعلم تقدير المعلومات الحرجة التي تحدد طول الإجابة مع الاستمرار في الاعتراف بالأجزاء غير المؤكدة التي تشير إلى الحاجة لمزيد من التوضيح.

اختبر الباحثون هذا النهج في مجموعة متنوعة من المهام الصعبة، بما في ذلك الاستدلال الرياضي المعقد وسيناريوهات أخذ العينات الديناميكية، باستخدام نماذج لغوية كبيرة مختلفة. ووجدوا أن طريقتهم المدمجة تتنبأ بطول المخرجات بدقة أكبر باستمرار من التقنيات الأفضل السابقة. وفي كثير من الحالات، انخفض معدل الخطأ بشكل كبير، لا سيما في مهام الاستدلال المعقدة حيث عانت الطرق السابقة أكثر من غيرها. وأظهرت الدراسة أن جزءًا كبيرًا من الرموز (tokens) التي كانت تُعطى قيمة مبالغ فيها من قبل النظام القديم كانت في الواقع كلمات حشو منخفضة القيمة، بينما كانت العديد من الرمونات التي تم التقليل من قيمتها هي ذاتها الحقائق التي تملي الطول النهائي. ومن خلال تصحيح هذا عدم التوافق، وفر النظام الجديد إشارة أوضح بكثير لأجهزة الكمبيوتر.

وعند دمج هذا في نظام كامل مصمم لإدارة طلبات الذكاء الاصطناعي هذه، تُرجم التحسن إلى فوائد ملموسة في العالم الحقيقي. فقد تمكن النظام من جدولة المهام بكفاءة أكبر، مما قلل من كمية المساحة الفارغة الضائعة التي كان يجب ملؤها بالحشو. وأدى ذلك إلى زيادة ملحوظة في السرعة التي يمكن بها للأجهزة معالجة الطلبات وانخفاض في الوقت المستغرق لإكمال المهام. حققت هذه الطريقة هذه المكاسب دون الحاجة إلى ذاكرة إضافية أو إبطاء النموذج، لأنها أعادت استخدام الإشارات الداخلية التي يولدها النموذج بالفعل. وتشير النتائج إلى أنه لكي تصبح أنظمة الذكاء الاصطناعي فعالة حقًا، يجب أن تتجاوز مجرد مقاييس عدم اليقين البسيطة وتتعلم التعرف على الأهمية الدلالية للكلمات التي تعالجها. هذا التحول يسمح للتكنولوجيا بالتعامل مع الاستدلال الطويل والمعقد بمستوى من الدقة كان بعيد المنال سابقًا، مما يمهد الطريق لخدمات ذكاء اصطناعي أسرع وأكثر موثوقية.

ملخص تقني: عندما لا يكون الإنتروبيا كافيًا: استعادة الدلالات المفقودة في التنبؤ بطول مخرجات النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

غالبًا ما تعاني عملية خدمة النماذج اللغوية الكبيرة (LLM) الفعالة من مشكلة "تأثير البرميل" (barrel effect)، حيث يتم حشو (padding) التسلسلات القصيرة في الدفعة لتتطابق مع أطول تسلسل، مما يؤدي إلى هدر الموارد الحسابية وتدهور معدل الإنتاجية (throughput). وبينما يمكن للجدولة الواعية بالطول (length-aware scheduling) التخفيف من حدة ذلك عبر التنبؤ بأطوال المخرجات مسبقًا، تواجه طرق التنبؤ الحالية قيودًا كبيرة.

تعتمد النهج الحالية المتطورة، مثل "تجميع الرموز الموجه بالإنتروبيا" (EGTP)، بشكل أساسي على إنتروبيا الرموز (token-wise entropy) لتحديد الأهمية. ومع ذلك، تحدد هذه الورقة فجوة منهجية: يقيس الإنتروبيا عدم اليقين في التوليد وليس الأهمية الدلالية. وبناءً على ذلك، غالبًا ما تظهر الرموز ذات القيمة الدلالية العالية (مثل الكيانات الرئيسية، القيود، والتعليمات) إنتروبيا منخفضة (ثقة عالية) ويتم تقليل وزنها. وعلى العكس من ذلك، يتم تضخيم الكلمات الانتقالية أو الحشوية ذات الإنتروبيا العالية. يؤدي هذا عدم الاتساق إلى فقدان الإشارات الدلالية الحرجة، مما يقلل من موثوقية التنبؤ بالطول، لا سيما في سيناريوهات الاستدلال المعقدة والتعلم التعزيزي (RL) الديناميكي.

المنهجية: إطار عمل ESTP

يقترح المؤلفون إطار عمل ESTP (تجميع الرموز القائم على الإنتروبيا والدلالة)، وهو إطار عمل خفيف الوزن مصمم لاستعادة الدلالات المفقودة دون إدخال عبء حسابي كبير. يعمل هذا الأسلوب عبر ثلاث مراحل رئيسية:

نمذجة الأهمية الدلالية القائمة على الانتباه (Attention-Based Semantic Importance Modeling):
بدلاً من الاعتماد فقط على الإنتروبيا، يقوم ESTP بحساب وزن دلالي ( $S_j$ ) لكل رمز $j$ عن طريق متوسط قيم الانتباه المستلمة من جميع الرموز الصالحة الأخرى في الطبقة الأخيرة من النموذج اللغوي الكبير. يستفيد هذا من ملاحظة أن الرموز ذات الانتباه العالي ترتبط غالبًا بالأهمية الدلالية.
$S_j = \frac{1}{N} \sum_{i=1}^{N} A_{ij}$
حيث $A_{ij}$ هو وزن الانتباه من الرمز $i$ إلى الرمز $j$ .
دمج الأوزان الدلالية والإنتروبية (Semantics-Entropy Joint Weight Fusion):
يجمع إطار العمل بين الدرجة الدلالية ( $S_i$ ) وإنتروبيا الرمز ( $H_i$ ) لإنتاج درجة أهمية موحدة ( $T_i$ ):
$T_i = \lambda_1 S_i + \lambda_2 H_i$
يتم تطبيع هذه الدرجات عبر دالة softmax لتوليد أوزان التجميع النهائية ( $e_i$ )، حيث يتم إدخال معامل درجة الحرارة $\alpha$ لضبط درجة تركيز التوزيع:
$e_i = \frac{\exp(T_i)}{\sum_{j=1}^{n}\exp(T_j)}$
يسمح هذا الدمج للنموذج بموازنة إشارات عدم اليقين مع المحتوى الدلالي.
انحدار توزيع الملصقات الناعمة (Soft-Label Distribution Regression):
للتعامل مع الطبيعة ذات الذيول الثقيلة (heavy-tailed) لتوزيعات طول المخرجات، يستخدم ESTP رأس تنبؤ يعامل التنبؤ بالطول كمشكلة توزيع. يتم تقسيم الأطوال المستهدفة إلى فئات (bins)، ويتم إنشاء توزيع احتمالي ناعم. يتم تحسين النموذج باستخدام دالة خسارة مشتركة من "الإنتروبيا المتقاطعة" (Cross-Entropy) (من أجل استقرار التصنيف) و"متوسط مربع الخطأ" (Mean Squared Error) (من أجل الانحدار الدقيق)، مما يسمح له بتعلم شكل التوزيع وتوقع الطول الدقيق معًا.

الأهم من ذلك، أن ESTP يعيد استخدام الحالات الخفية (hidden states) وأوزان الانتباه التي تم توليدها أثناء مرحلة "التحميل المسبق" (prefill) القياسية للنموذج اللغوي الكبير، مما يضيف عبئًا ضئيلًا جدًا على ذاكرة الفيديو (VRAM) وزمن انتقال الاستدلال.

المساهمات الرئيسية

التحقق التجريبي من عدم الاتساق: تقدم الورقة أدلة كمية على أن الإنتروبيا والأهمية الدلالية غالبًا ما تكون غير متوافقتين. في دراسة تشخيصية، وُجد أن أكثر من 20% من الرموز في أعلى 40% من مجموعة الإنتروبيا العالية تمتلك أهمية دلالية منخفضة، بينما حملت نسبة مماثلة من الرموز ذات الإنتروبيا المنخفضة قيمة دلالية عالية.
إطار عمل ESTP: آلية تجميع مبتكرة وخفيفة الوزن تدمج الإنتروبيا مع الدرجات الدلالية القائمة على الانتباه. إنها تستعيد الإشارات الدلالية التي تفقدها الطرق المعتمدة على الإنتروبيا فقط، وتحقق ذلك بأقل تكلفة إضافية عبر إعادة استخدام تنشيطات النموذج اللغوي الداخلي.
تقييم شامل: تجارب مكثفة عبر أربعة نماذج خلفية (Qwen2.5-3B/7B, Llama3.2-1B/3B) وثلاثة سيناريوهات صعبة (التسلسلات الطويلة، الاستدلال المعقد، وعينات التعلم التعزيزي الديناميكي) على مقياس ForeLen.

النتائج التجريبية

دقة التنبؤ: في مقياس ForeLen، يتفوق ESTP باستمرار على النماذج المرجعية، بما في ذلك EGTP وTRAIL والنماذج المساعدة الخارجية (SSJF-Reg/MC). يحقق أقل متوسط خطأ مطلق (MAE) عبر جميع النماذج، حيث قلل متوسط MAE بأكثر من 9 نقاط مقارنة بـ EGTP، مع تحسينات تتجاوز 20 نقطة في سيناريوهات التعلم التعزيزي (RL).
المتانة: يظهر ESTP خطأ جذر متوسط المربع (RMSE) أقل، مما يشير إلى قدرة أفضل على التعامل مع الانحرافات الكبيرة في التنبؤ.
كفاءة النظام: عند دمجه مع مجدول واعٍ بالطول في اختبارات النظام الشاملة (باستخدام vLLM)، يحسن ESTP الإنتاجية بشكل كبير ويقلل من نسبة الحشو. على سبيل المثال، في سيناريوهات الاستدلال، انخفضت نسبة الحشو من 1.18 (EGTP) إلى 0.37 (ESTP)، وانخفض متوسط وقت إكمال المهمة (JCT).
دراسات الاستبعاد (Ablation Studies): تؤكد التجارب أن كلاً من الميزات الإنتروبية والدلالية ضرورية؛ حيث يؤدي استخدام أي منهما بمفرده إلى نتائج أدنى مقارنة بالنهج المشترك.

الأهمية والقيود

تضع الورقة ESTP كبنة بناء عملية وفعالة لأنظمة خدمة النماذج اللغوية الكبيرة الواعية بالطول. ومن خلال معالجة الفجوة الدلالية التي تعاني منها الطرق المعتمدة على الإنتروبيا فقط، فإنه يتيح تخصيص موارد وجدولة أكثر دقة، مما يحسن مباشرة من استغلال الأجهزة والإنتاجية.

يقر المؤلفون بوجود قيود محددة:

التمثيل بالانتباه للأهمية الدلالية هو ارتباطي وليس سببيًا.
تعتمد الطريقة على التنشيطات الداخلية، مما يحد من قابليتها للتطبيق الفوري على النماذج مغلقة المصدر حيث لا يمكن الوصول إلى هذه الحالات.
يُقترح العمل المستقبلي لاستكشاف العزو السببي (causal attribution)، والتكيف مع "الصندوق الأسود"، ودمج الميزات المتعددة لتعزيز متانة السيناريوهات المختلفة.