📊 statistics

Top-H Decoding: Adapting the Creativity and Coherence with Bounded Entropy in Text Generation

تقدم هذه الورقة البحثية "Top-H decoding"، وهي خوارزمية أخذ عينات مبتكرة تعتمد على إطار عمل لتعظيم الكتلة المقيد بالإنتروبيا، توازن بفعالية بين الإبداع والتماسك في النماذج اللغوية الكبيرة، متفوقةً بذلك على الأساليب الرائدة مثل "min-p sampling" في اختبارات الكتابة الإبداعية مع الحفاظ على المتانة في المهام الواقعية.

المؤلفون الأصليون: Erfan Baghaei Potraghloo, Seyedarmin Azizi, Souvik Kundu, Massoud Pedram

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Erfan Baghaei Potraghloo, Seyedarmin Azizi, Souvik Kundu, Massoud Pedram

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تطلب من روبوت ذكي جداً ومثقف أن يروي لك قصة. أنت تريد أن تكون القصة إبداعية (مليئة بالأفكار الغريبة والمدهشة) ولكن أيضاً متماسكة (منطقية ولا تخرج عن سياق المعنى).

المشكلة هي، عندما تطلب من الروبوت أن "يكون مبدعاً"، فإنه غالباً ما يتحمس أكثر من اللازم. يبدأ في اختيار كلمات غير محتملة للغاية لدرجة أن القصة تنهار. هذه هي معضلة "الإبداع مقابل التماسك".

الطرق القديمة: فلاتر "Top-K" و "Top-P"

في السابق، حاول الباحثون إصلاح ذلك باستخدام فلاتر بسيطة:

Top-K: "اختر فقط من بين أكثر 50 كلمة احتمالاً". هذا يشبه معلماً صارماً لا يسمح لك إلا باستخدام حصيلة لغوية صغيرة وآمنة. إنه متماسك، لكنه ممل.
Top-P (النووية/Nucleus): "اختر من أصغر مجموعة كلمات تشكل مجموع احتمالاتها 90%". هذا النوع أكثر مرونة، ولكن إذا كان الروبوت غير متأكد، فقد يدرج بالخطأ بعض الكلمات الغريبة جداً لمجرد ملء الحصة المطلوبة، مما يفسد القصة.
Min-P: طريقة أحدث تقول: "إذا كان الروبوت واثقاً جداً من الكلمة الأفضل، فقم باستبعاد الكلمات الغريبة بشدة. وإذا كان غير متأكد، فكن أكثر تسامحاً". هذه الطريقة تعمل بشكل جيد، لكن لديها نقطة ضعف: فهي تنظر فقط إلى الكلمة الأفضل الوحيدة لتقرر مدى ثقة الروبوت. إنها تتجاهل بقية الحشد.

الطريقة الجديدة: فك التشفير بطريقة Top-H

يقترح مؤلفو هذه الورقة البحثية طريقة جديدة تسمى Top-H. فكر فيها كأنها مراقب مرور ذكي للكلمات.

بدلاً من النظر فقط إلى "أسرع سيارة" (الكلمة الأولى) لتقرير حجم حركة المرور المسموح بها، ينظر Top-H إلى ازدحام المرور بأكمله (توزيع الاحتمالات الكامل).

إليك كيف تعمل، باستخدام تشبيه بسيط:

مقياس "الاعتلاج" (مقياس الفوضى)

تخيل أن عقل الروبوت عبارة عن غرفة مليئة بالناس يصرخون بكلمات مختلفة.

اعتلاج منخفض (هدوء): الجميع يصرخون الشيء نفسه، أو مجرد عدد قليل من الأشخاص يصرخون بصوت عالٍ. الروبوت هنا واثق جداً.
اعتلاج مرتفع (فوضى): مئات الأشخاص يصرخون بأشياء مختلفة في وقت واحد. الروبوت هنا مرتبك وغير متأكد.

الطرق القديمة (مثل Min-P) تتحقق فقط من مستوى صوت الشخص الأكثر صخباً لتخمين مدى فوضى الغرفة. إذا كان الشخص الأكثر صخباً يصرخ بصوت عالٍ، يفترض Min-P أن الغرفة هادئة ويقوم بقص (استبعاد) الآخرين. ولكن ماذا لو كان هناك 50 شخصاً آخر يصرخون بصوت أقل قليلاً؟ الغرفة في الواقع فوضوية!

Top-H يقيس إجمالي مستوى الضجيج (الاعتلاج) في الغرفة بأكملها.

إذا كانت الغرفة هادئة (اعتلاج منخفض)، يقول Top-H: "رائع، نحن نعرف ما نفعله. دعنا نسمح لعدد قليل من الأشخاص فقط بالتحدث". (تماسك عالٍ).
إذا كانت الغرفة فوضوية (اعتلاج مرتفع)، يقول Top-H: "مهلاً، هناك الكثير من عدم اليقين هنا. نحتاج للسماح لمزيد من الأشخاص بالتحدث للحفاظ على إثارة القصة، ولكن يجب أن نضع حداً حتى لا تتحول إلى مشاجرة صراخ". (إبداع عالٍ، ولكن تحت السيطرة).

الخوارزمية "الجشعة" (Greedy Algorithm)

تثبت الورقة البحثية أن إيجاد المجموعة المثالية من الكلمات لتحقيق هذا التوازن هو لغز مستحيل رياضياً (يسمى NP-hard). الأمر يشبه محاولة إيجاد المزيج المثالي من المكونات لصنع كعكة حيث لديك مليون خيار، لكن لا يمكنك اختبارها جميعاً.

لذا، يستخدم Top-H خوارزمية جشعة. تخيل أنك تبني برجاً من المكعبات:

تبدأ بأكبر مكعب وأكثرها استقراراً (الكلمة الأكثر احتمالاً).
تستمر في إضافة المكعب التالي الأكبر.
بعد كل مكعب، تتحقق: "هل أصبح البرج يتأرجح كثيراً؟" (هل الاعتلاج مرتفع جداً؟).
إذا كان البرج لا يزال مستقراً (ضمن "ميزانية الاعتلاج")، فاستمر في الإضافة.
في اللحظة التي يجعل فيها إضافة مكعب واحد إضافي البرج يتأرجح كثيراً، تتوقف.

هذا يضمن الحصول على أكثر الكلمات إثارة ممكنة دون أن تنهار القصة وتتحول إلى هراء.

ما وجدته الورقة البحثية

اختبر المؤلفون "مراقب المرور الذكي" هذا مقابل الطرق القديمة في مهام متنوعة:

الكتابة الإبداعية: كتبت Top-H قصصاً أكثر إبداعاً وتماسكاً بشكل ملحوظ من الطرق الأخرى، خاصة عندما يُطلب من الروبوت أن "يكون جامحاً" (عند إعدادات درجة حرارة عالية).
مهام الاستنتاج: تفوقت أيضاً في المسائل الرياضية والمنطقية، مما يثبت أنها لا تكتفي بالتأليف فحسب، بل تظل متمسكة بالواقع.
السرعة: هي سريعة تقريباً مثل الطرق الأخرى، لذا فهي لا تبطئ من سرعة الروبوت.

الخلاصة

Top-H هي طريقة جديدة للذكاء الاصطنا-ل ل اختيار كلماته. بدلاً من التخمين بناءً على الخيار "الأفضل" فقط، فإنها تقيس "الثقة" الإجمالية للذكاء الاصطناعي. إذا كان الذكاء الاصطناعي متأكداً، فإنه يلتزم بالكلمات الآمنة. وإذا كان يستكشف، فإنه يسمح بمزيد من التنوع ولكنه يبقي على قيود صارمة لمنع القصة من الانهيار. إنها تشبه وجود مخرج إبداعي يعرف بالضبط متى يسمح للممثلين بالارتجال ومتى يلتزم بالنص.

ملخص تقني: فك التشفير بطريقة Top-H

بيان المشكلة
تواجه النماذج اللغوية الكبيرة (LLMs) تحديًا جوهريًا في توليد النصوص مفتوحة النهاية: الموازنة بين الأهداف المتضاربة المتمثلة في تعزيز التنوع والإبداع مع الحفاظ على التماسك المنطقي. تحاول تقنيات أخذ العينات المبتورة الموجودة، مثل قياس درجة الحرارة (temperature scaling)، وtop-k، وtop-p (النووية/nucleus)، وmin-p، إدارة هذه المقايضة ولكنها تظهر قيودًا كبيرة. وتحديدًا، تعتمد طرق مثل min-p على رمز واحد من الأعلى كاستدلال لثقة النموذج. هذا النهج يفشل في مراعاة الشكل العام لتوزيع الاحتمالات، مما يؤدي إلى الإفراط في البتر في التوزيعات المتفرقة (منخفضة الإنتروبيا) والتقصير في البتر في التوزيعات الكثيفة (عالية الإنتروبيا). وبناءً على ذلك، غالبًا ما تعاني هذه الطرق من أجل الحفاظ على التماسك عند درجات الحرارة العالية حيث يكون الإبداع ضروريًا.

المنهجية
يقدم البحث top-H decoding، وهي استراتيجية لأخذ العينات مصممة لدمج ثقة النموذج ديناميكيًا من خلال النظر في توزيع الاحتمالات بأكمله بدلاً من ذروته فقط. المنهجية قائمة على إطار نظري يصيغ المقايضة بين الإبداع والتماسك كمسألة تحسين.

الأساس النظري (ECMD و ECMM):
صاغ المؤلفون المشكلة كمسألة تقليل التباعد المقيد بالإنتروبيا (ECMD)، والتي تسعى لإيجاد مجموعة فرعية من الرموز $S$ التي تقلل من تباعد جينسن-شانون (JSD) عن التوزيع الأصلي $p$ مع استيفاء قيد الإنتروبيا $H(q) \leq \alpha H(p)$ ، حيث $q$ هو التوزيع فوق $S$ و $\alpha \in (0,1)$ هو معامل قابل للضبط.
يثبت البحث أن تقليل JSD تحت حد الإنتروبيا هذا يكافئ رياضيًا تعظيم الكتلة المقيد بالإنتروبيا (ECMM): أي تعظيم مجموع احتمالات الرموز المختارة ( $\Gamma_S = \sum_{i \in S} p_i$ ) مع الخضوع لنفس قيد الإنتروبيا.
تحليل التعقيد:
يثبت المؤلفون أن مسألة ECMM هي NP-hard عبر اختزال في وقت حدودي من مسألة مجموع المجموعات المقيد بالعدد (CCSS). وهذا يثبت أن إيجاد المجموعة الفرعية المثلى بدقة هو أمر مستعصٍ حاسوبيًا في الحالة العامة.
الخوارزمية (Top-H):
لمعالجة صعوبة NP-hardness، يقترح البحث top-H، وهي خوارزمية جشعة (greedy) فعالة حاسوبيًا.

الإجراء: تقوم الخوارزمية بفرز الرموز حسب تناقص الاحتمالية وإضافتها تكراريًا إلى مجموعة الاختيار $S$ . بعد كل إضافة، تحسب الخوارما توزيع الإنتروبيا $q$ المعيد تطبيقه (renormalized distribution) فوق $S$ .
الإنهاء: تتوقف العملية عندما تؤدي إضافة الرمز التالي إلى تجاوز الإنتروبيا $H(q)$ لعتبة الديناميكية $\alpha H(p)$ .
التكيف الديناميكي: على عكس طرق العتبة الثابتة، يتكيف top-H مع تغير ثقة النموذج في كل خطوة توليد. ومع تغير إنتروبيا التوزيع الأصلي $H(p)$ ، تتوسع ميزانية الإنتروبيا المسموح بها للمجموعة الفرعية المختارة وفقًا لذلك.

المساهمات الرئيسية

الصياغة النظرية: يضع البحث أساسًا نظريًا للبتر القائم على الإنتروبيا من خلال تعريف مسألة ECMD وإثبات تكافؤها مع مسألة ECMM المستعصية (NP-hard).
خوارزمية مبتكرة: يقدم البحث top-H، وهي خوارزمية تقريبية جشعة تحل مسألة ECMM بكفاءة (تعقيد $O(n \log n)$ ، يهيمن عليه الفرز) مع وضع حد صارم لإنتروبيا التوزيع المختار.
الوعي بالتوزيع: على عكس min-p، الذي يعتمد فقط على احتمال أعلى رمز (top-1)، يستخدم top-H شكل التوزيع الكامل لتحديد حجم مجموعة أخذ العينات، مما يعالج بفعالية قيود التبتر القائمة على الاستدلال في كل من التوزيعات المتفرقة والكثيفة.

النتائج التجريبية
أُجريت تقييمات تجريبية واسعة النطاق عبر ثلاثة نماذج مضبوطة للتعليمات (LLaMA3.1-8B, Qwen2.5-3B, Phi-3-Mini) وعدة اختبارات مرجعية:

الكتابة الإبداعية (Alpaca-Eval & MT-Bench): تفوق top-H على طريقة min-p المتطورة بنسبة تصل إلى 25.63% في معدلات الفوز ودرجات الحكم. والأهم من ذلك، أظهر top-H متانة فائقة تجاه قياس درجة الحرارة؛ فبينما عانت top-p و min-p من تدهور كبير في التماسك عند درجات الحرارة العالية (مثل $T=2$ )، حافظ top-H على أداء مستقر.
مهام الاستدلال (GSM8K & GPQA): حقق top-H باستمرار دقة أعلى من min-p و top-p عبر درجات حرارة مختلفة. عند $T=2$ ، أظهرت top-p انهيارًا شبه كامل في الدقة (على سبيل المثال، انخفاض بنسبة 73.62% لنموذج Phi-3-Mini في GSM8K)، بينما حافظ top-H على المتانة، محققًا تحسنًا يصل إلى 25.63% مقارنة بـ min-p.
النموذج كحكم (LLM-as-a-Judge): أكدت التقييمات باستخدام GPT-4o أن top-H ينتج مخرجات ذات إبداع وأصالة وتماسك أعلى مقارنة بالنماذج المرجعية، لا سيما عند درجات الحرارة المرتفعة.
الكفاءة: العبء الحسابي لـ top-H ضئيل للغاية (زيادة تقارب 0.8% في زمن الاستجابة مقارنة بـ min-p/top-p)، حيث يهيمن خطوة الفرز على التعقيد، وهي خطوة مشتركة في جميع طرق فك التشفير التراكمي.

الأهمية والادعاءات
يزعم البحث أن top-H يدفع بمجال توليد النصوص مفتوحة النهاية إلى الأمام من خلال توفير طريقة مبدئية وقائمة على أسس نظرية للموازنة بين الإبداع والتماسك. ومن خلال التحكم الصريح في إنتروبيا توزيع أخذ العينات بالنسبة لعدم اليقين في النموذج، يُمكّن top-H النماذج اللغوية الكبيرة من توليد محتوى متنوع ومبدع دون التضحية بالاتساق المنطقي، حتى في أنظمة درجات الحرارة العالية حيث تفشل الطرق التقليدية. ويضع المؤلفون top-H كبديل جاهز للاستخدام لاستراتيجيات أخذ العينات الحالية يمكن دمجها بسهولة في تطبيقات الكتابة الإبداعية وغيرها من المهام التوليدية. وقد تم جعل الكود متاحًا للجمهور لتسهيل الاعتماد عليه.