Top-b: Entropic Regulation of Relative Probability Bands in Autoregressive Language Processes

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Top-b: التنظيم الإنتروبي لنطاقات الاحتمالية النسبية في العمليات اللغوية ذاتية الانحدار (Autoregressive)."

1. بيان المشكلة

تولد النماذج اللغوية الكبيرة (LLMs) ذاتية الانحدار النصوص كعملية عشوائية منفصلة. ويكمن التحدي الجوهري في فك التشفير (Decoding) في تحويل توزيع الاحتمالات المستمر للنموذج إلى اختيار رمز (Token) منفصل واحد.

• قصور فك التشفير الثابت: تعتمد الاستراتيجيات القياسية مثل Top-k (عدد ثابت) و Top-p (كتلة احتمالية تراكمية ثابتة) على معاملات فائقة (Hyperparameters) ثابتة. وهي تفشل في مراعاة الطبيعة غير المستقرة لعدم اليقين اللغوي.
  • حالات الإنتروبيا المنخفضة (مثل المنطق/الرياضيات): يكون التوزيع حاداً (Peaked). هنا، تكون العتبات الثابتة (مثل $p=0.9$) متساهلة للغاية، مما يسمح بمرور رموز "المشتتات" ذات الاحتمالية المنخفضة إلى مجموعة العينات، مما يؤدي إلى أخطاء منطقية أو هلوسات.
  • حالات الإنتروبيا العالية (مثل الكتابة الإبداعية): يكون التوزيع مسطحاً. هنا، يمكن أن تكون العتبات الثابتة مقيدة للغاية، حيث تقص بشكل تعسفي خيارات إبداعية صالحة، مما يقلل من التنوع.
• الفجوة: تفتقر الطرق الحالية إلى آلية لتعديل "صرامة" مجموعة العينات بناءً على كثافة المعلومات اللحظية (عدم اليقين) لخطوة التوليد.

2. المنهجية: Top-b (أخذ عينات النطاق النسبي المتكيف)

يقترح المؤلفون Top-b، وهو استراتيجية لفك التشفير تنظم مجموعة المرشحين عبر معامل عرض نطاق ديناميكي مرتبط ارتباطاً وثيقاً بـ إنتروبيا شانون اللحظية لتوزيع النموذج.

الصياغة الجوهرية

• العملية العشوائية: يتم نمذجة التوليد كسلسلة $Y = \{Y_t\}$ حيث $P(Y_t | Y_{<t})$ هو متجه الاحتمال الشرطي.
• قياس عدم اليقين: يُقاس ثقة النموذج باستخدام إنتروبيا شانون (H):
  $$H(p_t) = -\sum_{y \in V} p_t(y) \log p_t(y)$$
  • $H$ منخفضة: ثقة عالية (توزيع حاد).
  • $H$ عالية: ثقة منخفضة (توزيع مسطح/منتظم).
• نطاق الاحتمالية النسبية: بدلاً من قطع احتمالي مطلق، يعرّف Top-b عتبة نسبية لـ المنوال ($p_{max}$، وهو احتمال الرمز الأكثر احتمالاً).
  • تعريف مجموعة الدعم: يتم تضمين الرمز $y$ في مجموعة العينات إذا كان:
    $$p_t(y) \ge (1 - \text{bandwidth}_t) \cdot p_{max}$$
  • عرض النطاق المتكيف: يتم قياس معامل عرض النطاق ديناميكياً بواسطة الإنتروبيا المعيرة:
    $$\text{bandwidth}_t = \text{base\_bandwidth} \times \left(1 + \frac{H(p_t)}{H_{max}}\right)$$
    حيث $H_{max} = \log(|V|)$ هي أقصى إنتروبيا ممكنة.

السلوك النظري

• نظام الإنتروبيا المنخفضة ($H \to 0$): يتقلص عرض النطاق نحو القيمة الأساسية. تصبح العتبة قريبة جداً من $p_{max}$، مما يؤدي فعلياً إلى تقليم ذيل المشتتات، وهو ما يقارب فك التشفير الجشع (Greedy Decoding) للتحليل المنطقي.
• نظام الإنتروبيا العالية ($H \to H_{max}$): يتوسع عرض النطاق (حتى $2 \times$ القيمة الأساسية). تنخفض العتبة، مما يسمح بتنوع أكبر من الرموز للحفاظ على التنوع اللغوي للمهام الإبداعية.
• تقليل التباين: نظرياً، يعمل Top-b كمشغل لتقليل التباين في توزيع الذيل، مما يعمل على استقرار مسار التوليد.

3. المساهمات الرئيسية

1. فك التشفير المنظم بالإنتروبيا: تقديم Top-b، الذي يحدد دعم العينات عبر نطاق احتمالية نسبي مرتكز على منوال التوزيع ومُعاير بواسطة إنتروبيا شانون المعيرة.
2. الإطار النظري: صياغة Top-b كنظام تحكم ديناميكي يقلل تباين الذيل، مما يسد الفجوة بين البحث الجشع (دقة عالية) والمسارات العشوائية (تنوع عالٍ).
3. التحقق التجريبي: إثبات أن Top-b يقلل من إنتروبيا التوليد وتباين فك التشفيد البيني مع الحفاظ على دقة الاستدلال أو تحسينها في الاختبارات المعيارية المعقدة.

4. النتائج التجريبية

قيم المؤلفون Top-b باستخدام نموذج google/gemma-3-4b-it على اثنين من الاختبارات المعيارية المكثفة في الاستدلال: GPQA (علوم بمستوى الدراسات العليا) و GSM8K (الاستدلال الحسابي).

نتائج GPQA (الاستدلال بمستوى الدراسات العليا)

• الدقة: حقق Top-b نسبة 0.2285، وهي منافسة لـ Top-k (0.2333) وأفضل بكثير من Top-p (0.2132).
• الإنتروبيا: حقق Top-b أدنى متوسط إنتروبيا (0.1579) بين جميع الطرق، مما يشير إلى قدرة أكبر على الحسم وتقليل الارتباك.
• الاستقرار: أظهر Top-b أدنى تباين عبر البذور العشوائية (Random Seeds)، مما يشير إلى قدرة فائقة على إعادة الإنتاج في سلاسل الاستدلال مقارنة بـ Top-p و Min-p.

نتائج GSM8K (الاستدلال الحسابي)

• الدقة: حقق Top-b أعلى دقة (0.2680)، متفوقاً على Top-p (0.2613) و Min-p (0.2427).
• التباين: أظهر Top-b تبايناً أقل برتبة مقدار (Order of magnitude) بواقع ($1.136 \times 10^{-4}$) مقارنة بـ Top-p ($1.1207 \times 10^{-3}$)، مما يؤكد قدرته على تصفية المشتتات الحسابية التي تعطل التدفق المنطقي.

ديناميكيات الإنتروبيا

• أظهر تحليل مسارات الإنتروبيا أنه بينما يحافظ Top-p على إنتروبيا مرتفعة في خطوات التوليد المتأخرة (بسبب عتبته التراكمية)، فإن Top-b يحفز انخفاضاً رتيباً في الإنتروبيا، مما يؤدي فعلياً إلى تقليم الفروع المتباعدة مع تقدم سلسلة الاستدلال.

5. الأهمية والآثار المترتبة

• نظام تحكم ذاتي التنظيم: يحول Top-b عملية فك التشفيد من مجرد استدلال ثابت (Heuristic) إلى نظام ذاتي التنظيم يتكيف مع كثافة المعلومات المحلية للعملية اللغوية.
• تحسين الموثوقية: من خلال تقليل إنتروبيا التسلسل والتباين، يعزز Top-b موثوقية النماذج اللغوية الكبيرة في مهام الاستدلال عالية المخاطر (سلسلة الأفكام - Chain-of-Thought)، مما يقلل من تراكم الأخطاء عبر السياقات الطويلة.
• مقايضة التعبير والاستقرار: تمتد هذه الطريقة نظرياً إلى المجالات الإبداعية؛ ففي حالات الإنتروبيا العالية للمهام الإبداعية، يقوم Top-b تلقائياً بتوسيع نطاق العينات للحفاظ على القدرة التعبيرية دون الحاجة إلى ضبط يدوي للمعاملات الفائقة.
• الكفاءة الحسابية: التكلفة الإضافية ضئيلة، حيث أن حساب إنتروبيا شانون هو عملية متجهة (Vector Operation) على المفردات، وهي عملية بسيطة مقارنة بتعقيد $O(N^2)$ لآلية الانتباه (Attention Mechanism).

في الختام، يقدم Top-b بديلاً متطوراً ومنضبطاً نظرياً لاستراتيجيات فك التشفيد الثابتة، مما يحسن بشكل كبير استقرار ودقة التوليد في المهام التي تتطلب استدلالاً مكثفاً.