SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning

2. المنهجية: SelfBudgeter

يقترح المؤلفون SelfBudgeter، وهو استراتيجية استدلال ذاتية التكيف تمكن النماذج من تقدير ميزانية الرموز المطلوبة ذاتيًا وتوليد استجابات ضمن تلك الميزانية بدقة. يعمل الإطار عبر مرحلتين رئيسيتين:

أ. تنسيق المخرجات

يتم تدريب النموذج على إخراج هيكل محدد قبل الحل:
<budget> [عدد صحيح] </budget><solution> [الاستجابة] </solution>

• بدون قيود: يقدر النموذج الحد الأدنى من الرموز المطلوبة بناءً على تعقيد المشكلة.
• قيد المستخدم: يتم ملء وسم <budget> مسبقًا من قبل المستخدم، ويجب على النموذج توليد الحل ضمن هذا الحد.

ب. إطار التدريب

يتكون التدريب من مرحلة بداية باردة (Cold-Start) تليها مرحلة التعلم التعزيزي (RL).

1. البداية الباردة (الضبط الدقيق الخاضع للإشراف - SFT):

   • يتم ضبط النموذج بدقة على مجموعات بيانات (GSM8K, MATH, s1k-1.1) لتعلم تنسيق المخرجات الجديد (<budget> + <solution>).
   • يتم ملء وسم <budget> مسبقًا بعدد الرموز الخاص بسلاسل الاستدلال الصحيحة أو عالية الجودة لتعليم النموذج الارتباط بين صعوبة المشكلة واستخدام الرموز.

2. التعلم التعزيزي (GRPO):

   • يتم تحسين النموذج باستخدام تحسين السياسة النسبي للمجموعات (GRPO).
   • دالة المكافأة: توجه دالة مكافأة مركبة النموذج لموازنة الدقة، وضغط الطول، والالتزام بالميزانية. وتتكون من ثلاثة مكونات:
     • عقوبة التنسيق ($r_f$): تعاقب الانحرافات عن تنسيق المخرجات المطلوب.
     • عقوبة الميزانية ($PB$): تعاقب النموذج إذا تجاوزت الميزانية المقدرة ($b$) الحد الأقصى المقبول للميزانية ($b_{max}$). يتم تعيين $b_{max}$ على طول الإجابة الصحيحة إذا حلها النموذج الأساسي بشكل صحيح؛ وإلا تكون $\infty$.
     • مكافأة التحكم الدقيق في الميزانية (PreB): هذا هو الابتكار الجوهري. يستخدم معامل الإحكام ($\alpha$) لمواءمة طول الاستجابة الفعلي ($\ell$) مع الميزانية المتوقعة ($b$).
       • إذا كان $|\ell - b| / b > \alpha$، تنخفض المكافأة إلى الحد الأدنى.
       • داخل النطاق المقبول، يتم تطبيق مكافأة جيب التمام (cosine reward).
       • آلية مزدوجة: بالنسبة للإجابات غير الصحيحة، تشجع المكافأة على سلاسل أطول (لإيجاد الحل). أما بالنسبة للإجابات الصحيحة، فتصل المكافأة إلى ذروتها عند الحد الأدنى للطول الكافي لمنع الإفراط في التفكير.

3. جدولة $\alpha$ الديناميكية:

   • لمنع "اختراق المكافأة" (حيث يضخم النموذج الميزانية لتلبية قيد الطول بسهولة)، يتم تقليل معامل الإحكام $\alpha$ ديناميكيًا وبشكل خطي أثناء التدريب (من 6.0 إلى 0.1). وهذا يجبر النموذج تدريجيًا على تشديد تقدير الميزانية وطول المخرجات.

3. المساهمات الرئيسية

1. إطار عمل SelfBudgeter: إطار تدريب مبتكر يمكّن النماذج اللغوية الكبيرة من التنبؤ صراحةً بطول المخرجات والتحكم فيه عبر ميزانيات الرموز المقدرة ذاتيًا.
2. الكفاءة دون فقدان الدقة: يثبت أن التحكم الصارم في الطول لا يقلل من جودة الاستدلال؛ بل في كثير من الحالات، يحسن الدقة من خلال فرض استدلال موجز وجوهري.
3. القابلية للتوسع: تم التحقق من المنهجية عبر أحجام نماذج مختلفة (1.5B و7B)، مما أظهر فوائد متسقة.
4. تحكم المستخدم: يسمح للمستخدمين إما بترك النموذج يقدر الميزانية ذاتيًا أو ملء حد معين من الرموت مسبقًا، مما يوفر الشفافية بشأن زمن الاستجابة المتوقع.

4. النتائج التجريبية

أُجريت التجارب على معايم GSM8K وMATH500 وAIME2025 باستخدام نماذج DeepSeek-R1-Distill-Qwen (1.5B و7B).

• الأداء مقابل النماذج المرجعية:

  • حقق SelfBudgeter-1.5B دقة بنسبة 84.10% على GSM8K (مقابل 73.09% للنموذج الأساسي) مع ضغط طول الاستجابة بنسبة 57% (من ~2865 إلى ~1231 رمزًا).
  • في MATH500، حسن الدقة بمقدار 3.54 نقطة مع تقليل الطول بنسبة 56%.
  • في AIME2025، ضغط الطول إلى 30% من الطول الأصلي مع الحفاظ على دقة مماثلة.
  • مقارنة بالنماذج المرجعية مثل L1-Max (الذي يعاني من انخفاض الدقة في المهام الصعبة) وE1-Math (الذي يعتمد على الاقتطاع القاسي)، حقق SelfBudgeter أفضل أو ثاني أفضل دقة عبر جميع مجموعات البيانات مع ضغط فائق.

• التعميم:

  • عند اختباره على معايير المعرفة العامة (GPQA وSCoRE)، حافظ SelfBudgeter على دقة تنافسية مع تقليل طول الاستدلال بشكل كبير مقارنة بنماذج الاستدلال الطويلة.

• دراسات الاستئصال (Ablation Studies):

  • أدى حذف أي مكون من مكونات دالة المكافأة (التنسيق، الصحة، PreB، أو عقوبة الميزانية) إلى انهيار الدقة أو ضعف التحكم في الطول. كان الجمع بين جميع المكونات ضروريًا للأداء القوي.
  • أثبتت جدولة $\alpha$ الخطية تفوقها على الجدولة الثابتة أو جدولة جيب التمام، حيث قدمت أفضل مقايضة بين الضغط والدقة.

5. الأهمية والأثر

• كفاءة الموارد: يقدم SelfBudgeter حلاً عمليًا لمشكلة "الإفراط في التفكير"، مما يقلل بشكل كبير من تكاليف الاستدلال وزمن الاستجابة لكل من الاستعلامات البسيطة والمعقدة.
• تجربة المستخدم: من خلال التنبؤ بميزانيات الرموز مسبقًا، يتيح النظام للمستخدمين توقع أوقات الانتظار واتخاذ قرار بشأن انتظار الحل الكامل أو إنهاء العملية مبكرًا، مما يعزز التحكم في التفاعل.
• الاستدلال القابل للتوسع: يثبت أن نماذج الاستدلال لا تحتاج إلى توليد سلاسل أفكار طويلة للغاية لتكون دقيقة؛ إذ يسمح التخصيص التكيفي للميزانية بـ "التفكير بقدر ما يكفي فقط".
• إمكانات النشر: هذه المنهجية مناسبة جدًا للبيئات محدودة الموارد ويمكن دمجها في خطوط إنتاج النماذج اللغوية الكبيرة الحالية لتحسين تكاليف الاستدلال دون التضحية بذكاء النموذج.

في الختام، يمثل SelfBudgeter خطوة مهمة نحو نماذج استدلال قابلة للتحكم، وفعالة، ومتمحورة حول المستخدم، مما يسد الفجوة بين التقدير الذاتي للميزانية والالتزام الصارم بالقيود الحوسبية.