ملخص تقني: "كتلة أكثر صحة، إجابات أسوأ: لماذا قد يفشل أخذ عينات القدرة (Power Sampling) وكيفية إصلاحه"

1. بيان المشكلة

تتناول الورقة مفارقة حرجة في توسيع نطاق وقت الاختبار (test-time scaling) للنماذج اللغوية الكبيرة (LLMs): يمكن لـ أخذ عينات القدرة (Power Sampling) أن يزيد إجمالي الكتلة الاحتمالية المخصصة لمسارات الاستدلال الصحيحة، بينما يؤدي في الوقت نفسه إلى تدهور جودة الإجابة النهائية المجمعة.

يعمل أخذ عينات القدرة على تشكيل (sharpening) توزيع النموذج على مسارات التوليد الكاملة عن طريق رفع احتمالية كل مسار لأس ($\alpha$). وبينما تهدف هذه الطريقة، وهي خالية من استخدام المُحقِّق (verifier-free)، إلى تفضيل المسارات الأكثر احتمالاً، لاحظ المؤلفون أنها تؤدي غالباً إلى انخفاض كبير في الدقة (يصل إلى 18.5 نقطة مئوية) عند استخدامها مع طرق التجميع اللاحقة مثل الاتساق الذاتي (Self-Consistency - SC).

تكمن المشكلة الجوهرية في عدم التوافق بين تشكيل المسار (trajectory-level sharpening) وقواعد القرار متعددة المسارات (multi-trajectory decision rules). وتحدد الورقة نوعين محددين من عدم التوافق يتسببان في هذا الفشل:

1. عدم توافق التغطية (Coverage Mismatch): يكافئ أخذ عينات القدرة المسارات الفردية بناءً على احتمالية خامها. وفي طرق التجميع (مثل SC)، تعتمد الإجابة النهائية على الدعم الجماعي لعدة مسارات تؤدي إلى نفس الإجابة. يمكن لأخذ عينات القدرة أن يضخم مساراً واحداً خاطئاً ذا احتمالية عالية (مثلاً $W_1$)، بينما يقمع مجموعة من المسارات الصحيحة ذات الاحتمالية المتوسطة (مثلاً $C_1, C_2, C_3$). نتيجة لذلك، ينقلب القرار المجمع إلى الإجابة الخاطعة، رغم أن إجمالي كتلة المسارات الصحيحة قد زاد. تظل قيمة pass@k (احتمال وجود مسار صحيح واحد على الأقل) مرتفعة، لكن التوزيع يفشل في الحفاظ على الدعم الواسع اللازم لعملية التجميع.
2. عدم توافق الجرعة (Dose Mismatch): يطبق الأس الثابت $\alpha$ تحويلاً جبرياً متماثلاً عبر جميع المسائل، لكن "الجرعة" من التغيير التوزيعي تختلف اختلافاً جذرياً. ولأن هندسة الاحتمالات تختلف باختلاف المطالبات (prompts)، فإن نفس القيمة $\alpha$ قد تؤدي إلى تعديل طفيف في مسألة ما، ولكنها قد تؤدي إلى انهيار شبه كامل للتوزيع في مسألة أخرى. وهذا يجعل تأثير التشكيل غير قابل للتنبؤ به ويصعب التحكم فيه عالمياً.

2. المنهجية

يقترح المؤلفون Relative-Rank SoftSat، وهو آلية إصلاح تفصل بين التحكم في قوة التشكيل (الجرعة) وبين الحفاظ على التنوع (التغطية).

2.1 الأساس النظري: الإجماع الموزون (Weighted Consensus)

لتجنب التكلفة الحسابية لتشغيل أخذ عينات القدرة (مثل Power-SMC) عدد $N$ من المرات لعدد $N$ من العينات، يضع المؤلفون رابطاً نظرياً بين استهداف العينات المثالي والتجميع الموزون بالأهمية (importance-weighted aggregation).

• أظهروا أنه يمكن تقدير كتلة الإجابة للهدف المثالي من خلال حوض واحد من $N$ مسار تم أخذ عينات منها من النموذج الأساسي ($p$).
• من خلال استخدام أوزان الأهمية $r_\alpha(\tau) = p(\tau)^{\alpha-1}$، يتقارب الإجماع الموزون لحوض النموذج الأساسي تقاربياً مع قرار أخذ العينات المباشر للهدف تحت الظروف القياسية. وهذا يسمح للمنهجية بإعادة استخدام نفس ميزانية التوليد المستخدمة في الاتساق الذاتي القياسي.

2.2 تصميم Relative-Rank SoftSat

يستبدل العينة المقترح لوغاريتم الاحتمالية الخام $\ell(\tau)$ بـ رتبة نسبية داخل المسألة $u_p(\tau)$، والتي تُعرف بأنها المئوية لاحتمالية المسار بين جميع المسارات الخاصة بتلك المطالبة المحددة.

يُعرف مضاعف إعادة الوزن كالتالي:
$$r_{\beta,m}(\tau) = \exp[\beta \cdot \text{SoftSat}_m(u_p(\tau))]$$

حيث أن $\text{SoftSat}_m(u)$ هي دالة تشبع:
$$\text{SoftSat}_m(u) = 1 - \left(1 - \min\left\{\frac{u}{m}, 1\right\}\right)^2$$

الآليات الرئيسية:

• معالجة عدم توافق الجرعة: من خلال استخدام الرتبة النسبية $u \in [0, 1]$ بدلاً من الاحتمالية الخام، تقوم المنهجية بتطبيع "الجرعة" للتشكيل عبر المسائل المختلفة. الآن، تطبق المعلمة الفائقة $\beta$ تحويلاً قابلاً للمقارنة بغض النظر عن هندسة الاحتمالات الخاصة بكل مطالبة.
• معالجة عدم توافق التغطية: تم تصميم دالة SoftSat لتعمل على تشبع المكاسب للمسارات الأعلى رتبة (لمنع مسار مهيمن واحد من امتصاص كتلة غير متناسبة) مع تعزيز المسارات ذات الرتب المتوسطة. وهذا يحافظ على الدعم الواسع المطلوب لعمليات التجميع اللاحقة.

2.3 التنفيذ

تعمل الخوارزمية كالتالي:

1. أخذ عينات لـ $N$ من المسارات من النموذج الأساسي.
2. حساب الرتب النسبية التجريبية داخل الحوض.
3. تطبيق ربح SoftSat وقص الأوزان لضمان الاستقرار.
4. إجراء قراءة للإجماع الموزون (مثل Weighted Self-Consistency أو ModeX) باستخدام هذه الأوزان.

3. المساهمات الرئيسية

1. تشخيص الفشل: حددت الورقة وشخصت عدم توافق التغطية وعدم توافق الجرعة كأسباب جذرية لسبب تدهور أداء أخذ عينات القدرة في الاستدلال متعدد العينات، رغم زيادة كتلة المسارات الصحيحة.
2. Relative-Rank SoftSat: تقديم هدف عينات جديد يستخدم الرتبة داخل المطالبة للتحكم في قوة التشكيل ودالة ربح مشبعة للحفاظ على تنوع المسارات.
3. التحقيق الفعال: طريقة لتحقيق استهداف العينات المثالي عبر التجميع الموزون بالأهمية فوق حوض مرشح مشترك للنموذج الأساسي، مما يحافظ على الكفاءة الحسابية لأخذ العينات المتوازي دون الحاجة لتشغيل عمليات Power-SMC متكررة.

4. النتائج التجريبية

قيم المؤلفون منهجيتهم عبر ثلاثة معايير (BigCodeBench، LiveAoPSBench، PHYSICS) وثلاثة نماذج (Nemotron-4B، Qwen3.5-9B، Ministral-8B) باستخدام ميزانية ثابتة قدرها 8 مسارات لكل مسألة.

• فشل أخذ عينات القدرة: تسبب أخذ عينات القدرة ذو الأس الثابت ($\alpha=4$) في تدهور الأداء في 7 من أصل 9 حالات. والجدير بالذكر أنه تسبب في انخفاض قدره 18.5 نقطة مئوية في LiveAoPSBench مع نموذج Nemotron-4B.
• أداء SoftSat:
  • ألغى SoftSat التراجعات الكبيرة التي تسبب فيها أخذ عينات القدرة. وفي أسوأ حالات فشل أخذ عينات القدرة (Nemotron على LiveAoPS وPHYSICS)، قلل SoftSat الفجوة في الأداء مقارنة بالاتساق الذاتي الموحد من ~18.5 نقطة إلى ~1.0 نقطة، ومن ~7.0 نقاط إلى ~0.25 نقطة، على التوالي.
  • حسن SoftSat الأداء في 5 من أصل 9 حالات مقارنة بالاتساق الذاتي الموحد، مع حد أقصى للتراجع بلغ 1.004 نقطة فقط.
  • على عكس أخذ عينات القدرة، أظهر SoftSat استقراراً عبر مساحات الاستجابة المختلفة (كود مقابل رياضيات مقابل فيزياء) والنماذج.
• الاعتماد على الميزانية: أظهرت التجارب أن قوة التشكيل المثلى ($\beta$) تزديرد مع عدد المسارات المتاحة ($N$)، مما يشير إلى أن أحواض المرشحين الأكبر يمكن أن تدعم قواعد إعادة وزن أقوى.

5. الأهمية والادعاءات

تدعي الورقة أن تشكيل المسار على مستوى المسار ليس متوافقاً بشكل موثوق مع قواعد القرار متعدد المسارات. تكمن أهمية هذا العمل في:

• تصحيح مفهوم خاطئ: تتحدى الورقة الافتراض القائل بأن مجرد زيادة الكتلة الاحتمالية للمسارات الصحيحة (عبر أخذ عينات القدرة) يحسن تلقائياً أداء الاستدلال اللاحق.
• الحفاظ على التنوع: تثبت أنه بالنسبة للطرق القائمة على التجميع، فإن الحفاظ على "الدعم الجماعي" للإجابات الصحيحة أكثر أهمية من تعظيم احتمالية المسار الأكثر ترجيحاً بمفرده.
• الإصلاح العملي: تقدم بديلاً فعالاً حاسوبياً وخالياً من المُحقِّق (SoftSat) يقوم بمعايرة التشكيل عبر المسائل، مما يمنع الانهيار من نوع "الفائز يستحوذ على كل شيء" الذي يضر بالاتساق الذاتي واستراتيجيات التجميع المماثلة.

خلص المؤلفون إلى أنه بينما يعد أخذ عينات القدرة أداة قوية لتشكيل التوزيع، فإن تطبيقه في الاستدلال متعدد العينات يتطلب معايرة دقيقة لكل من الشكل (للحفاظ على التغطية) والقوة (لضمان اتساق الجرعة) للتشكيل.