Pre-Registering the Detectable Effect: A Paired-MDE Budget for 4-bit Quantization Benchmarks, with a Pilot Audit

ملخص تقني: التسجيل المسبق للأثر القابل للكشف في اختبارات قياس التكميم بـ 4 بت

بيان المشكلة
تعتمد الممارسات الحالية في تقييم التكميم بعد التدريب (تحديداً NF4 بـ 4 بت) للنماذج اللغوية الكبيرة (LLMs) غالباً على الإبلاغ عن أرقام دقة منفردة لكل خلية (نموذج-اختبار قياس). هذا النهج يغفل سؤالاً إحصائياً جوهرياً: ما هو أصغر أثر تكميم يمكن لبروتوكول التقييم اكتشافه بشكل موثوق؟

تستخدم اختبارات القياس القياسية غالباً عينات فرعية صغيرة (مثلاً $n=100$ عنصر) مقسمة إلى مجموعات فرعية غير متداخلة. وغالباً ما يُفسر التباين الملحوظ عبر هذه التقسيمات على أنه "عدم موثوقية في اختبار القياس" أو فشل في طريقة التكميم. ومع ذلك، يجادل المؤلفون بأن جزءاً كبيراً من هذا التباين هو مجرد ضجيج أخذ عينات ثنائي الحدين (binomial sampling noise) متأصل في $n$ الصغيرة، وليس خاصية للنموذج أو لمخطط التكميم. فبدون ضمان مسبق (ex-ante) بشأن الحد الأدنى للأثر القابل للكشف (MDE)، فإن الادعاءات بأن طريقة التكميم "تحافظ" على الأداء قد تكون ضعيفة القدرة (under-powered)، مما يؤدي إلى الخلط بين أثر ضئيل في المجتمع الإحصائي وبين عدم القدرة على اكتشافه.

المنهجية
يقترح البحث إطار عمل لتحويل موثوقية اختبار القياس إلى خط ميزانية قابل للتسجيل المسبق باستخدام حد محافظ للـ MDE المزدوج.

1. الاشتقاق النظري (حد MDE المزدوج):
   قام المؤلفون بتكييف حسابات حجم العينة الثنائية المزدوجة الكلاسيكية (Miettinen, 1968) في سياق المقارنة بين FP16 وNF4. وقد عرفوا ما يلي:

• $m$: عدد العناصر المزدوجة (إما $n$ لتقسيم واحد أو $kn$لمجموع$k$ من التقسيمات).
• $\rho_d$: معدل الاختلاف لكل مثال ($Pr(D_i \neq 0)$)، حيث $D_i$ هو الفرق في الصحة بين FP16 وNF4 في العنصر $i$.
• $\delta$: حجم الأثر في المجتمع ($|E[D_i]|$).

وقد اشتقوا حداً علوياً محافظاً لـ MDE ($\delta^*$) عند مستوى معنوية $\alpha$ وقدرة $1-\beta$:
$$\delta^*(m, \rho_d) \leq (z_{1-\alpha/2} + z_{1-\beta}) \sqrt{\frac{\rho_d}{m}}$$
يفترض هذا الحد معدل اختلاف أسوأ حالة $\rho_d$ (مسجل مسبقاً أو محدد بحد محافظ) ويعامل التباين كـ $\rho_d/m$. وهو يعمل كـ "ميزانية": فالآثار الأصغر من $\delta^*$ لا يُضمن قدرة التصميم على اكتشافها، بغض النظر عن النموذج المحدد.

2. تدقيق تجريبي أولي:
   أجرى المؤلفون تدقيقاً أولياً على شبكة $4 \times 4$:

• النماذج: OPT-2.7B, Pythia-2.8B, Llama-2-7B, Mistral-7B.
• اختبارات القياس: MMLU, ARC-Easy, WinoGrande, HellaSwag.
• التصميم: $k=5$ تقسيمات غير متداخلة، كل منها $n=100$ عنصر (إجمالي $m=500$).
• حساسية المطالبة (Prompt Sensitivity): دراسة موازية على MMLU باستخدام ثلاثة قوالب مطالبة مختلفة ($n=50$ لكل منها) لقياس التباين الناجم عن المطالبة.

3. مقاييس التشخيص:

• المرجع الثنائي الحدين (Binomial Reference): مقارنة الانحرافات المعيارية الملحوظة عبر التقسيمات ($\hat{\sigma}_{split}$) مقابل المرجع الثنائي الحدين النظري $\sqrt{\hat{p}(1-\hat{p})/n}$.
• مؤشر موثوقية التكميم (QRI): هو عبارة عن استدلال (heuristic) لنسبة الإشارة إلى الضجيج يُعرف بـ $|\hat{\Delta}| / \hat{\sigma}_{split}$ (مع نسخة مدمجة تشمل تباين المطالبة) لتحديد الخلايا حيث يهيمن الضجيج على الإشارة.

النتائج الرئيسية

• هيمنة ضجيج أخذ العينات: في العينات الفرعية $n=100$، وقع 25 من أصل 32 انحرافاً معيارياً ملحوظاً عبر التقسيمات ضمن نطاق $\pm 1.5$ نقطة مئوية (pp) من المرجع الثنائي الحدين. وهذا يشير إلى أن معظم "عدم الموثوقية" المبلغ عنها هو مجرد ضجيج ثنائي الحدين ناتج عن صغر حجم العينة، وليس عدم استقرار خاص بالتكميم.
• حدود القدرة على الكشف:
  • بافتراض معدل اختلاف مخطط له $\rho_d = 0.10$، فإن الـ MDE الإجمالي ($m=500$) هو $\approx 4.0$ pp.
  • بافتراض $\rho_d = 0.05$، يتقلص الـ MDE إلى $\approx 2.8$ pp.
  • ملاحظة: جميع فروق الدقة الملحوظة لـ NF4–FP16 لنماذج الـ 7B (تتراوح بين -0.4 و -0.8 pp) كانت أقل من كلا عتبتي MDE.
  • الحالة الحدية: الخلية الوحيدة التي اقتربت من الحد كانت OPT-2.7B على WinoGrande ($|\Delta| = 3.2$ pp). هذا الأثر يقع تحت حد MDE عند $\rho_d=0.10$ ولكنه فوقه عند $\rho_d=0.05$، مما يوضح أن القدرة على اكتشاف هذه النتيجة المحددة تعتمد كلياً على قيمة $\rho_d$ المخطط لها وغير المقاسة.
• تداخل تباين المطالبة (Prompt Variance Confound): تسببت تغيرات قوالب المطالبة في MMLU في تقلبات دقة تتراوح بين 2 إلى 10 pp. هذا النطاق يطابق أو يتجاوز أكبر فرق دقة رُصد للتكميم (3.2 pp). وبناءً على ذلك، فإن أي تدقيق للتكميم لا يثبت قالب المطالبة، فإنه يمتص تباين القالب في أرضية الضجيج الخاصة به، مما قد يحجب الآثار أو يزيفها.

المساهمات

1. حد MDE المزدوج المحافظ: صيغة مغلقة (المعادلة 2) تسمح لمصممي اختبارات القياس بتسجيل ميزانية القدرة على الكشف مسبقاً بناءً على حجم العينة وأولوية اختلاف التقدير.
2. التدقيق التجريبي والمرجع الثنائي الحدين: دراسة أولية تثبت أنه في أحجام العينات الفرعية القياسية ($n=100$)، يُفسر التباين عبر التقسيمات إلى حد كبير بواسطة أخذ العينات الثنائي الحدين، وليس بسبب ضجيج خاص بالنموذج.
3. مؤشر موثوقية التكميم (QRI): مقياس وصفي لنسبة الإشارة إلى الضجيج لتحديد الخلايا حيث يهيمن ضجيج التقييم على إشارة التكميم.
4. نموذج التسجيل المسبق: نموذج من خمسة أسطر للباحثين للالتزام بأهداف MDE، وأولويات الاختلاف، والإحصاءات المزدوجة قبل تشغيل اختبارات القياس.

الأهمية والادعاءات
لا يدعي البحث أن التكميم بـ 4 بت مثالي عالمياً أو أن نماذج معينة تفشل. بدلاً من ذلك، يجادل بأن المقارنات بين النماذج المكممة ونماذج الدقة الكاملة تفتقر بشكل روتيني إلى القدرة الإحصائية الكافية.

يؤكد المؤلفون أنه من خلال جعل الـ MDE صريحاً، يمكن للمجتمع إعادة صياغة السرديات المتعلقة بـ "الآثار الصغيرة". إذا كان الفرق الملحوظ أقل من الـ MDE المسجل مسبقاً، فإن الاستنتاج الصحيح ليس أن الأثر "صغير" أو "مهمل"، بل أنه "لا يمكن تمييزه إحصائياً عند هذا الحجم من العينة".

تسلط الدراسة الضوء على ضرورتين حرجتين لمقارنات الدقة ذات المعنى:

1. حجم العينة: أحجام العينات الفرعية الحالية ($n=100$) غير كافية لحل آثار أقل من نقطة مئوية واحدة دون افتراض معدلات اختلاف منخفضة للغاية.
2. التحكم في المطالبة: يجب تثبيت تباين قالب المطالبة أو مسحه عبر نطاق واسع، حيث يمكن أن يتجاوز مقدار أثر التكميم نفسه.

يعمل هذا العمل كتدخل منهجي، يحث المجال على اعتماد ضمانات مسبقة (على غرار ميزانيات التجارب السريرية) للتمييز بين غياب حقيقي لأثر التكميم وبين فشل بروتوكول التقييم في اكتشافه.