What Counts as Compute? An Empirical Analysis of Accounting Conventions in Compute-Optimal Transformer Training

ملخص تقني: ما الذي يُحتسب كحوسبة؟ تحليل تجريبي لاتفاقيات المحاسبة في تدريب المحولات المثالية حوسبياً

بيان المشكلة
يتضمن اشتقاق وصفة تدريب مثالية حوسبياً لنماذج المحولات (Transformers) خيارين حاسمين، وغالباً ما يكونان ضمنيين: تعريف "حجم النموذج" (ما الذي يُحتسب كمعلمة/parameter) وتعريف "الحوسبة" (ما الذي يُحتسب كتكلفة للتدريب). درستا Kaplan وآخرون [2020] و Hoffmann وآخرون [2022]، وهما الأكثر استشهاداً في هذا المجال، اتخذتا خيارات متباينة: الأول احتسب فقط المعلمات غير المتعلقة بالتمثيل (non-embedding parameters)، بينما احتسب الثاني إجمالي المعلمات. اعتمد كلاهما على التقريب $C \approx 6ND$ (حيث $N$ هو عدد المعلمات و $D$ هو عدد الرموز/tokens)، متجاهلين التكلفة الحوسبية لعملية إسقاط "softmax" للمخرجات وآليات الانتباه (attention).

بينما تصح هذه التقريبات للنماذج ذات النطاق الواسع جداً (مثل GPT-3 و Chinchilla) حيث تكون الأعباء الإضافية لتمثيل المخرجات ورأس الإسقاط ضئيلة، إلا أنها تفشل عند المقاييس الصغيرة المتاحة للبحث الأكاديمي والمشاريع ذات النطاق الصغير. عند هذه المقاييس، يمكن لإسقاط المخرجات أن يستهلك غالبية عمليات الفاصلة العائمة (FLOPs)، ويمكن لمعلمات التمثيل أن تهيمن على عدد المعلمات الإجمالي. تسأل هذه الورقة: إلى أي مدى يتغير "الحد الأمثل حوسبياً" المُبلغ عنه (تحديداً الأس $a$ في العلاقة $N^* \propto C^a$ ونسبة الرموز لكل معلمة) عندما يتغير اتفاق المحاسبة، مع تثبيت عمليات التدريب الأساسية؟ وعلاوة على ذلك، ما هي الخسارة العملية التي يتم تكبدها نتيجة اتباع اتفاق غير أمثل؟

المنهجية
أجرى المؤلفون مسحاً تجريبياً مضبوطاً لعزل تأثير اتفاقات المحاسبة.

• عائلة النموذج: تم تدريب 35 نموذج محول من نوع (decoder-only) على مجموعة بيانات FineWeb-Edu. تراوحت النماذج بين 0.056 مليون و 5.98 مليون معلمة غير متعلقة بالتمثيل ($N_{ne}$)، مع عرض $d \in \{48, \dots, 288\}$ وعمق مرتبط بالعرض ($L = \max(2, d/48)$).
• المفردات والحوسبة: أُجريت التجارب عند حجمين مختلفين لمفردات BPE ($V=2048$ و $V=8192$) لتغيير نسبة الأعباء الإضافية للتمثيل وإسقاط المخرجات بمعامل قدره 16. تباينت حوسبة التدريب عبر نطاق قدره 5.8 ضعفاً.
• الضوابط: لإزالة المتغيرات المربكة التي حددتها الدراسات السابقة في قياس النطاق (مثل Porian et al. [2024])، قام المؤلفون بمعايرة معدلات التعلم عبر مسح خاص بهم، ومطابقة جداول "cosine" مع أطوال التشغيل، وضمان عدم تكرار البيانات، واستخدام مُحسنات (optimizers) ومجزئات رموز (tokenizers) متسقة.
• أربعة اتفاقات محاسبية: تم تحليل نفس الـ 35 عملية تشغيل تحت أربعة تعريفات مختلفة للحجم ($N$) والتكلفة ($C$):
  1. K (Kaplan): $N = N_{ne}$، و $C = 6N_{ne}D$.
  2. H (Hoffmann): $N = N_{tot}$ (إجمالي المعلمات)، و $C = 6N_{tot}D$.
  3. F (Exact FLOP): $N = N_{ne}$، و $C = C_{exact}$ (بما في ذلك عمليات ضرب المصفوفات في الانتباه و softmax المخرجات).
  4. W (Wall-clock): $N = N_{ne}$، و $C = C_{sec}$ (الوقت المقاس بجهاز الحوسبة).
• التحليل: قام المؤلفون بملاءمة سطح خسارة تراكمي قياسي ($L = E + A/N^\alpha + B/D^\beta$) للبيانات، واشتقوا الحد الأمثل حوسبياً لكل اتفاق. كما اشتقوا علاقة مغلقة الصيغة تتنبأ بالتحول في الأسس بناءً على مرونتين (elasticities) يمكن حسابهما من البنية المعمارية وحدها.

النتائج الرئيسية

1. حجم التحول: أدى تغيير اتفاق المحاسبة على نفس مجموعة البيانات إلى تباين كبير في الأس الملائم $a$، حيث تراوح بين 0.25 و 0.42. وتغيرت نسبة الرموز لكل معلمة المستنتجة بمعامل قدره 19 عبر الاتفاقات المختلفة.
2. هيمنة "الرأس": المحرك الرئيسي للاختلاف عند المقاييس الصغيرة ليس الانتباه، بل إسقاط softmax المخرجات. عند أصغر النماذج ($d=48, V=8192$)، يستهلك رأس المخرجات 83% من عمليات FLOPs التدريبية، مما يجعل تقريب $6ND$ يقلل التكلفة الحقيقية بنسبة تصل إلى 8.5 ضعفاً.
3. الدقة التنبؤية: نجحت علاقة مغلقة الصيغة مشتقة من مرونتين ($\kappa_c$ و $\gamma_c$) في التنبؤ بالأسس الملائمة لثلاثة من أصل أربعة اتفاقات بفرق لا يتجاوز 0.105 عن الملاءمة العددية. وهذا يؤكد أن التحول هو نتيجة حسابية حتمية لاختيار المحاسبة، وليس ضجيجاً.
4. الترتيب: رتبت الاتفاقات باستمرار كالتالي $a_H < a_K < a_F$ (حيث $H$ هو إجمالي المعلمات، و $K$ هو غير التمثيل مع $6ND$، و $F$ هو الـ FLOPs الدقيقة)، وهو ما يطابق التوقعات النظرية.
5. التكلفة العملية (عدم التماثل): رغم الاختلاف الكبير في الأسس المُبلغ عنها والنسب المثلى، فإن التكلفة العملية لاتباع الاتفاق "الخاطئ" تعد متواضعة. نظرًا لأن وادي الخسارة (loss valley) لـ IsoFLOP مسطح، فإن اتباع اتفاق غير أمثل يهدر بحد أقصى 18% من ميزانية الحوسبة (0.031 نات لكل رمز). وكانت الاتفاقات الثلاثة القائمة على الـ FLOPs ضمن نطاق 5% من بعضها البعض من حيث مكافأة الحوسبة.

الأهمية والادعاءات
يدعي البحث أن الأسس المثلى حوسبياً المُبلغ عنها ليست قابلة للمقارنة بين الدراسات ما لم يتم ذكر اتفاق المحاسبة المحدد (تعريف المعلمات ومقياس التكلفة) صراحة. ويظهر التباين بأكبر قدر منه تحديداً في النطاق الذي تُجرى فيه تجارب القياس الأكاديمية عادةً، حيث تكون نسب الأعباء الإضافية غير مهملة.

ومع ذلك، فإن الورقة متواضعة فيما يتعلق بالقيم المطلقة للأسس، مشيرة إلى أنها خصائص لبيانات معينة، وبنية معمارية، وبروتوكول تحسين، وليست ثوابت عالمية. المساهمة الرئيسية هي هيكلية:

• توفر قاعدة تحويل (المعادلة 12) تسمح للباحثين بنقل الأسس بين الاتفاقات.
• تقدم أداة تشخيصية (التحقق مما إذا كان $a+b=1$) لتحديد ما إذا كانت الدراسة قد افترضت تقريب $6ND$.
• تثبت أنه بينما تخلق خيارات التدوين (bookkeeping) اختلافات عددية كبيرة في المقاييس المُبلغ عنها، فإن مشهد الخسارة مسطح بما يكفي بحيث تكون العقوبة العملية لهذه الاختلافات صغيرة.

يخلص المؤلفون إلى أن على المجال الإبلاغ صراحة عن اتفاقات المحاسبة لضمان قابلية التكرار والمقارنة، ولكن لا داعي للقلق بالنسبة للممارسين بشأن الانحرافات الطفية في الوصفات الموصى بها، حيث أن "الوادي الأمثل حوسبياً" متسامح.