ملخص تقني: التكلفة الخفية للتفكير

بيان المشكلة

تتركز التقارير البيئية الحالية لنماذج اللغات الكبيرة (LLMs) بشكل ضيق على تكاليف الطاقة والكربون لتدريب النموذج النهائي الوحيد مسبقاً. هذا النهج يجعل الجزء الأكبر من دورة حياة التطوير الحديثة غير مرئي. ومع تطور مسارات النماذج لتشمل التدريب المتوسط (mid-training)، وتمديد السياق الطويل (long-context extension)، وتوليد البيانات الاصطناعية، والضبط الدقيق تحت الإشراف (SFT)، وتحسين التفضيلات (DPO)، والتعلم التعزيزي (RL)، فقد توسعت البصمة البيئية بشكل كبير. علاوة على على ذلك، فإن ظهور نماذج "التفكير" (reasoning models)، التي تعتمد بشكل كبير على التعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR)، يقدم أعباء حوسبة مكثفة (تحديداً توليد الـ rollout) لا يتم رصدها في التقارير القياسية التي تركز على التدريب المسبق. بالإضافة إلى ذلك، أشارت أعمال سابقة إلى أن تكالفي التطوير (التجارب، والتشغيل الفاشل، والاختبارات الاستقصائية/ablations) هي تكاليف جسيمة، ولكن مدى هذه التكاليف في المسارات المعقدة متعددة المراحل لا يزال غير محدد كمياً.

المنهجية

يقدم المؤلفون محاسبة بيئية مفصلة لعائلة نماذج Olmo 3 (بمعلمات 7 مليار و32 مليار)، والتي تم إصدارها في نسختين: نسخة اتباع التعليمات ("Instruct") ونسخة التفكير ("Think").

• النطاق: تغطي الدراسة كامل مسار التطوير: توليد البيانات، التدريب المسبق، التدريب المتوسط، تمديد السياق الطويل، وجميع مراحل ما بعد التدريب (SFT، DPO، RLVR)، بما في ذلك عمليات التدريب النهائية وعمليات التطوير التكرارية (البحث عن المعلمات الفائقة، الاختبارات الاستقصائية، والتشغيل الفاشل) التي سبقتها.
• الأجهزة والبنية التحتية: تم التدريب على عنقود Jupiter (Cirrascale, Texas) باستخدام وحدات معالجة الرسوميات NVIDIA H100-80GB. تم استخدام حاسوب Frontier الفائق مع وحدات معالجة الرسوميات AMD MI250X لتوليد البيانات.
• حساب الطاقة والانبعاثات:
  • القدرة الكهربائية: يتم حساب إجمالي قدرة مركز البيانات ($P_{DC}$) كالتالي: $P_{GPU} \times 1.74 \times PUE$. يمثل العامل 1.74 عبئاً إضافياً للبنية التحتية لتكنولوجيا المعلومات وخوادم غير الـ GPU (بناءً على Epoch AI, 2025)، مما يحسن الطرق السابقة التي كانت تكتفي بضرب قدرة الـ GPU في معامل كفاءة الطاقة (PUE).
  • الكربون: تُحسب الانبعاثات كالتالي: $CO_2e = P_{DC} \times CI$، حيث شدة الكربون (CI) هي 0.332 كجم ثاني أكسيد الكربون/كيلوواط ساعة.
  • المياه: يُحسب استهلاك المياه كالتالي: $Water = P_{DC} \times (WUE_{onsite} + WUE_{offsite})$. يستخدم مركز البيانات تبريد الحلقة المغلقة ($WUE_{onsite} = 0$)، مما يعني أن كل استهلاك المياه يُنسب إلى توليد الطاقة ($WUE_{offsite} = 1.29$ لتر/كيلوواط ساعة).
  • الانبعاثات المتضمنة: يتم توزيع آثار تصنيع الأجهزة على مدار عمر افتراضي مدته 4 سنوات.
• المقارنة: تقارن الدراسة بين نسختي "Think" (التفكير) و"Instruct" (اتباع التعليمات)، اللتين تشتركان في نموذج أساسي واحد ولكنهما تختلفان في استراتيجيات ما بعد التدريب.

المساهمات الرئيسية

1. أول تفصيل دقيق لمرحلة ما بعد التدريب: يعد هذا العمل أول مقياس وتقرير لتكاليف مراحل ما بعد التدريب المحددة (SFT، DPO، RL) وتوليد البيانات الاصطناعية، مما يسمح بالمقارنة المباشرة عبر المراحل والنسخ المختلفة.
2. تحديد تكاليف "التفكير" كمياً: يوضح المؤلفون أن نماذج التفكير أكثر تكلفة بكثير في مرحلة ما بعد التدريب من النماذج التي تتبع التعليمات، وذلك بسبب عملية توليد الـ rollout في RLVR.
3. تحديث تقديرات تكاليف التطوير: تُحدث الدراسة تقدير تكاليف التطوير (التجارب والتشغيل الفاشل) من نسبة ~50% من إجمالي الحوسبة المسجلة سابقاً إلى 82.2%، مما يسلط الضوء على أن الإبلاغ عن عمليات التشغيل النهائية فقط يقلل من التأثير الحقيقي بنحو 5 أضعاف.
4. تحليل نسب استهلاك المياه: توضح الورقة أن استهلاك المياه في هذا الإعداد تحديداً مدفوع بالكامل بالبنية التحتية لتوليد الطاقة وليس بتبريد مركز البيانات، مما يتحدى الروايات الشائعة التي تعزو استهلاك المياه إلى تبريد أعباء عمل الذكاء الاصطناعي.

النتائج

التأثير البيئي الإجمالي

أدى تطوير سلسلة Olmo 3 (بما في ذلك عمليات التشغيل النهائية، وتكرارات التطوير، وتوليد البيانات) إلى:

• الطاقة: ~12.3 جيجاواط ساعة من طاقة مراكز البيانات.
• الكربون: ~4,251 طن من ثاني أكسيد الكربون المكافئ (ما يعادل كهرباء ~847 منزلاً أمريكياً لمدة عام واحد).
• المياه: ~15,887 كيلو لتر (ما يعادل ~140 عاماً من استهلاك المياه لشخص أمريكي متوسط).
• الحوسبة: ~13.2 مليون ساعة من وحدة معالجة الرسوميات (GPU hours) إجمالاً.

تكلفة التفكير (Think مقابل Instruct)

• التفاوت في الطاقة: تستهلك مرحلة ما بعد التدريب لنموذج 32B "Think" طاقة مراكز بيانات أكبر بـ 17 مرة من نموذج 32B "Instruct".
• المحرك الأساسي: هذا التفاوت مدفوع بـ توليد الـ RLVR rollout. في نموذج 32B Think، يمثل توليد الـ RLVR rollout نسبة 87% من طاقة ما بعد التدريب.
• الآلية: يعمل مولد الـ RLVR (الاستدلال التلقائي/autoregressive inference) بقدرة ~600 واط لكل وحدة معالجة رسوميات، بينما يعمل المدرب بقدرة 130-220 واط. المولد هو وظيفياً مشابه للاستدلال واسع النطاق ولكنه يتطلب توليد مسارات (traces) طويلة جداً (بمتوسط >10,000 توكن، وبحد أقصى 32,768) عبر دورات عديدة.
• حجم الـ Tokens: يعالج مدرب RLVR لنموذج 32B Think حوالي 18.7 مليار توكن، مقارنة بـ 564 مليون لنسخة Instruct (فرق قدره 33 ضعفاً).

تكاليف التطوير

• النسبة: شكلت أنشطة التطوير (البحث عن المعلمات الفائقة، الاختبارات الاستقصائية، والتشغيل الفاشل) 82.2% من إجمالي ساعات الـ GPU و 80.9% من إجمالي طاقة الـ GPU (باستثناء توليد البيانات).
• تباين المراحل: مراحل ما بعد التدريب هي مراحل كثيفة التكرار بشكل خاص. تجاوزت نسب التطوير لمراحل ما بعد التدريب 91% (على سبيل المثال، 97.5% للتدريب المتوسط/خلط البيانات، و97.1% لـ DPO).
• المقارنة: يمثل هذا زيادة كبيرة عن نسبة التطक्रमبلغت ~50% التي ذكرتها الأعمال السابقة (Morrison et al., 2025) للنماذج التي تركز على التدريب المسبق.

استهلاك المياه

• المصدر: تم إرجاع 100% من استهلاك المياه إلى توليد الطاقة ($WUE_{offsite}$)، حيث استخدم مركز البيانات تبريد الحلقة المغلقة ($WUE_{onsite} = 0$).
• الاستنتاج: تتناسب تكاليف المياه طردياً مع استهلاك الطاقة في هذا الإعداد، مما يشير إلى أن تقليل استخدام الطاقة هو المحرك الرئيسي لتقليل التأثير المائي، بدلاً من تغيير بنية التبريد.

الأهمية والادعاءات

تجادل الورقة بأن المعيار الحالي للإبلاغ عن تكاليف التدريب المسبق فقط غير كافٍ للمحاسبة البيئية الدقيقة. ومع تحول مسارات العمل لتصبح أكثر تعقيداً، وتصبح نماذج التفكير هي النموذج السائد، فإن "التكاليف الخفية" لما بعد التدريب والتطوير تتزايد بسرعة.

• الشفافية: يدعي المؤلفون أن المحاسبة الدقيقة القائمة على القياس لدورة حياة التطوير الكاملة ضرورية للإرشادات التنظيمية المستنيرة ولتمكين مجتمع البحث من تطوير استراتيجيات فعالة لتقليل الأثر البيئي للذكاء الاصطناعي.
• الجدوى: خلافاً للادعاءات بأن هذا النوع من التقارير المفصلة غير عملي، يثبت المؤلفون أنه من الممكن تفصيل التكاليف عبر مراحل ونسخ مختلفة.
• توصيات السياسة: تخلص الورقة إلى أربع توصيات:
  1. الإبلاغ عن تكاليف المسار الكامل (ما بعد التدريب وتوليد البيانات)، وليس فقط التدريب المسبق.
  2. تضمين تكاليف التطوير (كحد أدنى كمعامل ضرب).
  3. الإفصاح عن مقاييس كفاءة مراكز البيانات (PUE، WUE، نوع التبريد، ومزيج الطاقة).
  4. يجب على مصنعي وحدات معالجة الرسوميات الإفصاح عن آثار التصنيع (الانبعاثات المتضمنة).

تضع هذه الدراسة نفسها كخطوة تأسيسية نحو فهم البصمة البيئية الحقيقية للذكاء الاصطناعي الحديث، مؤكدة أن "تكلفة التفكير" هي عامل متصاعد بسرعة يجب معالجته في معايير الاستدامة.