🤖 machine learning

Cost-Aware Learning

تقدم هذه الورقة "التعلم الواعي بالتكلفة" (Cost-Aware Learning)، وهو إطار عمل يقلل إجمالي تكاليف التدريب من خلال مراعاة تباين نفقات أخذ العينات، مقترحاً خوارزمية "الاشتقاق المتدرج العشوائي الواعي بالتكلفة" (Cost-Aware SGD) مع ضمانات نظرية وطريقة لاختيار المجموعات الفرعية، وتطبيق هذه الرؤى لتطوير "خوارزمية تحسين السياسة الواعية بالتكلفة" (Cost-Aware GRPO)، التي تقلل استخدام الرموز (tokens) في تحسين سياسة النماذج اللغوية الكبيرة بنسبة تصل إلى 30% مع الحفاظ على الأداء.

المؤلفون الأصليون: Clara Mohri, Amir Globerson, Haim Kaplan, Tomer Koren, Yishay Mansour

نُشر 2026-05-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Clara Mohri, Amir Globerson, Haim Kaplan, Tomer Koren, Yishay Mansour

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول إتقان وصفة جديدة. هدفك هو تذوق الطبق، وتعديل التتبيل، والوصد إلى المذاق المثالي (الوصول إلى مستوى "خطأ" مستهدف).

في عالم تدريب الكمبيوتر القياسي، الافتراض هو أن تذوق كل مكون يستغرق بالضبط نفس القدر من الوقت والجهد. سواء كنت تتذوق رشة ملح أو وعاءً كاملاً من الحساء، فإن "التكلفة" هي نفسها. لذا، أنت فقط تتذوق الأشياء عشوائياً حتى تتقنها.

لكن في العالم الحقيقي للذكاء الاصطناعي الحديث (وتحديداً النماذج اللغوية الكبيرة)، هذا ليس صحيحاً. بعض "المكونات" (بيانات التدريب) رخيصة وسريعة التذوق (جمل قصيرة)، بينما البعض الآخر مكلف وبطيء (سلاسل استدلال طويلة ومعقدة). قد يستغرق تذوق قصة طويلة ومعقدة 100 ضعف قوة الحوسبة المطلوبة لتذوق قصة قصيرة.

تقدم هذه الورقة طريقة جديدة للطهي تسمى التعلم الواعي بالتكلفة (Cost-Aware Learning). بدلاً من مجرد التذوق عشوائياً، يتعلم الطاهي (الخوارزمية) أن يكون ذكياً بشأن ماذا يتذوق وكم مرة، موازناً بين قيمة المعلومات وتكلفة التذوق.

إليك تفصيل نهجهم باستخدام تشبيهات بسيطة:

1. المشكلة: معضلة "الحساء الغالي"

تخيل أن لديك قدرًا ضخمًا من الحساء يحتوي على 1,000 مكون مختلف.

المكون أ: رشة صغيرة من الملح. هي رخيصة التذوق، لكنها تخبرك بالقليل جداً عن النكهة الإجمالية.
المكون ب: دجاجة مشوية كاملة. هي مكلفة جداً للتذوق (تستغرق وقتاً طويلاً للمضغ والهضم)، لكنها تخبرك بالكثير عن النكهة.
المكون ج: جزرة متوسطة الحجم. تكلفتها قليلة للتذوق وتعطيك قدراً جيداً من معلومات النكهة.

الأساليب القديمة كانت ستختار المكونات عشوائياً. وهذا يضيع الوقت في تذوق الدجاج الغالي كثيراً، أو يضيع الوقت في تذوق الملح الرخيص بينما أنت بحاجة حقاً لمعرفة نكهة الدجاج.

2. الحل: "الاشتقاق المتدرج الواعي بالتكلفة" (المتذوق الذكي)

يقترح المؤلفون استراتيجية جديدة تسمى الاشتقاق المتدرج العشوائي الواعي بالتكلفة (Cost-Aware SGD).

بدلاً من اختيار المكونات عشوائياً، تستخدم هذه الخوارزمية قاعدة "المتذوق الذكي". فهي تحسب درجة لكل مكون بناءً على شيئين:

مقدار معلومات النكهة التي تقدمها: (بالمصطلات الرياضية "gradient norm" أو مقدار التغير في الطعم إذا أضفتها).
مقدار تكلفتها للتذوق: (بالمصطلحات الرياضية عدد الرموز "tokens" أو قوة الحوسبة المطلوبة).

القاعدة الذهبية: تقول الخوارزمية: "أريد تذوق المكونات التي تعطيني أكبر قدر من تغيير النكهة مقابل كل دولار يتم إنفاقه".

إذا كانت قصة طويلة ومكلفة لها تأثير هائل على تعلم الذكاء الاصطعي، فهي تستحق التكلفة.
إذا كانت قصة قصيرة ورخيصة ليس لها أي تأثير تقريباً، فتجاوزها.
إذا كانت قصة طويلة وليس لها تأثير تقريباً، فلا تضيع المال عليها، رغم أنها رخيصة التجاوز.

لقد أثبتوا رياضياً أن هذا المزيج المحدد من "القيمة العالية / التكلفة المنخفضة" هو أسرع طريقة للوصول إلى الوصفة المثالية دون استنزاف ميزانيتك.

3. "اختيار المجموعة الفرعية" (تنسيق قائمة الطعام)

أحياناً، حتى أكثر المتذوقين ذكاءً لا يستطيع تحمل تكلفة تذوق العناصر الأكثر غلاءً على الإطلاق. تقترح الورقة خدعة ثانية وهي: اختيار المجموعة الفرعية (Subset Selection).

تخيل أنك قررت تماماً إزالة "الدجاجة الغالية" من قائمة التذوق الخاصة بك. أنت تتقبل أن وصفتك النهائية قد تكون أقل مثالية بقليل (قدر ضئيل من "الانحياز/bias")، لكنك توفر مبلغاً هائلاً من المال بعدم تذوق الدجاجة أبداً. أنت تركز فقط على الجزر والملح.

يظهر المؤلفون أنه من خلال اختيار العناصر المكلفة التي سيتم استبعادها بعنا بتدقيق، يمكنك الحصول على وصفة جيدة جداً بجزء بسيط من التكلفة. الأمر يشبه قرارك بصنع نسخة نباتية من الطبق، مع علمك بأنها ستظل لذيذة.

4. وضع الاختبار: "طاهي الذكاء الاصطناعي" (Cost-Aware GRPO)

أخذ المؤلفون هذه النظريات وطبقوها على تدريب النماذج اللغوية الكبيرة (LLMs) باستخدام طريقة تسمى GRPO (تحسين السياسة النسبي للمجموعات).

في هذا السياق:

"التكلفة" هي عدد الكلمات (الرموز/tokens) في المطالبة (prompt) واستجابة الذكاء الاصطناعي. المسائل الرياضية الطويلة والمعقدة تكلف أكثر للتدريب من القصيرة.
"القيمة" هي مدى تغيير إجابة الذكاء الاصطناعي لسلوكه (الـ "advantage").

لقد ابتكروا Cost-Aware GRPO. فبدلاً من التدريب على كل إجابة مولدة بالتساوي، فإنها تعطي الأولوية للإجابات التي تكون:

عالية التأثير: تعلم الذكاء الاصطناعي الكثير من هذه الإجابة.
منخفضة التكلفة: لم تكن الإجابة طويلة بشكل غير ضروري.

النتائج:
اختبروا ذلك على نموذجين للذكاء الاصطناعي (نموذج بـ 1.5 مليار معلمة ونموذج بـ 8 مليارات معلمة) باستخدام اختبارات مرجعية رياضية.

النتيجة: وصلوا إلى نفس الدقة (أو حتى دقة أفضل) مقار بالطريقة القياسية.
التوفير: استخدموا أقل بنسبة تصل إلى 30% من الرموز (tokens) (موارد الحوسبة) للوصول إلى ذلك.
التشبيه: الأمر يشبه الحصول على نفس الوجبة اللذيذة ولكن باستخدام 30% أقل من الطعام و30% أقل من وقت الطهي.

الملخص

تعلمنا هذه الورقة أنه في عالم تدريب الذكاء الاصطناعي المكلف، "المزيد من البيانات" ليس دائماً هو الأفضل. أحياناً، "البيانات الأذكى" هي المفتاح. من خلال التعامل مع كل قطعة من بيانات التدريب على أنها تمتلك سعراً مختلفاً وقيمة مختلفة، ومن خلال شراء القطع التي تمنحك أفضل "قيمة مقابل السعر"، يمكننا تدريب نماذج ذكاء اصطناعي قوية بشكل أسرع وأرخص بكثير دون فقدان الجودة.

الخلاصة الأساسية: لا تأكل كل شيء في البوفيه. كل الأشياء التي تمنحك أفضل مذاق مقابل السعر الذي تدفعه.

إليك ملخص تقني مفصل لورقة البحث "التعلم الواعي بالتكلفة" (Cost-Aware Learning) من إعداد موهري وآخرون.

١. صياغة المشكلة

تتناول الورقة البحثية القصور في نظرية "الاشتقاق المتدرج العشوائي" (SGD) القياسية، والتي تفترض عادةً أن حساب الاشتقاق لأي عينة بيانات يتطلب تكلفة حوسبية متطابقة. في التعلم الآلي الحديث، وتحديداً في النماذج اللغوية الكبيرة (LLMs) والتعلم المعزز من التغذية الراجعة البشرية (RLHF)، هذا الافتراض غير صحيح. فعلى سبيل المثال، يتطلب حساب اشتقاق السياسة (policy gradient) لتتبع استدلالي طويل عدد عمليات نقطة عائمة (FLOPs) أكبر بكثير مما يتطلبه رد قصير.

المشكلة الجوهرية:
بفرض وجود دالة هدف مكونة من مجموع محدود $f(x) = \frac{1}{n}\sum_{i=1}^n f_i(x)$ ، حيث لكل مكون $f_i$ تكلفة حوسبية معلومة وغير موحدة $c_i$ لاستعلام اشتقاقه، فإن الهدف هو إيجاد نقطة $\hat{x}$ بحيث يكون الخطأ المتوقع $E[f(\hat{x}) - f(x^*)] \leq \epsilon$ مع تقليل إجمالي التكلفة الحوسبية المتوقعة.

٢. المنهجية

يقترح المؤلفون إطاراً نظرياً وخوارزمية عملية لحل هذه المشكلة، مع توسيع نطاقها من التحسين المحدب إلى تحسين سياسة النماذج اللغوية الكبيرة.

أ. الاشتقاق المتدرج الواعي بالتكلفة (الأساس النظري)

استنتج المؤلفون توزيع عينات أمثلاً $p^*$ يقلل إجمالي التكلفة للوصول إلى خطأ مستهدف $\epsilon$ .

الهدف: تقليل حاصل ضرب عدد التكرارات $T(\epsilon, p)$ في متوسط التكلفة لكل تكرار $C(p)$ .
الاستنتاج: من خلال تحليل معدلات التقارب للدوال المحدبة العامة والمحدبة بقوة، أظهروا أن تقليل التكلفة الإجمالية يكافئ تقليل حاصل الضرب $J(p) = S(p)C(p)$ ، حيث $S(p)$ هو العزم الثاني لمقدر الاشتقاق (التباين) و $C(p)$ هو التكلفة المتوقعة.
التوزيع الأمثل: باستخدام متراجحة كوشي-شفارز، أثبتوا أن احتمال العينة الأمثل للعينة $i$ $i$ هو:
$p^*_i = \frac{G_i / \sqrt{c_i}}{\sum_{j=1}^n G_j / \sqrt{c_j}}$
حيث $G_i$ $G_{i}$ هو ثابت ليبشيتز (أو حد معيار الاشتقاق) للعينة $i$ $i$ ، و $c_i$ $c_{i}$ هي تكلفتها.
- الحدس: يفضل هذا التوزيع العينات ذات الاشتقاقات الكبيرة (معلومات عالية) والتكاليف المنخفضة (سهلة الحوسبة). فهو يوازن بفعالية بين نسبة "المعلومات إلى التكلفة".

ب. اختيار المجموعات الفرعية (المقايضة بين الانحياز والتكلفة)

إدراكاً منهم بأن حتى أخذ العينات الأمثل قد يكون مكلفاً للغاية إذا كانت العينات ذات التكلفة العالية تمتلك اشتقاقات كبيرة، اقترح المؤلفون استراتيجية اختيار المجموعات الفرعية (Subset Selection).

المفهوم: استبعاد مجموعة فرعية من العينات عالية التكلفة تماماً لتقليل الميزانية الحوسبية، مع قبول انحياز محكوم في المقدر.
الصياغة: تم نمذجة ذلك كـ مسألة حقيبة (Knapsack Problem) لتقليل التكلفة. الهدف هو اختيار مجموعة فرعية $\pi$ تقلل تكلفة أخذ العينات مع الالتزام بقيد على حد الانحياز المسموح به ( $\beta_\pi \leq \Gamma$ ).
الحل: تم اقتراح تقريب جشع (greedy approximation)، يقوم باختيار العينات ذات التكاليف $c_i$ الأقل حتى يتم استيفاء قيد الانحياز.

ج. GRPO الواعي بالتكلفة (التطبيق العملي)

تم تطبيق الرؤى النظرية على خوارزمية تحسين السياسة النسبية للمجموعات (GRPO)، وهي خوارزمية حديثة لتحسين مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة.

تعريف التكلفة: في GRPO، تُعرف تكلفة $c_i$ للعينة (زوج المحفز والاستجابة) بأنها إجمالي عدد الرموز (tokens) في التسلسل (المحفز + الاستجابة)، حيث تتناسب العمليات الحسابية طردياً مع طول التسلسل.
وكيل الاشتقاق: يعد حساب معيار الاشتقاق الدقيق $G_i$ لكل عينة أمراً مكلفاً حوسبياً. لذا استخدم المؤلفون مقدار الميزة (advantage magnitude) ( $|A_i|$ ) كوكيل لـ $G_i$ . وقد أثبتوا أن $|A_i|$ يمتلك ارتباط بيرسون شبه مثالي مع معايير الاشتقاق الحقيقية وانحراف $\chi^2$ منخفض عن التوزيع الأمثل.
الخوارزمية:
1. توليد المخرقات (rollouts) لمجموعة من المحفزات.
2. حساب المزايا وأطوال التسلسلات.
3. حساب احتمالات أخذ العينات $p^*_i \propto |A_i| / \sqrt{\text{length}_i}$ .
4. أخذ عينات من الدفعات الصغيرة (mini-batches) لتحديث السياسة وفقاً لـ $p^*$ وتطبيق ترجيح الأهمية لتصحيح الانحياز.

٣. المساهمات الرئيسية

صياغة التعلم الواعي بالتكلفة: صياغة رياضية صارمة للتعلم حيث تكون تكاليف العينات غير موحدة، وهي قابلة للتطبيق في كل من السياقات المحدبة والمحدبة بقوة.
استراتيجية أخذ العينات المثلى: استنتاج توزيع أخذ العينات الأمثل $p^* \propto G_i / \sqrt{c_i}$ ، والذي يقلل التكلفة الإجمالية للوصول إلى دقة $\epsilon$ . توفر الورقة حدوداً عليا نظرية وحداً سفلياً مطابقاً لهذه الحالة.
خوارزمية اختيار المجموعات الفرعية: طريقة لتقليل التكاليف بشكل أكبر عن طريق استبعاد العينات المكلفة، مصاغة كمسألة حقيبة لتقليل التكلفة، حيث تتم المقايضة بين قدر ضئيل من الانحياز وتوفير كبير في التكاليف.
GRPO الواعي بالتكلفة: أول تطبيق لمبادئ الوعي بالتكلفة على تحسين السياسة للنماذج اللغوية الكبيرة. قدمت الخوارزمية طريقة عملية تستخدم مقدار الميزة كوكيل لمعايير الاشتقاق لتحسين كفاءة الرموز (tokens).
التحقق التجريبي: تجارب شاملة على نماذج Qwen2.5-Math-1.5B و Qwen3-8B أظهرت توفيراً كبيراً في الرموز دون تدهور في الأداء.

٤. النتائج

قيمت الورقة الطرق المقترحة على اختبارات الاستدلال الرياضي (AIME, AMC, MATH500, GSM8K).

كفاءة الرموز (Token Efficiency):
- Qwen3-8B: حققت خوارزمية CA-GRPO نفس دقة الذروة لنموذج GRPO القياسي باستخدام رموز أقل بنسبة 51%. وحتى عند مقارنتها بالنموذج الأساسي الذي وصل إلى 99% من ذروته، تطلبت CA-GRPO رموزاً أقل بنسبة 17%.
- Qwen2.5-Math-1.5B: طابقت CA-GRPO ذروة دقة النموذج الأساسي باستخدام رموز أقل بنسبة 28–32%، بل وتفوقت في النهاية على أداء النموذج الأساسي بنسبة ~5%.
المتانة: تم اختبار الطريقة تحت أهداف تدريب مختلفة (Standard GRPO، و GRPO+Zero-Variance Filtering، و CISPO) وأظهرت تحسيناً مستمراً في كفاءة الرموز.
دراسات الاستئصال (Ablation Studies):
- تم التحقق من أن استخدام مقدار الميزة $|A_i|$ كوكيل لمعايير الاشتقاق فعال للغاية (ارتباط $\approx 1$ ).
- الطريقة متينة تجاه الضوضاء في الوكيل حتى حد معين من التباين.
- تنعيم توزيع أخذ العينات (الخلط مع التوزيع الموحد) يساعد في الاستقرار، لكن التوزيع الأمثل الصرف غالباً ما يعطي أفضل كفاءة.

٥. الأهمية

تكتسب هذه الورقة أهميتها لعدة أسباب:

إعادة تعريف مقاييس الكفاءة: إنها تنقل التركيز من "عدد الخطوات" إلى "إجمالي التكلفة الحوسبية"، وهو العائق الحقيقي في تدريب النماذج التأسيسية.
القابلية للتوسع: مع توليد النماذج اللغوية الكبيرة لتتبعات استدلال أطول وأكثر تعقيداً، تزداد التكلفة الحوسبية للتدريب. يوفر التعلم الواعي بالتكلفة طريقة منهجية للتخفيف من قانون القياس (scaling law) عبر إعطاء الأولوية للعينات "الرخيصة" ولكن "المعلوماتية".
الأثر العملي: إن تقليل الرموز المستخدمة في تحسين السياسة بنسبة 30–50% يترجم مباشرة إلى توفير هائل في ساعات عمل وحدات المعالجة الرسومية (GPU) واستهلاك الطاقة، مما يجعل تدريب RLHF المتقدم أكثر سهولة واستدامة.
الصرامة النظرية: تربط الورقة بين الحدود النظرية للتحسين (الحدود العليا والسفلى لتعقيد التكلفة) والتطبيقات العملية للتعلم العميق، مقدمةً نموذجاً جديداً لاختيار البيانات في بيئات التدريب المكلفة.