🔢 mathematics

Precision autotuning for linear solvers via contextual bandit-based RL

تقترح هذه الورقة إطار عمل للتعلم التعزيزي قائم على "المقامر السياقي" (contextual bandit) يختار ديناميكيًا تكوينات الدقة المثلى للمحللات الخطية، مما يقلل بفعالية من التكاليف الحسابية مع الحفاظ على دقة مماثلة لخطوط الأساس ذات الدقة المزدوجة عبر كل من مجموعات البيانات التدريبية وغير المرئية.

المؤلفون الأصليون: Erin Carson, Xinye Chen

نُشر 2026-04-01

📖 4 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Erin Carson, Xinye Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك رئيس طهاة ماهر يدير مطعماً راقياً. لديك قائمة ضخمة من الأطباق المعقدة (المسائل الرياضية) لتجهيزها لآلاف الضيوف.

تقليدياً، لضمان مثالية كل طبق، كنت ستستخدم أغلى المكونات وأجودها وأكثر طرق الطهي دقة وبطئاً لكل خطوة من خطوات كل وصفة. ستستخدم سكاكين مطلية بالذهب لتقطيع البصل ومخافقاً برؤوس ماسية لخلط الحساء. هذا يضمن أن الطعام مذاقه رائع (دقة عالية)، لكنه يستغرق وقتاً طويلاً جداً، ويكلف ثروة من الطاقة، ويجعل مطبخك (حاسوبك) ينهك تماماً.

المشكلة:
في عالم الحواسيب الفائقة، يُسمى هذا النهج "المطلي بالذهب" بـ الدقة المزدوجة (FP64). إنه دقيق للغاية ولكنه بطيء ويستهلك الكثير من الطاقة. ومع ذلك، تمتلك الحواسيب الحديثة أدوات أسرع وأرخص (مثل الدقة النصفية أو BF16)، وهي تشبه استخدام سكين فولاذي عادي أو مخفقة بلاستيكية. إنها أسرع بـ 32 إلى 64 مرة وتستهل طاقة أقل بكثير. ومع ذلك، إذا استخدمت هذه الأدوات الرخيصة لكل شيء، فقد تفسد الطبق. قد يتناثر الحساء الذي خُفق بمخفقة بلاستيكية في كل مكان (أخطاء عددية)، أو قد ينهار الكعك (يفشل الحساب الرياضي).

التحدي هو: كيف تعرف بالضبط متى تستخدم الأدوات الذهبية الغالية ومتى يكون من الآمن استخدام الأدوات البلاستيكية الرخيصة؟

الطريقة القديمة:
في السابق، حاول الخبراء معرفة ذلك عن طريق التخمين أو تشغيل نفس الوصفة مئة مرة باستخدام أدوات مختلفة حتى يجدوا مزيجاً يعمل. هذا يشبه أن يتذوق الشيف الحساء، ثم يضيف الملح، ثم يتذوق مجدداً، ثم يضيف المزيد من الملح، ويكرر ذلك لساعات. إنه أمر بطيء، غير فعال، ولا ينجح جيداً مع الوصفات الجديدة غير المرئية.

الحل الجديد: "مساعد الشيف الذكي" (التعلم التعزيزي)
يقدم هذا البحث طريقة جديدة تستخدم الذكاء الاصطناعي (تحديداً المتعدد السياقي - Contextual Bandit) ليعمل كمساعد شيف ذكي ومتكيف.

إليك كيف يعمل، باستخدام تشبيه المطبخ الخاص بنا:

1. قراءة المكونات (المتعدد السياقي - Contextual Bandit)

قبل أن يبدأ الشيف في الطهي، ينظر الذكاء الاصطناعي إلى مكونات الطبق المحددة. هو لا يخمن فحسب؛ بل يفحص "رقم الحالة" (مدى صعوبة المكونات) و"معيار المصفوفة" (حجم القدر).

التشبيه: إذا كانت المكونات بسيطة (مثل غلي الماء)، يعرف الذكاء الاصطناعي أنه من الآمن استخدام المخفقة البلاستيكية الرخيقة. أما إذا كانت المكونات متقلبة (مثل "السوفليه" الذي قد ينهار)، فيعرف أنه يجب استخدام المخفقة الذهبية.

2. التدريب عبر التجربة والخطأ (التعلم التعزيزي)

الذكاء الاصطناعي لا يعرف الإجابة المثالية على الفور. يبدأ بتجربة تركيبات مختلفة من الأدوات لخطوات مختلفة من الوصفة.

نظام المكافأة:
- إذا خرج الطبق لذيذاً (دقيق) وكان سريع التحضير (فعال)، يحصل الذكاء الاصطناعي على نجمة ذهبية (مكافأة إيجابية).
- إذا فسد الطبق أو استغرق وقتاً طويلاً جداً، يحصل على بطاقة حمراء (مكافأة سلبية).
التعلم: عبر جولات تدريبية عديدة (حلقات التدريب)، يتعلم الذكاء الاصطناعي نمطاً. يدرك قائلاً: "آه، بالنسبة للحساء البسيط، يمكنني استخدام الأدوات الرخيصة للتقطيع والخلط، ولكن يجب أن أنتقل إلى الأدوات الذهبية في مرحلة الغليان النهائية".

3. السحر "السياقي"

ما يجعل هذا مميزاً هو أن الذكاء الاصطناسي لا يحفظ وصفة واحدة فقط، بل يتعلم قاعدة عامة.

التشبيه: بمجرد أن يتعلم الذكاء الاصطناعي أن "السوفليه يحتاج أدوات ذهبية"، يمكنه تطبيق هذا المنطق على أي وصفة سوفليه جديدة لم يرها من قبل، حتى لو كانت بنكهة مختلفة. ينظر إلى المكونات الجديدة، يقيم المخاطر، ويقرر فوراً أي الأدوات يستخدم.

4. النتائج: السرعة دون تضحية

اختبر الباحثون هذا "مساعد الشيف الذكي" على آلاف المسائل الرياضية (الأنظمة الخطية).

النتيجة: نجح الذكاء الاصطناعي في التبديل بين الأدوات الرخيصة والغالية بشكل ديناميكي.
- بالنسبة للمسائل الرياضية "السهلة"، استخدم الأدوات السريعة ومنخفضة الدقة بشكل حصري تقريباً، مما جعل الحاسوب أسرع بكثير ووفر كميات هائلة من الطاقة.
- بالنسبة للمسائل الرياضية "الصعبة"، عاد تلقائياً إلى الأدوات البطيئة وعالية الدقة لضمان صحة الإجابة.
الفوز: كانت النتائج النهائية بدقة تماثل لو استخدموا الأدوات الذهبية الغالية طوال الوقت، ولكن العملية كانت أسرع وأرخص بكثير.

لماذا يهم هذا؟

فكر في هذا كـ التحكم الذكي في حركة المرور. بدلاً من أن تسير كل السيارات بسرعة محددة (بطيئة ولكن آمنة) أو تسير جميعها بسرعة عالية (سريعة ولكن خطيرة)، يعمل هذا الذكاء الاصطناعي مثل نظام إشارات مرور ذكي. فهو يخبر السيارات (الخطوات الحسابية) بأن تسرع عندما يكون الطريق خالياً وأن تبطئ عندما يكون هناك منعطف أو خطر.

باختة ملخص:
يعلم هذا البحث الحواسيب كيف تكون ذكية في بذل جهدها. فبدلاً من استخدام أقوى (وأغلى) قدرة حوسبة لكل مهمة بشكل أعمى، فإنه يستخدم خوارزمية تعلم لتحديد مقدار القوة المطلوبة لكل خطوة محددة. يتيح ذلك للحواسيب الفائقة حل المشكلات بشكل أسرع وبطاقة أقل، دون التضحية بدقة النتائج. إنه الفرق بين استخدام مطرقة ثقيلة لكسر حبة جوز وبين استخدام أداة كسر الجوز المخصصة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الضبط التلقائي الدقيق للمحللات الخطية عبر التعلم المعزز القائم على العصابات السياقية (Contextual Bandit)".

1. بيان المشكلة

أدى النمو السريع للحوسبة واسعة النطاق والتعلم الآلي إلى زيادة الطلب على الحسابات الموفرة للطاقة. وبينما توفر تنسيقات الدقة المنخفضة (مثل FP16، BF16، FP8) تسريعاً كبيراً (يصل إلى 64 ضعفاً في وحدات معالجة الرسوميات الحديثة مثل H100) وتوفيراً في الطاقة، إلا أنها تسبب أخطاء تقريب وعدم استقرار عددي.

التحدي: يعد تصميم خوارزميات الدقة المختلطة (mixed-precision) التي توازن بين الكفاءة الحسابية والدقة العددية أمراً صعباً. تعتمد التحليلات النظرية التقليدية غالباً على فرضيات مقيدة (مثل حدود محددة لعدد الشرط/condition number) يصعب التحقق منها في الممارسة العملية. كما أن أدوات الضبط التلقائي الموجودة (مثل Precimonious وHiFPTuner) تعتمد عادةً على البحث القائم على التجربة والخطأ، وهو أمر مكلف حاسوبياً، ولا يتوسع بشكل جيد، وغالباً ما يفشل في التعميم على مجموعات البيانات غير المرئية.
الهدف: تطوير إطار عمل يمكنه اختيار تكوينات الدقة تلقائياً وبشكل تكيفي لخطوات حسابية محددة في المحللات الخطية بناءً على خصائص المصفوفة المدخلة، دون الحاجة إلى إعادة تدريب مكثفة أو تدخل يدوي لكل حالة مشكلة جديدة.

2. المنهجية

يقترح المؤلفون إطار عمل للتعلم المعزز (RL) مصاغ كمسألة عصابة سياقية (Contextual Bandit). يعامل هذا النهج اختيار الدقة كعملية اتخاذ قرار حيث يختار "الوكيل" (agent) الإجراءات (تكوينات الدقة) بناءً على السياق الحالي (ميزات المصفوفة) لتعظيم مكافأة متعددة الأهداف.

أ. صياغة إطار العمل

السياق (الحالة، $s$ ): متجه ميزات يصف النظام الخطي $Ax=b$ . تشمل الميزات الرئيسية عدد الشرط ( $\kappa(A)$ ) ومعيار المصفوفة ( $\|A\|_\infty$ ). يتم تقسيم هذه الميزات إلى فئات (bins) لإنشاء فضاء حالات منتهي $S_d$ .
الإجراء ( $a$ ): زوج (tuple) من خيارات الدقة لـ $k$ $k$ من الخطوات الحسابية (على سبيل المثال، $a = (u_f, u, u_g, u_r)$ $a = (u_{f}, u, u_{g}, u_{r})$ للتحليل، والتحديث، وحل GMRES، وحساب البواقي).
- تقليص فضاء الإجراءات: لتجنب الانفجار الأسي في فضاء الإجراءات ( $m^k$ )، يفرض المؤلفون قيد الرتابة (monotonicity constraint) ( $u'_1 \le u'_2 \le \dots \le u'_k$ ) بناءً على بتات المعامل (significand bits). يقلل هذا من فضاء البحث بشكل كبير (من 256 إلى 35 تركيبة) مع الحفاظ على التكوينات ذات المعنى العددي.
المكافأة ( $r$ ): قيمة عددية توازن بين ثلاثة أهداف:
1. كفاءة الدقة: تشجيع تنسيقات الدقة المنخفضة (يتم وزنها ببتات المعامل).
2. الدقة: معاقبة أخطاء التقدم (forward errors) والأخطاء الخلفية (backward errors) بالنسبة لمرجع عالي الدقة.
3. التكلفة الحسابية: معاقبة عدد التكرارات (سرعة التقارب).
- دالة المكافأة هي مجموع موزون: $R = w_2 f_{precision} + w_1 f_{accuracy} - f_{penalty}$ .

ب. خوارزمية التعلم

الوكيل (Agent): يستخدم نهج Q-learning جدولي (tabular Q-learning) مع استراتيجية $\epsilon$ -greedy.
التدريب: يتفاعل الوكيل مع بيئة محاكاة (Gym) باستخدام مجموعة تدريب محدودة. يقوم بتحديث جدول Q يسمى $Q(s_d, a)$ باستخدام تقدير قيمة الإجراء المتزايد (Bellman update).
الاستدلال (Inference): بالنسبة للبيانات الاختبارية غير المرئية، يقوم الوكيل بحساب الميزات، وتقسيم الحالة، واختيار الإجراء ذو أعلى قيمة Q (السياسة الجشعة/greedy policy)، مما يؤدي فعلياً إلى تعميم الاستراتيجية المتعلمة دون إعادة تدريب.

ج. دراسة حالة: GMRES-IR

يُطبق إطار العمل على تحسين التكرار القائم على GMRES (GMRES-based Iterative Refinement)، وهو طريقة قياسية لحل الأنظمة الخطية. تختار الخوارزمية الدقة لأربع خطوات متميزة:

تحليل LU والحل الأولي.
حساب البواقي (Residual Computation).
حل GMRES الداخلي (دقة العمل).
تحديث الحل.

3. المساهمات الرئيسية

أول ضبط تلقائي للدقة قائم على RL مع القدرة على التعميم: هذا هو العمل الأول الذي يحدد رسمياً اختيار الدقة كمسألة عصابة سياقية ويتحقق من قدرتها على التعميم على مجموعات بيانات غير مرئية (بيانات خارج العينة)، متجاوزاً مجرد البحث القائم على التجربة والخطأ.
فضاء حالة مقسم مع حدود نظرية: يقدم المؤلفون تبريراً نظرياً (Proposition 1) يوضح أن فقدان الأداء الناتج عن تقسيم فضاء الحالة المستمر محدود بقطر الفئة (bin diameter)، بشرما كانت المكافأة المتوقعة مستمرة من نوع Lipschitz.
تقليص فضاء الإجراءات: إن إدخال قيد الرتابة على خيارات الدقة يقلل بشكل كبير من التعقيد التوافقي لفضاء الإجراءات، مما يجعل تدريب RL قابلاً للتطبيق.
تصميم دالة المكافأة: دالة مكافأة مبتكرة توازن صراحة بين الدقة، وعدد التكرارات، ومستوى الدقة، مما يسمح للوكيل بتعلم المقايضات ديناميكياً.

4. النتائج التجريبية

تم اختبار إطار العمل على كل من الأنظمة الخطية الكثيفة (dense) والخفيفة (sparse) مع تباين في أعداد الشرط ( $\kappa$ من $10^1$ إلى $10^9$ ) وأحجام المصفوفات.

الأنظمة الكثيفة:
- الاستراتيجية التكيفية: نجح وكيل RL في تعلم استخدام تنسيقات الدقة المنخفضة (مثل BF16، TF32) للأنظمة جيدة الشرط (منخفضة $\kappa$ ) لتعظيم الكفاءة، بينما انتقل تلقائياً إلى الدقة العالية (FP64) للأنظمة سيئة الشرط لضمان الاستقرار.
- الأداء: تحت إعداد وزن محافظ ( $W_1$ )، حققت الطريقة معدل نجاح بنسبة 100% بدقة تضاهي مراجع FP64. وتحت إعداد عدواني ( $W_2$ )، استخدمت دقات أقل بشكل متكرر، وقبلت أخطاء أعلى قليلاً (مثلاً $10^{-7}$ ) لتقليل التكلفة، مع الحفاظ على التقارب.
- مقايضة التكرار: عند استخدام دقة أقل، عوض الوكيل ذلك بزيادة طفيفة في عدد تكرارات GMRES الداخلية، مما أظهر مقايضة ذكية بين التكلفة الحسابية وسرعة التقارب.
الأنظمة الخفيفة (سيئة الشرط):
- المتانة: بالنسبة للمصفوفات الخفيفة شديدة سوء الشرط ( $\kappa \approx 10^8 - 10^9$ )، حدد الوكيل بشكل صحيح أن الدقة المنخفضة ستؤدي إلى عدم التقارب. فقام بالتحول إلى FP64 لجميع الخطوات، محققاً معدل نجاح بنسبة 100% ومطابقاً لمراجع FP64 في الدقة وعدد التكرارات.
- الأهمية: يثبت هذا أن إطار العمل لا يسعى فقط لتحسين السرعة بشكل أعمى، بل يعطي الأولوية للاستقرار العددي عندما تملي خصائص المشكلة ذلك.
دراسة الاستئصال (عقوبة التكرار):
- أدت إزالة عقوبة التكرار من دالة المكافأة إلى اختيار الوكيل لمزيد من إجراءات الدقة المنخفضة، ولكن مع تطلب عدد أكبر بكثير من التكرارات للتقارب، مما أدى إلى تكلفة حسابية إجمالية أعلى. وهذا يؤكد ضرورة نمذجة تكاليف التكرار في دالة المكافأة.

5. الأهمية والعمل المستقبلي

الأثر العلمي: يجسّر هذا العمل الفجوة بين تحليل الدقة المختلطة النظري والنشر العملي المؤتمت. فهو يثبت أن RL يمكنه تعلم "حد البقاء" (survival boundary) للخوارزميات العددية، والتكيف مع صعوبة المشكلة دون قواعد بشرية صريحة.
الواقعية: يتطلب إطار العمل فقط مجموعة تدريب صغيرة ويتعمم على بيانات جديدة، مما يقلل من الاعتماد على جهد المبرمج والضبط المكلف القائم على التجربة والخطأ.
الاتجاهات المستقبلية: يخطط المؤلفون لتوسيع إطار العمل ليشمل التعلم المعزز العميق (Deep RL) لفضاءات الحالة المستمرة، ودمج ميزات مصفوفة أكثر تعقيداً (مثل نسبة الامتلاء/fill-in ratio، ونمو المحور/pivot growth)، وتطبيق الطريقة على نطاق أوسع من الخوارزميات العددية بما يتجاوز المحللات الخطية.

باختصار، تقدم الورقة نهجاً قوياً يعتمد على البيانات للضبط التلقائي للدقة، ينجح في الموازنة بين المتطلبات المتنافسة لـ السرعة/كفاءة الطاقة والدقة العددية في الحوسبة العلمية.