🤖 machine learning

Step-TP: A Grounded, Step-Level Dataset with Chain-of-Thought Reasoning for LLM-Guided Tensor Program Optimization

تقدم هذه الورقة البحثية Step-TP، وهي مجموعة بيانات جديدة لما بعد التدريب تعزز تحسين برامج التنسور الموجهة بنماذج اللغات الكبيرة من خلال توفير إشراف على مستوى الخطوات، ذري ومؤصل، مع تسلسل استدلالي مهيكل وتمثيل وسيط كفء في استهلاك الرموز لتمكين اتخاذ قرارات متعددة الخطوات موثوقة.

المؤلفون الأصليون: Mengfan Liu, Da Zheng, Junwei Su, Chuan Wu

نُشر 2026-05-26

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mengfan Liu, Da Zheng, Junwei Su, Chuan Wu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: تعليم طباخ كيف يطبخ بشكل أسرع

تخيل أن لديك طباخاً بارعاً (النموذج اللغوي الكبير أو LLM) وهو مذهل في قراءة الوصفات وفهم النكهات. ومع ذلك، فإن هذا الطباخ لم يسبق له أبداً الطبخ في مطبخ صناعي عالي السرعة. عندما تطلب منه تحسين وصفة ليطبخها بشكل أسرع، فإنه غالباً ما يخمن بناءً على الشكل النهائي للطبق، بدلاً من فهم الخطوات المحددة اللازمة للوصول إليه. قد يقول: "فقط أضف المزيد من الحرارة!" دون أن يدرك أن ذلك سيحرق الطعام.

في عالم الكمبيوتر، "الطبخ" هو تشغيل برامج رياضية معقدة (تسمى برامج التنسور - tensor programs) على بطاقات رسوميات قوية (GPUs). جعل هذه البرامج تعمل بشكل أسرع أمر صعب للغاية لأن هناك ملايين الطرق الصغيرة لإعادة ترتيب الكود، وأي خطوة خاطئة يمكن أن تكسر البرنامج بأكمله.

تقدم هذه الورقة البحثية Step-TP، وهي "كتاب طبخ" جديد مصمم لتعليم الطباخ كيفية إجراء هذه التغييرات، خطوة بخطوة، مع شرح واضح لسبب نجاح كل خطوة.

المشكلة: كتاب الطبخ "الصندوق الأسود"

قبل هذه الورقة، كانت مجموعات البيانات المستخدمة لتدريب هؤلاء الطباخين الآليين تعاني من ثلاث مشكلات رئيسية:

عرضت النتيجة فقط: معظم كتب الطبخ القديمة كانت تعرض فقط الوصفة "قبل" والوصفة "بعد". لم تكن تظهر الخطوات التي بينهما. كان الأمر يشبه إظهار دجاجة نيئة ودجاجة مشوية، ولكن مع إخفاء التوابل، ودرجة حرارة الفرن، والتوقيت. كان الذكاء الاصطناعي يحفظ فقط شكل الطب النهائي بدلاً من تعلم تقنية الطبخ.
الكثير من الفوضى: كانت الوصفات مكتوبة بلغة تقنية فوضوية للغاية (مثل كود كمبيوتر خام) مليئة بالتفاصيل غير الضرورية. كان الأمر يشبه محاولة قراءة وصفة حيث كتبت كل تعليماتها بخطوط مختلفة، مع حواشي سفلية حول العلامة التجارية للموقد. هذا جعل من الصعب على الذكاء الاصطناعي التركيز على منطق الطبخ الفعلي.
لا يوجد "لماذا": لم يتعلم الذكاء الاصطناعي الاستنتاج. إذا رأى الطباخ نوعاً جديداً من الخضروٰات، فلن يتمكن من معرفة كيفية طبخها لأنه حفظ أطباقاً محددة فقط، وليس قواعد الطبخ العامة.

الحل: Step-TP

ابتكر المؤلفون مجموعة بيانات جديدة تسمى Step-TP تعالج هذه المشكلات. إليكم كيف فعلوا ذلك، باستخدام ثلاثة مكونات رئيسية:

1. لغة أكثر نظافة (LEIR)

ابتكر المؤلفون طريقة جديدة لكتابة "الوصفات" تسمى LEIR (تمثيل الوسيط للحلقات والمعادلات).

التشبيه: تخيل ترجمة ملاحظة مكتوبة بخط اليد مليئة بالخربشات وبقع القهوة إلى قائمة مطبوعة ونظيفة بنقاط واضحة.
ماذا تفعل: تقوم LEIR بتجريد كل "الأجزاء الروتينية" للكمبيوتر (الأشياء المملة والمتكررة) وتترك فقط المنطق الأساسي: الحلقات (الخطوات المتكررة) والمعادلات (الرياضيات). هذا يجعل الوصفة أقصر بكثير وأسهل في القراءة والفهم بالنسبة للذكاء الاصطناعي.

2. تدريب خطوة بخطوة (الخطوات الذرية)

بدلاً من إظهار التحول الكامل من البداية إلى النهاية للذكاء الاصطناعي، تقوم Step-TP بتفكيكه إلى خطوات صغيرة ومنفردة.

التشبيه: بدلاً من قول "حول الدجاجة النيئة إلى دجاجة مشوية"، تقول مجموعة البيانات:
- الخطوة 1: تتبيل الدجاجة.
- الخطوة 2: تسخين الفرن مسبقاً.
- الخطوة 3: وضع الدجاجة في الفرن.
لماذا يهم ذلك: هذا يعلم الذكاء الاصطناعي اتخاذ قرار واحد صغير وآمن في كل مرة. إنه يتعلم أن "الخطوة 1" تؤدي إلى حالة محددة، والتي تسمح بعد ذلك بـ "الخطوة 2". هذا يمنع الذكاء الاصطناعي من القيام بقفزات ضخمة ومخاطرة قد تكسر البرنامج.

3. سلسلة الأفكوت المنطقية (الـ "لماذا")

كل خطوة في مجموعة البيانات تأتي مع شرح "سلسلة الأفكوت" (Chain-of-Thought - CoT).

التشبيه: إنه يشبه برنامج طبخ حيث لا يقوم الطباخ بالفعل فحسب، بل يشرح: "أنا أقوم بقلب الدجاجة الآن لأن الجزء السفلي أصبح ذهبياً".
ماذا تفعل: تخبر مجموعة البيانات الذكاء الاصطناعي صراحةً لماذا تم إجراء تغيير معين (على سبيل المثال، "نحن نعيد ترتيب هذه الحلقات لتحقيق استفادة أفضل من الذاكرة"). يساعد هذا الذكاء الاصطناعي على تعلم المنطق الأساسي بحيث يمكنه تطبيق هذه القواعد على مشكلات جديدة لم يسبق رؤيتها.

النتائج: طباخ ماهر

اختبر المؤلفون مجموعة البيانات الجديدة هذه على أحجام مختلفة من نماذج الذكاء الاصطناعي. وإليكم ما وجدوه:

الكفاءة: لأن "الوصفات" (LEIR) كانت نظيفة جداً، استطاع الذكاء الاصطناعي معالجتها بشكل أسرع، مستخدماً عدداً أقل بكثير من "الرموز" (tokens/الكلمات) مقارنة بالسابق. كان الأمر يشبه الانتقال من قراءة دليل مكون من 100 صفحة إلى قراءة ورقة غش مكونة من 10 صفحات.
الدقة: أصبح الذكاء الاصطناعي أفضل بكثير في إجراء التغييرات التي تعمل فعلياً. في الاختبارات، تمكنت النماذج من تحويل البرامج بنجاح والحفاظ على تشغيلها بشكل صحيح في أكثر من 90% من المرات، حتى بالنسبة للمهام المعقدة جداً.
الرحلات الطويلة: استطاع الذكاء الاصطناعي التعامل مع سلاسل طويلة من عمليات التحسين. بدلاً من مجرد إجراء تغيير صغير، يمكنه التخطيط لتسلسل من 10 أو 15 خطوة لجعل البرنامج يعمل أسرع بمئات المرات. كان الأمر يشبه تعلم الطباخ التخطيط لقائمة مأدبة كاملة بدلاً من مجرد طبخ طبق جانبي واحد.

الملخص

Step-TP هي مجموعة بيانات تدريب متخصصة تعلم نماذج الذكاء الاصطناعي كيفية تحسين برامج الكمبيوتر عن طريق:

استخدام لغة نظيفة ومبسطة (LEIR) لإزالة الفوضى.
تفكيك المهام المعقدة إلى خطوات صغيرة يمكن إدارتها.
تقديم تفسيرات لكل خطوة حتى يفهم الذكاء الاصطناعي المنطق، وليس فقط النمط.

النتيجة هي ذكاء اصطناعي يمكنه العمل كمهندس خبير موثوق، مما يجعل تحسينات دقيقة ومتعددة الخطوات لأداء البرمجيات دون كسر أي شيء.

ملخص تقني: Step-TP

بيان المشكلة

يعد تحسين كفاءة تنفيذ برامج التنسور (Tensor Programs) على وحدات معالجة الرسومات (GPUs) تحديًا حاسمًا للتعلم العميق، لا سيما مع ازدياد تعقيد بنيات النماذج. ورغم أن النماذج اللغوية الكبيرة (LLMs) قد أظهرت قدرات قوية في الاستنتاج، إلا أن تطبيقها في تحسين برامج التنسور قد تعثر بسبب نقص البيانات التدريبية المناسبة. عادةً ما توفر مجموعات البيانات الحالية أزواجًا من البرامج المحسنة من البداية إلى النهاية باستخدام تمثيلات لفظية غير فعالة في استهلاك الرموز (Tokens)، مثل لغة CUDA الخام أو TVM TIR. وتفتقر هذه المجموعات إلى الإشراف القابل للتحقق على مستوى الخطوة الواحدة، مما يجبر النماذج اللغوية الكبيرة على الاعتماد على محاكاة النتائج أو المطابقة السطحية للأنماط بدلاً من تعلم عملية اتخاذ القرار الأساسية. ونتيجة لذلك، تجد هذه النماذج صعوبة في اتخاذ قرارات موثوقة في خطوة واحدة ضمن مساحات التحسين الضخمة والتركيبية المطلوبة للضبط الفعال لبرامج التنسور.

المنهجية

لمعالجة هذه القيود، قدم المؤلفون Step-TP، وهو مجموعة بيانات لما بعد التدريب مصممة لتوفير إشراف أرضي ذري (Atomic) على مستوى الخطوة مع استدلال سلسلة الأفك "Chain-of-Thought" (CoT) المهيكل. تعتمد المنهجية على أربعة مبادئ تصميم أساسية:

1. التمثيل الوسيط لمعادلة الحلقة (LEIR)

اقترح المؤلفون LEIR، وهو تمثيل وسيط عالي الكفاءة في استهلاك الرموز وقابل للتحقق، مصمم خصيصًا للتحسين القائم على النماذج اللغوية الكبيرة. وخلافًا لتمثيلات (IRs) الحالية (مثل CUDA و TVM TIR) التي تزدحم بالتفاصيل البرمجية المساعدة وتفاصيل الأجهزة، يقوم LEIR بتلخيص برامج التنسور في مكونين دلاليين لا يتجزآن:

بنية الحلقة (Loop Structure): تُعرف مساحة التكرار باستخدام رموز مدمجة للحلقات المتسلسلة ( $L$ )، والمتوازية ( $P$ )، والمتجهة ( $V$ )، وغير الممددة ( $U$ )، وحلقات ربط الخيوط/الكتل ( $B$ ).
بنية المعادلة (Equation Structure): تحدد الحساب الجبري في كل تكرار باستخدام معاملات العناصر، ومتغيرات التنسور (مع أنواع بيانات وهياكل ذاكرة صريحة)، والفواصل.
يستخدم LEIR التهيئة الضمنية لأنماط الاختزال الشائعة ويستخدم صيغة تعتمد على LaTeX للاستفادة من المعرفة المسبقة للنماذج اللغوية الكبيرة، مما يقلل بشكل كبير من استهلاك الرموز مقارنة بـ CUDA و TIR.

2. بناء مجموعة بيانات على مستوى الخطوة

يتم بناء مجموعة البيانات عبر مسار متعدد المراحل:

توليد المصدر: يتم توليد برامج PyTorch من معاملات مفردة وبنيات مركبة (مثل وحدات الانتباه - Attention modules)، لتغطي أشكالًا وأنواع بيانات متنوعة.
التحويل المدفوع باستراتيجية الخطوة الواحدة: بدلاً من الربط من البداية إلى النهاية، يقوم النظام بتفكيك مسارات التحسين المعقدة إلى استراتيجيات ذرية قابلة للتركيب. لكل LEIR أصلي، يتم تحديد الاستراتيجيات القابلة للتطبيق بناءً على الشروط المسبقة، وتطبيقها بشكل فردي، ومن ثم توليد LEIR المتحول الناتج.
إشراف سلسلة الأفك (CoT) المهيكل: يصاحب كل تحول مسار استدلال يشرح منطق الاستراتيجية ويوثق التغييرات الهيكلية المحددة (انتقالات حالة IR-to-IR).
التحقق والتصفية: يتم خفض البرامج المتحولة إلى TVM TIR وتنفيذها للتحقق من التكافؤ العددي. كما يتم تطبيق آلية لتصفية الاستراتيجيات لموازنة توزيع مجموعة البيانات، مما يمنع النماذج اللغوية الكبيرة من الإفراط في ملاءمة (Overfitting) الاستراتيجيات البسيطة عبر تقليل وزن التحولات "السهلة" والاحتفاظ بالتحولات "الصعبة" (مثل: online softmax، ونسخ FlashAttention).

3. تصنيف الاستراتيجيات

تغطي مجموعة البيانات 43 استراتيجية تحسين متميزة مصنفة إلى أربعة مستويات:

مستوى الرسم البياني (Graph Level): مثل إعادة ترتيب التعبيرات (expression reorder)، ودمج المعاملات (operator fusion).
مستوى المعامل (Operator Level): مثل إعادة ترتيب الحلقة (loop reorder)، وتقسيم الحلقة (loop tiling)، وتجزئة الحلقة (loop split).
مستوى الذاكرة (Memory Level): مثل القراءة/الكتابة من الذاكرة المخبئية (cache read/write)، وتحديد نطاق تخزين التخزين (set storage scope).
المستوى الرياضي (Mathematical Level): مثل online softmax، والتحليل إلى عوامل (factorization)، والإلغاء (cancellation).

المساهمات الرئيسية

تصميم LEIR: تمثيل وسيط عالي الكثافة وقابل للتحقق، يتيح تمثيلًا مدمجًا لحالات البرنامج الوسيطة والتطبيق السلس لاستراتيجيات التحسين الذرية، مما يقلل من بصمة الرموز بنسبة 60% تقريبًا مقارنة بـ TIR وبنسبة 83% مقارنة بـ CUDA.
بناء Step-TP: أول مجموعة بيانات لما بعد التدريب لتحسين التنسور القائم على النماذج اللغوية الكبيرة، والتي توفر إشرافًا أرضيًا ذريًا على مستوى الخطوة مع سلسلة أفك مهيكلة. وهي تحول مساحة البحث عن التحسين إلى قرارات أحادية الخطوة قابلة للتفسير.
التحقق التجريبي: تجارب واسعة النطاق تثبت أن Step-TP تمكن النماذج من توليد تحولات قابلة للتنفيذ وأرضية عبر استراتيجيات متنوعة، والقدرة على التنقل في مسارات تحسين طويلة الأمد.

النتائج

قيم المؤلفون النماذج (سلسلة Qwen3) المدربة على Step-TP عبر مهام التحسين أحادية الخطوة ومتعددة الخطوات:

كفاءة الرموز (Token Efficiency): تطلب LEIR باستمرار رموزًا أقل من TIR و CUDA، مما سمح لعمليات التحسين المعقدة بالاستيعاب ضمن نوافذ السياق العملية.
التحولات أحادية الخطوة: حققت النماذج المدربة على Step-TP دقة عالية في توليد تحولات قابلة للتنفيذ ومتكافئة عدديًا. على سبيل المثال، حقق نموذج Qwen3-32B معدل "تطابق تام" (Equal Pass) بنسبة 92% (مخرجات متطابقة تمامًا من حيث البتات) في حالات الاختبار المحجوزة. نجحت النماذج في تغطية مجموعة متنوعة من فئات الاستراتيجيات بما يتناسب مع توزيع مجموعة البيانات.
التحسين متعدد الخطوات: باستخدام خوارزميات البحث (Greedy, Beam, BFS, DFS, MCTS, Chain Search)، حققت النماذج تسريعًا زمنيًا كبيرًا. حقق البحث الشعاعي (Beam Search)، على سبيل المثال، متوسط تسريع قدره 42.90× وذروة بلغت 561.82×. نجحت النماذج في تركيب تسلسلات من 2 إلى 10 أنواع استراتيجية مختلفة لتحسين مسارات طويلة الأمد.
التعميم: ظلت معرفة التحسين التي التقطتها Step-TP فعالة عبر بنيات مختلفة لوحدات معالجة الرسومات (تم الاختبار على NVIDIA H20-3e و A100).
دراسات الاستئصال (Ablation Studies): أكدت النتائج أن الجمع بين LEIR، وسلسلة الأفك المهيكلة، وتصفية الاستراتيجية هو أمر بالغ الأهمية. أدى إزالة سلسلة الأفك (CoT) إلى تقليل كفاءة البحث متعدد الخطوات بشكل كبير (من 0.87 إلى 0.10)، وأدى إزالة تصفية الاستراتيجية إلى حدوث انحياز نحو التحولات البسيطة.

الأهمية

يزعم البحث أن Step-TP يعالج فجوة حرجة في المجال من خلال تحويل النماذج اللغبية الكبيرة من مولدات استدلالية عامة إلى وكلاء تحسين موثوقين قادرين على الاستدلال حول برامج التنسور على نطاق واسع. ومن خلال توفير إشراف أرضي على مستوى الخطوة، تمكن مجموعة البيانات من التعلم الفعال للبيانات والاستدلال المستقر، مما يسمح للنماذج بالتعميم عبر أعباء العمل وبنيات الأجهزة دون الاعتماد على التعلم التعزيزي المكلف أو الضبط الدقيق القائم على البحث. يضع هذا العمل حجر الأساس لأطر عمل أكثر مرونة وكفاءة في البيانات لتحسين التنسور يمكنها الاستدلال بشكل منهجي حول سلوك تنفيذ وحدات معالجة الرسومات.