💻 computer science

HTAM: Hierarchical Transition-Attended Memory for Operator Optimization

تقدم هذه الورقة HTAM، وهو إطار عمل هرمي ينظم خبرة التحسين في رسم بياني للانتقال من الخشن إلى الناعم لتوجيه توليد مشغلات وحدة معالجة الرسومات القائم على النماذج اللغوية الكبيرة، مما يؤدي إلى حل عدم تطابق الدقة وتحسين صحة وأداء النواة بشكل كبير.

المؤلفون الأصليون: Yining Zhang, Mingyang Yi, Chen Wang, Xuwen Xiang, Tianhe Jia, Zedong Dan, Chengqing Zong, Yue Wang

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yining Zhang, Mingyang Yi, Chen Wang, Xuwen Xiang, Tianhe Jia, Zedong Dan, Chengqing Zong, Yue Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم متدرب عبقري لكنه يفتقر للخبرة كيفية بناء أسرع محرك لسيارة سباق في العالم. لديك مكتبة من المخططات، لكن المتدرب غالبًا ما يتوه في التفاصيل أو يقترح تغييرات تبدو جيدة ولكنها تُعطل المحرك.

تقدم هذه الورقة البحثية نظام HTAM (الذاكرة الهرمية المعتمدة على الانتقال)، وهو نظام "مُوجّه ذكي" جديد مصمم لمساعدة النماذج اللغوية الكبيرة (LLMs) على كتابة أكواد برمجية عالية الأداء لبطاقات الرسوميات (GPUs).

إليك كيف يعمل HTAM، مشروحاً عبر تشبيهات بسيطة:

المشكلة: فخ "الشمولية المفرطة مقابل الضيق المفرط"

في الوقت الحالي، عندما يحاول الذكاء الاصطناعي إصلاح كود برمجي، فإنه يواجه معضلة:

نهج "التلميح الغامض": يحصل الذكاء الاصطناعي على اقتراح عام مثل، "اجعل الوصول إلى الذاكرة أسرع". هذا سهل التذكر، لكنه مجرد للغاية. لا يعرف الذكاء الاصطناعي كيف يقوم فعلياً بتغيير الكود لجعله أسرع.
نهج "التفصيل المفرط": يحصل الذكاء الاصطناعي على قائمة ضخمة من كل تغيير صغير في الكود تم إجراؤه على الإطلاق. هذه معلومات كثيرة جداً. الأمر يشبه محاولة العثور على برغي محدد في مستودع مليء بالملايين من البراغي؛ يصاب الذكاء الاصطناعي بالارتباك ولا يستطيع العثور على الخطوة الصحيحة.

الحل: "كتاب وصفات الشيف الماهر"

يحل HTAM هذه المشكلة عن طريق تنظيم ذاكرة الذكاء الاصطناعي مثل كتاب وصفات الشيف الماهر، والمكون من ثلاث طبقات:

القائمة (التوجيهات العالمية): أولاً، يسأل النظام، "ما هو الهدف الرئيسي؟" هل المشكلة هي أن السيارة تنفد منها الوقود (الوصول إلى الذاكرة)؟ أم أن المحرك يسخن (إعادة استخدام البيانات)؟ أم أن العجلات تدور بسرعة كبيرة جداً (التوازي)؟
- التشبيه: هذا يشبه اتخاذ قرار: "اليوم، نحن نصلح المكابح"، بدلاً من محاولة إصلاح السيارة بأكملها دفعة واحدة.
الوصفات المحددة (الاستراتيجيات المحلية): بمجرد تحديد الهدف (مثل "إصلاح المكابح")، يبحث النظام عن تقنيات محددة ومثبتة لهذا الهدف.
- التشبيه: بدلاً من مجرد قول "أصلح المكابح"، فإنه يستعرض وصفة محددة: "استبدل وسادات المكابح بأخرى سيراميك" أو "اضبط الضغط الهيدروليكي". هذه خطوات ملموسة وقابلة للتنفيذ يمكن للذكاء الاصطناعي كتابتها في الكود فعلياً.
خريطة "الخطوة التالية" (خبرة الانتقال): هذا هو السر وراء نجاحه. لا يتذكر HTAM فقط ماذا يفعل، بل يتذكر أيضاً ماذا يفعل بعد ذلك.
- التشبيه: يعرف الشيف الماهر أنه بعد "تشويح اللحم"، فإن الخطوة المنطقية التالية هي "إضافة السائل لتنظيف المقلاة (deglaze)". إذا حاولت "إضافة السائل" قبل التشويح، فلن تنجح العملية. يتعلم HTAM هذه التسلسلات. فهو يعرف أنه إذا قام للتو بإصلاح "الوصول إلى الذاكرة"، فقد يكون أفضل شيء لتجربته بعد ذلك هو "إعادة استخدام البيانات"، وليس "معالجة الحدود".

كيف يعمل في الواقع

يعمل النظام في حلقة مستمرة، حيث يعمل كمدرب يوجه المتدرب:

تحقق من لوحة النتائج: ينظر الذكاء الاصطناعي إلى الكود الحالي ويرى أين هو بطيء أو معطل.
اختر هدفاً: باستخدام "القائمة" الخاصة به (الذاكرة العالمية)، يختار اتجاهاً رفيع المستوى (مثل "دعنا نحسن كيفية نقل البيانات").
اختر حركة: باستخدام "الوصفات" الخاصة به (الذاكرة المحلية)، يختار تغييراً برمجياً محدداً (مثل "استخدم طريقة أسرع لتحميل البيانات").
انظر إلى التاريخ: قبل القيام بالحركة، يتحقق من "خريطة الخطوة التالية" (ذاكرة الانتقال). يسأل نفسه: "لقد فعلنا X للتو؛ هل يخبرنا التاريخ أن القيام بـ Y بعد ذلك هو فكرة جيدة؟"
اكتب واختبر: يكتب الذكاء الاصطناعي الكود الجديد، ويختبره، وإذا نجح، يقوم بتحديث كتاب الوصفات الخاص به بهذا النجاح الجديد. إذا فشل، يقوم بتحديث الكتاب بما يجب عدم فعله.

النتائج: متدرب أسرع وأذكى

اختبر المؤلفون هذا النظام على KernelBench، وهو مجموعة اختبار معيارية لأداء أكواد وحدات معالجة الرسومات.

الدقة: نجح النظام في كتابة الكود بشكل صحيح بنسبة 98.4% من المرات (مقارنة بنسب أقل بكثير لطرق الذكاء الاصطناعي القياسية).
السرعة: وجد الحل الأسرع بنسبة 84% من المرات.
الأداء: كان الكود الذي كتبه، في المتوسط، أسرع بمرتين تقريباً من الكود الذي كتبته طرق الذكاء الاصطناعي القياسية.

لماذا يهم هذا الأمر

يزعم البحث أن تنظيم الذاة بهذه الطريقة — عبر الفصل بين "الصورة الكبيرة" و"التفاصيل الدقيقة" وتذكر ترتيب العمليات — يحول البحث الفوضوي عن الكود المثالي إلى رحلة منظمة وفعالة. إنه لا يخمن فحسب؛ بل يتبع مساراً متعلمًا من قرارات الخبراء، مما يجعله أفضل بكثير في كتابة الأكواد المعقدة وعالية السرعة المطلوبة لتطبيقات الذكاء الاصطناعي والرسوميات الحديثة.

ملخص تقني: HTAM - الذاكرة الهرمية المعتمدة على الانتقال لتحسين العمليات (Operator Optimization)

1. بيان المشكلة

أدى التوسع السريع في النماذج اللغوية الكبيرة (LLMs) وتطور بنيات المسرعات المتخصصة (مثل وحدات معالجة الرسومات GPUs) إلى خلق طلب حاسم على تطوير العمليات (Operators) عالية الأداء. وبينما أظهرت النماذج اللغوية الكبيرة قدرات قوية في توليد الأكواد، فإن تحسين نوى (Kernels) وحدات معالجة الرسومات يظل مشكلة بحث تعتمد على معرفة العتاد (Hardware-aware search)، وهي مشكلة يصعب حلها عبر التوليد لمرة واحدة (One-shot generation).

يكمن التحدي الجوهري في عدم تطابق التدرج (Granularity Mismatch) في طرق التحسين الحالية القائمة على النماذج اللغوية الكبيرة:

الأساليب ذات التدرج الخشن (Coarse-grained approaches): (مثل التلميحات النصية أو تشخيص الاختناقات) هي أساليب قابلة لإعادة الاستخدام وسهلة الاسترجاع، لكنها غالبًا ما تكون مجردة للغاية بحيث لا يمكنها توجيه توليد كود CUDA قابل للتنفيذ.
الأساليب ذات التدرج الناعم (Fine-grained approaches): (مثل تتبعات التنفيذ التفصيلية) توفر تفاصيل قابلة للتنفيذ، لكنها تخلق مساحة بحث ضخمة ومليئة بالضجيج، مما يجعل الاسترجاع غير فعال ويحجب مواضع الاختناق في التحسين.

علاً على ذلك، يتطلب تحسين النواة قرارات متعددة المراحل مترابطة (مثل اختيار أحجام البلاطات/Tiles، وتعيين الخيوط/Threads، وأنماط الذاكرة، إلخ) والترجمة غير البديهية لهذه الاستراتيجيات إلى كود صحيح يراعي خصائص العتاد. وتكافح الطرق الحالية لتنظيم خبرة التحسين لتوجيه هذا البحث متعدد الخطوات مع توفير أدلة ملموسة لتعديلات الكود.

2. المنهجية: إطار عمل HTAM

لمعالجة عدم تطابق التدرج، يقترح البحث إطار عمل HTAM (الذاكرة الهرمية المعتمدة على الانتقال)، وهو إطار عمل من "الخشن إلى الناعم" ينظم خبرة التحسين في بنك ذاكرة مهيكل. يحاكي HTAM عملية اتخاذ القرار لدى الخبراء البشر: أولاً باختيار اتجاه عالمي رفيع المستوى، ثم صقله باستراتيجيات محلية ملموسة.

2.1 الرسم البياني للانتقال الهرمي (HTG)

ينظم HTAM ذاكرته كـ رسم بياني انتقالي هرمي $M = (V_G, V_{GL}, E_G)$ :

العقد العالمية ( $V_G$ ): تمثل اتجاهات التحسين الخشنة (مثل "الوصول إلى الذاكرة"، "إعادة استخدام البيانات"، "الإنتاجية"). تخزن هذه العقد النوايا عالية المستوى، والبديهيات الثابتة (الأهداف، المحفزات، المخاطر)، وإحصائيات وقت التشغيل (معدلات النجاح، اتجاهات التحسن).
العقد المحلية ( $V_{GL}$ ): تمثل استراتيجيات محددة وقابلة للتنفيذ تحت عقدة عالمية أم (مثل "تحميل المتجهات المتوافقة" تحت "الوصول إلى الذاكرة"). تخزن هذه العقد المعرفة على مستوى التنفيذ، بما في ذلك أنماط التعديل، وفحوصات التحقق، والأدلة الإيجابية والسلبية من عمليات التنفيذ السابقة.
حواف الانتقال ( $E_G$ ): تربط بين العقد العالمية، وتخزن المعرفة المعتمدة على المسار المتعلقة بالانتقال من اتجاه عالمي إلى آخر. تسجل هذه الحواف متى يكون الانتقال قابلاً للتطبيق، ومنطقه، ومخاطره، والأدلة على مستوى المسار (مكاسب الأداء، نتائج التجميع/Compilation).

2.2 عملية التحسين

يسير التحسين كعملية تطور مكونة من $T$ خطوة حيث يتم تحديث التنفيذ $c_t$ بشكل تكراري:

تلخيص الحالة: يتم تلخيص التنفيذ الحالي والتاريخ في حالة مدمجة $s_t$ تحتوي على سياق المهمة، والتغذية الراجعة (التجميع، الصحة، وقت التشغيل)، ومسارات التحسين الأخيرة.
اختيار الاتجاه العالمي: يختار HTAM اتجاهًا عالميًا $g_t$ $g_{t}$ بناءً على الحالة الحالية والتاريخ الأخير. يستخدم آلية تسجيل النقاط المعتمدة على الانتقال التي تجمع الأدلة من السوابق الأخيرة للاتجاهات العالمية ( $p^g_t$ $p_{t}^{g}$ ) باستخدام أوزان مدركة للموقع (مستوحاة من آليات الانتباه/Attention). وهذا يتجنب التكلفة العالية لتخزين ذكريات السلسلة الكاملة مع التقاط التبعيات متعددة الخطوات.
- يتم حساب النتيجة كمجموع مرجح لمنفعة الانتقال من العقد السابقة إلى العقدة المرشحة.
- توازن سياسة Softmax بين استغلال (Exploitation) الانتقالات ذات المكافأة العالية والاستكشاف (Exploration).
اختيار الاستراتيجية المحلية: بمجرد اختيار الاتجاه العالمي، تتقيد مساحة البحث بالعقد المحلية المرتبطة به. يقوم نموذج لغوي كبير بتقييم الاستراتيجيات المحلية المرشحة بناءً على الحالة، والتنفيذ الحالي، وذاكرة العقد العالمية والمحلية المحددة لاختيار أفضل استراتيجية $l_t$ .
التنفيذ والتحديث: يقوم النموذج اللغوي بتوليد التنفيذ التالي $c_{t+1}$ مسترشدًا بالاستراتيجية المحلية المختارة. ثم تُستخدم التغذية الراجعة للتقييم لتحديث HTG: إحصائيات العقد العالمية، وأدلة العقد المحلية، وتغذية حواف الانتقال الراجعة لتوجيه الخطوات المستقبلية.

3. المساهمات الرئيسية

إطار عمل من الخشن إلى الناعم: يقوم HTAM بتفكيك تحسين العمليات القائم على النماذج اللغوية الكبيرة إلى اختيار الاتجاه العالمي وصقل الاستراتيجية المحلية، مما يعالج عدم تطابق التدرج في الطرق الحالية.
تنظيم الذاكرة المهيكل: يقدم رسمًا بيانيًا انتقاليًا هرميًا ينظم الخبرة في عقد عالمية، وعقد محلية، وحواف انتقال. هذا الهيكل يقلل من مساحة البحث وتعقيد التخزين مقارنة بذاكرة السلسلة الكاملة أو الاسترجاع المسطح.
ً* صنع القرار المعتمد على الانتقال: يستخدم إطار العمل آلية تسجيل النقاط التي تجمع تاريخ التحسين الأخير عبر ذاكرة الحواف، مما يوجه القرارات متعددة الخطوات دون التكلفة الأسية لتخزين المسارات الكاملة.
التحقق التجريبي: تُظهر التجارينات الواسعة أن HTAM يتفوق بشكل كبير على النماذج المرجعية (Baselines) في الصحة، وسرعة إيجاد الحلول السريعة، ومتوسط السرعة الهندسي.

4. النتائج التجريبية

أُجريت التجارب على KernelBench، وهي مجموعة تضم 250 مهمة (المستوى-1: عمليات مفردة، المستوى-2: عمليات مدمجة، المستوى-3: مهام على مستوى النموذج)، باستخدام نموذج DeepSeek-R1 كنموذج أساسي على وحدات NVIDIA A100.

مكاسب الأداء: حقق HTAM نسبة صحة بلغت 98.4%، و84.0% في Fast@1 (نسبة المهام التي حصلت على حل صحيح وأسرع من المحاولة الأولى)، ومتوسط سرعة هندسي قدره 1.978×.
المقارنة مع النماذج المرجعية:
- مقارنة بأقوى نموذج مرجعي تمت إعادة إنتاجه (Flat Memory Retrieval)، حسّن HTAM الصحة بنسبة 8.8 نقطة مئوية، وFast@1 بنسبة 25.2 نقطة مئوية، وزاد متوسط السرعة من 1.464× إلى 1.978×.
- تفوق بشكل كبير على التوليد التقليدي للنماذج اللغوية الكبيرة وطرق الصقل القائمة على التغذية الراجعة فقط.
التعميم:
- نقل الخلفية (Backend Transfer): ظل HTAM فعالاً عبر مختلف الخلفيات للنماذج اللغوية الكبيرة (DeepSeek-R1, GPT-4o, DeepSeek-V4-Flash)، رغم أن الأداء ارتبط بقدرة الخلفية على توليد الكود.
- النقل عبر الاختبارات المرجعية (Cross-Benchmark Transfer): عند تهيئته بذاكرة مبنية من KernelBench وتطبيقه على مهام Robust-KBench، أظهر HTM تحسنًا في السرعة (على سبيل المثال +1.76× لـ LayerNorm)، مما يشير إلى خبرة تحسين قابلة للنقل، وإن كانت المكاسب تعتمد على نوع العملية.
دراسات الاستئصال (Ablation Studies): أدى إزالة الهيكل الهرمي أو الذاكرة المحلية إلى انخفاض كبير في الأداء (على سبيل المثال، انخفاض السرعة إلى 0.974× بدون الذاكرة المحلية)، مما يؤكد أن الخبرة الهيكلية (العالمية-المحلية) أمر بالغ الأهمية. وبالمثل، أدى إزالة تسجيل النقاط المعتمد على السوابق إلى تقليل الأداء، مما يؤكد الحاجة إلى صنع قرار يعتمد على التاريخ.

5. الأهمية والادعاءات

يزعم البحث أن الذاكرة المهيكلة لا تعمل مجرد مستودع للحالات السابقة، بل كـ أولوية قرار (Decision Prior) لاختيار اتجاه التحسين التالي المفيد. من خلال تنظيم الخبرة هرميًا ونمذجة الانتقالات بين خطوات التحسين، يُمكّن HTAM النماذج اللغوية الكبيرة من التنقل في مساحة البحث المعقدة والمتعددة المراحل لتحسين نوى وحدات معالجة الرسومات بشكل أكثر فعالية من الاسترجاع المسطح أو التوليد لمرة واحدة.

يؤكد المؤلفون أن HTAM يوفر مسارًا عمليًا لأتمتة تطوير العمليات عالية الأداء، محققًا مستويات تقارب مستويات الخبراء في الصحة والسرعة مع الحفاظ على تكلفة API عبر الإنترنت معقولة (حوالي 0.21 دولار لكل مهمة لعملية تحسين مكونة من 6 خطوات باستخدام DeepSeek-R1).

القيود المعترف بها:

التقييم محدود بالتكاليف الحسابية وتكاليف الـ API، حيث يركز بشكل أساسي على KernelBench وجزء من Robust-KBench.
يعتمد النظام على التحقق القابل للتنفيذ (التجميع، الصحة، وقت التشغيل) بدلاً من التحقق الرسمي، مما يعني أن الصحة ليست مضمونة لجميع الأشكال أو توزيعات البيانات الممكنة.
قد يتطلب التعميم على عتاد أو عائلات عمليات مختلفة تمامًا تكييف مخطط الذاكرة.