💬 NLP

Hardware Co-Design Scaling Laws via Roofline Modelling for On-Device LLMs

تقترح هذه الورقة إطار عمل مبدئي للتصميم المشترك بين الأجهزة والبرمجيات يستخدم قوانين القياس ونمذجة "روفلاين" (roofline modeling) لتحسين دقة النموذج وزمن انتقال الاستدلال بشكل مشترك، مما يتيح التحديد السريع للبنى ذات الأمثلية "باريتو" (Pareto-optimal) لنشر النماذج اللغوية الكبيرة على الأجهزة ذات الموارد المحدودة.

المؤلفون الأصليون: Luoyang Sun, Jiwen Jiang, Yifeng Ding, Fengfa Li, Yan Song, Haifeng Zhang, Jian Ying, Lei Ren, Kun Zhan, Wei Chen, Yan Xie, Cheng Deng

نُشر 2026-02-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Luoyang Sun, Jiwen Jiang, Yifeng Ding, Fengfa Li, Yan Song, Haifeng Zhang, Jian Ying, Lei Ren, Kun Zhan, Wei Chen, Yan Xie, Cheng Deng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حزم حقيبة سفر لرحلة ما. لديك هدفان رئيسيان: تريد إحضار أكبر عدد ممكن من الأشياء الرائعة (هذا هو الدقة - Accuracy)، ولكن لديك أيضاً حد وزن صارم للغاية وتحتاج إلى القدرة على التحرك بسرعة عبر المطار دون أن تتعطل (هذه هي السرعة/زمن الاستجابة - Latency/Speed).

إذا حزمت أشياء ثقيلة وعالية الجودة، فستكون دقيقاً في "أسلوب سفرك"، لكنك ستكون بطيئاً وثقيلاً جداً. وإذا حزمت فقط أشياء خفيفة ورخيصة، فستكون سريعاً، لكن رحلتك ستكون مملة.

هذه الورقة البحثية، "قوانين القياس للتصميم المشترك للأجهزة (Hardware Co-Design Scaling Laws)"، هي في الأساس "دليل حزم رئيسي" رياضي للمهندسين الذين يبنون الذكاء الاصطناعي (نماذج اللغات الكبيرة - LLMs) الذي يحتاج للعيش داخل أجهزة صغيرة مثل الروبوتات، أو السيارات ذاتية القيادة، أو الهواتف الذكية.

إليك تفصيل كيفية حلهم لهذه المشكلة:

1. المشكلة: "الدماغ" مقابل "الجسد"

عادةً ما يركز باحثو الذكاء الاصطناعي فقط على جعل "الدماغ" أكثر ذكاءً (زيادة المعلمات/Parameters). ولكن عندما تضع ذلك الدماغ داخل جهاز صغير (الجسد)، فإن الجسد يكون له حدود. فالسيارة ذاتية القيادة لا يمكنها الانتظار لمدة 5 ثوانٍ حتى "يفكر" الذكاء الاصطناعي قبل أن تضغط على المكابح. فالجهاز (الجسد) لديه كمية محدودة من "العضلات" (القدرة الحسابية) و"تدفق الدم" (نطاق عرض الذاكرة/Memory Bandwidth).

في الماضي، كان المهندسون يبنون ذكاءً اصطناعياً ضخماً ثم يحاولون "تقليصه" ليناسب الجهاز. تقول هذه الورقة: "لا تبنِ أولاً ثم قلص لاحقاً. صمم الدماغ والجسد معاً منذ اليوم الأول."

2. الحل: خريطة "السطح المائل" (The Roofline Map)

يستخدم الباحثون شيئاً يسمى نموذج السطح المائل (Roofline Model). تخيل منزلاً بسقف مائل.

إذا كنت تسير تحت الجزء المنخفض من السقف، فأنت محدود بمقدار المساحة التي تملكها (هذا هو الارتباط بالذاكرة - Memory-Bound؛ أي أن الجهاز يعاني في نقل البيانات حول).
إذا كنت تحت الجزء المرتفع، فأنت محدود بمدى سرعة ركضك (هذا هو الارتباط بالحوسبة - Compute-Bound؛ أي أن الجهاز يعاني في إجراء العمليات الحسابية).

باستخدام هذه "الخريطة"، يمكن للباحثين التنبؤ بدقة أين سيتعثر نموذج الذكاء الاصطناعي على قطعة عتاد محددة (مثل شريحة NVIDIA Jetson) حتى قبل بنائها.

3. السر الخفي: "عريض وضحل" (استراتيجية MoE)

الاكتشاف الأكثر إثارة للدهشة في الورقة هو كيف يجب أن يكون شكل "الدماغ".

معظم أنظمة الذكاء الاصطراعي الكبيرة تشبه برجاً عميقاً وضيقاً: طبقات عديدة من المنطق متراكمة فوق بعضها البعض. ولكن بالنسبة للأجهزة الصغيرة، وجد الباحثون أنه من الأفضل بك הרבה بناء دماغ "عريض وضحل" باستخدام ما يسمى "خليط الخبراء" (Mixture of Experts - MoE).

التشبيه:

الذكاء الاصطناعي القياسي (عميق/ضيق): تخيل بروفيسوراً واحداً فائق الذكاء يتعين عليه قراءة كل صفحة في كل كتاب في المكتبة للإجابة على سؤال واحد. إنه ذكي جداً، لكن الأمر يستغرق وقتاً طويلاً.
الذكاء الاصطناعي المصمم المشترك (عريض/ضحل/MoE): تخيل مكتبة ضخمة مليئة بـ 16 متخصصاً مختلفاً. عندما تطرح سؤالاً عن علم الأحياء، فأنت لا توقظ خبير الرياضيات أو خبير التاريخ؛ بل توقظ عالم الأحياء فقط.

لأنك "تنشط" عدداً قليلاً من الخبراء في كل مرة، يظل الذكاء الاصطناعي ذكياً للغاية (سعة عالية) ولكنه يظل سريعاً للغاية (زمن استجابة منخفض) لأنه لا يقوم بأعمال غير ضرورية.

4. لماذا يهم هذا؟

قبل هذه الورقة، كان اختيار نموذج الذكاء الاصطناعي المناسب لروبوت قد يستغرق شهوراً من التجربة والخطأ. لقد ابتكر الباحثون صيغة رياضية تقوم بالعمليات الحسابية نيابة عنك. الآن، يستغرق الأمر أياماً فقط.

النتيجة: لقد صمموا ذكاءً اصطناعياً مخصصاً بنفس سرعة النماذج القياسية (مثل Qwen)، ولكنه أكثر دقة بنسبة 19%. وفي عالم السيارات ذاتية القيادة أو الروبوتات الطبية، فإن زيادة "الذكاء" بنسبة 19% عند نفس السرعة هي قفزة هائلة للأمام.

ملخص في جملة واحدة:

بدلاً من بناء دماغ ضخم ومحاولة حشره داخل روبوت صغير، توفر هذه الورقة مخططاً رياضياً لبناء دماغ "متخصص" بحجم مثالي لعضلات الروبوت منذ البداية.

ملخص تقني: قوانين التدرج للتصميم المشترك بين الأجهزة والبرمجيات عبر نمذجة "سقف الأداء" (Roofline) للنماذج اللغوية الكبيرة على الأجهزة

1. بيان المشكلة

يمثل نشر النماذج اللغوية الكبيرة (LLMs) على الأجهزة ذات الموارد المحدودة (مثل المركبات ذاتية القيادة، والروبوتات، والأجهزة المحمولة) توتراً جوهرياً بين دقة النموذج وكفاءة الاستدلال. فالنماذج المعمارية التقليدية للنماذج اللغوية الكبيرة مُحسّنة للعمل على وحدات معالجة الرسوميات (GPUs) السحابية ذات الإنتاجية العالية، لكن المنصات المدمجة في الأجهزة تواجه قيوداً صارمة على عرض نطاق الذاكرة (Memory Bandwidth)، وذروة الحوسبة، وإجمالي سعة الذاكرة.

غالباً ما تقوم طرق البحث عن البنية العصبية (NAS) الحالية بتحسين هدف واحد (مثل خسارة التحقق) دون مراعاة التفاعل المحدد بين الأجهزة والبرمجيات. وبناءً على ذلك، فإن النموذج الذي قد يُعتبر "مثالياً" من حيث عدد المعلمات قد يكون غير قابل للاستخدام بسبب زمن الانتقال العالي أو بصمة الذاكرة الكبيرة على نظام على شريحة (SoC) محدد. هناك نقص في وجود إطار عمل منهجي ينمذج بشكل مشترك كيفية تفاعل المعلمات الهيكلية (العمق، العرض، التشتت، إل�خ) مع خصائص الأجهزة (حدود نموذج سقف الأداء/Roofline) لتحديد جبهة باريتو (Pareto frontier) بين الدقة وزمن الانتقال.

2. المنهجية

يقترح المؤلفون إطار عمل "قانون التدرج للتصميم المشترك بين الأجهزة والبرمجيات" الذي يدمج مجالين متميزين من النمذجة:

نمذجة الدقة (قوانين تدرج الخسارة): بدلاً من تدريب كل بنية مرشحة، يقوم المؤلفون بنمذجة خسارة التحقق $\hat{L}(\theta)$ كدالة تحليلية صريحة للمعلمات الهيكلية (العمق $l$ ، العرض $d$ ، نسبة توسيع شبكة التغذية الأمامية $r$ ، معدل تنشيط MoE $\rho$ ، ونسبة GQA). ويتم ضبط هذه الدالة تجريبياً باستخدام تقريب متعدد الحدود مشتق من تدريب 170 بنية متنوعة (كثيفة وMoE) على 10 مليارات توكن (Token).
نمذجة الأداء (زمن انتقال يعتمد على نموذج سقف الأداء/Roofline): يستخدم المؤلفون نموذج سقف الأداء (Roofline Model) لتوصيف زمن انتقال الاستدلال. ويقومون بتصنيف العمليات (Operators) إما كعمليات مقيدة بالحوسبة (Compute-bound) أو مقيدة بنطاق الذاكرة (Memory-bound) بناءً على كثافتها الحسابية. كما يشتقون تعبيرات رياضية لزمن الانتقال النهائي، مع مراعاة كل من مرحلة التعبئة المسبقة (Prefill phase) (المقيدة بالحوسبة، وتعقيدها $O(S^2)$ ) ومرحلة فك التشفير (Decode phase) (المقيدة بنطاق ذاكرة الوصول العشوائي، وتعقيدها $O(S)$ )، بما في ذلك تأثير ذاكرة التخزين المؤقت لـ KV-cache.
البحث عن البنية المثلى وفق جبهة باريتو (PLAS): من خلال ربط نموذج الخسارة بنموذج زمن الانتقال، يحدد إطار العمل جبهة باريتو—وهي مجموعة البنى التي تقدم أقل خسارة ممكنة لأي ميزانية زمن انتقال معينة.
التحسين النظري: يوسع المؤلفون النتائج التجريبية إلى إطار عمل رياضي رسمي، حيث يصيغون البحث عن البنية كمسألة تحسين مقيدة. ويشتقون حلولاً مغلقة (Closed-form solutions) للمعلمات المثلى عبر أنظمة الأجهزة المختلفة: المقيدة بزمن الانتقال، المقيدة بالذاكرة، والمقيدة بكليهما.

3. المساهمات الرئيسية

أول قانون تصميم مشترك مبني على المبادئ: يقدم البحث أول إطار عمل تشغيلي يعامل قيود الأجهزة وتدرج النماذج كمسألة تحسين موحدة للنماذج اللغوية الكبيرة على الأجهزة.
قانون تدرج للبنية: نموذج تنبؤ بالخسارة عالي الدقة يلتقط كيف يؤثر التشتت (MoE) والمقايضات بين العرض والعمق على جودة النموذج.
مبادئ التصميم الواعية بالأجهزة: اشتقاق "قواعد ذهبية" محددة للنشر على الأجهزة، مثل قانون تدرج العرض والتشتت ( $\rho^* \propto d^{(\beta_1-\beta_2)/\alpha_\rho}$ )، والذي يحدد كيف يجب أن يتدرج التشتت مع عرض النموذج تحت قيود الذاكرة.
مكاسب كفاءة كبيرة: يقلل إطار العمل عملية اختيار البنية من شهور من الضبط اليدوي/التدريب إلى بضعة أيام فقط من التنبؤ النظري والتحقق.

4. النتائج والمكتشفات الرئيسية

هيمنة نماذج Mixture-of-Experts (MoE): تحت قيد حجم الدفعة (Batch size) بواقع 1، وهو الشائع في أجهزة الحافة، تكون بنى MoE هي 100% من التكوينات المثلى وفق جبهة باريتو. فهي توفر سعة أعلى بنفس تكلفة الحوسبة لكل توكن مقارنة بالنماذج الكثيفة.
تفضيل "العريض والضحل": على عكس النماذج السحابية التي تفضل العمق، فإن النماذج المثلى للأجهزة تكون ضحلة نسبياً (عادة أقل من 20 طبقة) وعريضة. يوفر العرض تقليلاً أكثر كفاءة للخسارة لكل وحدة زمن انتقال مقارنة بالعمق تحت القيود الصارمة.
التحسين الخاص بكل مرحلة:
- النماذج المُحسّنة لمرحلة التعبئة المسبقة (Prefill-optimized) تفضل عدداً أقل من الخبراء (Experts) ونسب GQA أكبر.
- النماذج المُحسّنة لمرحلة فك التشفير (Decode-optimized) تفضل عدداً أكبر من الخبراء لتعظيم السعة، حيث أن زيادة مجموعة الخبراء لها تأثير ضئيل على زمن انتقال فك التشفير لكل توكن.
التحقق التجريبي: على جهاز NVIDIA Jetson Orin، حققت بنية مصممة بشكل مشترك انخفاضاً بنسبة 19.42% في الارتياب (Perplexity) على مجموعة بيانات WikiText-2 مقارنة بنموذج Qwen2.5-0.5B مع الحفاظ على نفس زمن انتقال الاستدلال.
تأثير التكميم (Quantization): يعمل تكميم INT8 على إزاحة جبهة باريتو نحو زمن انتقال أقل، وإن كانت المكاسب دون خطية بسبب الأعباء الإضافية للعمليات غير الخطية (مثل softmax وlayer norm) التي تظل بدقة أعلى.

5. الأهمية

هذا العمل ذو أهمية بالغة لمجال الذكاء الاصطناعي الفيزيائي (Physical AI) والذكاء الاصطناعي المتجسد (Embodied AI). فمع انتقال النماذج اللغوية الكبيرة من مراكز البيانات إلى الأنظمة ذاتية القيادة، تصبح القدرة على تصميم نماذج "أصلية للأجهزة" (Hardware-native) بسرعة أمراً حاسماً. ومن خلال توفير جسر رياضي بين بنية Transformer ونموذج سقف الأداء (Roofline)، يُمكّن المؤلفون المهندسين من تصميم نماذج عالية الكفاءة والأداء مصممة خصيصاً لميزانيات أجهزة محددة، مما يسرع نشر الوكلاء الأذكياء في البيئات الواقعية ذات الموارد المحدودة.