💬 NLP

ArcLight: A Lightweight LLM Inference Architecture for Many-Core CPUs

تُعد ArcLight بنية تحتية خفيفة الوزن لاستنتاج النماذج اللغوية الكبيرة (LLM) مصممة خصيصاً للمعالجات متعددة الأنوية، حيث تتغلب على اختناقات الوصول إلى الذاكرة عبر تقنية NUMA من خلال الإدارة الفعالة للذاكرة، وجدولة الخيوط، والتوازي المنسق للموترات، محققةً إنتاجية أعلى بنسبة تصل إلى 46% مقارنة بالأطر البرمجية السائدة مع الحفاظ على توافق واسع مع مختلف الأجهزة.

المؤلفون الأصليون: Yuzhuang Xu, Xu Han, Yuxuan Li, Wanxiang Che

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuzhuang Xu, Xu Han, Yuxuan Li, Wanxiang Che

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من المعرفة (نموذج لغوي كبير، أو LLM) تريد قراءتها والإجابة على الأسئلة منها. عادةً، يستخدم الناس بطاقات رسوميات (GPUs) فائقة السرعة وباهظة الثمن للقيام بذلك. ولكن ماذا لو كان لديك فقط خادم كمبيوتر ضخم وقوي يحتوي على مئات النوى من المعالجات العادية (CPUs)؟

هنا يأتي دور ورقة بحثية بعنوان ARCLIGHT. إنها طريقة جديدة لتشغيل هذه النماذج الذكية على خوادم الـ CPU الضخمة، وهي تحل مشكلة محددة، مملة، ولكنها قاتلة: ازدحام حركة المرور "عبر العقد" (Cross-Node).

إليك قصة ARCLIGHT، مشروحة ببساطة.

١. المشكلة: ازدحام حركة المرور في "مبنى المكاتب"

تخيل مبنى مكاتب ضخمًا يضم ١٢٨ موظفًا (نوى المعالج CPU) و٤ طوابق منفصلة (عقد NUMA). كل طابق لديه خزانة إمدادات خاصة به (الذاكرة المحلية).

الطريقة القديمة (llama.cpp): يطلب المدير من جميع الموظفين الـ ١٢٨ العمل معًا على مهمة واحدة. لكن المشكلة هي: المدير لا يهتم في أي طابق توجد خزانة الإمدادات. إذا احتاج موظف في الطابق ١ إلى دباسة من خزانة الطابق ٤، فعليه ركوب المصعد، والمشي عبر المبنى، والانتظار في الطوال.
النتيجة: على الرغم من وجود ١٢٨ موظفًا، إلا أنهم يقضون ٧٥٪ من وقتهم في انتظار المصاعد والمشي. إنهم "متوقفون" بسبب المسافة بين العامل والبيانات. وهذا ما يسمى "جدار ذاكرة Cross-NUMA".

البرمجيات الحالية (مثل llama.cpp) بُنيت لأجهزة كمبيوتر أصغر وأبسط. عندما تحاول تشغيلها على هذه الخوادم العملاقة ذات الـ ١٢٨ نواة، فإنها تتعثر لأنها لا تعرف كيف تبقي العمال في طوابقهم الخاصة.

٢. الحل: ARCLIGHT (المدير الذكي)

قام المؤلفون ببناء ARCLIGHT من الصفر. اعتبره ليس مجموعة برمجيات ثقيلة وضخمة، بل مجموعة أدوات خفيفة وبسيطة مصممة خصيصًا لهذه المباني المكتبية الضخمة.

لقد أصلح الازدحام باستخدام ثلاث حيل رئيسية:

أ. استراتيجية "خزانة الإمدادات المحلية" (إدارة الذاكرة)

بدلاً من ترك نظام التشغيل يضع الإمدادات بشكل عشوائي، يقول ARCLIGHT: "إذا كنت في الطابق ١، فإن إمداداتك تبقى في الطابق ١."

يقوم بإنشاء خزانات إمدادات منفصلة لكل طابق.
يضمن أنه عندما يحتاج الموظف إلى بيانات، فإنه يأخذها من الخزانة الموجودة بجانبه مباشرة. لا مصاعد، ولا مشي.

ب. استراتيجية "الفريق المنقسم" (توازي التنسور - Tensor Parallelism)

في الطريقة القديمة، حاول الجميع القيام بنفس الرياضيات تمامًا في نفس الوقت، مما تسبب في ارتباك حول من يحتاج ماذا.
غير ARCLIGHT قواعد اللعبة:

قام بتقسيم المسألة الرياضية الكبيرة إلى أربعة أجزاء أصغر.
الطابق ١ يقوم بالجزء الأول باستخدام بيانات الطابق ١.
الطابق ٢ يقوم بالجزء الثاني باستخدام بيانات الطابق ٢.
يعملون بشكل مستقل تمامًا. لا يحتاجون للتحدث مع بعضهم البعض حتى النهاية.
التشبيه: بدلاً من أن يحاول ١٢٨ شخصًا بناء قلعة "ليغو" عملاقة معًا (يتصادمون مع بعضهم البعض)، أنت تعطي ٣٢ شخصًا في الطابق ١ جزءًا صغيرًا من القلعة لبنائه، و٣٢ شخصًا في الطابق ٢ يبنون جزءهم الخاص. يلتقون فقط في النهاية لتركيب القطع معًا.

ج. "خط التجميع المرن" (جدولة الخيوط - Thread Scheduling)

أحيانًا، ينتهي العمال في الطوابق المختلفة من مهامهم الصغيرة بسرعات مختلفة.

الطريقة القديمة: ينتظر الجميع أبطأ شخص قبل الانتقال إلى الخطوة التالية. (الحاجز العالمي - Global Barrier).
طريقة ARCLIGHT: يستخدم نظامًا أكثر ذكاءً. إذا انتهى الطابق ١ مبكرًا، يمكنهم بدء المهمة الصغيرة التالية فورًا، بينما لا يزال الطابق ٢ يعمل. هم يتوقفون فقط للمزامنة عند الضرورة القصوى. هذا يبقي الجميع مشغولين ويتحركون بسرعة.

٣. النتائج: تسريع المكتب

اختبر المؤلفون هذا على خادم ضخم يحتوي على ١٩٢ نواة (٤ طوابق، كل منها ٤٨ نواة).

المنافس: كانت أداة llama.cpp الشهيرة بطيئة بسبب ازدحام المصاعد (الوصول إلى الذاكرة عبر العقد - cross-node memory access).
ARCLIGHT: من خلال إبقاء البيانات محلية وتقسيم العمل بذكاء، كان أسرع بنسبة ٤٦٪.

لماذا يهم هذا؟

يعتقد معظم الناس أن الذكاء الاصطناقي يحتاج إلى بطاقات رسوميات (GPUs) باهظة الثمن ونادرة. ولكن العديد من الشركات تمتلك بالفعل خوادم CPU ضخمة (تُستخدم لاستضافة المواقع والشبكات).

قبل: كانت هذه الخوادم بطيئة جدًا لتشغيل نماذج الذكاء الاصطناعي الكبيرة بكفاءة.
الآن: مع ARCLIGHT، يمكن للشركات استخدام الأجهزة التي تمتلكها بالفعل لتشغيل ذكاء اصطناعي قوي، مما يوفر المال ويجعل الذكاء الاصطناعي متاحًا بشكل أكبر.

باختصار

ARCLIGHT هو مدير برمجيات ذكي وخفيف الوزن يمنع خوادم الكمبيوتر الضخمة من إضاعة الوقت في المشي عبر المبنى للحصول على البيانات. إنه ينظم العمال لكي يبقوا في أحياءهم الخاصة، ويقسم العمل حتى لا يصطدموا ببعضهم البعض، ويسمح لهم بالعمل بالسرعة التي تناسبهم. النتيجة؟ طريقة أسرع وأرخص لتشغيل الذكاء الاصطناعي على شرائح الكمبيوتر القياسية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ARCLIGHT: بنية استدلال خفيفة الوزن لنماذج اللغات الكبيرة (LLM) على المعالجات المركزية متعددة الأنوية".

1. بيان المشكلة

بينما تُعد أطر عمل استدلال نماذج اللغات الكبيرة (LLM) ناضجة بالنسبة لوحدات معالجة الرسومات (GPUs) والمعالجات المركزية أحادية العقدة (single-node CPUs)، إلا أنها تفشل في الاستغلال الكامل لإمكانات منصات المعالجات المركزية متعددة الأنوية (مثل الخوادم الويب وأجهزة الشبكات عالية الأداء) التي غالبًا ما تستخدم بنيات الوصول غير الموحد للذاكرة (NUMA).

عنق زجاجة NUMA: في أنظمة NUMA، يتم تقسيم الأنوية والذاكرة إلى عقد (Nodes). الوصول إلى الذاكرة المحلية يكون سريعًا، لكن الوصول إلى الذاكرة البعيدة (عبر العقد) يتسبب في تأخير (Latency) أعلى بكثير (يصل إلى 4 أضعاف البطء، كما تم قياسه في الورقة).
قصور أطر العمل الحالية: تتعامل أطر العمل السائدة مثل llama.cpp مع الذاكرة ككتلة موحدة (UMA). وغالبًا ما تقوم بتوزيع الخيوط (Threads) عبر عقد NUMA، لكنها تفشل في ربط البيانات (الأوزان/التنشيطات) بالذاكرة المحلية لتلك العقد. يؤدي هذا إلى وصول متكرر للذا_كرة عبر عقد NUMA المختلفة، مما يخلق "جدار وصول للذاكرة" يمنع النظام من الوصول إلى سقفه الحسابي النظري.
صعوبة إعادة الهيكلة: يتطلب تعديل أطر العمل الضخمة الموجودة لتصبح مدركة لـ NUMA عملية "جراحية" لإعادة هيكلة التكديس (Stack) بالكامل، بدءًا من تخصيص الذاكن المنخفض المستوى وصولاً إلى تعريفات النماذج عالية المستوى، وهو أمر معقد وغير شفاف.

2. المنهجية: بنية ARCLIGHT

يقترح المؤلفون ARCLIGHT، وهي بنية استدلال نمطية خفيفة الوزن، بُنيت من الصفر خصيصًا للمعالجات المركزية متعددة الأنوية. تتكون البنية من حوالي 10 ملفات (Header/Source) بلغة ++C وتتبع تصميمًا مفكك الارتباط يتكون من واجهة أمامية لفك التشفير (Decoding Frontend) وبنية تحتية خلفية للاستدلال (Inference Backend).

مكونات التصميم الرئيسية:

التصميم النمطي (Modular Design): ينقسم النظام إلى خمس وحدات أساسية: مدير الذاكرة، مدير الخيوط، مكتبة التنسور (Tensor Library)، باني الرسم البياني الأمامي، ومجدول حساب الرسم البياني.
إدارة الذاكرة المدركة لـ NUMA:
- على عكس التخزين المؤقت المتجانس في llama.cpp ، يقوم ARCLIGHT بتخصيص مسبق لمجمعات ذاكرة منفصلة في الذاكرة المحلية لكل عقدة NUMA.
- يطبق آلية التخزين المزدوج (Double-buffering) لمجمعات التنشيط (Activation Buffers)، حيث يتم التبديل بناءً على تماثل الطبقات (Layer Parity) لتقليل استهلاك الذاكرة أثناء التشغيل.
إدارة الخيوط متعددة الرؤى (Multi-View Thread Management):
- بدلاً من حوض خيوط واحد، يقدم ARCLIGHT مجموعات خيوط (Thread Groups).
- يدعم إعادة التشكيل الديناميكي، مما يسمح بتقسيم الحوض إلى $n$ من المجموعات لتنفيذ $n$ من عمليات التنسور المستقلة بالتوازي.
- يميز بين الحواجز المحلية (Local Barriers) (المزامنة داخل المجموعة) والحواجز العالمية (Global Barriers) (المزامنة عبر الحوض بأكمله)، مما يتيح استراتيجيات مزامنة مرنة.
الرسم البياني الحسابي الثابت: يتم بناء الرسم البياني قبل التنفيذ. يبسط النظام عملية الترتيب الطوبولوجي عن طريق إلحاق العقد بحاوية متسلسلة أثناء البناء، لتجنب تكاليف إعادة التحليل.

3. الابتكار الجوهري: توازي التنسور عبر NUMA (Cross-NUMA Tensor Parallelism)

للتخفيف من جدار الوصول للذاكرة عبر عقد NUMA، قدم ARCLIGHT تقنية توازي التنسور عبر NUMA.

تقسيم الأوزان: يتم تقسيم الأوزان عبر عقد NUMA. على سبيل المثال، في طبقة MLP، يتم تقسيم المصفوفات بحيث يتم تقسيم $W_q, W_k, W_v$ صفوفيًا (حسب رؤوس الانتباه - Attention Heads) وتقسيم $W_o, W_{down}$ عموديًا.
عمليات التشتيت والجمع (Scatter and Gather Operators):
- التشتيت (Scatter): يعيد تكوين حوض الخيوط إلى مجموعات وينشئ "تنسورات الرؤية" (View Tensors) للمدخلات، مما يؤدي فعليًا إلى تقسيم الرسم البياني الحسابي إلى رسوم بيانية فرعية متوازية. تعمل كل مجموعة فرعية على عقدة NUMA محددة باستخدام بيانات محلية.
- الجمع (Gather): يجمع ويجمع مخرجات التنسور من جميع الرسوم البيانية الفرعية، ويدمج النتائج ويعيد حوض الخيوط إلى مجموعة واحدة.
التنفيذ غير المتزامن: يدعم النظام نمطي مزامنة. تظهر النتائج التجريبية أن التنفيذ غير المتزامن للرسوم البيانية الفرعية (حيث تتقدم المجموعات دون انتظار الأخرى في كل خطوة، وتتزامن فقط عند الحواجز العالمية) يقلل بشكل كبير من وقت خمول الخيوط مقارنة بالمزامنة العالمية الصارمة.

4. النتائج التجريبية

قام المؤلفون بتقييم ARCLIGHT مقابل llama.cpp على جهاز بـ 192 نواة (4 عقد NUMA، و48 نواة Huawei Kunpeng-920 ARM لكل عقدة) باستخدام نموذج Qwen3-4B (بتكميم Q4_0).

عقدة NUMA واحدة: عندما يتم ربط الخيوط بعقدة واحدة، يتفوق ARCLIGHT قليلاً على llama.cpp بسبب تحسين الموقع المحلي للذاكرة، حيث يعتمد llama.cpp على توزيع صفحات نظام التشغيل.
عقد NUMA متعددة (الاختبار الحاسم):
- عندما يتم توزيع الخيوط عبر عقدتين أو 4 عقد NUMA، يعاني llama.cpp من تدهور شديد في الأداء بسبب الوصول للذاكرة عبر العقد.
- يتفوق ARCLIGHT مع تقنية TP بشكل كبير على llama.cpp.
- زيادة الإنتاجية (Throughput Gain): يحقق ARCLIGHT إنتاجية استدلال أعلى بنسبة تصل إلى 46% مقارنة بـ llama.cpp في سيناريوهات تعدد عقد NUMA.
- مكسب عدم التزامن: ساهمت استراتيجية التنفيذ غير المتزامن وحدها في زيادة قدرها حوالي 5 رموز/ثانية (tokens/second).

5. المساهمات الرئيسية

بنية استدلال خفيفة الوزن: إطار عمل نمطي، "قابل للتعديل"، يلخص جوهر استدلال LLM، ويزيل التعقيدات الزائدة في أطر العمل التقليدية، مما يسهل على الباحثين تجربة النشر القائم على المعالج المركزي.
التحسين للمعالجات المركزية متعددة الأنوية: مخطط للتحسين متعدد الأبعاد يعالج التحديات المحددة لبنيات NUMA من خلال:
- إدارة الذاكرة والخيوط المدركة لـ NUMA.
- التحكم الدقيق في توازي التنسور للقضاء على الوصول للذاكرة عبر العقد.
- التنفيذ غير المتزامن للرسوم البيانية الفرعية لتعظيم الاستفادة من الأجهزة.

6. الأهمية والعمل المستقبلي

الأهم_ية: يثبت ARCLIGHT أن المعالجات المركزية يمكن أن تكون فعالة للغاية في استدلال LLM إذا صُممت البنية صراحةً لاحترام طوبولوجيا الأجهزة (NUMA). إنه يكسر سقف الأداء الذي يفرضه زمن انتقال الذاكرة عبر العقد، مما يجعل المعالجات المركزية متعددة الأنوية خيارًا قابلاً للتوسع ومنخفض التكلفة لخدمة LLM.
القيود والعمل المستقبلي:
- تم التقييم حاليًا على منصات ARM فقط؛ ومن المخطط دعم x86 في العمل المستقبلي.
- عمليتا Scatter و Gather لا تزالان في مراحل أولية؛ هناك حاجة لمزيد من التحسين لتقليل عبء الذاكرة وتحسين كفاءة التوازي.
- المشروع مفتوح المصدر ليكون منصة تعليمية وأداة تطوير.