💻 computer science

ShardTensor: Domain Parallelism for Scientific Machine Learning

تقدم هذه الورقة ShardTensor، وهو إطار عمل جديد للتوازي النطاقي يعمل على فك الارتباط بين الأبعاد المكانية لبيانات المدخلات والقيود العتادية لتمكين التدريب والاستدلال عالي الدقة والقابل للتوسع لنماذج تعلم الآلة العلمية على مجموعات البيانات ذات الدقة الفائقة.

المؤلفون الأصليون: Corey Adams, Peter Harrington, Akshay Subramaniam, Mohammad Shoaib Abbas, Jaideep Pathak, Mike Pritchard, Sanjay Choudhry

نُشر 2026-05-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Corey Adams, Peter Harrington, Akshay Subramaniam, Mohammad Shoaib Abbas, Jaideep Pathak, Mike Pritchard, Sanjay Choudhry

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "ShardTensor: التوازي النطاقي للتعلم الآلي العلمي"، مقسمة إلى مفاهات بسيطة مع تشبيهات من الحياة اليومية.

المشكلة الكبرى: الصندوق "أكبر من أن يتسع"

تخيل أنك عالم تحاول محاكاة إعصار، أو ثقب أسود، أو دماغ بشري. للحصول على نتائج دقيقة، تحتاج إلى النظر إلى هذه الأشياء بتفاصيل شديدة الدقة — مثل التقريب (Zoom) في صورة حتى تتمكن من رؤية كل بكسل فيها.

في عالم الذكاء الاصطناعي، يسمى هذا بيانات عالية الدقة (high-resolution data).

المشكلة هي أن نماذج الذكاء الاصطناعي تعمل على حواسيب خاصة تسمى وحدات معالجة الرسومات (GPUs). هذه الوحدات لديها ذاكرة محدودة، مثل حقيبة ظهر صغيرة.

المشكلة: عندما يحاول العلماء تغذية نموذج ذكاء اصطناعي بصورة ضخمة وعالية الدقة (مثل مسح ثلاثي الأبعاد لعاصفة)، تكون البيانات ضخمة جداً لدرجة أنها ببسا আসে لا تتسع في حقيبة الظهر.
الحل القديم: كان العلماء يضطرون لاستخدام "تقليل العينات" (downsampling). هذا يشبه أخذ فيلم بدقة 4K وتقليصه إلى صورة مصغرة ضبابية بدقة 144p فقط لكي تتسع في حقيبة الظهر. يمكن للذكاء الاصطناعي أن يعمل، لكن النتائج ستكون ضبابية وغير دقيقة.
الحل القديم الآخر: كان بإمكانهم محاولة تقسيم البيانات عبر أجهزة كمبيوتر متعددة (توازي البيانات - Data Parallelism)، لكن هذا يعمل فقط إذا كان لديك العديد من "القطع" المنفصلة من البيانات (مثل 100 عاصفة مختلفة). إذا كان لديك عاصفة واحدة ضخمة لتحليلها، فإن الطرق القديمة تصطدم بحائط مسدود. لا يمكنك تقسيم عاصفة واحدة إلى 100 قطعة بسهولة دون كسر القواعد الرياضية.

الحل: ShardTensor (استراتيجية "حقيبة الظهر الجماعية")

قدم المؤلفون من شركة NVIDIA أداة جديدة تسمى ShardTensor.

فكر في ShardTensor كوسيلة سحرية لتقطيع بيتزا واحدة ضخمة (بياناتك عالية الدقة) إلى شرائح وتوزيع تلك الشرائح على فريق من الطهاة (وحدات GPU) يقفون في دائرة.

كيف يعمل: بدلاً من محاولة وضع البيتزا بأكملها على طبق واحد، يقوم النظام بتقطيع البيتزا مكانياً (حسب المساحة، وليس كبيتزا منفصلة).
- الشيف (أ) يحمل الشريحة العليا اليسرى.
- الشيف (ب) يحمل الشريحة العليا اليمنى.
- الشيف (ج) يحمل الشريحة السفلى اليسرى.
السحر: عندما يحتاج الطهاة لخلط المكونات (إجراء العمليات الحسابية)، يمكنهم تمرير حواف شرائحهم لجيرانهم. إذا احتاج الشيف (أ) لمعرفة ما يحدث عند حافة شريحته تماماً، فإنه يسأل الشيف (ب). إنهم يعملون معاً لحل اللغز بأكمله دون الحاجة أبداً لوضع البيتزا بأكملها على طبق واحد.

يسمى هذا التوازي النطاقي (Domain Parallelism). وهو يسمح للعلماء بمعالجة بيانات أكبر من ذاكرة جهاز كمبيوتر واحد، حتى لو كان لديهم مجموعة بيانات واحدة ضخمة فقط للعمل عليها.

لماذا هذا مهم؟ (قسم "لماذا نتعب أنفسنا؟")

توضح الورقة البحثية أنه في الذكاء الاصطناعي العلمي، أكبر مستهلك للذاكرة ليس "عقل" الذكاء الاصطناعي (أوزان النموذج)؛ بل هو الخطوات الوسيطة (النشطات - activations).

التشبيه: تخيل أنك تحل مسألة رياضية ضخمة على سبورة بيضاء. أنت لا تحتاج فقط لمساحة للإجابة النهائية؛ بل تحتاج لمساحة لكل عملية حسابية جانبية تقوم بها أثناء الطريق.
النتيجة: مع البيانات عالية الدقة، هذه "الحسابات الجانبية" تملأ الذاكرة فوراً. يقوم ShardTensor بتوزيع هذه الحسابات الجانية عبر العديد من وحدات GPU.
الفائدة:
1. التوسع القوي (Strong Scaling): إذا كان لديك مجموعة بيانات ضخمة، فإن إضافة المزيد من وحدات GPU يجعل المهمة تنتهي بشكل أسرع (مثل إضافة المزيد من العمال إلى موقع بناء).
2. التوسع الضعيف (Weak Scaling): إذا كان لديك مجموعة بيانات ضخمة جداً لدرجة أنها كانت مستحيلة التشغيل سابقاً، يمكنك الآن تشغيلها عن طريق إضافة المزيد من وحدات GPU لتقاسم الحمل.

أمثلة من الواقع من الورقة البحثية

اختبر المؤلفون هذا على مشكلتين علميتين محددتين لإثبات نجاحه:

StormScope (التنبؤ بالطقس):
- التحدي: التنبؤ بالعواصف الرعدية الفردية يتطلب النظر إلى خريطة للولايات المتحدة بأكملها بتفاصيل دقيقة جداً (دقة 3 كم).
- المشكلة: ذاكرة جهاز كمبيوتر واحد (80 جيجابايت) لم تستطع استيعاب بيانات خريطة الولايات المتحدة بأكملها بهذه الدقة. كان الأمر كأنك تحاول حمل خريطة الولايات المتحدة بأكملها في ملف واحد.
- الحل: باستخدام ShardTensor، قاموا بتقسيم خريطة الولايات المتحدة عبر 32 وحدة GPU. استطاع الذكاء الاصطناعي الآن "رؤية" البلاد بأكملها بدقة عالية والتنبؤ بالعواصف بدقة دون تعطل النظام.
Transolver (الديناميكا الهوائية):
- التحدي: محاكاة تدفق الهواء فوق سيارة لتحسين كفاءة استهلاك الوقود.
- النتيجة: تمكنوا من تدريب الذكاء الاصطناعي على شبكة (شبكة ثلاثية الأبعاد) تحتوي على أكثر من 1.2 مليون نقطة تمثل شكل السيارة. هذا المستوى من التفاصيل كان مستحيلاً في السابق تدريبه على جهاز واحد.

ما لا تقوله الورقة (القيود)

المؤلفون صرحوا بوضوح عن المقايضات:

تكلفة التواصل (Communication Overhead): نظرًا لأن وحدات GPU يجب أن تتواصل باستمرار مع بعضها البعض لمشاركة حواف شرائح بياناتها، فهناك جزء ضئيل من "وقت التحدث" الضائع.
البيانات الصغيرة: إذا كانت البيانات صغيرة، فإن وقت التحدث هذا يجعل النظام أبطأ من مجرد استخدام جهاز كمبيوتر واحد. Shard-Tensor مخصص فقط للبيانات الضخمة.
ليس سحراً لكل شيء: يعمل بشكل أفضل مع أنواع معينة من العمليات الرياضية. بعض العمليات القديمة أو المتخصصة جداً قد لا تكون مدعومة بعد.

الملخص

ShardTensor هو أداة برمجية جديدة تسمح للعلماء بتقطيع البيانات العلمية الضخمة وعالية الدقة وتوزيعها عبر أجهزة كمبيوتر متعددة. يتيح ذلك لهم تدريب نماذج الذكاء الاصطناعي على بيانات مفصلة للغاية لدرجة أنها لم تكن تتسع سابقاً في ذاكرة جهاز كمبيوتر واحد، مما يؤدي إلى توقعات جوية أكثر دقة، وتصاميم سيارات أفضل، واكتشافات علمية أعمق.

ملخص تقني: ShardTensor – التوازي النطاقي لتعلم الآلة العلمي

1. بيان المشكلة

يواجه تعلم الآلة العلمي (SciML) عقبة حرجة: عدم القدرة على تدريب وإجراء الاستدلال على البيانات العلمية عالية الدقة بسبب قيود ذاكرة وحدة معالجة الرسومات (GPU). وعلى عكس النماذج اللغوية الكبيرة (LLMs)، حيث تهيمن أعداد المعلمات (parameters) غالبًا على الذاكرة، فإن أعباء عمل تعلم الآلة العلمي تُقيد غالبًا بـ التنشيطات الوسيطة (intermediate activations).

تحدد الورقة "لعنة الأبعاد الحسابية" في البيانات العلمية. فبينما يؤدي مضاعفة طول النص في النماذج اللغوية الكبيرة إلى مضاعفة عدد الرموز (tokens) تقريبًا، فإن مضاعفة دقة البيانات العلمية ذات الأبعاد $N$ تزيد من حجم البيانات بمقدار $2^N$ . وبالنسبة للبيانات ثلاثية الأبعاد أو عالية الأبعاد (مثل ديناميكا السوائل، التصوير الطبي، أو نمذجة المناخ)، فإن الذاكرة المطلوبة لتخزين التنشيطات الوسيطة أثناء مرحلة التمرير الخلفي (backward pass) للتدريب تنمو بشكل أسي.

تفشل الحلول الحالية غالبًا في التوسع أو تؤدي إلى تدهور الدقة:

الدقة المنخفضة (Reduced Precision): توفر توفيرًا متواضعًا فقط في الذاكرة (2x) ويمكن أن تعاني من مشكلات في النطاق الديناميكي في النماذج البديلة العلمية.
تقليل العينات المكاني (Spatial Downsampling): يقلل الذاكرة ولكنه يضحي بالدقة العالية المطلوبة للاكتشافات العلمية.
تقليل النموذج (Model Reduction): يقلل من الدقة.
تخزين نقاط التنشيط (Checkpointing) / إزاحة المعالج المركزي (CPU Offloading): فعالة ولكنها تسبب عبئًا حسابيًا كبيرًا (إعادة الحساب أو عمليات النقل بين المضيف والجهاز).
التوازي القياسي (Standard Parallelism): توازي البيانات (تقسيم الدفعة) يصطدم بحد صلب عند حجم دفعة قدره 1 لكل جهاز. أما توازي النموذج (تقسيم الأوزان) فهو مصمم للمعلمات وليس لبيانات المدخلات، ويفترض أشكال تنسور ثابتة لا تنطبق على معالجة البيانات الديناميكية (مثل التلافيف التي تغير الأشكال العالمية).

وبناءً على ذلك، لا يوجد إطار عمل عام لتوازي مدخلات البيانات دون حجم دفعة واحد لكل جهاز، مما يمنع تعلم الآلة العلمي من الوصول إلى الدقة الأصلية التي يتطلبها العلماء.

2. المنهجية: ShardTensor

يقدم المؤلفون ShardTensor، وهو نموذج جديد لـ التوازي النطاقي (domain parallelism) يعمل على فصل الأبعاد المكانية لبيانات المدخلات عن قيود الأجهزة. وهو امتداد لتجريد DTensor (التنسور الموزع) الخاص بـ PyTorch، والمصمم خصيصًا للتعامل مع بيانات المدخلات بدلاً من أوزان النماذج.

مبادئ التصميم الأساسية

التوازي النطاقي (Domain Parallelism): يُعرف بأنه التوازي عبر الأجهزة لبيانات المدخلات، بما يتجاوز بُعد الدفعة (batch dimension). عندما يصل حجم الدفعة إلى 1، يقوم ShardTensor بتقسيم الأبعاد المكانية (مثل الارتفاع، العرض، العمق) عبر وحدات معالجة رسومات متعددة.
التعامل مع الأشكال الديناميكية (Dynamic Shape Handling): على عكس DTensor الذي يفترض توزيعات أشكال ثابتة مناسبة لأوزان النماذج، يدعم ShardTensor الأشكال الديناميكية. حيث يقدم مكونًا رابعًا من البيانات الوصفية (metadata): أشكال التقسيم (sharding shapes)، والتي تصف شكل الجزء المحلي لكل تنسور على طول محور الشبكة المقسمة. وهذا يسمه التعامل مع تقسيم عشوائي للبيانات غير المهيكلة أو غير المنتظمة.
التوزيع الأمرِي (Imperative Dispatch): الإطار عملي وليس استاتيكيًا. فهو يستخدم آليات __torch_dispatch__ و __torch_function__ الخاصة بـ PyTorch لتوجيه العمليات ديناميكيًا. وهذا يسمح للنظام بالتعامل مع التوازي النطاقي طبقة تلو الأخرى دون الحاجة إلى رسوم بيانية حسابية مسبقة التكوين أو تعديلات خاصة لكل طبقة.
القابلية للتوسع (Extensibility): يمكن للمستخدمين توسيع النظام عبر واجهات وظيفية عالية المستوى (@custom_op) أو منطق التوجيه منخفض المستوى (عمليات aten). وهذا يضمن التوافق مع بنى النماذج المتطورة والأنوية المخصصة (custom kernels).

تفاصيل التنفيذ

بُني ShardTensor كامتداد لـ DTector الخاص بـ PyTorch.

بنية التوجيه (Dispatch Architecture): يقوم باعتراض العمليات على مستوى بايثون. إذا كانت هناك عملية محددة لها معالج توجيه نطاقي، يتم تنفيذها؛ وإلا، فإنه يعود إلى دلالات DTensor أو سلوك PyTorch القياسي.
الاتصال (Communication): يدير الإطار العمليات الجماعية (مثل all-reduce و all-gather) وعمليات "الهالة" (halo exchanges) (جلب البكسلات المجاورة من الأجهزة المجاورة) المطلوبة لعمليات مثل التلافيف (convolution) أو التطبيع (normalization) للحفاظ على الاتساق العددي.
التكامل (Integration): تم تصميمه ليكون متوافقًا مع استراتيجيات التوازي الموجودة (توازي البيانات وتوازي النموذج)، مما يسمح باستراتيجيات توازي ثنائية أو متعددة الأبعاد (مثل تقسيم الدفعة على محور وتقسيم الأبعاد المكانية على محور آخر).

3. المساهمات الرئيسية

إطار عمل ShardTensor: إطار عمل مفتوح المصدر (متوفر عبر NVIDIA PhysicsNeMo) يتيح التوازي النطاقي لبيانات المدخلات دون حجم دفعة واحد لكل جهاز.
تجريد مبتكر: تقديم "أشكال التقسيم" للتعامل مع توزيعات تنسور المدخلات الديناميكية، مما يميزه عن أدوات توازي الأوزان مثل DTensor.
نموذج برمجي غير اقتحامي (Non-Invasive): تصميم يسمح للمستخدمين بتغليف مدخلات النموذج بأقل قدر من تغييرات الكود، مما يتجنب الحاجة إلى إعادة كتابة الطبقات أو النماذج من أجل التوازي.
القابلية للتركيب (Composability): القدرة المثبتة على الجمع بين التوازي النطاقي وتوازي البيانات وتوازي النموذج على محاور شبكية متعامدة.

4. النتائج والاختبارات المعيارية

تتحقق الورقة من صحة ShardTensor من خلال اختبارات معيارية اصطناعية وتطبيقات صناعية حقيقية على وحدات معالجة الرسومات NVIDIA Blackwell (GB200) و H100.

انتباه الحلقة (Ring Attention): في أحجام التسلسل الصغيرة جدًا، يهيمن عبء التوازي. ومع ذلك، عند أحجام التسلسل الكبيرة جدًا، يحقق النظام توسعًا قويًا قريبًا من الخطي (near-linear strong scaling) مع عدد وحدات معالجة الرسومات في كل من التدريب والاستدلال.
محول الرؤية (Vision Transformer - ViT):
- التوسع القوي (Strong Scaling): عند الدقة العالية (مثل $4096^2$ )، يكون الاستدلال أسرع بـ 15 مرة على 16 وحدة معالجة رسومات مقارنة بوحدة واحدة. التدريب على $2048^2$ أسرع بـ 5 مرات باستخدام 8 وحدات معالجة رسومات.
- كفاءة الذاكرة: تتوسع الذاكرة المستخدمة تربيعيًا للبيانات ثنائية الأبعاد وتكعيبيًا للبيانات ثلاثية الأبعاد، مما يؤكد أن التنشيطات الوسيطة هي المهيمنة. يقلل التوسع القوي باستخدام ShardTensor من ذاكرة كل جهاز بشكل متناسب، مما يسمح بتدريب نماذج ثلاثية الأبعاد بأكثر من مليار نقطة مدخلات على الأجهزة القياسية.
Transolver (الديناميكا الهوائية للسيارات):
- تم تدريبه على مجموعة بيانات DriverML بما يصل إلى 1.2 مليون نقطة لكل مجال.
- حافظ النظام على الاستقرار العددي والدقة التنافسية (خطأ L2 للضغط والسرعة) مقارنة بالنماذج المرجعية أحادية المعالج، حتى مع زيادة حجم المجال بعوامل 2 و 4 و 8.
- تم توازي خط المعالجة المسبقة بالكامل أيضًا، مما ضمن قابلية التوسع من البداية إلى النهاية.
StormScope (التنبؤ بالطقس):
- نموذج على نطاق قاري (CONUS) بدقة 3 كم ( $1024 \times 1792$ شبكة).
- تجاوز ذروة استخدام الذاكرة (114 جيجابايت) سعة وحدة معالجة الرسومات H100 الواحدة (80 جيجابايت).
- مكّن ShardTensor التدريب المستقر عن طريق تقسيم التنشيطات عبر وحدتي معالجة رسومات ضمن 16 مجموعة توازي بيانات. تقارب النموذج بشكل مستقر، متتبعًا مسار الخسارة لنموذج مرجعي (6 كم) أحادي المعالج، مما سمح برصد العواصف الرعدية الفردية التي كان من المستحيل الوصول إليها سابقًا دون التضحية بامتداد المجال.

5. الأهمية والادعاءات

تدعي الورقة أن ShardTensor يعالج عقبة أساسية في تعلم الآلة العلمي: عدم القدرة على التدريب والاستدلال على البيانات بالدقة الأصلية المطلوبة من قبل العلماء.

إزالة القيود عن أعباء العمل المحدودة بالدقة: إنه يحول الحسابات التي كانت مستحيلة سابقًا (بسبب سقوف الذاكرة) إلى حسابات قابلة للتنفيذ، مما يتيح التدريب عالي الدقة في مجالات مثل التصوير الطبي الحجمي، وديناميكا السوائل الحسابية، ونمذجة المناخ.
القابلية للتركيب: يزيل المقايضة بين حجم البيانات، وحجم النموذج، والدقة. يمكن للعلماء الآن التوسع عبر محاور توازي متعددة في وقت واحد.
سهولة الوصول: من خلال توفير نموذج برمجي غير اقتحامي، فإنه يخفض حاجز الدخول أمام الممارسين الذين ليسوا خبراء في الأنظمة الموزعة، على عكس جهود التوازي السابقة المخصصة والمعتمدة على بنية معينة.

الاعتراف بالقيود

يشير المؤلفون بتواضع إلى أن نموذج التوجيه الأمرِي، طبقة تلو الأخرى، يفرض عبئًا إضافيًا على مستوى بايثون، مما يجعله أقل كفاءة للعمليات الصغيرة أو البيانات منخفضة الدقة. كما تعتمد الأداء أيضًا على عرض نطاق الاتصال البيني (interconnect bandwidth). علاوة على ذلك، لا تمتلك جميع عمليات PyTorch حاليًا مسارات توجيه توازي نطاقي، ولا يزال التكامل الكامل مع torch.compile للتحسينات الرسومية الثابتة مستمرًا.

في الختلاص، يمثل ShardTensor خطوة نحو جعل التوازي النطاقي العالي شائعًا في تعلم الآلة العلمي كما هو التوازي في البيانات اليوم، مما يسهل عصر النماذج التأسيسية العلمية.