🤖 AI

torch-sla: Differentiable Sparse Linear Algebra with Adjoint Solvers and Sparse Tensor Parallelism for PyTorch

تقدم هذه الورقة torch-sla، وهي مكتبة مفتوحة المصدر مبنية على PyTorch توحد الجبر الخطي المتناثر القابل للتفاضل من خلال توفير واجهة برمجة تطبيقات واحدة مدركة لـ autograd لمختلف الحلول عبر عدة خلفيات معالجة (backends) لوحدات المعالجة المركزية (CPU) ووحدات معالجة الرسومات (GPU)، مع دعم العمليات المجمعة (batched operations) والتنفيذ الموزع القابل للتوسع عبر تعدد وحدات معالجة الرسومات من خلال إطار عمل adjoint ذي رسم بياني من الرتبة O(1).

المؤلفون الأصليون: Mingyuan Chi, Shizheng Wen

نُشر 2026-05-07

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mingyuan Chi, Shizheng Wen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز ضخم ومعقد. في عالم علوم الحاسوب والتعلم الآلي، غالبًا ما يكون هذا اللغز عبارة عن "نظام خطي متفرق" (sparse linear system)—وهو عبارة عن شبكة عملاقة من الأرقام حيث تكون معظم الخلايا فيها فارغة (صفر)، لكن الخلايا القليلة المملوءة هي التي تحمل مفتاح كل شيء.

لفترة طويلة، كانت أداة البرمجة الشهيرة PyTorch (المستخدمة من قبل العديد من باحثي الذكاء الاصطناعي) تعاني من مشكلة: فقد كانت بارعة في التعامل مع الألغاز الكثيفة (حيث تكون كل خلية مملوءة)، لكنها كانت سيئة للغاية في حل هذه الألغاز الضخمة التي تكون معظمها فارغة مع القدرة أيضًا على التعلم من الأخطاء. إذا حاولت حل أحدها، فقد يتوقف الكمبيوتر عن العمل، أو يعمل ببطء شديد، أو ينسى كيفية التعلم من النتيجة.

هنا يأتي دور torch-sla، وهي مكتبة مفتوحة المصدر تعمل كـ "مترجم عالمي" و"ميكانيكي فائق الكفاءة" لهذه الألغاز. إليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. "الموزع الذكي" (الواجهة الخلفية الموحدة - Unified Backend)

تخيل أنك سائق توصيل لديك طرد. تحتاج إلى إيصاله إلى وجهة ما، لكن ظروف الطريق تتغير: أحيانًا تكون شارعًا في مدينة صغيرة، وأحيانًا طريقًا سريعًا ضخمًا، وأحيانًا تكون في بلد آخر تمامًا.

في السابق، كان عليك اختيار مركبة مختلفة يدويًا لكل رحلة (دراجة للأعمال الصغيرة، شاحنة للأعمال الكبيرة، قارب للمياه). إذا اخترت المركبة الخاطئة، فستضيع الوقت أو تتعثر.

torch-sla تشبه الموزع الذكي. أنت فقط تقول: "أريد حل هذا اللغز"، وهي تقوم تلقائيًا بالتحقق من:

أين أنت؟ (هل يستخدم جهاز الكمبيوتر الخاص بك وحدة معالجة مركزية CPU أم بطاقة رسومات قوية/GPU؟)
ما هو حجم اللغز؟ (هل هو لغز صغير من 100 قطعة أم لغز ضخم من 100 مليون قطعة؟)
ما هو شكله؟ (هل هو متماثل تمامًا؟)

بناءً على هذه القرائن، تختار فورًا أفضل "مركبة" (حلّال/solver) من مرآب يحتوي على خمسة خيارات مختلفة (بما في ذلك أدوات من SciPy وNVIDIA وPyTorch نفسها). لست بحاجة لمعرفة أي واحد تختار؛ فالمكتبة تقوم بذلك نيابة عنك.

2. "الاختصار السحري" (التفاضل الملحق - Adjoint Differentiation)

هذه هي الخدعة الأكثر سحرًا للمكتبة.

الطريقة القديمة (الانتشار العكسي البدائي - Naive Backpropagation):
تخيل أنك تسير في متاهة مظلمة، وتخطو 1000 خطوة للوصول إلى المخرج. لكي تتعلم من رحلتك، تقرر تدوين كل خطوة خطوتها، وموقع قدميك بالضبط، وضغط الهواء في كل لحظة. عندما تصل إلى النهاية، سيكون لديك دفتر ملاحظات يحتوي على 1000 صفحة. إذا أردت العودة لرؤية أين ارتكبت خطأً، فسيتعين عليك تقليب جميع الصفحات الـ 1000. وإذا أصبحت المتاهة أكبر، فسيصبح دفتر ملاحظاتك ضخمًا، وسينفد من جهاز الكمبيوتر الخاص بك ذاكرة الوصول العشوائي (RAM) بمجرد محاولة الاحتفاظ بهذه الملاحظات.

طريقة torch-sla (المحلل الملحق - Adjoint Solver):
بدلاً من تدوين كل خطوة، تستخدم torch-sla "اختصارًا سحريًا" يعتمد على مبدأ رياضي يسمى نظرية الدوال الضمنية (Implicit Function Theorem).
فكر في الأمر هكذا: أنت تسير في المتاهة مرة واحدة. وعندما تصل إلى المخرج، بدلاً من تتبع خطواتك للخلف، تقوم فورًا بحساب "الخريطة العكسية" في ذهنك. أنت تحتاج فقط لتذكر البداية، والنهاية، وقواعد المتاهة.

النتيجة: بغض النظر عما إذا كانت المتاحة استغرقت 10 خطوات أو 10,000 خطوة، فإن "دفتر ملاحظاتك" سيظل بنفس الحجم الصغير.
الفائدة: تُظهر الأوراق البحثية أن هذه الطريقة توفر 195 ضعفًا من الذاكرة مقارنة بالطريقة القديمة. إنها تسمح لك بحل ألغاز ضخمة على جهاز كمبيوتر واحد كان من الممكن أن يتسبب سابقًا في انهيار النظام.

3. "اجتماع الفريق" (المحللات الموزعة - Distributed Solvers)

ماذا لو كان اللغز كبيرًا جدًا بحيث لا يمكن لجهاز كمبيوتر واحد استيعابه؟ أنت بحاجة إلى فريق من أجهزة الكمبيوتر (مثل مجموعة من الأصدقاء يعملون على جدارية ضخمة).

عادةً، عندما يعمل الأصدقاء على أجزاء منفصلة من الجدارية، يتعين عليهم "الصراخ" ذهابًا وإيابًا للتأكد من أن الحواف تتطابق. في مصطلحات الكمبيوتر، يسمى هذا "تبادل الهالة" (halo exchange).

المشكلة: عندما تحاول التعلم من الصورة النهائية، لم تكن الأدوات القديمة تعرف كيفية "إرسال صرخات التصحيح" بشكل صحيح إلى الأشخاص المناسبين في الاتجاه المعاكس.
حل torch-sla: إنها تعلم أجهزة الكمبيوتر كيفية تمرير "ملاحظات التصحيح" في الاتجاه المعكس. إذا أرسل الكمبيوتر (أ) قطعة من البيانات إلى الكمبيوتر (ب)، فإن torch-sla تضمن أنه عندما يحدث التعلم، يقوم الكمبيوتر (ب) بإرسال التصحيح مرة أخرى إلى الكمبيوتر (أ) بشكل مثالي. وهذا يسمح للمكتبة بالتوسع لتصل إلى 400 مليون مجهول عبر ثلاثة وحدات معالجة رسومات (GPUs) قوية.

4. ماذا يمكنها أن تفعل حقًا؟

توضح الورقة البحثية أن هذه المكتبة يمكنها التعامل مع:

المحللات المباشرة (Direct Solvers): لفك شفرة الألغاز متوسطة الحجم فورًا.
المحللات التكرارية (Iterative Solvers): لتقديم تخمينات خطوة بخوة للألغاز الضخمة.
المحللات غير الخطية والأنواع الخاصة (Nonlinear & Eigenvalue Solvers): للتعامل مع الألغاز التي تتغير قواعدها أثناء الحل، أو لإيجاد "اهتزازات" معينة (القيم الذاتية/eigenvalues) في البيانات.
المعالجة بالدفعات (Batching): حل آلاف هذه الألغاز في نفس الوقت (مثل حل 1000 متاهة مختلفة في آن واحد).

الاختبار الواقعي

لإثبات نجاحها، أجرى المؤلفون اختبارًا يسمى "تعلم المعامل العكسي" (Inverse Coefficient Learning).
تخيل أنك ترى الشكل النهائي لظل ما (الحل) وتريد معرفة ما هو الجسم (المدخلات) الذي ألقى هذا الظل.

استخدموا torch-sla لـ "تعلم" شكل جسم مخفي من خلال النظر إلى الظل الذي ألقاه.
نجحت المكتبة في معرفة شكل الجسم المخفي بدقة 99.77% في أقل من دقيقة.
والأهم من ذلك، لم يكن على الباحث كتابة أي كود رياضي معقد لجعل عملية التعلم تحدث؛ بل قاموا فقط باستدعاء أمر بسيط: A.solve(f).

الملخص

تملأ torch-sla فجوة كبيرة في نظام PyTorch البيئي. فهي تأخذ المهمة الصعبة والمستهلكة للذاكرة المتمثلة في حل الألغاز الرياضية الضخمة والمتفرقة وتجعلها:

تلقائية: تختار أفضل أداة للمهمة.
فعالة: تستخدم "اختصارًا سحريًا" لتوفير كميات هائلة من الذاكرة.
قابلة للتوسع: تسمح لفرق من أجهزة الكمبيوتر بالعمل معًا بسلاسة.
قابلة للتعلم: تسمح لنماذج الذكاء الاصطناعي بالتعلم مباشرة من هذه المشكلات الرياضية المعقدة دون تعطل النظام.

إنها في الأساس الحلقة المفقودة التي تسمح لمستخدمي PyTorch بمعالجة الأنواع نفسها من المشكلات العلمية والهندسية التي كانت ممكنة سابقًا فقط في بيئات برمجة أخرى أكثر تخصصًا.

ملخص تقني: torch-sla

بيان المشكلة

تعد الجبر الخطي المتفرق القابل للتفاضل (Differentiable sparse linear algebra) متطلباً أساسياً لتعلم الآلة العلمي، بما في ذلك الشبكات العصبية الرسومية (GNNs)، والمشغلات العصبية على الشبكات غير المنتظمة، وخطوط أنابيب المحاكاة القابلة للتفاضل. ومع ذلك، تفتقر منظومة PyTorch إلى مكتبة موحدة لدعم هذه أعباء العمل. فالدعم الأصلي في PyTorch مجزأ: حيث توفر torch.sparse نوى (kernels) منخفضة المستوى ومحللاً spsolve (مغلف SuperLU) غير قابل للتفاضل ويعمل على المعالج المركزي (CPU) فقط، بينما يقتصر torch.linalg على المصفوفات الكثيفة.

إن الحلول البديلة الحالية غير كافية لسيناريوهات التدريب واسعة النطاق أو المعقدة:

كسر الرسم البياني (Breaking the Graph): استدعاء المحللات الخارجية (مثل cuDSS أو PETSec) يكسر رسم الـ autograd، مما يجبر المستخدمين على التخلي عن التدرجات أو كتابة مغلفات مخصصة لـ torch.autograd.Function لكل مشكلة.
التفاضل غير الفعال: يؤدي التراجع (backpropagation) الساذج عبر $k$ من التكرارات لمحلل تكراري إلى إنشاء رسم بياني حسابي بـ $O(k)$ من العقد. بالنسبة لمشكلة تحتوي على $10^6$ من درجات الحرية (DOF) و1,000 تكرار، فإن تخزين المتجهات الوسيطة يتطلب حوالي 80 جيجابايت من الذاكرة، مما يجعل التدريب واسع النطاق غير ممكن.
حدود القابلية للتوسع: تتطلب المشكلات التي تحتوي على $10^7$ – $10^9$ من المجاهيل تقسيم النطاق الموزع (distributed domain decomposition). لا تدعم الأدوات الأولية الموزعة في PyTorch بشكل أصلي تبادل الهالة المنقول (transposed halo exchange) المطلوب للمشتقات المرافقة (adjoints) للمشغل المتفرق في تمريرة الخلف (backward pass).
تجزؤ الخلفيات (Backend Fragmentation): المحللات المباشرة (مثل cuDSS) سريعة للمشكلات الصغيرة ( $<10^5$ DOF) ولكنها تعاني من امتلاء (fill-in) بمقدار $O(n^{1.5})$ واستنفاد الذاكرة للمنظومات الأكبر. أما المحللات التكرارية فتتوسع بشكل أفضل ولكنها تتسبب في تكاليف إطلاق النوى (kernel-launch overhead) في المشكلات الصغيرة. لا توجد واجهة موحدة لتوجيه هذه المهام عبر هذه الخلفيات غير المتجانسة بناءً على الجهاز وحجم المشكلة.

المنهجية

يقدم المؤلفون torch-sla، وهي مكتبة مفتوحة المصدر تسد هذه الفجوة عبر ثلاثة مكونات أساسية:

1. تجريد الخلفية الموحد (Unified Backend Abstraction)

توفر torch-sla واجهة برمجة تطبيقات واحدة مدركة للـ autograd (وهي .solve, .matvec, .eigsh, .det) تقوم بالتوجيه عبر خمس خلفيات قابلة للتبادل بناءً على الجهاز وحجم المشكلة:

المعالج المركزي (CPU): SciPy (SuperLU, UPFPACK, CG, BiCGStab) و Eigen (CG, BiCGStab).
المعالج الرسومي (GPU): NVIDIA cuDSS (LU, Cholesky, LDLT)، و CuPy (تكراري ومباشر)، ومحلل تكراري أصيل في PyTorch.
التوجيه التلقائي (Auto-Dispatch): يختار النظام الخلفية تلقائياً: المحللات المباشرة للمشكلات الصغيرة إلى المتوسطة (مثلاً $<2 \times 10^6$ DOF على GPU) والمحللات التكرارية للمشكلات الأكبر لتجنب تجاوز سعة الذاكرة. كما يتم اكتشاف التماثل والتحديد الموجب (positive-definiteness) لتحسين التحليل (مثلاً ترقية LU إلى Cholesky).

تدعم المكتبة أربعة أنواع من الموترات المتفرقة المنظمة حسب المحلية والتدفئة (batching): SparseTensor (مصفوفة واحدة/نمط مشترك)، و SparseTensorList (أنماط متميزة لكل دفعة)، ومتغيراتها الموزعة DSparseTensor و DSparseTensorList.

2. إطار عمل التفاضل المرفق (Adjoint Differentiation Framework)

لتجنب تعقيد الرسم البياني والذاكرة بمقدار $O(k)$ الناتج عن التراجع الساذج، تستخدم torch-sla نهج نظرية الدوال الضمنية (implicit function theorem).

الأنظمة الخطية: بالنسبة لـ $Ax=b$ ، تقوم تمريرة الخلف بحل نظام مرافق واحد $A^\top \lambda = \partial L / \partial x$ . ويتم حساب التدرج بالنسبة للمصفوفة كـ $-\lambda_i x_j$ فقط على نمط التفرق.
الأنظمة غير الخطية: بالنسبة لـ $F(u, \theta)=0$ ، تتطلب تمريرة الخلف حلاً خطياً مرافقاً واحداً ( $J^\top \lambda = \partial L / \partial u$ ) وضرب متجه بجاكوبي (vector-Jacobian product)، بشكل مستقل عن عدد التكرارات غير الخطية.
مشكلات القيم الذاتية (Eigenvalue Problems): تستخدم تدرجات القيم الذاتية نظرية هيلمان-فايمن ( $\partial \lambda / \partial A_{ij} = v_i v_j$ )، والتي تتطلب فقط حاصل ضرب خارجي على نمط التفرق.
التعقيد: يقلل هذا الإطار من الرسم البياني للـ autograd إلى $O(1)$ من العقد والذاكرة إلى $O(n + \text{nnz})$ ، بشكل مستقل عن عدد تكرارات المحلل ( $k$ ).

3. الطبقة الموزعة مع تبادل الهالة (Distributed Layer with Halo Exchange)

لتنفيذ تعدد المعالجات الرسومية، تنفذ torch-sla تقسيم النطاق حيث يمتلك كل إجراء كتلة صفوف وبيانات وصفية للهالة (halo metadata).

تمريرة الأمام (Forward Pass): تتبادل العمليات قيم الهالة قبل عمليات الضرب المصفوفي المتفرق (SpMV) المحلية.
تمريرة الخلف (Backward Pass): تنفذ المكتبة تبادل هالة منقول (transposed halo exchange). بينما تقوم تمريرة الأمام بتشتيت القيم المملوكة إلى الهالات المجاورة، تقوم تمريرة الخلف بجمع تدرجات الهالة الواردة مرة أخرى إلى مدخلات الحدود الخاصة بالعملية المالكة.
التنفيذ: يتم تغليف كل من الاتصالات في الأمام والخلف كأوليات torch.autograd.Function باستخدام torch.distributed لضمان القابلية للتفاضل من البداية للنهاية عبر الحلول الموزعة.

المساهمات الرئيسية

واجهة برمجة تطبيقات موحدة: مكتبة واحدة توفر واجهات مدركة للـ autograd للمحللات المباشرة، والتكرارية، وغير الخطية، ومحللات القيم الذاتية عبر خمس خلفيات (SciPy, Eigen, cuDSS, CuPy, PyTorch-native).
إطار عمل مرافق قابل للتوسع: طريقة تفاضل برسم بياني $O(1)$ تلغي اختناق الذاء الناتج عن التراجع في المحللات التكرارية، مما يسمح بالتدريب على مشكلات تحتوي على ملايين المجاهيل.
Autograd موزع: أول تنفيذ للمحللات المتفرقة الموزعة في PyTorch الذي يدعم بشكل أصلي التفاضل من البداية للنهاية عبر تبادل الهالة المنقول.
القابلية للتوسع: تجريد للخلفية يسمح بدمج المكتبات الخارجية (مثل PETSc أو Trilinos أو hypre) أو الممهدات (preconditioners) المتعلمة عبر تنفيذ واجهة مشتركة.

النتائج التجريبية

قيم المؤلفون torch-sla باستخدام اختبارات Poisson ثنائية الأبعاد على وحدات معالجة رسومية من نوع NVIDIA H200:

القابلية للتوسع: تتوسع المكتبة لتصل إلى 169 مليون درجة حرية (DOF) على وحدة معالجة رسومية واحدة و 400 مليون درجة حرية عبر ثلاث وحدات معالجة رسومية.
الأداء: بالنسبة لمشكلة بمليون درجة حرية، يتفوق خلفية CG في torch-sla (190 مللي ثانية) على cuDSS (7.3 ثانية) بمقدار 38 ضعفاً. فوق 2 مليون درجة حرية، تنفد ذاكرة المحللات المباشرة، بينما تحافظ المحللات التكرارية على توسع شبه خطي.
كفاءة الذاكرة: في مقارنة بين التراجع الساذج وطريقة المرافق لـ 1,000 تكرار من CG، تطلب النهج الساذج حوالي 64 جيجابايت (فشل بسبب نفاذ الذاكرة عند 2,000 تكرار)، بينما حافظت طريقة المرافق على استخدام ثابت قدره ~328 ميجابايت، محققة انخفاضاً في الذاكرة بمقدار 195 ضعفاً.
التحقق من التدرج: تم التحقق من التدرجات مقابل الفروق المحدودة (finite differences) للمشكلات غير الخطية ومشكلات القيم الذاتية، حيث أظهرت أخطاء نسبية أقل من $10^{-5}$ .
تطبيق من البداية للنهاية: نجحت مهمة تعلم المعاملات العكسية (استعادة الموصلية المتغيرة مكانياً في معادلة Poisson) في التقارب إلى خطأ L2 نسبي قدره 0.23% في أقل من دقيقة باستخدام حلقة Adam قياسية في PyTorch.

الأهمية

تزعم الورقة أن torch-sla تسد فجوة طويلة الأمد في منظومة PyTorch، حيث توفر قدرات مماثلة لـ jax.lax.custom_linear_solve و jax.scipy.sparse.linalg ولكن ضمن مكتبة PyTorch موحدة. إنها تمكن الباحثين من:

تدريب نماذج تتضمن حلولاً خطية متفرقة دون التخلي عن التدرجات أو نقل الكود إلى JAX.
توسيع نطاق أعباء عمل تعلم الآلة العلمي إلى مئات الملايين من درجات الحرية على مجموعات معالجات رسومية موزعة.
التعامل مع المحللات المتفرقة كمستويات (layers) قابلة للتفاضل، مما يسهل البحث في الممهدات (preconditioners) المتعلمة والتحسين النهائي لمحاكاة الفيزياء.

يشير المؤلفون إلى بعض القيود، بما في ذلك الاعتماد الحالي على ممهد Jacobi في خلفية PyTorch الأصلية (مما يحد من سرعة التقارب للأنظمة الكبيرة جداً) والتركيز على اختبارات Poisson ثنائية الأبعاد، مع تحديد العمل على المعادلات التفاضلية الجزئية ثلاثية الأبعاد والأنظمة غير المحددة (indefinite systems) كأعمال مستقبلية.