🤖 machine learning

Lightweight Gaussian Process Inference in C++ on Metal and CUDA

تقدم هذه الورقة البحثية LightGP، وهي مكتبة C++17 خفيفة الوزن وخالية من التبعيات لنمذجة الانحدار للعمليات الغاوسية، والتي تستفيد من خلفيات معالجة محسنة لـ CPU وMetal وCUDA لتحقيق تسريع كبير مقارنة بالأطر البرمجية القائمة على لغة بايثون مثل GPyTorch عبر نطاق واسع من أحجام مجموعات البيانات.

المؤلفون الأصليون: Yu-Hsueh Fang

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yu-Hsueh Fang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول التنبؤ بالطقس للأسبوع القادم. لديك كمية هائلة من البيانات التاريخية، وتريد استخدام "آلة حاسبة ذكية" تسمى العملية الغاوسية (Gaussian Process - GP) لإجراء هذا التنبؤ. هذه الآلة الحاسبة مشهرة بدقتها العالية، وبقدرتها على إخبارك بمدى ثقتها في إجابتها.

ولكن، هناك عقبة؛ فهذه الآلة الحاسبة ثقيلة للغاية. تقليديًا، لتشغيلها، تحتاج إلى تحميل مجموعة برمجيات ضخمة ومتضخمة (مثل مطبخ كامل بكل الأجهزة التي يمكن تخيلها) لمجرد استخدام خلاط واحد. وهذا ما تفعله الأدوات الشهيرة الحالية مثل GPyTorch؛ فهي مبنية على أطر عمل ضخمة للتعلم العميق تستغرق جيجابايت من المساحة وتتطلب خطوات إضافية تبطئ العمل.

إليك LightGP.

قام مؤلفو هذه الورقة البحثية ببناء نسخة جديدة، خفيفة الوزن للغاية، من هذه الآلة الحاسبة الذكية. فكر فيها كأنها سكين سويسري متعدد الاستخدامات بدلاً من مطبخ كامل. لقد كُتبت بلغة (C++) رشيقة وفعالة، ولا تتطلب أي مجموعات برمجية ضخمة لتشغيلها. يمكنها أن تتسع في هاتف، أو لابتوب، أو خادم دون الحاجة إلى تحميل 2 جيجابايت من الحمولات الإضافية.

إليك كيف يعمل LightGP، مشروحاً عبر تشبيهات من الحياة اليومية:

1. المسارات الأربعة المختلفة

تقول الورقة البحثية إن LightGP يوفر أربع طرق مختلفة لحل المشكلة، اعتماداً على حجم بياناتك:

المسار الدقيق (Cholesky): مثل حل مسألة رياضية عن طريق كتابة كل خطوة بدقة متناهية. إنه دقيق للغاية ولكنه يصبح بطيئاً جداً ويستهلك الكثير من الذاكرة إذا كان لديك الكثير من الأرقام (مثل محاولة حل لغز يحتوي على مليون قطعة).
مسار "التخمين والتحقق" (Conjugate Gradients): بدلاً من كتابة اللغز كاملاً، يستخدم هذا الأسلوب اختصاراً ذكياً. فهو يتساءل: "إذا جربت هذا، هل أقترب من الحل؟" ثم يعدل مساره. الأمر يشبه التنقل في متاهة عن طريق تحسس الجدران بدلاً من رسم الخريطة كاملة أولاً. هذا يوفر قدراً هائلاً من الذاكرة.
مسار "العينات" (Sparse Variational): تخيل أن لديك مليون صورة لقطط، لكنك تحتاج فقط للنظر في 200 صورة منها لتتعلم كيف يبدو شكل القط. هذا الأسلوب يختار بعض "النقاط التمثيلية" للقيام بالعمل الشاق، متجاهلاً البقية.
مسار "التقديم السريع" (SKI with FFT): يستخدم هذا الأسلوب خدعة رياضية خاصة (مثل عدسة سحرية) لجعل التفاصيل ضبابية قليلاً بحيث ترى الصورة الكبيرة فوراً، مما يجعله سريعاً للغاية للبيانات الضخمة.

2. السباق: LightGP ضد العمالقة

وضع المؤلفون LightGP في سباق ضد العمالقة (GPyTorch) على مسارين مختلفين: لابتوب Apple M4 وبطاقة رسوميات NVIDIA RTX 3060.

على لابتوب Apple: كان LightGP مثل العداء السريع مقارنة بعداء الماراثون. ولأن شرائح Apple تحتوي على "مساعد" خاص (يسمى AMX) يتعامل مع الرياضيات بسرعة كبيرة، فقد استغل LightGP هذا المساعد مباشرة. أما GPyTorch، فقد كان عليه المرور عبر صف طويل من مديري لغة Python والموزعين قبل أن يتمكن حتى من طلب المساعدة من المساعد.
- النتيجة: كان LightGP أسرع بمقدار 2.6 إلى 8.7 مرة للمهام القياسية.
على بطاقة رسوميات NVIDIA: كان LightGP أيضاً أسرع للمهام الصغيرة والمتوسطة (حتى حوالي 2,000 نقطة بيانات). ومع ذلك، بالنسبة للمهام الكبيرة جداً، بدأ "العملاق" (GPyTorch) في اللحاق به لأن لديه ميزات مدمجة للتعامل مع تدفقات البيانات المستمرة الضخمة بشكل أفضل.
- النتيجة: كان LightGP أسرع بمقدار 2.3 إلى 6.7 مرة للمهام الصغيرة، لكن GPyTorch فاز في المهام الأكبر حجماً.

3. الخدع "السحرية"

تسلط الورقة البحثية الضوء على خدعتين سحريتين يستخدمهما LightGP:

المصفوفة غير المرئية: عادةً، للقيام بالعمليات الحسابية، يجب عليك كتابة شبكة ضخمة من الأرقام (المصفوفة) التي تستهلك الكثير من الذاكرة. يمتلك LightGP خدعة حيث يحسب النتيجة دون كتابة الشبكة أبداً. الأمر يشبه حساب التكلفة الإجمالية لرحلة تسوق دون كتابة سعر كل صنف على حدة في ورقة. هذا يسمح له بالتعامل مع كميات هائلة من البيانات على أجهزة ذات ذاكرة محدودة.
دفعة السرعة: في أجهزة Apple، وجد المؤلفون أن استخدام "وحدة المعالجة المركزية" (CPU) كان في الواقع أسرع من "وحدة معالجة الرسوميات" (GPU) لبعض المهام الرياضية الثقيلة، لأن وحدة المعالجة المركزية تمتلك مساعداً متخصصاً (AMX) لا تستطيع وحدة معالجة الرسوميات التغلب عليه. LightGP يعرف تلقائياً متى ينتقل إلى وحدة المعالجة المركزية لتوفير الوقت.

4. الخلاصة

إن LightGP هو أداة جديدة تثبت أنك لست بحاجة إلى إطار عمل برمجي ضخم وثقيل للقيام بتنبؤات إحصائية متقدمة.

إنه سريع: يعمل أسرع بمقدار 2 إلى 8 مرات من البدائل الشهيرة على العديد من الأجهزة.
إنه خفيف: ليس له تبعات برمجية ثقيلة، ويمكن تثبيته بأمر واحد (pip install lightgp).
إنه مرن: يعمل على كل من أجهزة Apple وNVIDIA.

يخلص المؤلفون إلى أنه بالنسبة للعديد من أحجام البيانات اليومية (حتى 100,000 نقطة)، فإن هذه الأداة خفيفة الوزن هي الطريقة الأكثر كفاءة للحصول على تنبؤات دقيقة، خاصة على أجهزة Apple، دون التضخم الذي تعاني منه الأدوات القديمة والأثقل وزناً.

ملخص تقني: LightGP

بيان المشكلة

يعد الاستدلال باستخدام العمليات الغاوسية (GP) إطارًا بايزيًا رصينًا للانحدار مع تقدير دقيق لعدم اليقين، إلا أن تكلفته الحسابية — $O(N^3)$ للاستدلال الدقيق و $O(N^2)$ للذاكرة — قد حدت تاريخيًا من تطبيقه على مجموعات البيانات الصغيرة. وبينما نجحت التقديرات القابلة للتوسع (مثل طرق النقاط المحرضة، وطرق التدرج المترافق، والتحويل الهيكلي للنواة) في توسيع هذه الحدود لتشمل مئات الآلاف من النقاط، فإن التنفيذات المهيمنة مثل GPyTorch و GPflow تعتمد على أطر عمل التعلم العميق الثقيلة (PyTorch و TensorFlow). تفرض هذه الأطر بصمات اعتماد كبيرة (غالبًا ما تتجاوز 2 جيجابايت)، وتكاليف إضافية غير ضئيلة في توجيه العمليات (dispatch overhead) لكل عملية في بايثون، كما تفتقر إلى دعم كافٍ للتشغيل في بيئات الأجهزة المحمولة أو المدمجة. علاوة على ذلك، تفتقر المكتبات الموجودة غالبًا إلى تنفيذات C++ أصلية خالية من التبعيات يمكنها الاستفادة من مسرعات أجهزة محددة مثل Apple Metal أو NVIDIA CUDA دون تضخم في حجم الإطار البرمجي.

المنهجية

LightGP هي مكتبة C++17 خالية من التبعيات مصممة لمعالجة هذه القيود. توفر روابط بايثون (Python bindings) ولكنها تعمل على نواة C++ أصلية، مما يلغي الحاجة إلى PyTorch أو TensorFlow. تم هيكلة المكتبة في أربع طبقات:

الموتر و BLAS: فئة Tensor تخزن بيانات من نوع float32 بنظام ترتيب الصفوف (row-major). تقوم بتوجيه ضرب المصفوفات إلى Apple Accelerate (باستاستخدام معالج AMX المساعد على macOS) أو OpenBLAS (على Linux). يستخدم تحليل تشوليسكي (Cholesky factorization) دالة spotrf من مكتبة LAPACK.
النوى (Kernels): تدعم فئة الأساس المجردة Kernel التركيب عبر العمليات (+ ، * ، Scale). وتشمل التنفيذات الملموسة نوى RBF، و Matérn، و Periodic، و Linear.
خلفيات المعالجة (GPU Backends):
- Metal (Apple Silicon): ينفذ بناء مصفوفة النواة بنظام البلاطات (tiled)، ومنتج نواة-متجه مدمج وخالٍ من المصفوفة، وتشوليسكي محظوظ (blocked Cholesky) مع GEMM بذاكرة مجموعة الخيوط (threadgroup-memory)، وحلول مثلثية.
- CUDA (NVIDIA): يحاكي وظائف Metal باستخدام cuBLAS و cuSOLVER ونوى مخصصة للعمليات الخالية من المصفوفة.
- الاختيار التلقائي: يستخدم منهج استدلالي Backend::Auto لاختيار وحدة المعالجة المركزية أو وحدة معالجة الرسومات بناءً على حجم المشكلة وأبعادها.
نماذج الاستدلال:
- GPExact: يدعم ثلاثة حلول: تشوليسكي الدقيق ( $O(N^3)$ )، والتدرج المترافق (CG) مع لوغاريتم المحدد باستخدام طريقة لانكوس العشوائية (خالٍ من المصفوفة، $O(N^2k)$ )، والتحويل الهيكلي للنواة (SKI) عبر FFT ( $O(N \log N)$ ).
- GPSparse: ينفذ طاقة VFE لـ Titsias مع تهيئة النقاط المحرضة لأبعد نقطة وتحسين Adam. يتضمن ميزة "إعادة الضبط الدافئ" (warm-refit) لتخطي إعادة التهيئة عند عمليات الملاءمة المتكررة.

تُجمع المكتبة كـ مكتبة ثابتة واحدة (static library) مع صفر من التبعيات الخارجية، ويمكن تثبيتها عبر pip install lightgp.

المساهمات الرئيسية

تنفيذ C++ أصلي: تنفيذ كامل لأربعة مسارات استدلال GP (الدقيق، CG، و VFE المتناثر، و SKI) مع نوى قابلة للتركيب، قابلة للنشر دون الحاجة إلى بايثون أو تبعيات أطر العمل.
نوى محسنة للأجهزة: نوى Metal معدلة يدويًا لشرائح Apple Silicon ونوى CUDA لشرائح NVIDIA GPU. ومن الجدير بالذكر أنها تقدم منتج نواة-متجه مدمج خالٍ من المصفوفة يتيح استدلالًا بذاكرة $O(N)$ لعملية CG، وهي ميزة لا يدعمها نظام Metal الخاص بـ PyTorch بشكل أصلي.
تسريع SKI باستخدام FFT: تنفيذ لـ SKI باستخدام Apple Accelerate vDSP و cuFFT لتحقيق ضرب متجه-مصفوفة بسرعة $O(N \log N)$ على نطاق واسع.
مقاييس الأداء عبر المنصات: تقييم منهجي يكشف أن وحدة المعالجة المركزية في Apple Silicon (عبر Accelerate) تتفوق بشكل كبير على Metal في تحليل تشوليسكي الكثيف، وهي نتيجة توجه الاستدلالات الخاصة بالخلفيات البرمجية.
روابط بايثون صفرية التبعيات: تعريض كامل لواجهة برمجة التطبيقات (API) عبر pybind11 مع التوافق مع NumPy، مما يسمح بالتثبيت دون البصمة الثقيلة لأطر التعلم العميق.

النتائج

أُجريت الاختبارات المرجعية على جهاز Apple M4 (Metal 3) وجهاز سطح مكتب Linux مع معالج Intel i7-12700 و NVIDIA RTX 3060 (CUDA 12.0).

الأداء مقابل GPyTorch:
- Apple M4 (CPU): LightGP أسرع بمقدار 2.6–8.7× من GPyTorch في استدلال GP الدقيق، وأسرع بنحو 1.5× في GP المتناثر عبر جميع المقاييس المختبرة. يُعزى هذا التسريع إلى إلغاء عبء التوجيه (dispatch overhead) الخاص ببايثون و PyTorch.
- Linux (CUDA): LightGP أسرع بمقدار 2.3–6.7× من GPyTorch للاستدلال الدقيق حتى $N=2,048$ . عند $N=4,096$ ، يتقلص الفارق مع GPyTorch بسبب خط أنابيب autograd المدمج الذي يقلل من التكاليف الإضافية. بالنسبة لـ Sparse GP، تكون LightGP أسرع عند $N=10,000$ (بمقدار 1.7×)، لكن GPyTorch يتفوق عند $N=50,000$ بسبب وجود التوترات (tensors) المستمرة وحساب التدرج المجمع.
العمليات الخالية من المصفوفة: يحقق منتج نواة-متجه المدمج في Metal سرعة تبلغ 32× مقارلة بمسار CPU الصريح عند $N=20,000$ ، وهو الخيار الوحيد الممكن بعد $N=30,000$ في ذاكرة 16 جيجابايت. في Linux، تحقق CUDA تسارعًا يصل إلى 259× عند $N=10,000$ .
توسع الذاكرة: تحافظ عمليات Matrix-free CG و Sparse VFE و SKI على استخدام ذاكرة $O(N)$ . في المقابل، يستنفد تحليل Cholesky الدقيق ( $O(N^2)$ ) ذاكرة 16 جيجابايت عند $N \approx 42,000$ –$45,000$ على Mac و 12 جيجابايت من ذاكرة VRAM عند $N \approx 35,000$ على Linux.
الدقة: تتوافق تنبؤات خلفيات CPU و GPU ضمن نطاق $10^{-5}$ للمتوسط والتباين عبر مجموعات البيانات القياسية (Motorcycle, Mauna Loa, kin40k).

الأهمية

تثبت LightGP أن استدلال GP الأصلي بلغة C++ يمكن أن يضاهي أو يتجاوز أداء المكتبات القائمة على أطر العمل مع طلب صفر من التبعيات الخارجية. من خلال إزالة عبء التوجيه الخاص ببايثون وأطر التعلم العميق، تقدم LightGP مكاسب أداء ثابتة، خاصة في Apple Silicon حيث يتم استغلال معالج AMX مباشرة. تمكن المكتبة من استدلال GP عند مقاييس ( $N > 100,000$ ) كانت غير عملية سابقًا على الأجهزة الاستهلاكية من خلال طرق المصفوفات الخالية من المصفوفة بذاكرة $O(N)$ وتقنية SKI المسرعة بـ FFT.

تسلط الورقة الضوء على رؤية برمجية هامة للأجهزة: في Apple Silicon، غالبًا ما تكون وحدة المعالجة المركزية (عبر Accelerate/AMX) متفوقة على وحدة معالجة الرسومات (Metal) في مهام الجبر الخطي الكثيفة مثل تحليل تشوليسكي، وهو تفصيل تديره الاستدلالات الخاصة بـ LightGP تلقائيًا. وبينما تظل GPyTorch منافسة أو متفوقة عند المقاييس الكبيرة جدًا ( $N \ge 50,000$ ) على CUDA نظرًا لبنية التدرج (autograd) الناضجة وبنية التوترات المستمرة، فإن LightGP تملأ فجوة لاستدلال GP خفيف الوزن، عالي الأداء، وقابل للنشر دون عبء حزمة التعلم العميق الكاملة.