🔬 materials science

Performance Benchmarking of Tensor Trains for accelerated Quantum-Inspired Homogenization on TPU, GPU and CPU architectures

تقوم هذه الورقة البحثية بقياس أداء عمليات مصفوفة التوتر المتوالي (Tensor Train) على وحدات المعالجة المركزية (CPUs)، ووحدات معالجة الرسومات (GPUs)، ووحدات معالجة التنسور (TPUs) باستخدام JAX لتكييف وتسريع خوارزمية تجانس تعتمد على تحويل فوريه السريع المستوحى من الكم (SFFT)، مما مكن بنجاح من إجراء محاكاة متعددة المقاييس عالية الدقة تتراوح من 300 مليون إلى 70 مليار نقطة شبكية، وهي محاكاة يستحيل تنفيذها باستخدام طرق تحويل فوريه التقليدية القائمة على وحدات معالجة الرسومات.

المؤلفون الأصليون: Sascha H. Hauck, Matthias Kabel, Nicolas R. Gauger

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sascha H. Hauck, Matthias Kabel, Nicolas R. Gauger

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: بيانات كثيرة، مساحة ضئيلة

تخيل أنك تحاول فهم كيفية سلوك مادة معقدة (مثل سبيكة معدنية عالية التقنية أو مادة مركبة) تحت الضغط. للقيام بذلك، يستخدم العلماء "مجهراً" للنظر إلى البنية الداخلية الدقيقة للمادة.

في الماضي، كانت هذه المجاهر تعطينا صوراً صغيرة يمكن التعامل معها. لكن التكنولوجيا الجديدة تمنحنا الآن صوراً فائقة الدقة تحتوي على عشرات المليارات من النقاط الصغيرة (التي تسمى "فوكسل" أو voxels).

المشكلة هي أن محاولة إجراء العمليات الحسابية على هذه الصور الضخمة باستخدام الطرق التقليدية تشبه محاولة حمل جبل من الرمال في كيس ورقي. ستنفد ذاكرة الكمبيوتر (يتمزق الكيس) أو يستغرق الأمر وقتاً طويلاً في الحساب لدرجة أن النتيجة تصبح عديمة الفائدة بحلول وقت وصولها.

الحل: ضغط "مستوحى من الكم"

يقترح المؤلفون طريقة جديدة للتعامل مع هذه البيانات باستخدام خدعة رياضية تسمى قطارات التنسور (Tensor Trains - TT).

فكر في بيانات المادة كأنها مكعب روبيك ثلاثي الأبعاد ضخم مكون من مليارات القطع الصغيرة.

الطريقة القديمة (FFT): محاولة حل المشكلة من خلال النظر إلى كل قطعة على حدٍ، وهذا يتطلب مستودعاً ضخماً لتخزين البيانات وحاسوباً فائق القدرة لمعالجة الأرقام.
الطريقة الجديدة (قطارات التنسور): بدلاً من تخزين كل قطعة، تدرك أن المكعب له نمط معين. يمكنك وصف الشيء بأكمله عبر تخزين عدد قليل فقط من "كتيبات التعليمات" (تسمى "اللب" أو cores) التي تخبرك كيف تتصل القطع ببعضها. هذا يشبه ضغط فيلم بدقة 4K في ملف صغير جداً دون فقدان الصورة.

تسمى هذه الطريقة "مستوحاة من الكم" لأنها تستعير تقنية من فيزياء الكم (تحويل فورييه الكمي) لحل الرياضيات، رغم أن المؤلفين يقومون بتشغيلها على حواسيب عادية، وليس على حواسيب كمومية فعلية.

التجربة: من هو العداء الأسرع؟

أراد المؤلفون معرفة ما إذا كان هذا الأسلوب "المضغوط" الجديد يمكنه العمل بسرعة على شرائح الكمبيوتر الحديثة. اختبروا ثلاثة أنواع مختلفة من الأجهزة:

وحدة المعالجة المركزية (CPU): العقل القياسي للكمبيوتر (مثل عامل يعتمد عليه ومتعدد الاستخدامات).
وحدة معالجة الرسومات (GPU): شريحة مصممة للرسومات والمعالجة المتوازية (مثل فريق من 10,000 نملة تعمل معاً).
وحدة معالجة التنسور (TPU): شريحة متخصصة صنعتها جوجل خصيصاً للذكاء الاصطناني (مثل سيارة فورمولا 1 مصممة لمضمار واحد محدد).

قاموا ببناء محرك جديد (باستخدام أداة برمجية تسمى JAX) لتشغيل رياضياتهم "المضغوطة" على هذه الشرائح وراقبوا سرعة أدائها.

النتائج: الأمر يعتمد على نوع السباق

وجدت الورقة البحثية أنه لا يوجد "فائز" واحد. الأمر يعتمد على حجم المشكلة ونوع الرياضيات التي يتم إجراؤها:

للمهام الضخمة والمتوازية (الفوز للـ GPU): عندما تتضمن الرياضيات ملايين الحسابات البسيطة في وقت واحد (مثل جمع قوائم ضخمة)، كانت الـ GPU هي الأسرع. فهي تتوسع بشكل رائع، وتتعامل مع مجموعات البيانات الضخمة التي قد تؤدي إلى تعطل الشرائح الأخرى.
للمهام الأصغر أو الأكثر تعقيداً (الفوز للـ TPU): بالنسبة لأنواع معينة من الرياضيات الصعبة التي يصعب تقسيمها، كانت الـ TPU فعالة بشكل مفاجئ، وغالباً ما تفوقت على الـ CPU وأحياناً على الـ GPU.
وحدة المعالجة المركزية (CPU): كانت الأبطأ، لكنها كانت الأكثر استقراراً. لم تتعطل عندما أصبحت البيانات كبيرة جداً، بينما كانت المسرعات (Accelerators) تنفد منها الذاكرة أحياناً.

خلل في المصفوفة:
وجد المؤلفون مشكلة محددة مع الـ TPU. فعند محاولة إجراء نوع معين من الرياضيات المعقدة (تسمى SVD) على أرقام ذات دقة عالية جداً، تصبح الـ TPU مشوشة وتتوقف عن العمل بشكل صحيح. ولإصلاح ذلك، اضطروا لاستخدام "خطة بديلة" أبطأ قليلاً ولكنها أكثر استقراراً (Polar Decomposition) خصيصاً للـ TPU.

الحكم النهائي: كسر الحدود

الجزء الأكثر إثارة في الورقة هو ما حققوه بهذا الإعداد الجديد:

لقد نجحوا في تشغيل عمليات محاكاة "التجانس" (homogenization) على مجموعات بيانات تحتوي على 70 مليار نقطة شبكية.

العقبة: أفضل الطرق التقليدية (باستخدام FFT القياسي) لا يمكنها القيام بذلك ببساطة. فهي تنفد من الذاكرة قبل الوصول إلى هذا الحجم بكثير.
الاختراق: من خلال استخدام طريقة "قطارات التنسور" المضغوطة على هذه المسرعات، تمكنوا من حل مشكلات كانت مستحيلة سابقاً.

الملخص

فكر في هذه الورقة كأنها تجربة قيادة لمحرك جديد موفر للوقود (قطارات التنسور) في ثلاث سيارات مختلفة (CPU، GPU، TPU).

أثبتوا أن هذا المحرك يمكنه القيادة لمسافات أبعد بكثير (التعامل مع بيانات أكبر بكثير) من المحركات القديمة.
وجدوا أن الـ GPU هي أفضل سيارة للرحلات الطويلة على الطرق السريعة المستقيمة (البيانات المتوازية الضخمة).
وجدوا أن الـ TPU رائعة للمضامير التقنية المحددة، رغم وجود بعض العيوب في الرياضيات عالية الدقة.
والأهم من ذلك، أظهروا أنه باستخدام هذا المحرك الجديد، يمكننا أخيراً عبور "الازدحامات المرورية" (مجموعات البيانات الضخمة) التي كانت مغلقة تماماً في السابق.

ملخص تقني: قياس أداء نماذج الـ Tensor Trains لعمليات التجانس المستوحاة من الكم على بنيات TPU وGPU وCPU

بيان المشكلة
أدت التطورات الأخيرة في التصوير المقطعي المحوسب (CT) عالي الدقة إلى توليد مجموعات بيانات مجهرية فائقة الدقة (تصل إلى عشرات المليارات من الفوكسلات/النقاط الحجمية) والتي تتحدى طرق التجانس التقليدية. وبينما تعد تقنيات التجانس القائمة على تحويل فوريه السريع (FFT) فعالة لمجموعات البيانات متوسطة الحجم، إلا أن بصمتها الذاكرية وتكلفتها الحسابية تتوسع بمعدل $O(dN^d \log N)$ ، مما يجعلها غير فعالة للمشكلات ذات النطاق الصناعي. وعلى الرغم من أن المسرعات العتادية (GPUs وTPUs) توفر قوة حسابية، إلا أن المتطلبات الذاكرية القصوى للبيانات عالية الدقة غالباً ما تتجاوز سعتها. وبينما تقدم تحويلات فوريه الكمية (QFT) تسارعاً أسياً نظرياً، إلا أنها تظل غير عملية بسبب غياب الأجهزة الكمية ذات القدرة على تصحيح الخطأ. بناءً على ذلك، تبرز الحاجة إلى خوارزميات كلاسيكية "مستوحاة من الكم" تستفيد من تمثيلات الموتر (Tensor) ذات الرتب المنخفضة للتغلب على هذه الاختناقات في الذاكرة والحوسبة.

المنهجية
يتقصى البحث أداء خوارزمية التجانس القائمة على تحويل فوريه فائق السرعة (SFFT)، والتي تستخدم تنسيقات الـ Tensor Train (TT) والـ Tensor Train Operator (TTO) لتمثيل الموترات عالية الرتبة. تسير الدراسة في مرحلتين:

قياس أداء العمليات الأساسية: قام المؤلفون بتنفيذ عمليات جبر الـ TT الأساسية (الجمع، الضرب، الانكماش، التعامد، والضغط) باستخدام إطار عمل JAX عبر ثلاث بنيات عتادية: معالجات Dual Intel Xeon Gold 6240R (CPUs)، ومعالجات NVIDIA A100 (GPUs)، ومعالجات Google TPU v4-8. تمت مقارنة نمطين من التنفيذ: "نمط القائمة" (حيث تُخزن الأنوية كقائمة من المصفوفات) و"النمط المجمع" (حيث تُخزن الأنوية داخل مصفوفة واحدة مجمعة). استخدمت الدراسة دقة complex64 لضمان الدقة، مع تشغيل وحدات TPU خارج نطاقها الأمثل المعتاد لـ BF16. تم تحليل الأداء عبر أوقات التنفيذ ونماذج Roofline لتحديد ما إذا كانت العمليات مقيدة بالذاكرة (memory-bound) أم بالحوسبة (compute-bound).
تطبيق التجانس المتسارع: تم تكييف سير عمل التجانس القائم على SFFT لهذه المسرعات. ولمعالجة التكاليف الباهظة لعملية التجميع الآني (JIT) في JAX عندما تتغير رتب الموترات ديناميكياً، تم تقديم استراتيجية "التجزئة الخشنة" (coarse-graining)، والتي تقيد رتب الموترات لتكون مضاعفات لرتبة أساسية ( $r_0 = 16$ ) لتقليل أحداث إعادة التجميع. وبالنسبة لتنفيذات TPU، تم استبدال الضغط القياسي القائم على تفكيك القيم المفردة (SVD) بالضغط القائم على التفكيك القطبي (Polar decomposition) لضمان الاستقرار العددي تحت حسابات complex64، حيث لوحظ فشل SVD في التقارب عند مستويات التجزئة العالية.

المساهمات الرئيسية

أول قياس منهجي لأداء TPU: يقدم البحث أول قياس دقيق لأداء عمليات TT الأساسية على عتاد TPU، بما في ذلك مقارنة مباشرة للأداء مع GPUs وCPUs.
جبر TT المتسارع عتادياً: يقدم البحث تنفيذات فعالة لجبر TT على المسرعات الحديثة، مع تقييم جدوى تخزين "نمط القائمة" مقابل "النمط المجمع"، وتحديد الخصائص النوعية للأداء (مثل السلوك المقيد بالذاكرة مقابل السلوك المقيد بالحوسبة) للعمليات المختلفة.
التنفيذ العملي لتجانس SFFT: نجح المؤلفون في تكييف خوارزمية التجانس القائمة على SFFT للتنفيذ على GPU وTPU، مما مكن من محاكاة مجموعات بيانات تتراوح من 300 مليون إلى 70 مليار نقطة شبكية—وهي أحجام يستحيل تنفيذها باستخدام مراجع FFT التقليدية القائمة على GPU.
تحليل الاستقرار: حدد العمل عدم الاستقرار العددي في عمليات SVD على TPU تحت دقة complex64، واقترح التفكيك القطبي كبديل مستقر للأنظمة ذات التجزئة العالية.

النتائج

أداء العمليات:
- العمليات المتوازية: بالنسبة للعمليات القابلة للتوازي بشكل كبير (الجمع، الضرب، وانكماش TT-TTO)، أظهرت الـ GPUs قدرة فائقة على التوسع عند مستويات التجزئة العالية، لتتفوق في النهاية على الـ TPUs. أظهرت الـ TPUs عبئاً منخفضاً عند مستويات التجزئة المنخفضة، لكنها ظلت مقيدة بالذاكرة بشكل صارم عبر النطاق المختبر.
- العمليات المتسلسلة: بالنسبة للعمليات المتسلسلة (التعامد، والضغط)، تفوقت الـ TPUs عموماً على الـ GPUs عبر النطاق الكامل. ومع ذلك، فشل الضغط القائم على SVD في الـ TPUs في التقارب عند تجزئة تقارب $2^7$ تحت دقة complex64، مما استدعى الانتقال إلى التفكيك القطبي.
- تحليل Roofline: كانت الـ GPUs مهيمنة بكونها مقيدة بالحوسبة (compute-bound) في العمليات المعقدة، بينما ظلت الـ TPUs مقيدة بالذاكرة في المهام المتوازية، لكنها انتقلت نحو سلوك مقيد بالحوسبة في المهام المتسلسلة عند التجزئات الأكبر.
توسع التجانس:
- نجح الحل "المستوحى من الكم" القائم على GPU في التوسع حتى حوالي 70 مليار نقطة شبكية ( $2^{18}$ نقطة لكل بُعد)، متجاوزاً بشكل كبير حدود الذاكرة لمرجع cuFFT (المحدود بـ $2^{12}$ نقطة).
- وصلت نسخ CPU وTPU إلى $2^{14}$ و $2^{10}$ نقطة لكل بُعد على التوالي، مدفوعة بسعة الذاكرة.
- بينما لم يتم تحسين أوقات التنفيذ المطلقة لطريقة SFFT بالكامل بعد مقارنة بمكتبات cuFFT المصقولة للغاية، إلا أن سلوك التوسع أشار إلى أن نهج SFFT سيتفوق في النهاية على طرق FFT مع زيادة حجم المشكلات، خاصة للهندسات ذات الهياكل القابلة للفصل حيث تظل رتب TT معتدلة.
الدقة: حافظت الطريقة على خطأ نسبي أقل من 5% للخصائص المادية الفعالة، وهو ما تم التحكم فيه عبر معامل قطع الضغط (compression cutoff).

الأهمية والادعاءات
يدعي البحث أنه يضع حجر الأساس لتجانس عالي الأداء وضخم النطاق يعتمد على الموترات على المسرعات الحديثة. ويوضح أن تقنيات Tensor Train يمكنها التغلب على كل من اختناقات الذاكرة والحوسبة، مما يسمح بتجانس مجموعات البيانات الضخمة التي كان من المستحيل التعامل معها سابقاً على المسرعات التقليدية.

يؤكد المؤلفون أن هذا العمل لا يعدل خوارزمية SFFT الأساسية، بل يركز على تنفيذها الفعال وتسريعها. ويضعون هذه الطريقة كأداة مكملة للنمذجة متعددة المقاييس القائمة على البيانات، قادرة على توليد حلول مرجعية دقيقة لتدريب المعاملات العصبية (neural operators). وتخلص الدراسة إلى أنه بينما تظل هذه الطريقة حالياً مقتصرة على الهندسات ذات الرتب المنخفضة (مثل البنى المجهرية المكسلة من المركبات الطبقية أو المواد الشبكية)، إلا أنها تمثل مساراً قابلاً للتطبيق نحو حلول فيزيائية مستوحاة من الكم وقابلة للتوسع للنمذجة المادية متعددة المقاييس. كما أبدى المؤلفون تواضعاً بشأن التطبيق الصناعي الفوري للهياكل المجهرية العشوائية، مشيرين إلى أن العمل المستقبى مطلوب لمعالجة الاستقرار العددي على TPUs وتوسيع هذه الطرق لتشمل شبكات الموتر ذات الرتب الأعلى.