Do GPUs Really Need New Tabular File Formats?
توضح هذه الورقة أن اختناقات أداء المسح (scan) لوحدات معالجة الرسومات (GPU) في ملفات Parquet تنبع من إعدادات غير مثالية متمحورة حول وحدة المعالجة المركزية (CPU) بدلاً من التنسيق نفسه، وتُظهر أن تطبيق إعدادات مدركة لوحدة معالجة الرسومات يمكن أن يعزز عرض نطاق القراءة الفعلي إلى 125 جيجابايت/ثانية دون تغيير مواصفات Parquet.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة من الكتب (بياناتك) مخزنة في مستودع (قرصك الصلب). ولديك أمين مكتبة آلي فائق السرعة (وحدة معالجة الرسومات - GPU)، ومهمته هي قراءة هذه الكتب والإجابة على الأسئلة.
لسنوات، تم تنظيم المكتبة باستخدام نظام أرشفة محدد يسمى Parquet. هذا النظام صُمم ليكون مناسباً لأمين مكتبة بشري: فهو يجمع الكتب في أكوام صغيرة يمكن للإنسان التقاطها واحدة تلو الأخرى بسهولة.
ومع ذلك، فإن أمين المكتبة الآلي مختلف؛ فهو لا يكتفي بالتقاط كومة واحدة في كل مرة، بل لديه آلاف الأيدي ويمكنه الإمساك بعشرات الأكوام في وقت واحد. ولكن لأن المكتبة لا تزال منظمة من أجل البشر، يقضي الروبوت معظم وقته في انتظار تسليمه الكومة التالية، أو أنه لا يستخدم سوى جزء ضئيل جداً من يديه. الروبوت سريع للغاية، لكن تنظيم المكتبة يعيقه.
يطرح البحث سؤالاً بسيطاً: هل نحتاج إلى اختراع نظام أرشفة جديد تماماً مخصص للروبوتات؟
يقول المؤلفون: لا. بدلاً من ذلك، نحتاج فقط إلى إعادة ترتيب الكتب الموجودة باستخدام بعض القواعد البسيطة.
إليك كيف قاموا بحل المشكلة، باستخدام أربع "قواعد للطريق" رئيسية:
1. قاعدة "المزيد من الأكوام" (زيادة عدد الصفحات)
- المشكلة: النظام القديم وضع جميع البيانات الخاصة بقسم ما في كتاب واحد ضخم وثقيل. حاول الروبوت قراءته، لكنه لم يستطع سوى استخدام يد واحدة في كل مرة لأن الكتاب كان كبيراً جداً بحيث لا يمكن تقسيمه.
- الحل: قاموا بتقطيع تلك الكتب الضخمة إلى صفحات عديدة أصغر وأرق. الآن، يمكن للروبوت الإمساك بـ 100 صفحة في وقت واحد باستخدام 100 يد.
- النتيجة: لم يعد الروبوت ينتظر؛ بل أصبح مشغولاً باستخدام جميع يديه في آن واحد.
2. قاعدة "الصناديق الكبيرة" (زيادة حجم مجموعة الصفوف)
- المشكلة: النظام القديم كان يرسل للروبوت حزماً صغيرة جداً بحجم طابع البريد. ورغم أن الروبوت سريع، إلا أن شاحنة التوصيل (الوصلة بين القرص والروبوت) كانت تزدحم بالكثير من الحزم الصغيرة.
- الحل: بدأوا بإرسال صناديق نقل ضخمة وكاملة الحجم بدلاً من طوابع البريد.
- النتيجة: أصبحت شاحنة التوصيل الآن تعمل بكامل سرعتها، مما يبقي الروبوت مغذى بالبيانات باستمرار.
3. قاعدة "التعبئة الذكية" (مرونة الترميز)
- المشكلة: كان النظام القديم يعبئ الكتب باستخدام طريقة عامة تناسب الجميع. أحياناً جعل هذا الكتب أصغر حجماً، لكن في كثير من الأحيان لم يساعد كثيراً.
- الحل: نظروا إلى كل كتاب على حدة واختاروا أفضل طريقة لتقليصه. إذا كان الكتاب يحتوي على الكثير من الكلمات المكررة، استخدموا رمزاً خاصاً لجعله ضئيلاً جداً. وإذا كان الكتاب قصيراً بالفعل، تركوه كما هو.
- النتيجة: أصبحت الكتب تشغل مساحة أقل على الرف، مما يعني أن شاحنة التوصيل تحمل وزناً أقل، مما يجعل العملية برمتها أسرع.
4. قاعدة "لا تغلفها" (عدم اللجوء لضغط غير ضروري)
- المشكلة: في بعض الأحيان، كان النظام القديم يغلف الكتب بفقاعات حماية ثقيلة (الضغط/Compression) حتى عندما كانت الكتب صغيرة بالفعل. وكان على الروبوت حينها قضاء وقت في فك التغليف، مما يضيع الطاقة.
- الحل: قرروا: "إذا لم تجعل فقاعات الحماية الطرد أصغر حجماً بشكل ملحوظ، فلا تستخدمها".
- النتيجة: يوفر الروبوت الوقت عبر تخطي خطوة فك التغليف للكتب التي لم تكن بحاجة إليها.
الخاتية الكبرى: الروبوت مقابل الإنسان
اختبر المؤلفون هذا الترتيب الجديد.
- الطريقة القديمة: كان الروبوت بطيئاً، وبالكاد يستخدم قدراته الخارقة.
- الطريقة الجديدة: من خلال مجرد إعادة تنظيم ملفات Parquet الموجودة (دون اختراع تنسيق جديد)، جعلوا الروبوت أسرع بمقدار 125 مرة من حيث سرعة قراءة البيانات.
كما أظهروا أنه عندما يعمل الروبوت بالتزامن مع شاحنة التوصيل (تداخل القراءة والمعالجة)، يصبح أكثر كفاءة. في الواقع، كان هذا الروبوت المعاد تنظيمه سريعاً جداً لدرجة أنه اقترب من الحد النظري لسرعة شاحنة التوصيل نفسها.
الخلاصة
يخلص البحث إلى أننا لسنا بحاجة إلى حرق المكتبة وبناء مكتبة جديدة من الصفر. نحن فقط بحاجة إلى إعادة ترتيب الكتب على الرفوف مع بعض التعديلات الذكية.
من خلال ضبط كيفية تعبئة وتجميع البيانات، يمكن لتنسيق Parcel الحالي بالفعل أن يعمل بسرعة البرق على وحدات معالجة الرسومات الحديثة. وهذا يوفر على الجميع عناء تعلم نظام جديد ويحافظ على توافق جميع البرامج القديمة، مع تحقيق نفس القفزة الهائلة في السرعة التي أردناها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.