Neural Network Training with Approximate Logarithmic Computations
تقترح هذه الورقة مخططاً لتدريب واستنتاج شبكة عصبية عميقة من طرف إلى طرف باستخدام حسابات نظام الأعداد اللوغاريتمية التقريبية مع حسابات النقطة الثابتة، مما يثبت أن المعالجة في النطاق اللوغاريتمي بـ 16 بت تحقق دقة تصنيف ضمن نطاق 1% تقريباً من المراجع الأساسية للنقطة العائمة مع إلغاء الحاجة إلى مضاعفات الأجهزة.
في العالم الحديث، أصبحت أجهزة الكمبيوتر بارعة بشكل ملحوظ في التعرف على الأنماط، بدءاً من تحديد قطة في صورة فوتوغرافية وصولاً إلى فهم الكلمات المنطوقة. وتأتي هذه القدرة من نوع من البرمجيات يسمى الشبكة العصبية، والتي صُممت لمحاكاة الطريقة التي يعالج بها الدماغ البشري المعلومات عبر ربط العديد من وحدات المعالجة البسيطة معاً. ولجعل هذه الشبكات ذكية، يجب تدريبها باستخدام كميات هائلة من البيانات، وهي عملية تتطلب من الكمبيوتر إجراء مليارات الحسابات المعقدة. وتقليدياً، تعتمد هذه الحسابات بشكل كبير على عملية الضرب، وهي عملية مباشرة من الناحية الرياضية ولكنها تتطلب طاقة كبيرة وأجهزة متخصصة لتنفيذها بسرعة. ومع محاولتنا تشغيل هذه الأنظمة الذكية على أجهزة أصغر تعمل بالبطارية مثل الهواتف الذكية أو المستشعرات، يصبح الطلب الكبير على عملية الضرب بمثابة عنق زجاجة، مما يستنزف الطاقة ويبطئ عملية التعلم.
اقترح فريق من الباحثين في جامعة جنوب كاليفورنيا طريقة مختلفة للتعامل مع هذه الحسابات، طريقة قد تجعل تدريب هذه الشبكات أكثر كفاءة بكثير. فبدلاً من إجراء عملية الضرب القياسية التي تتطلبها الطرق التقليدية، يقترحون تحويل جميع الأرقام إلى صيغة لوغاريتمية. وفي هذا النظام، تُستبدل المهمة الصعبة المتمثلة في ضرب رقمين بمهمة أبسط بكثير وهي جمعهما معاً. وبينما يبدو هذا التحويل واعداً، إلا أنه يطرح تحدياً جديداً: فجمع الأرقام في هذه الصيغة اللوغاريتمية ليس بسيطاً مثل الجمع القياسي، وعادة ما يتطلب جداول بحث معقدة أو تقريبات ليعمل بشكل صحيح. وقد شرع الباحثون في محاولة معرفة ما إذا كان بإمكانهم تبسيط عمليات الجمع هذه بشكل أكبر، باستخدام تقريبات تقريبية يسهل على الأجهزة بناءها، دون إفساد دقة النتيجة النهائية.
طوّر الباحثون نظاماً كاملاً حيث تتم عملية التدريب والاختبار الكاملة للشبكة العصبية داخل هذا العالم اللوغاريتمي. فقد استبدلوا خطوات الضرب القياسية بالجمع، وتعاملوا مع الأجزاء الصعبة من الجمع اللوغاريتمي باستخدام اختصارين محددين. يستخدم أحد الاختصارين جدولاً صغيراً من القيم المحسوبة مسبقاً، بما يشبه "ورقة الغش"، بينما يستخدم الآخر تقنية بسيطة لإزاحة البتات (bit-shifting)، وهي طريقة سريعة للحواسيب للضرب في قوى العدد اثنين. ولاختبار فكرتهم، بنوا محاكاة رقمية لشبكة عصبية ودربوها على عدة مجموعات بيانات صور معروفة، بما في ذلك صور للأرقام المكتوبة بخط اليد وقطع الملابس. وقارنوا طريقتهم اللوغاريتمية الجديدة بطريقة الفاصلة العائمة القياسية عالية الدقة المستخدمة حالياً في معظم الحواسيب القوية.
كانت النتائج مشجعة بشكل مفاجئ. فعندما استخدم الباحثون تمثيلاً بـ 16 بت لأرقامهم، حققت الطريقة اللوغاريتمية دقة تصنيف كانت ضمن حوالي واحد بالمائة من طريقة الفاصلة العائمة القياسية. وهذا يعني أنه على الرغم من استخدام رياضيات مبسطة وتقريبات، فقد تعلمت الشبكة التعرف على الصور بشكل يقارب النظام التقليدي. ووجدوا أنه حتى مع وجود جدول بحث صغير جداً يحتوي على عشرين مدخلاً فقط، كان النظام يعمل بشكل جيد، وفي كثير من الحالات، كان اختصار إزاحة البتات البسيط كافياً للحفاظ على دقة عالية. وتشير الدراسة إلى أنه بالنسبة للعديد من المهام الشائعة، فإن تمثيل النقطة الثابتة بـ 16 بت في المجال اللوغاريتمي كافٍ للاقتراب من أداء حسابات الفاصلة العائمة الأكثر تعقيداً.
يُظهر هذا العمل أنه من الممكن تدريب الشبكات العصبية العميقة دون الاعتماد على أجهزة ضرب مكلفة، بشرط التعامل مع عمليات الجمع بهذه التقريبات المحددة. وقد أظهر الباحثون أن التدهور في الدقة ضئيل، مما يشير إلى أن تصميمات الأجهزة المستقبلية يمكن أن تلغي المضروبات تماماً لمهام التدريب والاستدلال. ومن شأن هذا أن يؤدي إلى أجهزة أصغر، وأسرع، وأكثر كفاءة في استهلاك الطاقة، وقادرة على التعلم والتكيف مباشرة عند "الحافة" (edge) دون الحاجة إلى إرسال البيانات مرة أخرى إلى خادم كبير. وبينما ركزت الدراسة على أنواع محددة من الشبكات ومجموعات البيانات، فإن النتائج تشير إلى مسار قابل للتطبيق نحو جعل الذكاء الاصطناعي المتقدم أكثر سهولة وعملية للأجهزة اليومية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.