Transformer Accelerator (TFA): A Macro-Op INT8 Hardware Chip for Transformer Inference and Machine Translation
تقدم هذه الورقة مسرع المحولات (TFA)، وهو محرك أجهزة INT8 قابل للتخليق يحقق استنتاج محولات دقيق البت، من البداية إلى النهاية، مع تحقق وظيفي بنسبة 100% وتحسينات كبيرة متوقعة في الطاقة والسرعة مقارنة بالنماذج المرجعية للمعالجات المركزية (CPU).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعلم الذكاء الاصطناعي الحديث التحدث والترجمة والاستنتاج باستخدام نوع محدد من الشبكات العصبية يسمى "المحول" (transformer). هذه الأنظمة قوية للغاية، لكنها أيضاً نهمة؛ فلتوليد كلمة واحدة جديدة في جملة، يجب على "المحول" البحث في ذاكرته الكاملة من الحقائق المتعلمة، وهي عملية تتطلب نقل كميات هائلة من البيانات. بالنسبة للأجهزة التي تعمل بالبطاريات، مثل الهواتف الذكية أو المستشعرات، يمثل هذا الانتقال المستمر للمعلومات عائقاً كبيراً. فغالباً ما تفوق الطاقة المطللة لجلب هذه الأرقام من الذاكرة الطاقة المطلوبة لإجراء العمليات الحسابية عليها بالفعل. وهذا يخلق مشكلة جوهرية: كيف تبني آلة يمكنها تشغيل نماذج لغوية معقدة كهذه بكفاءة على أجهزة صغيرة ومنخفضة الطاقة دون فقدان القدرة على فهم الفروق الدقيقة؟
قام باحث يدعى شاشانك بتصميم نوع جديد من الرقائق الإلكترونية خصيصاً لحل هذه المشكلة. فبدلاً من بناء حاسوب عام الأغراض يحاول القيام بكل شيء، فإن هذه الرقاقة هي أداة متخصصة صُممت للتعامل فقط مع الرياضيات المحددة المطلوبة لترجمة اللغات. التصميم، الذي يسمى "مسرع المحول" (Transformer Accelerator)، يعامل النموذج ليس كبرنامج يتم تفسيره، بل كتدفق من التعليمات التي تنقل البيانات مباشرة من الذاكرة إلى محرك حسابي ثم تعود مرة أخرى. كان الهدف هو إنشاء جهاز يمكنه أخذ نموذج لغوي مدرب مسبقاً، وتشغيله بالكامل على السيليكون، وإنتاج نتائج مطابقة رياضياً لنسخة الحاسوب الأصلية عالية الدقة، ولكن باستخدام طاقة أقل بكثير.
جوهر هذا العمل هو رقاقة تعمل باستخدام الأعداد الصحيحة بدلاً من الكسور العشرية المعقدة المستخدمة عادة في الحوسبة العلمية. ومن خلال الانتقال إلى هذه الأعداد الصحيحة الأبسط، تنخفض كمية البيانات التي يجب نقلها بشكل كبير. ومع ذلك، يؤدي هذا الانتقال عادةً إلى فقدان الدقة لأن الفروق الضئيلة في الأرقام يتم تقريبها. ووجد الباحث أن الطريقة القياسية لتقريب هذه الأرقام فشلت مع هذا النوع المحدد من النماذج اللغوية، مما جعل الترجمة تصبح مشوشة. لم يكن الحل في تغيير الرقاقة، بل في تغيير كيفية إعداد النموذج قبل تحميله على الأجهزة. فمن خلال تطبيق دوران رياضي دقيق على الأوزان الداخلية للنموذج أثناء مرحلة الإعداد، تمكن الباحث من تنعيم الأرقام الصعبة. سمح هذا للمحول البسيط منخفض الطاقة بإنتاج نتائج متطابقة تماماً (بت مقابل بت) مع النسخة الأصلية المعقدة، مما أخفى صعوبة الرياضيات داخل البرمجيات بدلاً من الأجهزة.
لإثبات نجاح ذلك، أخذ الباحث نموذج ترجمة كاملاً مدرباً مسبقاً قادراً على تحويل الإنجليزية إلى الفرنسية والألمانية والرومانية، وقام بتجميعه في سلسلة من التعليمات للرقاقة. ثم تم تشغيل الرقاقة عبر محاكاة صارمة فحصت كل خطوة من خطوات العملية. وأظهرت النتائج أن الرقاقة يمكنها تنفيذ خط أنابيب الترجمة بالكامل، بما في ذلك آليات "الانتباه" المعقدة التي تسمح للنموذج بالتركيز على الكلمات الصحيحة، مع صفر أخطاء. وعندما ولدت الرقاقة ترجمات لعشر أمثال إنجليزية صعبة، طابقت مخرجات الحاسوب الأصلي تماماً من حيث البيانات الأساسية. وفي نصف الحالات، كانت الكلمات المترجمة النهائية متطابقة مع المرجع ذو الفاصلة العائمة؛ وفي النصف الآخر، أنتجت الرقاقة ترجمات مختلفة ولكنها صحيحة بنفس القدر، مثل استخدام كلمة مختلفة لنفس المفهوم أو علامة ترقيم مختلفة. أثبت هذا أن الأجهزة ليست سريعة فحسب، بل موثوقة أيضاً.
كانت مكاسب الأداء كبيرة. فعند مقارنتها بمعالج حاسوب قياسي ذي اثنين وعشرين مساراً، تمكن تصميم الرقاقة من توليد الرموز (tokens) أسرع بعشرين مرة في أصغر تكويناتها، حتى عند تشغيلها على نظام ذاكرة تم تعمد جعله بطيئاً وصعباً. وتوقع الباحثون أن النسخ الأكبر من هذه الرقاقة يمكن أن تكون أسرع بنحو مائتين مرة من الحاسوب المرجعي. والأهم من ذلك، كانت كفاءة الطاقة مذهلة؛ إذ قُدر أن الرقاقة تستهلك طاقة أقل بنحو ثلاثة آلاف مرة لكل كلمة يتم توليدها مقارنة بمعالج الحاسوب. تأتي هذه الكفاءة من قدرة الرقاقة على تمرير الأوزان عبر وحدات الحساب الخاصة بها بأقصى سرعة تسمح بها الذاكرة، بدلاً من الانتظار حتى ينتهي الحساب قبل جلب القطعة التالية من البيانات.
لم يتوقف العمل عند حدود المحاكاة. ولضمان أن التصميم ليس مجرد تمرين نظري، أخذ الباحث الوصف الرقمي للرقاقة وعالجه عبر تدفق تصنيع كامل يُستخدم لإنشاء رقائق السيليكون الحقيقية. هذه العملية حولت التصميم إلى تخطيط فيزيائي يمكن طباعته على رقاقة. وقد اجتاز التخطيط الناتج جميع القواعد الصارمة المطلوبة للتصنيع، مما أكد أن التصميم قابل للتنفيذ فيزيائياً. وبينما تم استخدام تكنولوجيا تصنيع قديمة وأكبر حجماً في النسخة المختبرة، إلا أن التخطيط الناجح أثبت أن البنية التحتية سليمة ويمكن تصغيرها إلى عمليات حديثة وعالية السرعة. ومن المتوقع أن تكون الرقاقة الفيزيائية، بمجرد بنائها باستخدام مكونات ذاكرة متقدمة، أصغر وأسرع.
يسلط هذا المشروع الضوء على التحول في كيفية بناء مستقبل الذكاء الاصطناعي. فبدلاً من محاولة جعل الحواسيب عامة الأغراض أسرع، يركز هذا النهج على بناء محركات صغيرة ومتخصصة تقوم بشيء واحد بإتقان. ومن خلال فصل الرياضيات الصعبة للتعامل مع الأرقام غير الدقيقة إلى مرحلة إعداد البرمجيات، يمكن للأجهزة أن تظل بسيطة وسريعة وفعالة للغاية. يشير نجاح هذا التصميم إلى أنه يمكننا تشغيل النماذج اللغوية المتطورة على "الحافة" (the edge)، أي في الأجهزة التي تعد حالياً أصغر من أن تتعامل معها، دون التضحية بالدقة التي تجعل هذه النماذج مفيدة. إن المسار إلى الأمام يتضمن توسيع نطاق هذا التصميم للتعامل مع نماذج أكبر ومهام لغوية أكثر تعقيداً، ولكن الأساس قد وُضع: رقاقة صغيرة، ومحققة، وقابلة للتصنيع، يمكنها ترجمة لغات العالم بدقة الحاسوب الخارق وكفاءة الجهاز الذي يعمل بالبطارية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.