Transformer-Encoder Trees for Efficient Multilingual Machine Translation and Speech Translation
تقدم هذه الورقة أشجار مشفرات المحولات (TET)، وهي بنية هرمية غير ذاتية الانحدار تعتمد على المشفر فقط، تشارك التمثيلات الوسيطة بين اللغات المتشابهة لغويًا لتقليل الحشو الحسابي وعدد المعلمات بشكل كبير مع تحسين جودة الترجمة للغات ذات الموارد المنخفضة وتمكين الترجمة المتعددة اللغات والترجمة الكلامية المتوازية بالكامل في تمريرة واحدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعمل كدليل سياحي تقف في محطة قطار مزدحمة في لندن. لديك مجموعة من السياح يتحدثون الإنجليزية، وعليك إعطاؤهم تعليمات للوصول إلى المتحف. ولكن، هناك عقبة: عليك إعطاء نفس التعليمات بالضبط لخمس مجموعات مختلفة من الناس، وهم: المتحدثون بـ الألمانية، والهولندية، والسويدية، والدنماركية، والفرنسية.
الطريقة القديمة: "واحد تلو الآخر" (عنق الزجاجة)
في الماضي، كانت الطريقة القياسية (باستخدام نماذج التوليد الذاتي - Autoregressive) تشبه توظيف خمسة أدلة مختلفين.
- توظف الدليل (أ) لترجمة التعليمات إلى الألمانية. يقوم بنطقها، كلمة بكلمة، من البداية وحتى النهاية.
- بمجرد انتهاء الدليل (أ)، توظف الدليل (ب) للقيام بنفس الأمر للفرنسية.
- تكرر هذه العملية لكل لغة.
المشكلة: هذه الطريقة بطيئة للغاية. على الرغم من أن التعليمات هي نفسها، إلا أن الأدلة لا يمكنهم التحدث مع بعضهم البعض. كما أنهم لا يدركون أن الألمانية والهولندية متشابهتان جداً (مثل أبناء العمومة)، لذا فإنهم ينتهون من القيام بالكثير من العمل الذهني نفسه مرتين. إذا كان لديك 50 لغة لترجمتها، فسيتعين عليك انتظار 50 دليلاً منفصلاً حتى ينتهوا واحداً تلو الآخر.
الفكرة الجديدة: "شجرة العائلة" (TET)
قام مؤلفو هذه الورقة البحثية، "ييون غوان" و"جاكوب وايتهيل"، بابتكار طريقة أذكى تسمى أشجار محولات الترميز (Transformer Encoder Trees - TET).
تخيل بدلاً من توظيف خمسة أدلة منفصلين، قمت بتوظيف دليل واحد فائق الذكاء يعرف كيف ينظم اجتماعاً عائلياً.
- العقل المشترك (الجذر): أولاً، يستمع الدليل إلى التعليمات بالإنجليزية. وبدلاً من الترجمة فوراً، فإنه يستوعب المعنى الجوهري.
- التفرع (الشجرة): يدرك الدليل أن الألمانية والهولندية والسويدية والدنماركية كلها "أبناء عمومة جرمانيون". لذا، فإنه ينشئ مسودة ذهنية مشتركة لكل من اللغات الأربع في وقت واحد. ليس عليهم البدء من الصفر لكل لغة، بل يقومون فقط بإجراء تعديلات طفيفة على المسودة المشتركة لكل قريب.
- الأقارب البعيدون: بعد ذلك، يتعامل مع الفرنسية (وهي "قريبة رومانسية"). ولأن الفرنسية مختلفة قليلاً، فإنه ينشئ فرعاً منفصلاً لها، لكنه لا يزال يعيد استخدام بعض الأفكار الجوهرية من المسودة الرئيسية.
السحر: لأن الدليل يدرك أن هذه اللغات مرتبطة ببعضها، فإنه لا يحتاج للقي تقوم بالعمل الشاق خمس مرات. بل يقوم بالعمل الشاق مرة واحدة للعائلة بأكملها، ثم يكتفي بإجراء تعديلات صغيرة.
لماذا يعد هذا تغييراً جذرياً في قواعد اللعبة؟
1. السرعة: "القوة الخارقة للتوازي"
الطريقة القديمة كانت تشبه طريقاً ذا مسار واحد حيث يجب على السيارات (الكلمات) الانتظار في طابور. أما الطريقة الجديدة فهي مثل طريق سريع بـ 50 مساراً.
- الطريقة القديمة: تنتظر انتهاء ترجمة الألمانية قبل البدء في الفرنسية.
- الطريقة الجديدة: يصرخ الدليل بالتعليمات بالألمانية والفرنسية والإيطالية والإسبانية كلها في وقت واحد.
- النتيجة: تقول الورقة البحثية إن هذه العملية أسرع بمقدار 7 إلى 14 مرة في ترجمة الكلام. إنه الفرق بين الانتظار في طابور في مقهى وبين أن يقوم "الباريستا" بتسليمك مشروبك فوراً بينما يسلم المشروبات لكل من خلفك في آن واحد.
2. أكثر ذكاءً لـ "اللغات ذات الموارد المنخفضة"
تخيل أنك تحاول الترجمة إلى لغة نادرة يتحدث بها عدد قليل جداً من الناس (مثل لهجة قرية صغيرة).
- الطريقة القديمة: النموذج لم يرَ أمثلة كافية لهذه اللغة، لذا فهو يخمن بشكل سيء.
- الطريقة الجديدة: نظرًا لأن النموذج يجمع هذه اللغة النادرة مع "أقربائها اللغويين" (اللغات التي تشبهها في الصوت)، فإنه يمكنه استعارة المعرفة منهم. الأمر يشبه لو كنت تتعلم لهجة نادرة من الإيطالية؛ إذا كنت تعرف بالفعل الإيطالية القياسية والإسبانية، يمكنك فهم اللهجة النادرة بشكل أسرع بكثير لأنكما تتشاركان نفس "شجرة العائلة".
3. توفير المال والطاقة
لأن النموذج يتشارك "قدراته الذهنية" (الحسابات) بين اللغات المتشابهة، فإنه لا يحتاج لأن يكون ضخماً أو قوياً للغاية.
- تُظهر الورقة البحثية أن نموذج الشجرة الجديد يستخدم 66% أقل من المعلمات (Parameters) (حجم الذاكرة) و60% أقل من قوة الحوسبة مقارنة بالطريقة القديمة (واحدة تلو الأخرى).
- تشبيه: الأمر يشبه بناء مصنع واحد كفء يصنع قطع الغيار لـ 8 موديلات مختلفة من السيارات، بدلاً من بناء 8 مصانع منفصلة وصغيرة.
كيف يعمل الأمر (السر الكامن في "CTC")
قد تتساءل: "إذا قالوا كل شيء في وقت واحد، فكيف يعرفون مكان كل كلمة؟"
يستخدم النموذج حيلة تسمى CTC (التصنيف الزمني الاتصالي). فكر في هذا الأمر كأنه بطانية.
- عندما يولد النموذج الترجمة، فإنه لا يقلق بشأن التوقيت الدقيق لكل كلمة. بل يضع "بطانية" من الكلمات والفراغات.
- لاحقاً، يقوم فقط بتنعيم هذه البطانية، عبر إزالة الفراغات وتكرار الكلمات، ليكشف عن الجملة النهائية. هذا يسمح للعملية بأن تكون فوضوية وسريعة أثناء التنفيذ، ثم تصبح نظيفة ومنظمة في النهاية، بدلاً من محاولة أن تكون مثالية كلمة بكلمة في الوقت الفعلي.
الخلاصة
تقدم هذه الورقة نظاماً يعامل اللغات كـ شجرة عائلة وليس كقائمة من الغرباء. ومن خلال تجميع اللغات المتشابهة معاً والسماح لها بمشاركة "التفكير" في عملية الترجمة، يصبح النظام:
- أسرع: يترجم كل شيء في وقت واحد.
- أرخص: يحتاج لقوة حوسبة أقل.
- أذكى: يساعد في ترجمة اللغات النادرة عبر استعارة المعرفة من أقربائها.
إنها خطوة نحو جعل الترجمة الفورية والمتزامنة للعالم أجمع (مثل سيناريو "الأمم المتحدة" المذكور في الورقة) أمراً ممكناً بالفعل دون الحاجة للانتظار للأبد حتى ينتهي الكمبيوتر من عمله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.