Semi-Synthetic Parallel Data for Translation Quality Estimation: A Case Study of Dataset Building for an Under-Resourced Language Pair
تقدم هذه الورقة منهجية لبناء مجموعة بيانات متوازية شبه اصطناعية من الإنجليزية إلى العبرية لتدريب نماذج تقدير الجودة العصبية، مما يعالج ندرة الموارد للأزواج اللغوية ذات الموارد المحدودة والمعقدة صرفياً من خلال الجمع بين الترجمات الاحترافية التي قيمها لغويون وأمثلة تم إنشاؤها بواسطة الترجمة الآلية تحتوي على أخطاء مضبوطة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوت مترجم يتحدث الإنجليزية والعبرية. لقد أصبح جيداً نوعاً ما، لكنه يرتكب أحياناً أخطاءً سخيفة، مثل الخطأ في جنس الشخص أو الخلط بين الكلمات المفردة والجمع.
المشكلة هي: كيف تعلم الكمبيوتر أن يعرف متى يرتكب المترجم الروبوت خطأً، دون أن يضطر إنسان لقراءة كل جملة؟
هذا ما يسمى "تقدير الجودة" (Quality Estimation - QE). إنه يشبه شرطي المرور لمترجم الآلة. فبدلاً من فحص كل سيارة (ترجمة) مقابل خريطة مثالية (ترجمة بشرية)، ينظر الشرطي فقط إلى السيارة ويقول: "تبدو هذه آمنة، انطلق!" أو "تلك تبدو خطيرة، توقف وأصلحها!".
الورقة البحثية التي شاركتَها تتعلق ببناء "مدرسة تدريب" أفضل لشرطي المرور هذا، وتحديداً للمسار الصعب من الإنجليزية إلى العبرية. إليك قصة كيف فعلوا ذلك، مشروحة ببساعة.
1. المشكلة: "الفصل الدراسي الفارغ"
عادةً، لتعليم الكمبيوتر كيفية تقييم الترجمات، تحتاج إلى مكتبة ضخمة من الأمثلة التي قام البشر بالفعل بتقييمها. لكن بالنسبة للغة العبرية، هذه المكتبة صغيرة جداً. الأمر يشبه محاولة تعليم طالب قيادة سيارة سباق، لكن ليس لديك سوى ثلاثة مسارات تدريب. الطالب (نموذج الذكاء الاصطناعي) يصاب بالارتباك ولا يستطيع تعلم الفروق الدقيقة.
العبرية أيضاً لغة "غنية صرفياً". فكر في الكلمات الإنجليزية كقطع "ليجو" تظل ثابتة في الغالب. أما الكلمات العبرية فهي مثل الصلصال الذي يغير شكله؛ فهي تغير شكلها تماماً بناءً على من يقوم بالفعل (الجنس)، وكم عددهم (العدد)، ومتى حدث ذلك (الزمن). إذا أخطأ الروبوت في الشكل، فإن الجملة تنكسر.
2. الحل: بناء مكتبة "مزيفة"
بما أنهم لم يمتلكوا أمثلة حقيقية كافية، قرر الباحثون بناء مكتبة ضخمة شبه مزيفة. أطلقوا عليها اسم "مجموعة بيانات شبه اصطناعية" (Semi-Synthetic Dataset).
إليكم كيف بنواها، خطوة بخطوة:
- الخطوة 1: المخطط (الأمر/البرومبت): أخذوا جمل إنجليزية بسيطة من قاموس المتعلم (مثل "الرجال ارتدوا زهور القرنفل"). وطلبوا من ذكاء اصطناعي (ChatGPT) كتابة جمل جديدة تتبع نفس القواعد ولكن تكون أطول وأكثر تعقيداً.
- الخطوة 2: مصنع الترجمة: أدخلوا هذه الجمل الجديدة في ثلاثة روبوتات ترجمة مختلفة (Google، Yandex، Microsoft).
- الخطوة 3: فلتر الجودة: تحققوا مما إذا كانت الروبوتات متفقة. إذا قدم روبوتان ترجمتين مختلفتين جداً، فكانوا يتخلصون من تلك الجملة. وإذا اتفقا، كانوا يحتفظون بها، بافتراض أنها جيدة على الأرجح.
- الخطوة 4: المفتش البشري: قرأ لغوي بشري حقيقي آلاف الجمل من هذه الجمل وأعطاها درجة من 1 (قمامة) إلى 5 (مثالية).
النتيجة: حصلوا على كومة جيدة من البيانات، لكنها كانت لا تزال صغيرة وغير متوازنة. كانت نماذج الذكاء الاصطناعي التي تدربت عليها سيئة. كانت تستمر في التخمين بـ "3" (متوسط) لكل شيء لأنها لم ترَ أمثلة "سيئة" كافية لتتعلم ما هو السيئ حقاً.
3. مرحلة "العالم المجنون": صنع الأخطاء عن قصد
هذا هو الجزء الأكثر إبداعاً. أدرك الباحثون: "نحن بحاجة إلى المزيد من الأمثلة للترجمات السيئة لتعليم الذكاء الاصطناعي ما يجب تجنبه".
لذلك، أصبحوا علماء مجانين رقميين. أخذوا ترجماتهم الجيدة وأفسدوها عمداً بطرق محددة:
- مُبدل الجنس: أخذوا جملة عن "هو" وغيروا الفعل العبري ليبدو وكأنه عن "هي".
- خلاط الأعداد: غيروا "قطة واحدة" إلى "عدداً من القطط" مع الإبقاء على الفعل بصيغة المفرد.
//* لخبطة الكلمات: بعثروا كلمات الجملة العبرية بحيث لا تعطي أي معنى.
في كل مرة كانوا يفسدون فيها جملة، كانوا يخفضون درجتها.
- خطأ واحد = تنخفض الدرجة بمقدار 1.
- خطأان = تنخفض الدرجة بمقدار 2.
- هراء كامل = الدرجة 0.
كما أضافوا خدعة: أخذوا جملة إنجليزية وربطوها بـ جملة عبرية عشوائية تماماً لا علاقة لها بها. ووضعوا عليها علامة "الدرجة 0" لتعليم الذكاء الاصطناعي: "إذا كانت الجملتان لا تتطابقان على الإطلاق، فهذه أسوأ درجة ممكنة".
بفعل ذلك، ضاعفوا حجم مجموعة البيانات من بضعة آلاف من الأمثلة إلى 400,000 مثال.
4. التدريب: إيجاد النقطة المثالية
الآن أصبح لديهم مكتبة ضخمة. ولكن كيف يجب أن يغذوا الذكاء الاصطناعي بها؟ جربوا ثلاث "حميات" مختلفة:
- الحمية الطبيعية (التوزيع الطبيعي): أعطوا الذكاء الاصطناعي مزيجاً يشبه الحياة الواقعية (معظمها ترجمات جيدة، وأقل منها سيئة).
- النتيجة: حصل الذكاء الاصطناعي على نتيجة مقبولة (دقة 65%). كان لا يزال كسولاً قليلاً ويخمن "المتوسط" كثيراً.
- الحمية المتوازنة (التوزيع الموحد): أجبروا الذكاء الاصطناعي على رؤية عدد متساوٍ من الترجمات المثالية، والمتوسطة، والسيئة جداً.
- النتيجة: أفضل بكثير (دقة 88%). تعلم الذكاء الاصطناعي التمييز بين "المتوسط" و"السيئ" لأنه رآهما بالتساوي.
- الوليمة (النطاق الواسع): فقط ألقوا بـ مليون إلى 4 ملايين مثال في وجه الذكاء الاصطناعي، تاركين المزيج الطبيعي يحدث ولكن مع حجم هائل.
- النتيجة: هي الفائزة! (دقة 92%).
الدرس المستفاد: اتضح أن الحجم هو الملك. حتى لو كانت البيانات "مزيفة" أو غير دقيقة بعض الشيء، فإن وجود قدر كبير جداً منها يجعل الذكاء الاصطناعي يرى كل نوع من أنواع الأخطاء مراراً وتكراراً، مما يجعله عبقرياً.
5. المستقبل: تحدي الاصطلاحات (Idioms)
تنتهي الورقة بالنظر إلى المستقبل. الذكاء الاصطناعي الآن بارع في القواعد وترتيب الكلمات، لكنه لا يزال يعاني مع الاصطلاحات (Idioms).
- مثال: إذا قلت "إنها تمطر قططاً وكلاباً" (It's raining cats and dogs)، فقد يعتقد المترجم الحرفي أن حيوانات تسقط من السماء.
- الخطة: هم الآن يبنون "مكتبة اصطلاحات" خاصة لتعليم الذكاء الاصطناعي أنه في بعض الأحيان، عليك ترجمة الشعور، وليس الكلمات.
ملخص التشبيه
تخيل أنك تعلم طفلاً كيف يكتشف اللوحات المزيفة.
- الطريقة القديمة: تعرض عليه 10 لوحات حقيقية و2 مزيفة. سيصاب الطفل بالارتباك ويعتقد أن كل شيء حقيقي.
- الطريقة الجديدة (هذه الورقة): تأخذ 10 لوحات حقيقية، وتصورها، ثم تستخدم قلماً لرسم شوارب على 500 منها، وتخربش على 200، وتحرق 100. تعرض عليه 1,000 لوحة، نصفها حقيقي ونصفها "تالف".
- النتيجة: يصبح الطفل ناقداً فنياً ماهراً لأنه رأى كل الطرق الممكنة التي يمكن أن تسوء بها اللوحة.
تظهر هذه الورقة أنه بالنسبة للغات مثل العبرية، حيث القواعد معقدة، لا يمكنك الاعتماد فقط على ما تقدمه الطبيعة. يجب عليك تصنيع بيانات التدريب الخاصة بك عن طريق إفساد الأشياء عن قصد، حتى يتعلم ذكاؤك الاصطناعي كيفية إصلاحها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.