Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets
تقدم هذه الورقة البحثية "Recovered in Translation"، وهو إطار عمل مؤتمت يستفيد من استراتيجيات توسيع نطاق الحوسبة في وقت الاختبار مثل التحسين الذاتي الشامل وطريقة T-RANK المبتكرة لإنتاج ترجمات عالية الجودة ومحافظة على المعنى للمعايسات المرجعية إلى ثماني لغات من شرق وجنوب أوروبا، وذلك للتغلب على قيود الموارد الحالية وتمكين تقييم أكثر موثوقية للنماذج اللغوية الكبيرة متعددة اللغات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تبني مكتبة عالمية ضخمة من الاختبارات لترى مدى ذكاء مختلف أجهزة الكمبيوتر التي تعمل بالذكاء الاصطناائي. في الوقت الحالي، معظم هذه الاختبارات مكتوبة باللغة الإنجليزية. ولاختبار الذكاء الاصطناعي بلغات أخرى، يتعين على شخص ما ترجمة هذه الاختبارات.
المشكلة: لعبة "الهاتف المكسور"
الترجمات الحالية تشبه لعب لعبة "الهاتف المكسور" بهاتف معطل.
- الطريقة القديمة: غالبًا ما تتعامل الترجمات الموجودة مع السؤال والإجابة كقطعتين منفصلتين من الورق. يتم ترجمة السؤال، ثم ترجمة الإجابة، ثم لصقهما معًا ببساطة.
- النتيجة: ينقطع الاتصال. في لغات مثل الأوكرانية أو اليونانية، حيث تتغير أشكال الكلمات بناءً على دورها في الجملة (حالات الإعراب)، يتسبب هذا الفصل في جعل الإجابة تكشف عن الخيار الصحيح بالخطأ. الأمر يشبه ترجمة لغز تكون فيه الإجابة مخفية في قواعد السؤال نفسه. هنا لا يحل الذكاء الاصطناعي اللغز؛ بل يغش فقط لأن الترجمة قدمت له تلميحًا.
الحل: "استعادة المعنى في الترجمة"
قام مؤلفو هذه الورقة البحثية ببناء مصنع آلي جديد يسمى R-Translation لإصلاح هذه الفوضى. بدلاً من المترجم البشري أو الروبوت البسيط، يستخدمون ذكاءً اصطناعيًا متطورًا ليعمل كفريق من المحررين الخبراء.
إليك كيف يعمل هذا المصنع باستخدام تشبيه إبداعي:
1. طريقة "T-RANK": حكام الأولمبياد
تخيل أن لديك خمسة مترجمين مختلفين يحاولون ترجمة جملة صعبة.
- الطريقة القديمة (الأفضل من بين N): تطلب من حكم إعطاء كل مترجم درجة من 1 إلى 10. المشكلة هي أن الحكم قد يتعب أو ينحاز، فيعطي المترجم الأول درجة عالية لمجرد أنه تحدث أولاً.
- الطريقة الجديدة (T-RANK): بدلاً من تسجيل النقاط، يعمل الذكاء الاصطناعي كلوحة حكام أولمبية. يضع الترجمات الخمس في حلبة ويجعلهم يتواجهون.
- الجولة الأولى: المترجم (أ) يواجه المترجم (ب).
- الجولة الثانية: المترجم (ب) يواجه المترجم (ج).
- اللمسة المميزة: يقوم الذكاء الاصطناعي بتدوير من يبدأ أولاً حتى لا يحصل أحد على "أفضلية الأرض".
- الخطوة النهائية: بمجرد اختيار الفائز، ينظر الذكاء الاصطناعي إلى جميع الترجمات مرة أخرى، ويجد أفضل الأجزاء من كل منها، ثم يجمعها معًا لينتج ترجمة "فرانكنشتاين" مثالية تمتلك أفضل قواعد ومعاني من الجميع.
2. طريقة "USI": الطاهي الذي يطور نفسه
فكر في هذا كطاهٍ يصنع خمس نسخ مختلفة من الحساء.
- بدلاً من مجرد اختيار الأفضل بينها، يتذوق الطاهي النسخ الخمس، ويدرك قائلًا: "همم، الحساء رقم 1 يحتوي على الملح المناسب، لكن الحساء رقم 3 لديه التوابل المثالية"، ثم يخلطهم جميعًا ليصنع "حساءً خارقًا" هو أفضل من أي محاولة منفردة. هذا ما يسمى التحسين الذاتي الشامل (Universal Self-Improvement).
3. لماذا يهم هذا؟
اختبر الباحثون هذا المصنع على 8 لغات مختلفة (مثل الأوكرانية والتركية واليونانية) باستخدام اختبارات ذكاء اصطناعي شهيرة مثل MMLU و Winogrande.
- النتيجة: كانت ترجماتهم الجديدة أكثر دقة بكثير.
- الأثر: عندما أجروا نماذج الذكاء الاصطناعي على هذه الاختبارات عالية الجودة، تغيرت الدرجات. بعض النماذج بدت أكثر ذكاءً، وأخرى بدت أقل ذكاءً. وهذا يثبت أن الاختبارات القديمة كانت تخدعنا لأن الترجمات كانت سيئة.
الصورة الكبيرة
فكر في الترجمات القديمة كأنها صورة ضبابية للمناظر الطبيعية. يمكنك رؤية الأشجار نوعًا ما، لكن لا يمكنك معرفة ما إذا كان المكان غابة أم حديقة.
إطار عمل المؤلفين الجديد يشبه شحذ العدسة. فجأة، يمكنك رؤية التفاصيل.
لماذا يجب أن تهتم؟
إذا أردنا أن يكون الذكاء الاصطناعي عادلاً ومفيدًا للجميع في العالم، وليس فقط لمتحدثي الإنجليزية، فنحن بحاجة للتأكد من أن الاختبارات التي نستخدمها لتقييمهم مثالية. إذا كان الاختبار معطلًا، فإن الدرجة ستكون خاطئة. توفر هذه الورقة البحثية الأدوات لإصلاح الاختبارات، مما يضمن أنه عندما يتحدث الذكاء الاصطناعي الأوكرانية أو اليونانية، فإننا نختبر ذكاءه بالفعل، وليس قدرته على رصد خطأ في الترجمة.
باختصار: لقد بنوا نظامًا آليًا ذكيًا يعمل كفريق من المحررين الخبراء لترجمة اختبارات الذكاء الاصطناعي بشكل مثالي، مما يضمن حصول نماذج الذكاء الاصطناعي على درجة عادلة في لغات أخرى غير الإنجليزية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.