Evaluating Prompt Scope and Demonstration Similarity in Local LLM Machine Translation
تقيم هذه الورقة كيف تؤثر نطاقات التلقين واستراتيجيات اختيار النماذج التوضيحية على أداء الترجمة الآلية للنماذج اللغوية الكبيرة المحلية المضبوطة بالتعليمات عبر عائلات لغوية متعددة، لتجد أنه في حين تظل أنظمة الترجمة الآلية المخصصة متفوقة، فإن التلقين بأسلوب القليل من الأمثلة القائم على التضمين والتلقين بنطاق العائلة يمكن أن يعزز النماذج الأكبر رغم ما يسببه من تحديات في المخرجات المهيكلة للنماذج الأصغر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صديقاً آلياً فائق الذكاء يمكنه التحدث بمعظم اللغات تقريباً. تسأله أن يترجم جملة من الإنجليزية إلى الفرنسية، فيقوم بعمل رائع. ولكن ماذا يحدث إذا طلبت منه ترجمة نفس الجملة إلى الفرنسية والإسبانية والإيطالية جميعاً في وقت واحد؟ أو ماذا لو أعطيته بضع جمل أمثلة لتوضح له كيف تحب أن تُنجز الأمور قبل أن يبدأ؟ تعيش هذه الورقة البحثية في عالم الترجمة الآلية، وهي علم تعليم الحواسيب تحويل لغة ما إلى لغة أخرى. لفترة طويلة، اختبرنا هذه الروبوتات عبر طرح سؤال بسيط واحد في كل مرة: "ترجم هذا". لكن الحياة الواقعية أكثر تعقيداً؛ فالناس غالباً ما يطلبون لغات متعددة في آن واحد، أو يقدمون للروبوت "ورقة غش" من الأمثلة لمساعدته على فهم الأسلوب الذي يريدونه. السؤال الكبير هو: هل طلب المزيد من الأشياء في وقت واحد، أو إعطاء الروبوت "ورقة غش"، يجعل الأداء أفضل حقاً، أم أنه يربكه فقط؟ هذا الأمر مهم لأن المزيد والمزيد من الناس يقومون بتشغيل هذه "الروبوتات" (التي تسمى النماذج اللغوية الكبيرة) على حواسيبهم الخاصة من أجل الخصوصية والسرعة، بدلاً من استخدام خوادم سحابية ضخمة. نحن بحاجة لمعرفة ما إذا كانت هذه الروبوتات المحلية جاهزة للعالم الحقيقي، أم أنها تعمل فقط عندما يكون الاختبار بسيطاً للغاية.
قرر مؤلفو هذه الورقة وضع هذه الروبوتات المحلية تحت الاختبار بطريقة محددة للغاية. لم يكتفوا بسؤالها ترجمة جملة واحدة إلى لغة واحدة؛ بل عاملوا طريقة طرح السؤال كمتغير. لقد اختبروا ثلاثة روبوتات "محلية" مختلفة (نماذج أصغر يمكنك تشغيلها على حاسوبك الخاص) مقابل آلات ترجمة مخصصة وجادة للغاية. طلبوا من الروبوتات ترجمة الإنجليزية إلى تسع لغات أوروبية مختلفة، مقسمة إلى عائلتين: عائلة "اللغات الرومانسية" (مثل الفرنسية والإسبانية والإيطالية) وعائلة "اللغات الجرمانية" (مثل الألمانية والهولندية والسويدية).
جرب الباحثون ثلاث استراتيجيات مختلفة لتقديم "أوراق الغش" (التي تسمى التلقين بلقطات قليلة - few-shot prompting). أولاً، أعطوا الروبوت صفر من الأمثلة. ثانياً، أعطوه خمسة أمثلة عشوائية. ثالثاً، أعطوه خمسة أمثلة تم اختيارها بعناية لتكون مشابهة جداً للجملة التي يريدون ترجمتها، إما من خلال النظر في الكلمات المستخدمة أو باستخدام برنامج حاسوبي ذكي لإيجاد معانٍ مشابهة. كما اختبروا "نطاقين" مختلفين: طلب ترجمة لغة واحدة فقط في كل مرة، أو طلب ترجمة الخمس لغات في العائلة دفعة واحدة، مع وضع الإجابات بشكل منظم داخل تنسيق JSON (وهو هيكل ملف حاسوبي محدد).
إليكم ما وجدوه، وهو مزيج مختلط نوعاً ما. أولاً، لا تزال آلات الترجمة المخصصة والتقليدية هي الأبطال؛ فهي الأكثر موثوقية، خاصة عند الترجمة إلى اللغات الجرمانية. الروبوتات المحلية تتحسن، ويمكنها الصمود في بعض اللغات الرومانسية مثل الإسبانية والبرتغالية، لكنها لا تستطيع هزيمة المحترفين بعد.
ثانياً، تعتمد استراتيجية "ورقة الغش" تماماً على نوع الروبوت الذي تستخدمه. بالنسبة للروبوتين المحليين الأقوى (mistral:latest و qwen2.5:14b)، فإن إعطاءهما أمثلة ساعدهما بالفعل؛ فقد تحسنت جودة ترجمتهما عندما شاهدا أمثلة أولاً. ولكن بالنسبة لأصغر روبوت (llama3.2:3b)، كان إعطاؤه أمثلة كارثة؛ فقد أصبح أسوأ عندما اضطر لقراءة الأمثلة الإضافية. الأمر يشبه طالباً يؤدي بشكل رائع في اختبار عندما يقرأ السؤال فقط، ولكنه يرتبك ويرتكب أخطاء عندما تعرض عليه نموذج إجابة أولاً.
ثالثاً، الطريقة التي تطرح بها السؤال تهم كثيراً. عندما طلب الباحثون من الروبوتات ترجمة الخمس لغات معاً (نطاق العائلة - family-scope prompt)، تعاملت الروبوتات الكبيرة مع الأمر بشكل جيد، حيث أنتجت قائمة مرتبة من الترجمات لكل لغة. ولكن ماذا عن أصغر روبوت؟ لقد انهار تماماً؛ فغالباً ما نسي ترجمة بعض اللغات، أو لم يستطع اتباع التعليمات لوضع الإجابات في التنسيق الصحيح. الأمر يبدو وكأن الروبوت الصغير قد غلبه الضغط بسبب الطلب الكبير فقام بإسقاط نصف العناصر.
نظرت الورقة أيضاً فيما إذا كانت الطريقة "الذكية" لاختيار الأمثلة (إيجاد الجمل الأكثر تشابهاً) أفضل من اختيار أمثلة عشوائية. بالنسبة للروبوتات التي استطاعت استخدام الأمثلة، ساعدت الأمثلة المشابهة والذكية قليلاً أكثر من الأمثلة العشوائية. لكن الفرق لم يكن ضخماً. الأمر الأكثر أهمية كان ببساطة قدرة الروبوت على استخدام الأمثلة على الإطلاق. فإذا كان الروبوت صغيراً جداً أو مشتتاً، فلن تنقذه حتى أفضل الأمثلة.
باختزال، تشير هذه الورقة إلى أنه لا يمكننا مجرد القول إن "الترجمة بالذكاء الاصطناعي جيدة" أو "الترجمة بالذكاء الاصطناعي سيئة". الأمر يعتمد على كيفية طرحك للسؤال. إذا كنت تريد من روبوت محلي أن يترجم لك، فأنت بحاجة لاختيار نموذج كبير بما يكفي للتعامل مع التعليمات المعقدة واللغات المتعددة في وقت واحد. إذا اخترت نموذجاً صغيراً جداً وطلبت منه القيام بالكثير من الأشياء في وقت واحد، أو أعطيته الكثير من المعلومات الإضافية، فقد يفشل فشلاً ذريعاً. ويخلص المؤلفون إلى أنه عندما نختبر أدوات الترجمة هذه، لا ينبغي لنا فقط النظر في جودة الترجمة؛ بل يجب علينا أيضاً التحقق مما إذا كان الروبوت قادراً على اتباع التعليمات المعقدة وتقديم ما طلبناه بالضبط، دون أن يترك أي مهام عالقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.