Building an English–Arabic Benchmark Corpus for Evaluating AI Translation of Implicit Political Meaning in U.S. Presidential Discourse
تقدم هذه الدراسة مجموعة بيانات مرجعية (benchmark corpus) للترجمة من الإنجليزية إلى العربية مستمدة من خطابات الرؤساء الأمريكيين، وإطار تقييم مقابل صُمم لتقييم قدرة أنظمة الترجمة القائمة على الذكاء الاصطنا�ال بشكل منهجي على الحفاظ على المعنى السياسي الضمني، ولا سيما استراتيجيات عدم المباشرة وتجنب ذكر الأسماء، والتي غالباً ما يتم إغفالها لصالح الدقة اللفظية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول ترجمة رسالة سرية من لغة إلى أخرى. معظم أدوات الترجمة اليوم تشبه آلات التصوير الفوتوغرافي فائقة السرعة: فهي بارعة في نسخ الكلمات، والقواعد، والإملاء بدقة تامة. إذا طلبت منها ترجمة "The cat sat on the mat"، ستعطيك المعادل الدقيق لها في لغة أخرى دون أي خلل. ولكن ماذا يحدث عندما لا تتعلق الرسالة بالكلمات فحسب؟ ماذا لو كان المتحدث يحاول قول شيء ما دون قوله فعلياً؟
في عالم اللغة، يسمى هذا "الاستلزام الحواري" (implicature). إنه فن التلميح، والمراوغة، والإيحاء. فكر في الأمر كسياسي يقول: "بعض الناس في الماضي ارتكبوا بعض الأخطاء"، بدلاً من تسمية شخص معين وقول: "بوب كان سيئاً". المعنى موجود، لكنه مخفي في الظلال، معتمداً على المستمع لربط النقاط ببعضها. وهذا أمر مربك لأن الثقافات المختلفة لديها طرق مختلفة لإخفاء الأسرار. في الإنجليزية، قد تلمح إلى شيء ما عبر التحدث عن "واشنطن"، بينما في العربية، قد تستخدم نوعاً معيناً من الصياغة الغامضة. وإذا قامت أداة الترجمة بنسخ الكلمات فقط ولكنها أغفلت التلميح الخفي، فقد تحول بالخطأ اقتراحاً مهذباً إلى إهانة مباشرة، أو العكس. وهذه مشكلة كبيرة في السياسة، حيث يستخدم القادة غالباً هذه التلميحات الخفية لتجنب الوقوع في المتاعب أو لإرسال إشارات سرية لحلفائهم.
هذا هو بالضبط اللغز الذي قرر محمد حنطة وفريقه من الجامعة الأردنية حله. لقد أدركوا أنه بينما تتفوق الحواسيب في ترجمة "سطح" اللغة، إلا أنها لا تزال تتعلم كيفية ترجمة "روحها" — ذلك الجزء الذي لا يُكتب صراحة. ولإصلاح ذلك، لم يكتفوا بكتابة نظرية فحسب؛ بل بنوا ساحة تدريب خاصة، أو "معياراً مرجعياً" (benchmark)، لاختبار مدى قدرة الذكاء الاصطناعي والمترجمين البشر على التعامل مع هذه التلميحات السياسية الماكرة عند الانتقال بين الإنجليزية والعربية.
الشفرة السرية للخطابات الرئاسية
بدأ الباحثون بجمع مجموعة من 121 مقطعاً قصيراً من خطابات ألقاها رئيساً أمريكيان، باراك أوباما وجو بايدن، بين عامي 2008 و2024. لم يختاروا جمل عشوائية؛ بل بحثوا خصيصاً عن الأجزاء "الخفية" في الخطابات. كانت هذه لحظات لم يكن فيها الرئيس مباشراً. على سبيل المثال، بدلاً من قول "الإدارة السابقة فشلت"، قد يقولون "لقد كنا ننتظر لعقود بينما تفاقمت المشكلات".
ثم أنشأ الفريق "مفتاح إجابة" خاصاً لهذه المقاطع الـ 121. قاموا بترجمتها إلى لغة عربية فصحى، ولكن بقاعدة صارمة جداً: حافظ على السر. إذا كان المتحدث بالإنجليزية غامضاً لتجنب اللوم، يجب أن تكون الترجمة العربية غامضة بنفس الطريقة. لم يكن بإمكانهم ملء الفراغات بالأسماء الحقيقية أو التفسيرات الواضحة. كان عليهم الحفاظ على "عدم المباشرة".
كان أحد أكثر الأشياء إثارة للاهتمام هو نمط أسموه "تجنب الأسماء" (name avoidance). في 24 من أصل 121 مقطعاً، استخدم الرؤساء حيلة ذكية: تحدثوا عن دور (مثل "سلفي" أو "الإدارة السابقة") بدلاً من تسمية الشخص الفعلي. هذا يشبه قول: "الرجل الذي جلس على هذا الكرسي قبلي"، بدلاً من قول "جورج". وجد الباحثون أنهم نجحوا في الحفاظ على "تجنب الأسماء" هذا في ترجماتهم العربية المصاغة بعناية. لم يسكبوا الحقيقة بالخطأ ويسموا الشخص. في الواقع، خرقوا هذه القاعدة مرة واحدة فقط في كامل مجموعة البيانات، وكان ذلك لأن الخطاب الإنجلي الأصلي قد سمى الشخص مباشرة بالفعل. أظهر هذا أن طريقة الترجمة الخاصة بهم كانت ذكية بما يكفي لمعرفة متى تظل غامضة ومتى تكون واضحة.
"الاختبار" الجديد للذكاء الاصطناعي
لا تتوقف الورقة البحثية عند إنشاء مجموعة البيانات فحسب؛ بل تبني طريقة جديدة لتقييم الترجمات. تخيل معلماً يعطي اختباراً. عادة، يتحقق المعلمون مما إذا كان الطالب قد كتب الكلمات بشكل صحيح. هذا الإطار الجديد يشبه معلماً يتحقق مما إذا كان الطالب قد فهم "النكتة" أو "التلميح".
لقد أنشأوا نظام تسجيل مكون من خمس مستويات:
- محفوظ بالكامل: يحصل القارئ على نفس المعنى الخفي تماماً كما لدى المستمع الأصلي.
- محفوظ غالباً: التلميح موجود، لكنه أضعف قليلاً.
- محفوظ جزئياً: عليك أن تبذل جهداً كبيراً لتخمين المعنى، أو أن المعنى قد تغير قليلاً.
- محفوظ حداً أدنى: التلميح تلاشى تقريباً؛ فأنت ترى الكلمات الحرفية فقط.
- غير محفوظ: التلميح ضاع تماماً، أو تحول المعنى إلى شيء آخر.
كما حددوا ما يحدث عندما تسوء الترجمة. أحياناً، قد يقوم المترجم (أو الروبوت) بـ "الإفراط في الشرح" لتلميح ما، محولاً اقتراحاً مبطناً إلى صرخة مدوية. يسمى هذا "التصريح" (explicitation). وفي أحيان أخرى، قد يجعلون التلميح ضعيفاً جداً أو قوياً جداً. يطلق الباحثون على هذه الحالات اسم "الانزياحات" (shifts).
ماذا يعني هذا للمستقبل
أهم شيء يجب فهمه عن هذه الورقة البحثية هو ما لا تقوله بعد. لقد بنى المؤلفون الملعب وقواعد اللعبة، لكنهم لم يلعبوا اللعبة بعد. لم يختبروا فعلياً مدى جودة الذكاء الاصطناعي الحالي (مثل النماذج اللغوية الكبيرة التي نستخدمها اليوم) أو المترجمين البشر في هذا الاختبار المحدد. إنهم يقولون: "هذه هي الأداة التي تحتاجونها لقياس هذا، وهذا هو كيف سنقيسه".
ويقترحون أن الذكاء الاصطناعي الحالي قد يعاني مع هذه المعاني الخفية لأن الذكاء الاصطناعي مدرب عادة على أن يكون فصيحاً ومكتملاً. الذكاء الاصطناعي يحب ملء الفراغات وجعل الأمور واضحة. لكن في السياسة، أحياناً لا تريد للأمور أن تكون واضحة. أنت تريد الغموض. ويخشى الباحثون أنهم إذا أجروا اختبارهم، فقد يجدون أن الذكاء الاصطناعي غالباً ما "يسكب الحقيقة" بالخطأ عبر تحويل التلميحات غير المباشرة إلى تصريحات مباشرة، مما يغير المعنى السياسي تماماً.
من خلال إنشاء هذه المجموعة المحددة من 121 جملة صعبة بين الإنجليزية والعربية وطريقة واضحة لتقييمها، منح الفريق المجتمع العلمي مسطرة جديدة. قبل ذلك، كنا نستطيع فقط قياس ما إذا كانت الترجمة تبدو سلسة. الآن، يمكننا أخيراً قياس ما إذا كانت الترجمة قد حفظت السر. هذه خطوة كبيرة للأمام في فهم كيفية تعامل الآلات مع الفن البشري المليء بالتعقيد والبراعة في التلميح السياسي. الخطوة التالية، التي يخطط المؤلفون للقيام بها في المستقبل، هي إجراء الاختبار فعلياً ومعرفة ما إذا كانت الروبوتات تستطيع حفظ السر بقدر ما يستطيع الدبلوماسي البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.