تخيل أنك حَكَم في برنامج مواهب ضخم، ولكن بدلاً من تقييم المغنيين، أنت تُقيّم ترجمات القصص من لغة إلى أخرى. لسنوات، كانت الطريقة القياسية للقيام بذلك هي تسليم الحَكَم ترجمة واحدة فقط، وطلب تقييمها بمعزل عن غيرها، ثم الانتقال إلى التالية. الأمر يشبه مطالبة شخص بتقييم تفاحة واحدة دون رؤية أي تفاحات أخرى للمقارنة بها. ما المشكلة؟ إنه أمر مرهق، ومكلف، وفوضوي بشكل مفاجئ. فعندما تنظر إلى شيء واحد بمفرده، يتعب دماغك، ويتغير مزاجك، وتصبح درجاتك متذبذبة في كل مكان. هذا هو عالم "تقييم الترجمة الآلية"، وهو مجال مخصص لمعرفة مدى جودة قدرة الحواسيب على ترجمة اللغات البشرية. والهدف بسيط: العثور على أفضل مترجم ذكاء اصطناعي حتى نتمكن من الوثوق به في المهام الواقعية. ولكن للقيام بذلك، يجب على البشر أن يعملوا كحكام، والقواعد القديمة للتحكيم كانت تجعل اللعبة بطيئة والنتائج غير موثوقة.

دخل فريق من الباحثين الذين قرروا تغيير قواعد اللعبة. لقد قدموا بروتوكولاً جديداً يسمى التعليق التبايني على نطاق الخطأ (cESA). فبدلاً من عرض ترجمة واحدة للحَكَم في كل مرة، وضعوا ثلاث ترجمات (أو أكثر) جنباً إلى جنب على نفس الشاشة. الأمر يشبه إعطاء الحَكَم سلة من التفاح بدلاً من ثمرة واحدة. فجأة، يصبح اكتشاف تفاحة تالفة أسهل بكثير لأنك ترى التفاح اللامع والمثالي بجانبها مباشرة. وجد الباحثون أن طريقة "العرض الجماعي" هذه لم تجعل الحكام أسرع فحسب، بل جعلتهم أكثر اتساقاً ودقة. واكتشفوا أن عرض ثلاث ترجمات في وقت واحد كان هو "النقطة المثالية"، مما وفر حوالي 31% من الوقت مع تحسين جودة الدرجات في الواقع. كما تحققوا من أن رؤية الترجمات الأخرى لم تخدع الحكام لتكون غير عادلة، ووجدوا أن الانحياز كان ضئيلاً جداً لدرجة أنه لا يهم. باختصار، أثبتوا أنه عندما تسمح للحكام بمقارنة الخيارات معاً، يحصل الجميع على نتيجة أفضل وأسرع وأكثر عدلاً.

الطريقة القديمة: التفاحة الوحيدة

لفترة طويلة، كانت الطريقة القياسية لاختبار مترجمي الذكاء الاصطناعي هي "التقييم النقطي". تخيل أنك تصحح مجموعة من المقالات. في الطريقة القديمة، ستلتقط مقالاً واحداً، تقرأه، تعطي درجة له، تضعه جانباً، ثم تلتقط المقال التالي دون النظر أبداً إلى الوراء. قد تعطي المقال الأول 85 لأنه بدا جيداً، ولكن بعد ذلك قد تعطي الثاني 90، حتى لو كان في الواقع أسوأ، لمجرد أنك شعرت بالتعب أو لأن الأول كان سيئاً حقاً. هذا ما يسمى بـ "ضجيج التعليق". إنه يشبه محاولة تقدير درجة حرارة كوب من القهوة عن طريق لمسه مرة واحدة، في غرفة باردة، دون استخدام ميزان حرارة. تشير الورقة البحثية إلى أن هذه الطريقة تعاني من "ضجيج عالٍ في التعليق" وهي مكلفة للغاية لأنك تحتاج إلى الكثير من الحكام للحصول على متوسط موثوق.

الطريـقة الجديدة: سلة الفاكهة

اقترح المؤلفون، بقيادة فيليم زوهار وزملاؤه، طريقة جديدة تسمى cESA. فبدلاً من النظر إلى ترجمة واحدة في فراغ، يرى المعلق عدة ترجمات للنص المصدر في نفس الوقت. فكر في الأمر كنهج "سلة الفاكهة". إذا رأيت تفاحة تالفة قليلاً بجوار تفاحة مثالية، فستلاحظ التلف بشكل أسرع بك كثيراً مما لو كنت تنظر إلى التفاحة التالفة وحدها.

في هذا النظام الجديد، ينظر الحَكَم إلى نص مصدر (مثل جملة من قصة) ويرى، على سبيل المثال، ثلاث ترجمات مختلفة لنماذج الذكاء الاصطناعي جنباً إلى جنب. ثم يقوم الحَكَم بما يلي:

1. تحديد "نطاقات الخطأ" بدقة (الكلمات المحددة التي أخطأت).
2. تحديد ما إذا كان الخطأ "رئيسياً" (خطأ كبير) أو "ثانوياً" (هفوة صغيرة).
3. إعطاء درجة من 0% إلى 100% بناءً على مقياس واضح.

تشرح الورقة أن هذا يعمل بسبب مفهوم نفسي يسمى "التقييم المشترك مقابل التقييم المنفصل". فعندما ترى الأشياء معاً، يمكنك رصد الأخطاء في إحدى الترجمات من خلال مقارنتها بالترجمات الأخرى. كما يساعدك ذلك على فهم "فضاء الترجمات الممكنة"، مما يجعل حكمك أكثر موضوعية. بالإضافة إلى ذلك، لن تضطر إلى إعادة قراءة النص الأصلي مراراً وتكراراً لكل ترجمة، مما يوفر وقتاً هائلاً.

التجربة: اختبار سلة الفاكهة

للتأكد من أن هذه الطريقة الجديدة تعمل بالفعل، أجرى الباحثون تجربة ضخمة باستخدام ترجمات من الإنجليزية إلى اليابانية. اختبروا 12 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (بما في ذلك أسماء كبيرة مثل Gemini وClaude وDeepSeek) باستخدام مجموعة بيانات مكونة من 97 مقطعاً من الأخبار ووسائل التواصل الاجتماعي ومقاطع الفيديو.

وقارنوا بين الطريقة القديمة (عرض ترجمة واحدة في كل مرة) والطريقة الجديدة (عرض ترجمة واحدة، أو اثنتين، أو ثلاث، أو أربع ترجمات في كل مرة). وإليكم ما وجدوه:

• السرعة: كانت الطريقة الجديدة أسرع بشكل ملحوظ. فعند عرض ثلاثة نماذج في وقت واحد (وهي "النقطة المثالية")، انخفض متوسط وقت التعليق لكل مقطع من 77.8 ثانية إلى 53.7 ثانية. وهذا يمثل انخفاضاً بنسبة 31% في الوقت المستغرق لكل عنصر.
• الجودة: كانت الدرجات أكثر استقراراً. قاس الباحثون "الاتفاق بين المعلقين" (مدى اتفاق حَكَمين مختلفين) و"الاتفاق داخل المعلق نفسه" (مدى اتفاق الحَكَم نفسه مع نفسه في محاولة ثانية). أظهرت الطريقة الجديدة اتفاقاً أعلى، مما يعني أن الحكام كانوا أكثر اتساقاً.
• الرقم السحري: اختبروا عرض نموذج واحد، واثنين، وثلاثة، وأربعة نماذج في وقت واحد. ووجدوا أن عرض ثلاثة نماذج كان هو التوازن الأفضل. فالانتقال من نموذج واحد إلى اثنين وفر الكثير من الوقت، لكن إضافة نموذج رابع لم يوفر الكثير من الوقت بل جعل الشاشة مزدحمة بعض الشيء. كان الرقم ثلاثة هو العدد المثالي لإبقاء الحكام راضين وفعالين.

معالجة التساؤلات: هل الحكام منحازون؟

كان الباحثون قلقين من أن رؤية الترجمات الأخرى قد تخدع الحكام. فسألوا: "إذا كانت هناك ترجمة سيئة جداً بجوار ترجمة جيدة، فهل ستبدو الجيدة جيدة للغاية؟ أو إذا كانت هناك ترجمة رائعة بجوار واحدة سيئة، فهل ستبدو السيئة سيئة للغاية؟"

أجروا اختبارات للتحقق من نوعين من الانحياز:

1. انحياز الموقع: هل تحصل الترجمة الموجودة على اليسار على درجة أفضل من تلك الموجودة على اليمين؟ أظهرت البيانات عدم وجود فرق يذكر بناءً على الموقع.
2. انحياز المحيط: هل رؤية "نموذج تمويه" (ترجمة سيئة جداً أو جيدة جداً) يغير درجة النماذج الأخرى؟ وجدوا تأثيراً طفيفاً: إذا كان النموذج بجوار نموذج أقوى بكثير، فإن درجته تنخفض بنحو 0.5 نقطة في المتوسط. ومع ذلك، يشير المؤلفون إلى أن هذا التأثير ضئيل جداً مقارنة بالاختلافات الفعلية بين النماذج (والتي يمكن أن تصل إلى 10 أو 20 نقطة)، لذا فهو لا يهم حقاً. الأمر يشبه أن ينهي عداء سباقه متأخراً بـ 10 ثوانٍ عن الفائز، فلا يهم إذا كان قد تأخر 0.5 ثانية إضافية لأنه كان يقف بجانب بطل عالمي.

الحكم النهائي

تخلص الورقة إلى أن cESA هي طريقة أفضل لتقييم مترجمي الذكاء الاصطناعي. فهي أسرع، وأرخص، وتنتج درجات أكثر موثوقية. ويقترح المؤلفون على أي شخص يقوم بالتقييم البشري للترجمات أن ينتقل إلى عرض ثلاثة نماذج في كل مرة. حتى أنهم صنعوا أداة بسيطة (تسمى Pearmut) يمكن لأي شخص استخدامها لتطبيق هذا البروتوكول الجديد، مع توفير دروس تعليمية وإرشادات.

في النهاية، تشير الورقة إلى أنه من خلال السماح للحكام بمقارنة التفاح في سلة بدلاً من واحدة تلو الأخرى، نحصل على صورة أوضح حول أي ذكاء اصطناعي هو الأفضل حقاً. إنه تغيير بسيط في كيفية نظرنا للعمل، ولكنه يجعل عملية الحكم على الآلات أكثر ذكاءً وصداقة للبشر.