APEX-VW: A Document-Level English-Spanish Post-Editing Dataset in the Healthcare Domain

تخيل عالماً تحاول فيه الحواسيب تعلم التحدث بلغات البشر، لكنها لا تزال متعثرة بعض الشيء. هذا هو مجال الترجمة الآلية (MT)، حيث تحاول برمجيات مثل "Google Translate" أو "DeepL" تحويل جملة من لغة إلى أخرى. في بعض الأحيان، تصيب الحاسبة الهدف، ولكنها غالباً ما ترتكب أخطاءً — خاصة مع الكلمات الصعبة أو المواضيع المتخصصة مثل الطب. ولإصلاح ذلك، يتدخل البشر كـ محررين لاحقين (Post-Editors). فكر فيهم كـ "مدققين لغويين" يأخذون المسودة الأولية التي وضعها الحاسوب ويصقلونها حتى تصبح مثالية.

لفترة طويلة، درس الباحثون هذه الأخطاء من خلال النظر في جمل مفردة، واحدة تلو الأخرى، مثل فحص قطع أحجية (بازل) فردية على الطاولة. لكن في العالم الحقيقي، لا يعمل المترجمون على جمل معزولة؛ بل يعملون على مستندات كاملة، مثل كتاب كامل أو تقرير طبي. وفي هذه المستندات الطويلة، تظهر الكلمات الصعبة نفسها مراراً وتكراراً. إذا أخطأت الحاسوب في مصطلح طبي في المرة الأولى، فمن المرجح أن تخطئ فيه في المرة العاشرة أيضاً. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا تعليم الحواسيب التعلم من أول تصحيح يقوم به الإنسان وإصلاح الخطأ نفسه تلقائياً في بقية المستند، تماماً كما يفعل البشر؟ هذا البحث يتعمق في هذه المشكلة تحديداً، مبتعداً عن الجمل المنفردة لينظر في كيفية "انتقال" التصحيحات عبر قصة كاملة.

---

"الجناح الافتراضي" للترجمة

تعرف على APEX-VW، وهي كنز مفتوح جديد من البيانات أنشأه فريق من الباحثين. تخيل مكتبة ضخمة حيث كل كتاب فيها عبارة عن وثيقة طبية حول "الأجنحة الافتراضية" (virtual wards) — وهي وسيلة حديثة يعالج بها المستشفيات المرضى في منازلهم بدلاً من داخل مبنى المستشفى. هذه الوثائق مكتوبة باللغة الإنجليزية، وأراد الباحثون معرفة مدى قدرة الحواسيب على ترجمتها إلى الإسبانية، والأهم من ذلك، كيف قام المحررون البشريون بإصلاح تلك الترجمات.

لم يقم الفريق بجمع جمل عشوائية فحسب، بل أخذوا سبعة مستندات كاملة (بإجمالي 42,108 كلمة) وغذوها في أربعة محركات ترجمة مختلفة (DeepL، وModernMT، وLanguage Weaver، ونظام يعتمد على OpenAI). ثم استعانوا بـ ثلاثة مترجمين محترفين للقيء بدور "المحررين". لم يكتفِ هؤلاء البشر بتصحيح الأخطاء المطبعية فحسب؛ بل كان عليهم التأكد من أنه إذا تُرجم مصطلح طبي معين بطريقة معينة في الفقرة الأولى، فإنه يظل كذلك في الفقرة الأخيرة.

مشكلة "النسخ واللصق" مقابل "الذاكرة الذكية"

هذا هو جوهر المشكلة التي يتناولها البحث. تخيل أنك تقوم بتحرير قصة طويلة. في الصفحة الأولى، تترجم الحاسوب مصطلح "virtual ward" إلى "virtual room" (غرفة افتراضية). أنت تعلم أن هذا خطأ، لذا تغيره إلى "virtual hospital unit" (وحدة مستشفى افتراضية). تستمر في القراءة، وفي الصفحة الخامسة، تقول الحاسوب مجدداً "virtual room". تتنهد وتغيرها مرة أخرى. في الصفحة العاشرة، يتكرر الأمر للمرة الثالثة.

في العالم الحقيقي، تمتلك الأدوات المهنية (مثل الأداة المستخدمة في هذه الدراسة، Trados Studio) "ذاكرة". إذا غيرت كلمة مرة واحدة، فإن الأداة تتذكر وتعرض عليك تغييرها في كل مكان آخر. لكن معظم مجموعات بيانات أبحاث الحاسوب تنظر فقط إلى جمل منفردة، لذا لا يمكنها رؤية هذا "الذاكرة" أثناء العمل. إنها تغفل حقيقة أن البشر غالباً ما يضطرون للقيام بنفس التصحيح عشرات المرات في مستند واحد.

تتميز مجموعة بيانات APEX-VW بأنها تحتفظ بـ المستند كاملاً. فهي تحافظ على ترتيب الصفحات وسياق أداة الترجمة. وهذا يسم يسمح للباحثين بدراسة "انتشار التصحيح" (correction propagation)، وهو تعبير منمق يعني: كيف يساعد إصلاح خطأ واحد في إصلاح بقية المستند؟

ما وجدوه (وما لم يجدوه)

حلل الباحثون البيانات ووجدوا بعض الأنماط المثيرة للاهتمام، رغم أنهم حذرون في القول بأن هذه هي نقطة البداية وليست الإجابة النهائية.

• التكرار حقيقي: كانت المستندات مليئة بالمصطلحات المتكررة. وقد تباين "معدل التكرار" (وهو مقياس لمدى تكرار الكلمات) من 0.07 إلى 0.21 عبر المستندات المختلفة. وهذا يعني أن بعض النصوص كانت تكرارية للغاية، بينما كانت نصوص أخرى أكثر تنوعاً، مما منح الباحثين أنواعاً مختلفة من التحديات للدراسة.
• ليست كل الحواسيب متساوية: أدت أنظمة الترجمة الأربعة أداءً مختلفاً. على سبيل المثال، ارتكب كل من DeepL وModernMT أخطاء أقل في النصوص المخصصة لهما (مع معدلات خطأ، تُعرف بـ TER، تصل إلى 6.35 و 9.66). ومع ذلك، ارتكب Language Weaver ونظام OpenAI أخطاءً أكثر بكثير، حيث وصلت درجات TER إلى 55.47 و 39.32 في النصوص الخاصة بهما.
• البشر يفعلون أكثر من مجرد تبديل الكلمات: عندما قام البشر بتصحيح النص، لم يكتفوا باستبدال كلمة بأخرى فحسب؛ بل أضافوا وحذفوا واستبدلوا الكثير من المحتوى. في المجمل، قاموا بـ 6,790 عملية إدراج، و 1,285 عملية حذف، و 9,523 عملية استبدال. بلغ متوسط التغيير لكل جملة 6.49 تعديلاً. يشير هذا إلى أن إصلاح الترجمة الآلية ليس مجرد اختيار الكلمة الصحيحة؛ بل يتعلق غالباً بإعادة كتابة جمل كاملة لتصبح ذات معنى.
• نوعان من الأخطاء: حدد الفريق سيناريوهين رئيسيين اضطر فيهما البشر للعمل بجهد:
  1. سيناريو "الثبات مع الخطأ": ترجمت الحاسوب مصطلحاً ما بنفس الطريقة في كل مرة، لكنه كان المصطلح الخاطئ. اضطر الإنسان لتصحيحه يدوياً في كل مرة (35 مرة في مستند واحد لمصطلح "virtual ward").
  2. سيناريو "عدم الاتساق": ترجمت الحاسوب نفس المصطلح بطرق مختلفة (مثل "virtual room"، و"virtual unit"، و"virtual service") في جميع أنحاء المستند نفسه. اضطر الإنسان للعمل كمحقق، باحثاً عن جميع النسخ المختلفة وفرض توحيدها.

لماذا يهم هذا (وما لا يمثله)

هذه المجموعة من البيانات هي معيار مرجعي (benchmark)، أي مجموعة اختبار قياسية للباحثين المستقبليين. وهي تشير إلى أنه لبناء مترجمات ذكاء اصطناعي أفضل، نحتاج إلى التوقف عن النظر إلى الجمل بشكل منعزل والبدء في النظر إلى المستندات الكاملة. كما تقترح أن الأدوات المستقبلية يجب أن تكون قادرة على "التعلم" من أول تصحيح يقوم به الإنسان وتطبيقه تلقائياً على بقية المستند، مما يوفر الوقت ويقلل من الإجهاد للمترجمين.

ومع ذلك، فإن المؤلفين واضحون جداً بشأن ما لا تمثله هذه المجموعة من البيانات. فهي ليست حلاً سحرياً يحل جميع مشابكات الترجمة. فهي مقتصرة على الترجمة من الإنجليزية إلى الإسبانية وتغطي فقط وثائق الرعاية الصحية. كما أنها تمثل لقطة زمنية (تحديداً حالة الذكاء الاصطناعي في أبريل 2026) ولا تظهر كيف تتغير الأمور على مر السنين. وأيضاً، نظرًا لأن مستندات مختلفة تم اختبارها مع حواسيب مختلفة، فلا يمكنك استخدام هذه البيانات لترتيب أي حاسوب هو "الأفضل" بشكل مطلق؛ بل هي أفضل لدراسة كيفية قيام البشر بإصلاح الأشياء في سير عمل حقيقي.

مستقبل التحرير "الذكي"

يخلص البحث إلى أن هذا المورد يفتح الباب أمام أنواع جديدة من الأبحاث. تخيل مستقبلاً يكون فيه أداة الترجمة الخاصة بك مثل مساعد طيار مفيد. إذا صححت مصطلحاً طبياً مرة واحدة، تهمس لك الأداة: "مهلاً، لقد لاحظت أنك قمت بتصحيح ذلك سابقاً. هل تريد مني إصلاحه في كل مكان آخر في هذا المستند؟"

يقترح المؤلفون أنه مع بيانات مثل APEX-VW، يمكننا بناء أنظمة تفهم الاتساق والانتشار. ويأملون أن يؤدي هذا إلى أدوات لا تترجم الكلمات فحسب، بل تفهم تدفق المستند بأكم، مما يساعد البشر على العمل بشكل أسرع وبصداع أقل. ولكن في الوقت الحالي، تعد مجموعة البيانات هذه مجرد الخطوة الأولى — خريطة صيغت بعناية للباحثين لاستكشاف المشهد المعقد لكيفية عمل البشر والآلات معاً لسرد قصة.