Loong: A Human-Like Long Document Translation Agent with Observe-and-Act Adaptive Context Selection

ملخص تقني: LOONG – وكيل ترجمة مستندات طويلة يحاكي القدرات البشرية

بيان المشكلة
لا تزال الترجمة الآلية على مستوى المستند (DocMT) تشكل تحدياً كبيراً للنماذج اللغوية الكبيرة (LLMs). فبينما تتفوق هذه النماذج في الترجمة على مستوى الجملة، إلا أنها تعاني مع المستندات الطويلة بسبب محدودية نوافذ السياق، مما يعيق التماسك العالمي، ووجود معلومات سياقية زائدة تؤدي إلى تدهور جودة الترجمة. وتفشل الأساليب الحالية غالباً إما في الحفاظ على المحاذاة الصارمة على مستوى الجملة (طرق Doc2Doc) أو في دمج سياقات خارجية بشكل عشوائي، مما يؤدي إلى إدخال ضجيج يتسبب في أداء دون المستوى الأمثل. علاوة على ذلك، غالباً ما تفشل طرق التقسيم (chunking) القياسية مع زيادة طول المستند، مما يؤدي إلى تجاوز حدود سعة السياق وبالتالي فشل عملية الترجمة.

المنهجية
يقترح المؤلفون LOONG، وهو وكيل ترجمة للمستندات الطويلة يحاكي القدرات البشرية، مصمم لمحاكاة العمليات الإدراكية للمترجمين البشريين المحترفين. تعتمد المنهجية على ثلاثة مكونات أساسية:

1. وحدة الذاكرة الشبيهة بالبشر (3E):
يستخدم LOONG بنية ذاكرة متعددة المستويات يتم تحديثها بعد معالجة كل جزء من المستند. تخزن هذه الوحدة ثلاثة أنواع متميزة من المعلومات التاريخية:

• الجوهر (Essence): ملخصات عالمية للأجزاء السابقة لالتقاط التطور الدلالي وإشارات النوع الأدبي.
• النماذج (Exemplars): أزواج جمل ثنائية اللغة (مصدر-هدف) للحفاظ على الاتساق الأسلوبي وتقديم نماذج توضيحية داخل السياق.
• الكيانات (Entities): سجلات مهيكلة للكيانات (مثل الشخصيات، المنظمات) مع أسماء ثنائية اللغة وسمات خاصة بالمجال لضمان الدقة المصطلحية.

2. اختيار السياق التكيفي القائم على الملاحظة والعمل (Observe-and-Act):
بدلاً من الانتباه السلبي لكل ما يتم استرجاعه من التاريخ، يستخدم LOONG آلية استدلال عميق للتمييز بين السياق المفيد والمعلومات الزائدة. ينفذ الوكيل عملية استدلال تسلسلية مكونة من 3 خطوات لكل جزء:

• الملاحظة (Observe): يلاحظ الوكيل الجزء الحالي جنباً إلى جنب مع العناصر المرشحة المسترجعة من ذاكرات (الجوهر، والنموذج، والكيان).
• العمل (Act): يولد الوكيل فكراً استدلالياً يحلل الصلة الدلالية لكل مرشح ويختار المجموعة المثلى للترجمة.
• التفكيك التسلسلي (Sequential Decomposition): لإدارة مساحة البحث التوافقية، يستكشف الوكيل استراتيجيات اختيار السياق لكل نوع من أنواع الذاكرة (الجوهر، ثم النموذج، ثم الكيان) بشكل تسلسلي بدلاً من البحث المشترك.

3. التعلم التعزيزي والمحاذاة:

• بناء بيانات التفضيل: يقوم النظام بأخذ عينات من مسارات "الملاحظة والعمل" المتنوعة لبناء مجموعات بيانات التفضيل. حيث يحدد الإجراءات المفضلة وغير المفضلة لاختيار السياق ومخرجات الترجمة بناءً على مقاييس الجودة (sCOMET).
• التدريب: يتم تحسين الوكيل عبر عملية من مرحلتين: ضبط دقيق مُوجه (SFT) للبداية الباردة على الحالات المفضلة، يليه تحسين التفضيل المباشر (DPO) باستخدام مجموعة بيانات التفضيل الكاملة. تُستخدم تقنية التكيف منخفض الرتبة (LoRA) لتحسين كفاءة التدريب.
• الاستدلال المعزز بالمحاذاة: لضمان المحاذاة الصارمة على مستوى الجملة بين المصدر والهدف (وهو أمر بالغ الأهمية للتقييم وتحديث الذاكرة)، يستخدم LOONG خوارزمية تكرارية. إذا فشلت مخرجات النموذج اللغوي الكبير في المحاذاة مع حدود جمل المصدر، يتم تقسيم الجزء تكرارياً حتى تتحقق المحاذاة.

المساهمات الرئيسية

• وكيل LOONG: تطوير وكيل ترجمة مستندات (DocMT) يسترجع ويحدد السياق المفيد تكيفياً من خلال الاستدلال العميق، بدلاً من الاعتماد على نوافذ سياق ثابتة.
• استراتيجية الاستكشاف التسلسلي: طريقة مبتكرة لبناء بيانات التفضيل عبر تفكيك عملية اختيار السياق إلى خطوات تسلسلية، مما يسمح بتقديم تغذية راجعة دقيقة حول فائدة أنواع محددة من السياق (الجوهر، النموذج، الكيان).
• خوارزمية المحاذاة المعززة: خوارزمية متخصصة لترجمة المستندات تضمن وجود تطابق صارم على مستوى الجملة بين المصدر والمستند المستهدف المولد، مما يجمع بين نقاط القوة في نهجي Doc2Sent وDoc2Doc.

النتائج التجريبية
أُجريت تقييمات تجريبية لمهام الترجمة (الإنجليزية $\Leftrightarrow$ الصينية، والألمانية، والفرنسية) عبر نماذج أساسية متنوعة (Qwen2.5/3, Llama3.1) وفي مجالات مختلفة (الأخبار، الخطابات، الأدب).

• تحسين الأداء: حقق LOONG تحسينات جوهرية مقارنة بالنماذج المرجعية (على مستوى الجملة، والقطعة، وDoc2Doc، والوكيل القائم على الذاكرة DELTA). وقد أظهر مكاسب متوسطة تصل إلى 13.0 نقطة عبر مقاييس مستوى الجملة (sCOMET)، ومستوى المستند (dCOMET)، ومقاييس "النموذج اللغوي كحكم" (LLM-as-a-Judge).
• المتانة: أظهر الوكيل قدرة عالية على التعميم عبر مجالات غير مسبوقة (مثل الروايات الإلكترونية، وخطابات TED) ولغات مختلفة (بما في ذلك الأزواج ذات الموارد المنخفضة مثل التشيكية، والبرتغالية، والروسية $\to$ الإنجليزية).
• مقاومة الضجيج: في التجارب التي تم فيها حقن ضجيج سياقي زائف، حافظ LOONG على أداء مستقر، بينما عانت الطرق المرجعية من تدهور كبير.
• استقرار المستندات فائقة الطول: في دراسة حالة لترجمة الفصول الاثني عشر الأولى من رواية "رحلة إلى الغرب" (من الصينية إلى البرتغالية)، نجح LOONG في إتمام المهمة دون تجاوز سعة السياق، بينما فشلت الطرق القياسية التي تستخدم التاريخ الكامل بمجرد تجاوز المستند لحدود السياح.

الأهمية
تزعم الورقة أن LOONG يعالج الاختناقات طويلة الأمد في ترجمة المستندات، وتحديداً في تحقيق التماسك والترابط في النصوص فائقة الطول. ومن خلال سد الفجوة بين قدرات الاستدلال العميق وترجمة المستندات، يثبت LOONG أن اختيار السياق التكيفي القائم على الاستدلال يتفوق على تضمين السياق العشوائي. تشير هذه الدراسة إلى أنه يمكن نشر مثل هذه الوكلاء مباشرة في مجالات متنوعة دون الحاجة إلى ضبط إضافي، مما يوفر حلاً قوياً لمهام ترجمة المستندات الطويلة عالية الجودة حيث يكون الحفاظ على الاتساق العالمي ودقة المصطلحات أمراً بالغ الأهمية.