Failure-Aware Long-Form Translation: Design and Implementation of a Recoverable LLM Translation System
تقدم هذه الورقة تصميم وتنفيذ نظام ترجمة للنصوص الطويلة قابل للاسترداد، يعمل على التخفيف من حدة إخفاقات مستوى واجهة برمجة التطبيقات (API) عن طريق تأخير إصدار المخرجات، والتحقق من صحة النتائج المجمعة، وتوظيف بروتوكول إعادة محاولة مهيكل مع تتبع المصدر لضمان تسليم نص قابل للاستخدام رغم الانقطاعات أو عمليات التصفية.
تخيل أنك تقرأ كتاباً سحرياً طويلاً يكتبه لك روبوت في الوقت الفعلي. لقد طلبت من الروبوت ترجمة رواية مكونة من 40 صفحة من لغة إلى أخرى. في عالم علوم الحاسوب، يُسمى هذا "الترجمة طويلة المدى" (Long-Form Translation). الأمر لا يتعلق فقط باستبدال الكلمات؛ بل يتعلق بالحفاظ على تماسك القصة بأكملها، فقرة بفقرة، دون فقدان مكانك. ولكن هنا يكمن الجزء الصعب: أحياناً، ينهي الروبوت مهمته بشكل مثالي من الداخل، لكن القصة التي يسلمها لك تكون معطوبة. رب الله يكرر التعليمات التي أعطيتها له بالخطأ، أو يتوقف في منتصف جملة، أو يتخطى بصمت نصف الكتاب ويعطيك النهاية فقط. تعيش هذه الورقة البحثية في زاوية من العلوم نحاول فيها بناء "شبكات أمان" لهذه الروبوتات الذكية. وهي تطرح سؤالاً بسيطاً ولكنه حيوي: إذا بدأ الروبوت في إخراج هراء أو توقف في منتصف الجملة، فكيف نمنع ظهور الأشياء السيئة على شاشتك، مع إنقاذ الأشياء الجيدة التي حصلنا عليها بالفعل؟
إن الورقة البحثية، التي تحمل عنوان "الترجمة الواعية بالفشل" (Failure-Aware Long-Form Translation)، هي في الأساس مخطط لنظام ترجمة ذكي وحذر للغاية. أدرك المؤلف، يانلين يو (Yanlin Yu)، أنه ليس لمجرد قول الروبوت "لقد انتهيت!" يعني أن العمل قابل للاستخدام فعلياً. لذا، صمم نظاماً يعمل بمثابة محرر صارم يقف بين الروبوت والقارئ. بدلاً من السماح للروبوت بالصراخ بكل كلمة في اللحظة التي يفكر فيها بها، يحتجز هذا النظام أول 64 حرفاً في "غرفة انتظار". إنه يفحصها ليتأكد من أن الروبوت لا يقرأ واجباته المدرسية بالخطأ أو يكرر المطالبة (prompt). إذا بدت الكلمات القليلة الأولى مريبة، فإن النظام يبتلعها ويحاول مجدداً باستخدام روبوت آخر قبل أن ترى أي خلل.
إذا انقطع الروبوت في منتصف فقرة -ربما بسبب هزة في الإنترنت أو لأن الروبوت تعب- فإن النظام لا يرمي الصفحة بأكملة ويبدأ من جديد. سيكون ذلك هدراً! بدلاً من ذلك، ينظر إلى ما كُتب، ويجد آخر جملة أو فقرة كاملة ومنطقية، ويحفظ ذلك الجزء. ثم يخبر الروبوت التالي: "هذا هو المكان الذي توقفت عنده؛ يرجى الاستمرار من هنا". يُسمى هذا "التعافي الآمن للحدود" (boundary-safe recovery). الأمر يشبه لو كنت تبني قلعة رملية وجاءت موجة وذهبت بالبرج العلوي؛ أنت لن تهدم القلعة بأكملها، بل ستكتفي بتسوية الرمال المبللة عند الحافة وتبدأ في بناء البرج التالي فوق القاعدة الصلبة.
كما تقدم الورقة البحثية "مصفوفة فشل" (failure matrix)، وهي تشبه قائمة مرجعية للأشياء التي قد تسوء. فهي تميز بين الروبوت الذي نفد وقته فقط (فشل النقل - transport failure) والروبوت الذي قدم إجابة مهذبة ولكنها عديمة الفائدة (فشل المخرجات - output failure). لدى النظام قاعدة صارمة: إذا فشل الروبوت، فإنه يجرب روبوتاً آخر، ولكن لمرات قليلة فقط. وإذا فشلت جميع الروبوتات الذكية، فإن النظام ينتقل إلى مترجم آلي أبسط وأسرع لإنهاء المهمة، ولكنه يحدد بوضوح أن هذا الجزء "مصنوع آلياً" حتى تعرف الفرق.
اختبر المؤلف هذا النظام في 38 سيناريو محددًا، بما في ذلك الحالات التي تعرض فيها الروبوت للخداع عبر تكرار تعليماته أو توقف بشكل مفاجئ. وفي هذه الاختبارات، نجح النظام في رصد 14 نوعاً مختلفاً من المخرجات "السيئة" قبل أن يراها البشر. كما تمكن من إنقاذ 31 حرفاً من النص الذي كان سيُفقد في حال إعادة التشغيل الكاملة. لا تدعي الورقة أن هذا هو المترجم المثالي للعالم أجمع، ولا تقول إنه الأفضل في صنع الأدب الجميل. بدلًا من ذلك، هي تثبت أن هذا "البروتوكول الأمني" المحدد يعمل تماماً كما هو مصمم: فهو يبقي الأشياء السيئة مخفية، وينقذ الأشياء الجيدة، ولا يجعل القارئ يتساءل أبداً عما حدث خلف الكواليس. إنه نظام بُني لا ليكون الأسرع، بل ليكون الحارس الأكثر موثوقية لتجربتك في القراءة.
ملخص تقني: الترجمة طويلة النص الواعية بالفشل
بيان المشكلة تتناول الورقة فجوة حرجة في أنظمة الترجمة الآلية طويلة النص: التمييز بين النجاح على مستوى واجهة برمجة التطبيقات (API) والنجاح على مستوى التطبيق. قد تعيد طلب ترجمة تدفقاً صالحاً من الناحية النحوية وغير فارغ من المزود، ومع ذلك ينتج عنه نتيجة غير قابلة للاستخدام. تشمل أنماط الفشل الشائعة المخرجات الفارغة، أو المبتورة، أو التي تهيمن عليها النصوص المصدرية أو تسرب المطالبات (prompt leakage)، أو التي انقطعت بعد توليد محتوى جزئي فقط. تفشل تجريدات "الطلب الفاشل" التقليدية في استيعاب هذه الفروق الدقيقة؛ فهي إما تكشف النصوص الداخلية الحساسة أو غير القابلة للاستخدام للمستخدم، أو تتخلص من العمل الجزئي الصالح والمكلف. في المستندات الطويلة، تضاعف هذه الأخطاء التكاليف (عبر عمليات إعادة التشغيل الكاملة) وتؤدي إلى مخاطر المحاذاة (عبر الاحتفاظ الأعمى باللواحق الفاسدة).
المنهجية قام المؤلف بتصميم وتنفيذ نظام ترجمة قابل للاسترداد للمدخلات غير المتجانسة (النصوص اليدوية، الروابط، الملفات، ملفات PDF، التعرف الضوئي على الحروف OCR) وواجهات برمجة تطبيقات متنوعة. تعتمد المنهجية الجوهرية على بنية تدفق محمية وبروتوكول استرداد محدود.
التدفق المحمي والاحتواء:
حارس النافذة الأمامية: قبل أن يصبح أي نص مرئياً للمستخدم، يقوم النظام بتخزين أول 64 حرفاً. خلال هذه النافذة، يتحقق النظام من علامات المطالبة (prompt markers) وبقايا اللغة المصدر. إذا تم اكتشاف فشل، يتم إيقاف المحاولة قبل الإصدار.
تمييز الحالة: يحافظ النظام على ثلاث حالات متميزة للنص: مخزن مؤقتاً (غير مرئي)، مرئي (اجتاز الحارس الأمامي ولكنه عرضة للاستبدال في حال فشل فحوصات المخرج الكامل)، وملتزم به (اجتاز جميع الفحوصات وتم تسجيله).
الاحتفاظ الآمن للحدود: إذا انقطع التدفق بعد الإصدار، لا يقوم النظام بمجرد إعادة التشغيل. بدلاً من ذلك، يستخلص بادئة "آمنة للحدود" من المصدر والمخرج المستلم. تحتفظ هذه البادئة فقط بالفقرات الكاملة والوحدات الشبيهة بالجمل التي يمكن محاذاتها هيكلياً مع المصدر، مستبعدةً الأجزاء غير المكتملة.
مصفوفة الفشل التشغيلي: يستخدم النظام مصفوفة من ظروف الفشل (أخطاء النقل، حدود الحصة، فلاتر السياسات، المخرجات الفارغة، بقايا المصدر، والحذف الكارثي). يجمع الكشف بين فحوصات البروتوكول والاستدلالات الخاصة بالتنفيذ (على سبيل المثال، كشف بقايا اللغة لليابانية والكورية).
حارس الحذف: يستهدف تحديداً "الحذف الصامت" حيث يعيد النموذج نهاية سلسة مع إسقاط معظم فقرات المدخلات. يتم تفعيل هذا عند انخفاض الاحتفاظ بالفقرات عن 0.70 وانخفاض نسبة المخرج إلى المصدر (بالأحرف) عن 0.15.
التوجيه والبدائل:
ترتيب النماذج المستقرة: يتبع الاسترداد ترتيباً نموذجياً محدداً لكل جلسة. يتم محاولة كل نموذج مرة واحدة فقط لكل جزء (chunk) لمنع الحلقات اللانهائية.
التراجع الطبقي: بمجرد استنفاد مجموعة نماذج LLM أو الوصول إلى موعد نهائي مشترك (240 ثانية إجمالاً، مع حدود محددة لطبقات التدفق والتراجع)، يدخل النظام في مسار بديل. يتضمن ذلك نماذج التوافق، والترجمة الآلية الخارجية، ومسار ترجمة آلية للطوارئ.
إثبات المصدر (Provenance): يتم تمييز جميع البدائل عبر أحداث Server-Sent Events (SSE) مصنفة وتسميات العميل، مما يضمن معرفة المستخدم متى تم استخدام ترجمة آلية (غير LLM) مقابل محاولة LLM.
المساهمات الرئيسية تقدم الورقة ثلاث مساهمات رئيسية:
بنية التدفق: تصميم يميز بين النص المخزن مؤقتاً، والمرئي، والآمن للحدود، والملتزم به أثناء عملية الاسترداد النشطة.
مصفوفة الفشل التشغيلي: سياسة توجيه محدودة مشتقة من تنفيذ منتشر، تصنف الفشل حسب ثقة الكشف وسلامة الإجراء.
أثر تنفيذي مطهر: أثر مرافق محايد للمزود ينفذ البروتوكول، يجتاز 38 اختباراً عاماً، ويتضمن حالات ثابتة للإصدار، والاحتفاظ، والمحاولات، والأحداث، وإثبات المصدر.
النتائج يركز التقييم على قدرة النظام على تنفيذ قرارات تدفق التحكم بدلاً من جودة الترجمة أو انتشار الفشل.
اختبار الحالات الثابتة: نجح الأثر في إعادة إنتاج جميع تسميات الإكمال الـ 14 المهيأة.
الاحتواء: في أربع حالات بادئة غير صالحة مبكرة، منع الحارس الأمامي 235 حرفاً من المحتوى غير الصالح من أن يصبح مرئياً.
الاسترداد: في أربع سيناريوهات تدفق منقطع، احتفظت آلية الحدود الآمنة بـ 31 حرفاً كان سيتم التخلص منها في حالة إعادة التشغيل الكاملة، مع محاذاتها بشكل صحيح مع المصدر.
الامتثال للبروتوكول: أكد سيناريوهان شاملان (end-to-end) عدم وجود أي انتهاكات لحدود المحاولات، أو أحداث الاستئناف، أو قواعد إثبات المصدر.
محددات النتائج: يذكر المؤلف صراحة أن هذه فحوصات تنفيذية لتدفق التحكم المنشور. لا تقدر الدراسة استدعاء الكاشف (detector recall)، أو معدلات الإيجاب الخاطئ، أو جودة الترجمة في المخرجات الطبيعية.
الأهمية والادعاءات تدعي الورقة أنه بالنسبة للترجمة طويلة النص، "توليد النص لا يمكن أن يكون هو نفسه الالتزام به". تكمن أهميتها في التعامل مع الإصدار، والاسترداد، والبدائل كقرارات منفصلة وقابلة للملاحظة بدلاً من كونها ثنائية ناجح/فاشل أحادية.
السلامة التشغيلية: يضمن النظام بقاء الاسترداد مرئياً (عبر أحداث مصنفة) بدلاً من تغيير أصل الترجمة بصمت.
إدارة التكلفة وزمن الاستجابة: من خلال الاحتفاظ بالبادئات الآمنة للحدود، يتجنب النظام زمن الاستجداء وتكلفة إعادة تشغيل المستند بالكامل مع منع استمرار الفساد الجزئي.
نطاق متواضع: يوضح المؤلف صراحة أن الدراسة لا تدعي تحسين جودة الترجمة، ولا تقيم مثالية ترتيب التوجيه. العمل هو مساهمة هيكلية وتشغيلية في التعامل مع "فشل" استجابات واجهة برمجة التطبيقات الناجحة في السياقات طويلة النص. يقتصر التقييم على منطق بروتوكول الاسترداد، وليس الجودة الدلالية للمخرج.