ملخص تقني: DOA - سياسة انتباه لفك التشفير أحادي الاتجاه (Decoder-Only) خالية من التدريب للترجمة المتزامنة طويلة المدى

بيان المشكلة

تتطلب الترجمة المتزامنة من الكلام إلى النص (SimulST) سياسة تدفق (streaming policy) لتقرير متى يتم قراءة الصوت المصدر ومتى يتم كتابة الرموز المستهدفة، مع موازنة جودة الترجمة مقابل زمن التأخير (latency). وبينما تستخدم الأنظمة المتطورة حالياً بنيات "المشفر-المفكك" (encoder-decoder) القائمة على الانتباه (AED) حيث يوفر الانتباه المتقاطع (cross-attention) إشارات محاذاة صريحة لتوجيه هذه القرارات، فقد انتقلت التطورات الأخيرة نحو نماذج اللغات الكبيرة للكلام (SpeechLLMs). وتستخدم هذه النماذج بنيات "فك التشفير أحادي الاتجاه" (decoder-only) التي تعتمد فقط على الانتباه الذاتي (self-attention)، وتفتقر إلى درجات الانتباه المتقاطع الصريحة.

يثير هذا التحول المعماري سؤالاً حرجاً: هل تحتوي آلية الانتباه الذاتي في نماذج SpeechLLMs أحادية الاتجاه على إشارات محاذاة مستقرة بما يكفي لتوجيه قرارات التدفق؟ علاوة على ذلك، فإن النهج الحالية لتكييف نماذج SpeechLLMs مع الترجمة المتزامنة (SimulST) غالباً ما تعتمد على الضبط الدقيق القائم على التدريب أو سياسات استدلالية ثابتة (مثل wait-k)، ولم يتم التحقق منها بدقة في الإعدادات طويلة المدى حيث يجب على النماذج معالجة سياقات صوتية ونصية تتزايد باستمرار.

المنهجية: الانتباه لفك التشفير أحادي الاتجاه (DOA)

لمعالجة هذه الفجوات، يقترح المؤلفون الانتباه لفك التشفير أحادي الاتجاه (DOA)، وهو سياسة خالية من التدريب تمكن الترجمة المتزامنة طويلة المدى باستخدام نماذج SpeechLLMs الجاهزة دون الحاجة لإعادة التدريب.

1. اشتقاق المحاذاة التقريبية

بما أن نماذج فك التشفير أحادية الاتجاه تعالج الكلام والنصوص ضمن تسلسل واحد ذاتي الانحدار (autoregressive)، فقد اشتق المؤلفون مصفوفة انتباه متقاطع تقريبية مباشرة من أوزان الانتباه الذاتي لفك التشفير.

• أثناء التوليد ذاتي الانحدار، يتم استخراج أوزان الانتباه الذاتي $A^{(l,h)}$ لطبقة فك التشفير $l$ والرأس $h$، لتغطي تسلسلاً من $S$ من الرموز الصوتية و $T$ من الرموز النصية المولدة.
• نظرًا لأن الرموز الصوتية تشغل مقدمة التسلسل، فقد قام المؤلفون بعزل الانتباه الموجه نحو السياق الصوتي: $\tilde{A}^{(l,h)} = A^{(l,h)}[:, : S]$.
• ينتج عن ذلك مصفوفة $\tilde{A} \in \mathbb{R}^{T \times S}$، مشابهة لمصفوفة الانتباه المتقاطع في نماذج AED.
• يتم الحصول على المحاذاة التقريبية النهائية $\bar{A}$ عن طريق المتوسط عبر طبقات ورؤوس مختارة.

2. سياسة قرار التدفق

تستخدم السياسة المحاذاة المشتقة لتحديد متى يتم إصدار الرموز:

• لكل رمز مولد $t$، يتم تحديد موقع الصوت المحاذي $a_t$ كالموقع الذي يتلقى أعلى درجة انتباه ($a_t = \arg\max_s \bar{A}_{t,s}$).
• يحدد معامل القطع الفائق (cutoff hyperparameter) $f$ عدد الإطارات الصوتية المستلمة مؤخراً والتي تُعتبر "غير مستقرة صوتياً".
• يتم حجز الرموز المحاذية لمواقع ضمن آخر $f$ إطار، حيث قد تتطور الأدلة الصوتية الداعمة لها مع المدخلات المستقبلية.
• يتم فقط الالتزام بالرموز التي تحقق الشرط $a_t < S - f$.

3. التكيف طويل المدى

للتعامل مع تدفقات الصوت غير المحدودة، يطبق DOA آليات اختيار التاريخ لمنع تجاوز الذاكرة:

• التاريخ النصي: تم تقييم استراتيجيتين: (i) الكلمات الثابتة (الاحتفاظ بآخر $N$ من الرموز) و (ii) علامات الترقيم (الاحتفاظ بالنص بعد أقرب علامة ترقيم قوية).
• التاريخ الصوتي: تُستخدم المحاذاة التقريبية لتقليم الإطارات الصوتية. يتم إزالة الإطزاء التي تتوافق حصرياً مع التاريخ النصي المستبعد، بينما يتم الاحتفاظ بالإطارات المتوافقة مع المقدمة المحفوظة والفرضيات الجديدة.
• التعامل مع الحالات الحدية: إذا فشل التقليم القائم على الانتباه في استبعاد الإطارات وتجاوز التاريخ الصوتي مدة محددة مسبقاً (مثل 90 ثانية أو 120 ثانية)، يتم قطع أقدم الإطارات للحفاظ على ذاكرة محدودة.

المساهمات الرئيسية

1. أول سياسة خالية من التدريب لـ SimulST أحادية الاتجاه: يعد DOA أول سياسة تمكن الترجمة المتزامنة طويلة المدى باستخدام نماذج SpeechLLMs جاهزة عبر استغلال الانتباه الذاتي كإشارة محاذاة تقريبية.
2. التحقق من استقرار الانتباه الذاتي: يبحث العمل تجريبياً ويؤكد أن الانتباه الذاتي لفك التشفير يوفر معلومات محاذاة مستقرة بما يكفي لتوجيه قرارات التدفق، مما يتحدى الافتراض بأن الانتباه المتقاطع الصريح ضروري.
3. القدرة على التعامل مع المدى الطويل: على عكس الأعمال السابقة التي ركزت على العبارات مقسمة مسبقاً، تم تصميم DOA لتدفقات صوتية مستمرة وطويلة المدى مع تقليم ديناميكي للسياق.
4. استقلالية النموذج: لا يتطلب الإطار سوى الوصول إلى أوزان الانتباه الذاتي لفك التشفير، مما يجعله قابلاً للتطبيق على أي نموذج SpeechLLM دون الحاجة لتكيف خاص بالمهمة.

النتائج التجريبية

قام المؤلفون بتقييم DOA على نماذج Phi4-Multimodal و Qwen3-Omni للترجمة من الإنجليزية إلى الألمانية ومن الإنجليزية إلى الإيطالية، مقارنةً بأساس StreamAtt المطبق على نموذج AED المسمى SeamlessM4T.

• اختيار التاريخ: تفوقت استراتيجية علامات الترقيم باستمرار على استراتيجيات الكلمات الثابتة في كل من الجودة (COMET) والاستقرار عبر مستويات زمن التأخير المختلفة. وهذا يتناقض مع النتائج في أنظمة AED، مما يشير إلى أن نماذج فك التشفير أحادية الاتجاه تستفيد أكثر من الاستمرارية النصية على مستوى الجملة.
• تحليل الطبقات والرؤوس: أدى حساب متوسط المحاذاة التقريبية عبر جميع الطبقات والرؤوس إلى تحقيق الأداء الأكثر قوة. أدى اختيار طبقات محددة إلى عدم الاستقرار أو الفشل، بينما قدمت رؤوس محددة مكاسب طفيفة فقط.
• الأداء:
  • حققت نماذج SpeechLLM المزودة بـ DOA جودة ترجمة (درجات COMET تصل إلى 0.828 لنموذج Qwen3-Omni en-it) قريبة من معايير فك التشفير غير المتزامن (offline decoding) دون إعادة تدريب.
  • أظهرت النماذج مقايضة مواتية بين زمن التأخير والجودة، حيث تفوقت باستمرار على أساس StreamAtt الخاص بنماذج AED.
  • غطى Qwen3-Omni نطاق تشغيل واسع (من 400 مللي ثانية إلى 3.8 ثانية LongYAAL) بجودة عالية، بينما قدم Phi4-Multimodal إدارة أسهل لزمن التأخير.

الأهمية والادعاءات

يزعم البحث أن DOA ينجح في إعادة توظيف نماذج SpeechLLMs غير المتزامنة للترجمة المتزامنة دون إعادة تدريب، مما يثبت أن الانتباه الذاتي لفك التشفير يمكن أن يعمل كإشارة محاذاة فعالة لقرارات التدفق. ويؤكد المؤلفون أن هذا النهج يعمم عبر عائلات نماذج مختلفة (Dense vs. MoE) وبنيات متنوعة، مما يوفر آلية بسيطة وفعالة لـ SimulST طويلة المدى.

يوضح العمل أن المحاذاة القائمة على الانتباه ليست حكراً على نماذج (Encoder-Decoder)، ويمكن تكييفها مع بنيات (Decoder-only). ومع ذلك، يحافظ المؤلفون على التواضع فيما يتعلق بنطاق عملهم، مشيرين إلى قيود مثل اقتصار التقييم على الكلام المصدر باللغة الإنجليزية، واستخدام لغات الهدف ذات الكتابة اللاتينية، وعدم القدرة على إجراء مقارنات زمن التأخير الواعية حاسوبياً بسبب بيئات GPU غير متجانسة. كما ذكروا صراحة أن التعميم على اللغات ذات الرموز التصويرية (logographic) أو اللغات الغنية صرفياً (morphologically rich) يظل سؤالاً مفتوحاً.