🤖 AI

OmniFusion: Simultaneous Multilingual Multimodal Translations via Modular Fusion

إن OmniFusion هو نظام ترجمة متعدد الوسائط متكامل يدمج نموذجاً تأسيسياً متعدد الوسائط مسبق التدريب مع نموذج لغوي كبير للترجمة عبر استراتيجية دمج جديدة للحالات الخفية متعددة الطبقات، مما يتيح الترجمة المتزامنة للكلام والصور مع تقليل زمن الاستجابة وتحسين الجودة مقارنة بمسارات العمل المتتالية التقليدية.

المؤلفون الأصليون: Sai Koneru, Matthias Huck, Jan Niehues

نُشر 2026-04-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sai Koneru, Matthias Huck, Jan Niehues

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول ترجمة عرض تقديمي معقد يلقيه متحدث بلغة أجنبية. لديك أداتان متاحتان لمساعدتك:

المترجم المتخصص: إنسان عبقري يتحدث 50 لغة ببراعة، لكنه كفيف وأصم. يمكنه فقط قراءة النصوص. لاستخدامه، عليك أولاً استئجار كاتب نصي لكتابة ما يقوله المتحدث (تحويل الكلام إلى نص)، ثم تسليم هذا النص إلى المترجم. إذا كان المتحدث يتحدث عن رسم توضيحي في شريحة، فلا يملك المترجم أي فكرة عن شكل الرسم، لذا قد يخمن بشكل خاطئ.
المدرك الفائق: روبوت يمتلك عيونًا وآذانًا مذهلة. يمكنه رؤية الشريحة، وسماع المتحدث، وفهم السياق فورًا. ومع ذلك، فهو ليس مترجمًا محترفًا؛ فهو يتحدث لغات عديدة، لكنه غالبًا ما يرتكب أخطاءً في القواعد أو يغفل عن بعض الفروق الدقيقة في الترجمة.

المشكلة:
تستخدم معظم أنظمة الذكاء الاصطناعي حاليًا نهج "المترجم المتخصص". فهي تقسم المهمة إلى خطوات: أولاً يستمع الكمبيوتر ويكتب (تحويل الكلام إلى نص)، ثم يترجم (الترجمة الآلية). هذا يجعل العملية بطيئة (مثل سباق التتابع حيث يجب تمرير العصا)، كما أنها تفقد السياق البصري (الشرائح). إذا قال المتحدث "انظر إلى المخرج"، فإن الكمبيوتر لن يعرف ما إذا كان يقصد مخرج سيارة أم مخرجًا للأشخاص دون رؤية الصورة.

الحل: OmniFusion
تقدم الورقة البحثية OmniFusion، وهي تشبه توظيف "مترجم فائق" يمتلك مهارات لغوية مثل "المتخصص" وعيون وآذان مثل "المدرك الفائق"، كل ذلك في عقل واحد.

إليك كيف يعمل، باستخدام تشبيهات بسيطة:

1. "الدمج المبوّب" (لوحة التحويل الذكية)

تخيل أن "المدرك الفائق" (الذكاء الاصطناعي الذي يرى ويسمع) لديه طبقات عديدة من "التفكير"، مثل مبنى متعدد الطوابق.

الطابق السفلي يسمع الأصوات الخام.
الطابق الأوسط يبدأ في فهم المعنى.
الطابق العلوي يحتوي على أفكار مجردة وعالية المستوى.

إذا قمت فقط بصب جميع المعلومات من كل طابق إلى "المترجم المتخصص"، فسيصبح مرتبكًا ومثقلًا بالمعلومات (مثل محاولة الشرب من خرطوم حريق).

خدعة OmniFusion: تستخدم "لوحة تحويل مبوبة". وهي بمثابة مراقب حركة مرور ذكي يقرر، لحظة بلحظة، أي طابق من طوابق عقل "المدرك الفائق" يجب الاستماع إليه.

إذا كان المتحدث يتمتم، فإنه يستمع إلى الطابق السفلي (الصوت الخام).
إذا كان المتحدث يناقش مفهومًا معقدًا، فإنه يستمع إلى الطابق الأوسط.
إنه يقوم بتصفية الضجيج ويرسل فقط المعلومات الأكثر فائدة إلى المترجم. هذا يحافظ على سرعة النظام وكفاءته.

2. "التتالي الذاتي" (البروفة الداخلية)

أحيانًا، حتى أفضل المترجمين يحتاجون إلى لحظة للتفكير. تمتلك OmniFusion خدعة تدريب فريدة تسمى "التتالي الذاتي" (Self-Cascading).

فكر في الأمر كطالب يؤدي اختبارًا.

الترجمة المباشرة: يحاول الطالب كتابة الإجابة النهائية فورًا.
التتالي الذاتي: يهمس الطالب بالإجابة لنفسه في ذهنه أولًا (نسخ الكلام المنطوق أو قراءة النص الموجود في الشريحة)، ثم يكتب الترجمة النهائية.

من خلال تدريب الذكاء الاصطناعي على القيام بخطوة "الهمس الداخلي" هذه أولًا، فإنه يخلق جسرًا مثاليًا بين ما يسمعه/يراه وما يكتبه. هذا يقلل من الأخطاء، خاصة عندما يكون السياق البصري (مثل مخطط بياني في شريحة) ضروريًا للفهم.

3. لماذا يعد هذا أمرًا بالغ الأهمية؟

السرعة: نظرًا لأنه لا يتعين عليه انتظار انتهاء أحد الحواسيب من الكتابة قبل أن يبدأ حاسوب آخر في الترجمة، فإنه أسرع بكثير. تقول الورقة البحثية إنه يوفر حوالي ثانية واحدة من التأخير في الترجمة المتزامنة (الترجمة أثناء حديث الشخص). في المؤتمرات الحية، هذه الثانية الواحدة هي الفرق بين الشعور بأن الترجمة "آنية" والشعور بأنها "متأخرة".
الدقة: نظرًا لأنه يستطيع "رؤية" الشرائح أثناء الترجمة، فإنه يتوقف عن ارتكاب الأخطاء السخيفة.
- مثال: إذا قال المتحدث "مخرج" وكانت الشريحة تعرض بابًا، سيعرف الذكاء الاصطناعي أنه يجب ترجمتها كـ "Ausgang" (مخرج أشخاص). أما إذا كانت الشريحة تعرض طريقًا سريعًا، فسيعرف أنه يجب ترجمتها كـ "Ausfahrt" (مخرج سيارات). الأنظمة العادية ستكتفي بالتخمين.
الكفاءة: لا يحتاج إلى التدريب من الصفر. فهو يأخذ نموذجين قويين موجودين بالفعل ويدمجهما معًا، مما يوفر قدرًا هائلاً من القدرة الحوسبية.

الخلاصة

OmniFusion تشبه الانتقال من سباق التتابع (حيث يمر العداؤون بالعصا ويضيع الوقت) إلى فريق سباحة متزامن (حيث يتحرك الجميع كوحدة واحدة). إنها تجمع بين القدرة على الرؤية والسمع مع القدرة على الترجمة المثالية، مما يجعل التواصل متعدد اللغات في الوقت الفعلي أكثر سلاسة وسرعة وذكاءً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "OmniFusion: الترجمة المتزامنة متعددة اللغات ومتعددة الوسائط عبر الدمج النمطي (Modular Fusion)."

1. بيان المشكلة

تعالج الورقة القيود التي تواجهها أنظمة الترجمة الحالية في التعامل مع المهام متعددة الوسائط (نص، صوت، صورة) ومتعددة اللغات، لا سيما في سيناريوهات الترجمة الكلامية المتزامنة (SimulST).

قصور النماذج اللغوية الكبيرة (LLMs) المقتصرة على النصوص: بينما تتفوق النماذج اللغوية الكبيرة مفتوحة المصدر في الترجمة النصية متعددة اللغات، فإن تصميمها أحادي الوسيط يمنعها من الاستفادة من السياق البصري (مثل شرائح العرض التقديمي أو الصور) لإزالة الغموض عن الكلام أو النص. وفي ترجمة الكلام، تعتمد هذه النماذج عادةً على خطوط معالجة متتالية (Cascaded Pipelines) (التعرف الآلي على الكلام $\leftarrow$ الترجمة الآلية)، مما يؤدي إلى تأخير كبير (Latency) ويمنع نموذج الترجمة من الاستفادة من الإشارات السمعية والبصرية في آن واحد.
قصور النماذج التأسيسية متعددة الوسائط (MMFMs): تمتلك النماذج التأسيسية متعددة الوسائط سابقة التدريب قدرات قوية في الإدراك والاستنتاج عبر الوسائط، لكنها تفتقر عموماً إلى قدرات الترجمة العميقة وتغطية اللغات المتخصصة التي تمتلكها النماذج اللغوية الكبيرة المتخصصة في الترجمة، مما يؤدي إلى جودة ترجمة أقل.
الفجوة: هناك حاجة إلى بنية موحدة، شاملة (End-to-End)، تجمع بين نقاط القوة الإدراكية للنماذج التأسيسية متعددة الوسائط (MMFMs) وبين كفاءة الترجمة للنماذج اللغوية الكبيرة (LLMs) المتخصصة، لتحقيق ترجمة منخفضة التأخير وعالية الجودة ومعتمدة على السياق.

2. المنهجية: بنية OmniFusion

يقترح المؤلفون OmniFusion، وهي بنية موحدة تدمج نموذجاً تأسيسياً متعدد الوسائط (MMFM) مع نموذج لغوي كبير (LLM) متخصص في الترجمة عبر وحدة دمج بوابية خفيفة الوزن (Lightweight Gated Fusion Module).

المكونات الأساسية

العمود الفقري لـ MMFM: يستخدم Qwen2.5-Omni-7B لمعالجة المدخلات الصوتية والصورية، واستخراج التمثيلات الإدراكية.
العمود الفقري لـ LLM الخاص بالترجمة: يستخدم Seed-X-PPO-7B للفهم والتوليد متعدد اللغات.
وحدة الدمج البوابية (Gated Fusion Module): بدلاً من دمج جميع طبقات MMFM (مما يزيد طول التسلسل والتكلفة الحسابية)، يستخرج النموذج التمثيلات الخفية من ثلاث طبقات محددة من MMFM:
1. الطبقة الأولى: تلتقط الميزات الإدراكية منخفضة المستوى.
2. الطبقة الوسطى: تلتقط التجريد المتوسط.
3. الطبقة الأخيرة: تلتقط الفهم الدلالي عالي المستوى.
- تقوم آلية بوابية (Gating Mechanism) ( $W_{gate}$ ) بوزن هذه التمثيلات الثلاثة ديناميكياً بناءً على الرمز المدخل (Token)، ثم تجمعها، وتُسقطها عبر طبقة MLP لتتوافق مع أبعاد التضمين (Embedding Dimension) الخاصة بنموذج الترجمة اللغوي الكبير. وهذا يسمح للنموذج بدمج السياق متعدد الوسائط بشكل انتقائي دون تضخم التسلسل.

استراتيجية التدريب

التعلم متعدد المهام: يتم تدريب النموذج على ثلاث مهام رئيسية:
1. الترجمة الكلامية (ST): صوت $\leftarrow$ نص.
2. الترجمة (صوت + صورة) (SIT): صوت + صورة $\leftarrow$ نص.
3. الترجمة (نص + صورة) (TIT): نص + صورة $\leftarrow$ نص (مثل ترجمة التعليقات التوضيحية).
التتالي الذاتي (Self-Cascading): لتحسين المحاذاة بين الوسائط والمجال الدلالي للنموذج اللغوي، يستخدم التدريب نهج التتالي الذاتي العشوائي. يُطلب من النموذج أولاً توليد مخرجات وسيطة (نسخ صوتي للملف الصوتي عبر ASR، أو نص مستخرج عبر OCR للصور) قبل توليد الترجمة النهائية. يتم ذلك باستخدام مطالبات (Prompts) محددة (مثل: "انسخ الصوت باستخدام الصورة كـسياق...").
كفاءة المعلمات: يتم تجميد (Frozen) أوزان MMFM، ويتم ضبط النموذج اللغوي الكبير فقط باستخدام تقنية LoRA (التكيف منخفض الرتبة). هذا يقلل التكاليف الحسابية ويمنع النسيان الكارثي (Catastrophic Forgetting) لقدرات MMFM متعددة الوسائط.

أوضاع الاستدلال (Inference Modes)

الترجمة المباشرة: توليد مباشر من المدخلات متعددة الوسائط إلى النص المستهدف.
استدلال التتالي الذاتي: يقوم النموذج صراحةً بتوليد خطوة ASR/OCR الوسيطة قبل الترجمة النهائية، مما يحسن الجودة على حساب زيادة طفيفة في زمن التأخير.
سياسة SimulST: بالنسبة للترجمة المتزامنة، يتبنى المؤلفون سياسة الاتفاق المحلي (Local Agreement)، والتي تلتزم بأطول بادئة مشتركة بين الفرضيات المتتالية لتقليل زمن التأخير.

3. المساهمات الرئيسية

بنية موحدة: تقديم OmniFusion، وهو أول نموذج شامل (E2E) يدعم بشكل مشترك ترجمة الكلام والنص والصور باستخدام دمج نموذج لغوي متخصص في الترجمة ونموذج تأسيسي متعدد الوسائط.
آلية الدمج البوابي: طريقة فعالة ومبتكرة لدمج طبقات محددة من MMFM في نموذج لغوي كبير للترجمة، مما يتيح ترجمة مدركة للسياق دون العبء الحسابي لمعالجة جميع الطبقات أو دمج التسلسلات الكاملة.
تحسين الأداء: إثبات أن OmniFusion يقلل زمن التأخير في SimulST بنحو ثانية واحدة مقارم خطوط المعالجة المتتالية، مع الحفاظ على جودة ترجمة تنافسية. كما يقلل بشكل كبير من أخطاء الترجمة الحرجة والكبرى في الإعدادات غير المتزامنة (Offline).

4. النتائج التجريبية

تم تقييم النموذج على مجموعات بيانات تشمل MCIF (المحاضرات العلمية مع الشرائح)، وFLEURS (الكلام متعدد اللغات)، وCoMMuTE (ترجمة التعليقات التوضيحية للصور).

الترجمة الكلامية المتزامنة (SimulST):
- حقق OmniFusion تقليلاً بنحو ثانية واحدة في متوسط التأخير (Average Lagging) مقارنة بالنماذج المتتالية (ASR $\leftarrow$ MT) عبر مختلف أحجام الكتل (Chunk sizes).
- عندما تم توفير السياق البصري (الصور)، حقق OmniFusion أدنى زمن تأخير وأعلى جودة، مما يثبت أن النموذج الشامل (E2E) يستغل الإشارات البصرية بشكل أكثر فعالية من الأنظمة المتتالية.
الترجمة الكلامية غير المتزامنة (Offline):
- حقق OmniFusion باستخدام الدمج البوابي + التتالي الذاتي درجة 86.57 في مقياس XCOMET-XL، وهو ما يكاد يطابق أفضل نموذج أساسي تم ضبطه بتقنية LoRA (86.59).
- والأهم من ذلك، أنتج النموذج الشامل (E2E) أخطاءً حرجة وكبرى أقل (55.3 خطأ حرج مقابل 75.0 لأفضل نظام متتال)، مما يشير إلى موثوقية أعلى.
ترجمة (النص + الصورة) (التعليقات التوضيحية):
- في اختبار CoMMuTE، حقق OmniFusion (بـ 14 مليار معلمة) نتائج حالة الفن (SOTA)، متفوقاً على أو مساوياً للنماذج المعتمدة على الرؤية فقط مثل ZeroMMT وTowerVision.
- نجح في إزالة الغموض عن الكلمات بناءً على السياق البصري (مثل التمييز بين كلمة "EXIT" كخروج للمركبات أو خروج للأشخاص بناءً على الصورة).
دراسات الاستئصال (Ablation Studies):
- اختيار الطبقات: تم التحقق تجريبياً من أن استخدام الطبقات الأولى والوسطى والأخيرة هو الأمثل. استخدام جميع الطبقات أو الدمج القائم على الانتباه (Attention-based fusion) أدى إلى ضجيج وتدهور في الأداء.
- سلوك البوابة: أظهر التحليل أن آلية البوابة تمنح أعلى الأوزان للطبقتين الأولى والوسطى، مما يشير إلى أن طبقات MMFM المبكرة والمتوسطة تحتوي على المعلومات متعددة الوسائط الأكثر قابلية للنقل.

5. الأهمية والأثر

الكفاءة: من خلال تجميد MMFM واستخدام آلية بوابية خفيفة الوزن، يوفر OmniFusion مساراً فعالاً حسابياً للترجمة متعددة الوسائط، متجنباً الحاجة إلى التدريب المسبق واسع النطاق من الصفر.
تقليل زمن التأخير: إن تقليل زمن التأخير في SimulST أمر بالغ الأهمية للتطيات الواقعية مثل الترجمة في المؤتمرات الحية، حيث تكون التأخيرات في الأنظمة المتتالية غير مقبولة.
تقليل الأخطاء: القدرة على تقليل الأخطاء الحرجة تشير إلى أن النماذج متعددة الوسائط الشاملة (E2E) أكثر قوة في التعامل مع الغموض مقارنة بالأنظمة النمطية (Modular pipelines).
القدرة على التعميم: يوضح هذا النهج أنه يمكن الجمع بفعالية بين النماذج اللغوية الكبيرة المتخصصة في الترجمة والنماذج التأسيسية متعددة الوسائط، مما يقدم مخططاً لأنظمة مستقبلية متعددة اللغات ومتعددة الوسائط.

القيود: البيانات المستخدمة حالياً تركز بشكل أساسي على اللغة الإنجليزية، مما قد يحد من الأداء للغات المصدر الأخرى. بالإضافة إلى ذلك، يعتمد النموذج على مطالبات (Prompts) ثابتة خاصة بالمهام ولا يدعم بعد اتباع التعليمات العامة عبر مختلف المهام متعددة الوسائط. يهدف العمل المستقبلي إلى توسيع التغطية متعددة اللغات واستكشاف السلوك متعدد الوسائط المدفوع بالتعليمات.