OmniAlign: A Unified Multilingual Aligner for Word and Sentence Alignment
يُعد OmniAlign نموذجاً لغوياً موحداً وخفيف الوزن، يحقق في آن واحد أداءً فائقاً في كل من المحاذاة على مستوى الكلمات والمحاذاة على مستوى الجمل عبر لغات وأطوال نصوص متنوعة، وذلك من خلال مسار تدريب متخصص يتكون من أربع مراحل.
في عالم المعلومات الرقمية الشاسع والمترابط، تعمل اللغات كجسور وحواجز في آن واحد. ولبناء أدوات تتيح للحواسيب فهم الترجمة بين لغات مختلفة، يجب على الباحثين أولاً تعليمها كيفية مطابقة قطع النص من لغة ما مع نظيراتها في لغة أخرى. هذه العملية، المعروفة باسم "محاذاة المتواليات" (sequence alignment)، هي العمل التأسيسي لربط العوالم المتوازية. وتحدث هذه العملية بمقاييس مختلفة: ففي المستوى العام، تتضمن مطابقة جمل أو فقرات كاملة؛ أما في المستوى الدقيق، فهي تتطلب ربط كلمات فردية أو حتى أجزاء من الكلمات. ولعقود من الزمن، كانت الأدوات المستخدمة للقيام بهذه المطابقة متخصصة؛ فبعضها صُمم فقط لتحديد أين تبدأ الجمل وأين تنتهي، بينما بُني بعضها الآخر حصرياً لتتبع مسار كلمة واحدة عبر الفجوة اللغوية. هذا الفصل يعني أنه لمحاذاة مستند طويل، كان على المهندسين غالباً تشغيل أنظمة مختلفة متعددة، وهي عملية مرهقة واجهت صعوبات عندما تطول النصوص أو عندما تكون اللغات المعنية معقدة.
قدم فريق من الباحثين في "WPS Qingqiu" في ووهان، الصين، حلاً جديداً يسمى "OmniAlign"، وهو نظام واحد خفيف الوزن قادر على التعامل مع محاذاة مستوى الجملة ومستوى الكلمة في آن واحد. يعالج عملهم فجوة طويلة الأمد في هذا المجال: وهي الافتقار إلى أداة موحدة يمكنها إدارة الطيف الكامل لمطابقة النصوص، من أصغر كلمة إلى أطول مستند، عبر العديد من اللغات المختلفة. ومن خلال تدريب نموذج واحد على فهم السياق عبر مساحات طويلة جداً من النصوص، ابتكر الباحثون نظاماً لا يحتاج إلى إعادة بناء لكل زوج لغوي جديد أو طول نصي جديد. والنتيجة هي أداة محاذاة متعددة الاستخدامات تؤدي بدقة عالية في الاختبارات القياسية وتظل قوية حتى عندما يكون النص المدخل أطول بكثير مما يمكن للنماذج السابقة التعامل معه.
يكمن جوهر هذا الإنجاز في كيفية تدريب الباحثين لنموذجهم. فبدلاً من الاعتماد على طريقة واحدة، استخدموا خط تدريب مكون من أربع مراحل مصمم لبناء قدرات النموذج طبقة تلو الأخرى. أولاً، عرضوا النموذج لكمية هائلة من النصوص لمساعدته على تعلم البنية الأساسية للغة عبر لغات مختلفة. بعد ذلك، استخدموا التعلم الخاضع للإشراف الذاتي، وهي تقنية يتعلم فيها النموذج من توقعاته الخاصة على كميات هائلة من البيانات، لصقل قدرته على رصد الروابط بين الكلمات دون الحاجة إلى أمثلة مصنفة بشرياً. وفي المرحلة الثالثة، قاموا بضبط النموذج بدقة باستخدام بيانات مصنفة بشرياً، لتعليمه أن يكون دقيقاً في مهام مطابقة الكلمات. وأخيراً، لضمان قدرة النموذج على التعامل مع محاذاة مستوى الجملة بفعالية أيضاً، استخدموا عملية تسمى "تقطير المعرفة" (knowledge distillation). في هذه الخطوة، تعلم النموذج من نموذج "معلم" أكبر وأكثر قوة كان خبيراً بالفعل في فهم معاني الجمل، مما سمح للنظام الجديد بوراثة مهارات تمثيل الجمل القوية دون الحاجة لأن يكون كبيراً أو معقداً بنفس القدر.
اختبر الباحثون "OmniAlign" مقابل مجموعة واسعة من الأدوات الحالية عبر تسعة أزواج لغوية مختلفة، بما في ذلك تركيبات مثل الصينية-الإنجليزية، والألمانية-الإنجليزية، واليابانية-الإنجليزية. وأظهرت النتائج أن هذا النهج الموحد كان تنافسياً للغاية. وفي مهمة محاذاة الكلمات، حقق النموذج الجديد مراتب عليا في عدة مجموعات بيانات، متفوقاً في كثير من الأحيان على الأدوات المتخصصة التي صُممت خصيصاً لتلك الوظيفة فقط. ولعل الأمر الأكثر إثارة للدهشة هو أن النموذج حافظ على دقته حتى عندما أصبحت مدخلات النص طويلة جداً. فالعديد من الأنظمة السابقة، التي غالباً ما تقتصر على معالجة مقاطع قصيرة من النصوص، شهدت أداءً منخفضاً بشكل كبير مع زيادة طول المستند. ومع ذلك، استطاع "OmniAlign" معالجة مدخلات تحتوي على آلاف الرموز (tokens) دون فقدان كبير في الجودة، مما أظهر استقراراً افتقرت إليه الطرق السابقة.
يمتد هذا الثبات إلى لغات لم يسبق للنموذج رؤيتها من قبل. فعند اختباره على أزواج لغوية لم تكن جزءاً من بيانات التدريب الخاصة به، كان النظام لا يزال قادراً على إنتاج محاذات موثوقة، مما يشير إلى أنه تعلم المبادئ العامة لكيفية اتصال اللغات بدلاً من مجرد حفظ أمثلة محددة. كما فحص الباحثون كيفية تعامل النموذج مع سيناريوهات العالم الحقيقي الصعبة، مثل مطابقة النصوص غير الرسمية التي تحتوي على أخطاء إملائية أو محاذاة الوثائق التقنية المليئة بالمصطلحات المعقدة. وفي هذه الحالات، نجح النموذج في تحديد الروابط التي فاتتها الأدوات الأخرى، مثل ربط عبارة منفية في لغة ما بكلمة مثبتة في لغة أخرى، أو تجميع عدة جمل تتوافق مع جملة واحدة أطول بشكل صحيح.
إن أهمية هذا العمل تتجاوز مجرد تحسين مقياس معين. فمن خلال إثبات أن نموذجاً واحداً فعالاً يمكنه التعامل مع كل من مطابقة الكلمات الدقيقة ومحاذاة الجمل الواسعة، قدم الباحثون مساراً أكثر عملية للمضي قدماً في بناء أدوات متعددة اللغات. يتطلب النظام موارد أقل للنشر والصيانة مقارنة بمجموعة من الأدوات المنفصلة، وقدرته على التعامل مع النصوص الطويلة تفتح آفاقاً لمحاذاة كتب كاملة أو أدلة تقنية طويلة. ورغم أن النموذج ليس حلاً مثالياً لكل نص يمكن تصوره، إلا أن التجارب تؤكد أنه يمثل خطوة مهمة نحو نهج موحد للفهم العابر للغات، نهج يوازن بين الدقة والمرونة المطلوبة للطبيعة المتنوعة والطويلة غالباً لبيانات اللغة في العالم الحقيقي.
ملخص تقني: OmniAlign
بيان المشكلة
يعد محاذاة التسلسلات عبر اللغات مهمة أساسية لبناء المتون المتوازية وتمكين تطبيقات معالجة اللغات الطبيعية متعددة اللغات، والتي تتراوح من بناء ذاكرة الترجمة إلى إسقاط المعلومات عبر اللغات. ومع ذلك، فإن الأدوات الحالية عادة ما تتخصص في مستوى واحد من التفصيل:
محاذيات مستوى الكلمة (مثل SimAlign وAwesomeAlign): غالبًا ما تعاني من تدهور الأداء مع زيادة طول التسلسل، وتكون مقيدة بشكل متكرر بأقصى أطوال المدخلات (مثل 512 رمزًا)، مما يجعلها غير مناسبة لسيناريوهات النصوص الطويلة.
محاذيات مستوى الجملة (مثل VecAlign وBertAlign): تعتمد على تضمينات الجمل وحساب التشابه، لكنها تفتقر إلى القدرة على توفير محاذاة دقيقة على مستوى الكلمة.
الممارسون: يتطلبون حاليًا أنظمة منفصلة للمحاذاة على مستوى الكلمة والجملة، لا سيما في الإعدادات متعددة اللغات والنصوص الطويلة، مما يؤدي إلى سير عمل مجزأ.
هناك نقص في وجود محاذٍ واحد عملي ومتعدد اللغات قادر على التعامل مع المحاذاة على مستويي الكلمة والجملة عبر أطوال سياقية متفاوتة.
المنهجية
يعالج OmniAlign هذه القيود من خلال تقديم نموذج موحد وخفيف الوزن (0.3 مليار معلمة) يعتمد على المشفر فقط (encoder-only) ويدعم المحاذاة ثنائية الاتجاه للكلمات والجمل عبر إحدى عشرة لغة رئيسية.
البنية التحتية
بُني النموذج على بنية mGTE-base، التي اختيرت لتصميمها القائم على المشفر فقط (وهو تصميم متفوق في التعامل مع التبعيات بين الرموز داخل الجملة الواحدة)، وقدراتها القوية متعددة اللغات، ودعمها للتسلسلات الطويلة (حتى 8,192 رمزًا)، مما يتجاوز حد الـ 512 رمزًا الذي تفرضه نماذج مثل mBERT.
آليات المحاذاة
محاذاة الكلمة:
تُشتق من التضمينات السياقية للرموز (tokens) الخاصة بالمشفر.
تحسب مصفوفة التشابه (S=stT) بين تضمينات رموز المصدر والهدف.
تقوم بتطبيع الصفوف عبر دالة Softmax للحصول على مصفوفات الاحتمالات (Sxy و Syx).
يتم تحديد المحاذات النهائية من خلال تقاطع هذه المصفوفات فوق عتبة c، مما يربط محاذات مستوى الرمز بكلمات المستوى.
محاذاة الجملة:
تستخدم خوارزمية ذات مرحلتين مستوحاة من BertAlign ولكنها معززة بقيود طول الرموز.
المرحلة 1 (محاذاة 1–1): تسترجع أفضل k من جمل الهدف المرشحة لكل جملة مصدر باستخدام البحث عن أقصى بحث داخلي للمنتج (maximum inner-product search). تقوم خوارزمية البرمجة الديناميكية (DP) مع نافذة بحث معدلة قطريًا بتحديد مسار المحاذاة الأمثل 1–1.
المرحلة 2 (محاذاة m–n): بتوجيه من ركائز 1–1، تقوم الخوارزمية بإجراء بحث DP ثانٍ في مناطق محلية للسماح بمحاذات مرنة من نوع m–n.
التسجيل (Scoring): يستخدم حاصل الضرب الداخلي لتضمينات النطاق (span embeddings) مقترنًا بـ عقوبة طول الرمز (بدلاً من عدد الحروف)، وهو أمر أكثر قوة للأزواج اللغوية متنوعة البنية (مثل الصينية-الإنجليزية).
خط أنابيب التدريب المكون من أربع مراحل
لتحقيق التوازن بين الدقة الدقيقة وجودة تمثيل الجملة، يستخدم OmniAlign نظام تدريب محدد:
التعلم المسبق المستمر: يعزز التمثيلات الدلالية لمستوى الرمز باستخدام متن متوازٍ (تم إنتاجه عبر Qwen3) بهدف نمذجة اللغة المقنعة (masked language modeling) على مستندات قصيرة وطويلة مختلطة.
التعلم الخاضع للإشراف الذاتي: يحسن دقة المحاذاة على مستوى الرمز باستخدام تسميات زائفة (pseudo-labels) مشتقة من تنبؤات النموذج عبر الإنترنت، مما يفرض الاتساق بين مصفوفات الاحتمالات من المصدر إلى الهدف ومن الهدف إلى المصدر.
الضبط الدقيق الخاضع للإشراف: يصقل النموذج باستخدام تسميات محاذاة ذهبية مصنفة بشريًا على النصوص القصيرة لزيادة دقة المحاذاة.
تقطير معرفة تضمين الجملة: يقوم بتجميد الطبقات المبكرة (بما في ذلك وحدة محاذاة الكلمة) ويقوم بضبط الطبقات النهائية لتقطير قدرات تمثيل الجملة من معلم قوي متعدد اللغات (LaBSE)، مما يستعيد أداء محاذاة الجمل دون المساس بمحاذاة الكلمات.
المساهمات الرئيسية
نموذج موحد: تقديم OmniAlign، وهو نموذج مفتوح المصدر واحد (0.3 مليار معلمة) يدعم في آن واحد المحاذاة ثنائية الاتجاه للكلمات والجمل عبر 11 لغة، مما يلغي الحاجة إلى أنظمة منفصلة.
وصفة تدريب متعددة المراحل: إطار عمل مبتكر يجمع بين التعلم المسبق المستمر، والتعلم الخاضع للإشراف الذاتي، والضبط الدقيق الخاضع للإشراف، وتقطير المعرفة لتحسين كل من قدرات مستوى الرمز ومستوى الجملة.
القوة في السياق الطويل: يحافظ النموذج على أداء عالٍ في محاذاة الكلمات للنصوص الطويلة (حتى 8,192 رمزًا)، وهو سيناريو تفشل فيه العديد من الطرق الحالية أو يتدهور فيه الأداء بشكل كبير.
التعميم الصفري (Zero-Shot): يظهر النموذج قدرة قوية على التعميم لأزواج لغوية غير مرئية دون تدريب إضافي، مستفيدًا من مشفر متعدد اللغات مشترك بدلاً من أوزان خاصة بكل زوج لغوي.
النتائج التجريبية
محاذاة الكلمة: يحقق OmniAlign أداءً تنافسيًا للغاية في تسعة أزواج لغوية (مثل zh-en، de-en، ja-en). يحتل المركز الأول في أربعة مجموعات بيانات والمركز الثاني في ثلاث منها، متفوقًا على النماذج المرجعية القوية مثل SimAlign وAwesomeAlign والنسخة متعددة اللغات من WSPAlign. وبينما يظهر BinaryAlign نتائج فائقة في اختبارات معينة للنصوص القصيرة تحت الإشراف الكامل، يحافظ OmniAlign على قوته في النصوص الطويلة حيث يتدهور أداء BinaryAlign.
محاذاة الجملة: يحقق النموذج درجات F1 من الفئة الأولى في سبعة اتجاهات لغوية، محتلًا المركز الأول في أربع مجموعات اختبار. وهو يتفوق بشكل ملحوظ على النماذج المرجعية القائمة على LaBSE في عدة أزواج، ويرجع ذلك إلى آلية المحاذاة المشتركة متعددة اللغات وقيود طول الرمز.
الأداء في النصوص الطويلة: في التجارب التي وسعت أطوال المدخلات (حتى 1,850 رمزًا)، يظهر OmniAlign تدهورًا طفيفًا فقط في الأداء (ارتفاع AER من 8.5 إلى 12.6)، بينما تعاني النماذج المرجعية مثل AwesomeAlign وACC-Align من انخفاض حاد أو تفشل في معالجة المدخلات.
اللغات غير المرئية: في التقييم الصفري للأزواج غير المرئية (مثل bg-en، en-hu)، يضاهي OmniAlign أداء النماذج المرجعية أو يتجاوزه، مما يؤكد قدرته على التعميم عبر الاتجاهات اللغوية.
الأهمية
يزعم البحث أن OmniAlign يوفر حلاً عمليًا وموحدًا لمحاذاة التسلسلات عبر اللغات، مما يسد الفجوة بين مهام مستوى الكلمة ومستوى الجملة. وتكمن أهميته في:
الكفاءة: تقديم نموذج واحد خفيف الوزن لاحتياجات المحاذاة المتنوعة، مما يقلل من تكاليف النشر والصيانة مقارنة بالحفاظ على محاذيات منفصلة للكلمات والجمل.
القابلية للتوسع: النجاح في التعامل مع سيناريوهات النصوص الطويلة التي لا تزال بعيدة عن متناول العديد من محاذيات الكلمات الحديثة.
التعميم: إثبات أن نموذجًا واحدًا متعدد اللغات، تم تدريبه باستخدام خط أنابيب متعدد المراحل، يمكنه التعميم بفعالية على كل من أزواج اللغات المرئية وغير المرئية دون الحاجة إلى نقاط تفتيش (checkpoints) خاصة بكل لغة.
يؤكد المؤلفون أنه بينما يحسن الضبط الدقيق الخاضع للإشراف على النصوص القصيرة الجودة، فإن النموذج يحتفظ بفهم السياق الطويل الذي اكتسبه في مراحل التدريب المبكرة، مما يجعله قويًا للتطبيقات الواقعية التي تتضمن مستندات طويلة.