BM25-Augmented Many-Shot Translation for Low-Resource North-Eastern Indian Languages
تقدم هذه الورقة البحثية مشاركة جامعة فلوريدا غيتورز في مسابقة WMT26، والتي تستخدم خط معالجة للترجمة يعتمد على الاسترجاع المعزز بالنماذج متعددة الأمثلة (many-shot) باستخدام تقنية BM25 لجلب أمثلة متوازية ذات صلة ونموذج Gemini 2.5 Flash للاستدلال، محققةً ترجمة للغة الإنجليزية لإحدى عشرة لغة من شمال شرق الهند دون أي ضبط دقيق للنموذج.
المؤلفون الأصليون:Aashish Dhawan, Christopher Driggers-Ellis, Dzmitry Kasinets, Christan Grant, Daisy Zhe Wang
تخيل عالماً تستطيع فيه الحواسيب التحدث بكل لغات الأرض، حيث تترجم فوراً قصيدة من قرية نائية في جبال الهيمالايا إلى رسالة نصية في نيويورك. هذا هو حلم الترجمة الآلية، وهو مجال تتعلم فيه الحواسيب كيفية استبدال الكلمات بين اللغات. لسنوات، كانت الطريقة القياسية لتعليم هذه الحواسيب هي "الضبط الدقيق" (fine-tuning)، وهو أمر يشبه أخذ طالب ذكي وإجباره على حفظ كتاب مدرسي محدد حتى يتمكن من تسميعه بشكل مثالي. ولكن ماذا لو لم يمتلك الطالب ذلك الكتاب؟ ماذا لو كانت اللغة نادرة جداً لدرجة أن قلة قليلة فقط ممن سبق لهم كتابتها؟ هذا هو تحدي اللغات "منخفضة الموارد". ولحل هذه المشكلة، يجرب الباحثون حيلة مختلفة: بدلاً من الحفظ، يعطون الحاسوب "ورقة مرجعية" قبل أن يجيب. إنهم يستخدمون أداة بحث للعثور على جمل مشابهة لما رآه الحاسوب من قبل ويقولون له: "انظر، هكذا قلنا هذا في المرة الماضية؛ انسخ هذا الأسلوب". يستكشف هذا البحث ما إذا كانت هذه الطريقة "المعززة بالاسترجاع" (retrieval-augmented) تنجح مع إحدى عشرة لغة نادرة جداً من شمال شرق الهند، وهي لغات لا يوجد لها تاريخ رقمي تقريباً.
قام الفريق من جامعة فلوريدا، الذين أطلقوا على أنفسهم اسم "غيتورز" (gators)، ببناء نظام للترجمة بين الإنجليزية وهذه اللغات الإحدى عشرة من شمال شرق الهند. لم يحاولوا بناء عقل جديد من الصفر، بل استخدموا عملية ذكية مكونة من خطوتين. أولاً، تصرفوا كأمين مكتبة يستخدم أداة تسمى BM25؛ فعندما تأتي جملة، يقوم أمين المكتبة بمسح سريع لمكتبة ضخمة من الترجمات الموجودة للعثور على الأمثلة الأكثر تشابهاً. ثانياً، سلموا هذه الأمثلة لنموذج ذكاء اصطناعي فائق الذكاء يسمى Gemini 2.5 Flash، قائلين له: "إليك بعض الأمثلة حول كيفية ترجمة هذا النوع من الجمل؛ الآن قم أنت بالمهمة". النتيجة الرئيسية هي أن هذا النهج "المعزز بالاسترجاع"، حيث يبحث الذكاء الاصطناعي عن الأمثلة أثناء العمل، حقق نتائج تنافسية، وفي كثير من الحالات كانت أفضل قليلاً من نماذج الضبط الدقيق التي استخدمتها الفرق الأخرى في المسابقة.
اختبر الباحثون هذا على إحدى عشرة لغة، تتراوح من لغة "الأسامية" (Assamese)، التي تمتلك قدراً جيداً من البيانات، إلى لغتي "تاجين" (Tagin) و"كاربي" (Karbi)، وهما نادرتان جداً لدرجة أنه لا يوجد لهما عمل ترجمة سابق تقريباً. قاموا ببناء "بنك تدريب" عبر دمج البيانات الرسمية من مسابقة تسمى WMT26 مع مجموعات عامة أخرى من النصوص. ثم أجروا تجربة ضخمة، جربوا فيها أعداداً مختلفة من أمثلة "الورقة المرجعية". وتساءلوا: "إذا أظهرنا للذكاء الاصطناعي 20 مثالاً، فهل سيكون ذلك أفضل من 80؟ وماذا لو أظهرنا له 10 أمثلة من اختبار تجريبي مقابل 40؟" لقد اختبروا كل تركيبة لكل لغة ولكل اتجاه (من الإنجليزية إلى اللغة المحلية، ومن المحلية إلى الإنجليزية).
كانت النتائج مزيجاً من النجاح والمفاجآت المثيرة للاهتمام. بالنسبة للغات التي تمتلك المزيد من البيانات، مثل الأسامية و"بودو" (Bodo)، قدم النظام أداءً جيداً للغاية، محققاً المركز الأول في المسابقة لبعض المقاييس. وتحديداً، حققت طريقتهم أفضل درجة BLEU في 9 من أصل 19 مهمة ترجمة، وأفضل درجة ChrF++ في 11 من أصل 22 مهمة. أما بالنسبة لأصغر اللغات، مثل "تاجين"، فقد تمكن النظام من إنتاج ترجمات، رغم أن الدرجات كانت منخفضة. وكان أحد الاكتشافات الرئيسية هو أن "الورقة المرجعية" كانت تعمل بشكل أفضل عندما تكون الأمثلة مشابهة جداً للجملة المراد ترجمتها. ومع ذلك، وجدوا أيضاً أن مجرد إضافة المزيد من البيانات لم يساعد دائماً. في إحدى التجارب، حاولوا إضافة بيانات اصطناعية (ترجمات مولدة حاسوبياً) من نوع مختلف من النصوص (تعليقات الصور)، لكن ذلك جعل الترجمة أسوأ في الواقع. وقد علمهم هذا أن امتلاك النوع الصحيح من الأمثلة أكثر أهمية من امتلاك كومة ضخمة من الأمثلة الخاطئة.
كما قام الفريق بإصلاح خطأ برمجي (bug) من عملهم السابق. في مشروع سابق، قاموا عن طريق الخطأ ببناء مكتبة البحث الخاصة بهم باستخدام جانب اللغة الخاطئ، مما أربك النظام. وبمجرد إصلاح ذلك، أصبح النظام فجأة أفضل بكثير في الترجمة من اللغات المحلية إلى الإنجليزية. كما لاحظوا أنه بالنسبة لبعض اللغات، كان إظهار عدد قليل من الأمثلة عالية الجودة من مجموعة اختبار تجريبية أكثر فائدة من إظهار عدد كبير من الأمثلة العشوائية من المكتبة الرئيسية.
في النهاية، يظهر البحث أنك لست بحاجة دائماً لتعليم الحاسوب لغة من الصفر. أحياناً، يكفي أن تعطيه أداة بحث جيدة وبعض الأمثلة الجيدة لينظر إليها. لم يكتفِ النظام بالتخمين، بل قاس نجاحه باستخدام درجات محددة (مثل ChrF++ وBLEU) ووجد أنه في غالبية مهام الترجمة، كان أسلوبهم من بين الأفضل. وبينما لا يعد النظام مثالياً — إذ يرتبك أحياناً بسبب المواضيع السياسية أو الكلمات النادرة جداً — إلا أنه يثبت أنه بالنسبة لهذه اللغات التي يصعب الوصول إليها، فإن نهج "أمين المكتبة الذكي" هو وسيلة قوية لسد الفجوة اللغوية. ويرى المؤلفون أن هذا الأسلوب يعد منافساً قوياً لمستقبل ترجمة لغات العالم الأكثر عرضة للانقراض، بشرما تمكنوا من العثيد على الأمثلة الصحيحة لعرضها على الذكاء الاصطناعي.
ملخص تقني: الترجمة المعززة بـ BM25 والعديد من العينات (Many-Shot) للغات شمال شرق الهند ذات الموارد المنخفضة
بيان المشكلة تتناول هذه الورقة تحدي الترجمة الآلية (MT) لإحدى عشرة لغة من لغات شمال شرق الهند ذات الموارد المنخفضة، والتي تشارك في مهمة الترجمة المشتركة WMT26 للغات الهندية ذات الموارد المنخفضة. تغطي هذه اللغات أربع عائلات لغوية متميزة: الهندوأرية (الآسامية)، والأسترونيزية (الخاسي)، وثماني لغات من عائلة التبت-برمان (الميزو، والمانيبوري بـ خطي البنغالي وميتي ماييك، والبودو، والكوكروك، والكاربي، والنييشي، والتاغين)، وكريول يعتمد على الإنجليزية (الناجاميزي). العديد من هذه اللغات، لا سيالما النييشي، والكربي، والتاغين، تفتقر تقريبًا إلى أي أعمال سابقة في مجال الترجمة الآلية. تنقسم المهمة إلى فئتين بناءً على توفر البيانات: الفئة 1 (بيانات متوسطة) والفئة 2 (بيانات محدودة جدًا). يهدف المؤلفون إلى الترجمة بين الإنجليزية وهذه اللغات في كلا الاتجاهين دون الاعتماد على الضبط الدقيق (fine-tuning) للنماذج، وهو النهج الذي هيمن على النسخ السابقة من المهمة.
المنهجية يقوم النظام المقترح، والذي قدمه فريق "gators" من جامعة فلوريدا، بتكييف خط معالجة للترجمة المعززة بالاسترجاع والعديد من العينات (many-shot) تم استخدامه سابقًا للغات السكان الأصليين في الأمريكتين (AmericasNLP 2026). الهيكل الأساسي هو توليد مدعوم بالاسترجاع (RAG) أثناء الاستدلال باستخدام نموذج لغوي كبير (LLM) وفهرس استرجاع متفرق (sparse retrieval index).
إعداد البيانات:
بنوك الاسترجاع: يبني النظام بنوك تدريب خاصة بكل لغة (R) عن طريق دمج بيانات WMT26 الرسمية مع مجموعات النصوص المتاحة علنًا (مثل Samanantar، وEndangered Recipes، وIndicGenBench FLORES، وإصدارات WMT السابقة WMT23).
التعزيز (Augmentation): تم تطبيق تعزيز كبير للبيانات، خاصة للفئة 2. على سبيل المثال، تم توسيع مجموعة بيانات البودو بمقدار 9.3 ضعف لتصل إلى أكثر من 114,000 زوج، بينما تلقت لغات أخرى عمليات تعزيز أصغر.
التصفية (Filtering): خضعت البيانات لإزالة التكرار باستخدام SHA-256، وتوحيد ترميز يونيكود (NFC/NFKC)، وتصفية نسبة الطول. كما تم تطبيق تصفية التشابه عبر اللغات (LaBSE) اختياريًا على المصادر الخارجية الأكثر ضجيجًا.
محاذاة المجال: استبعد المؤلفون صراحةً البيانات الاصطناعية من مجموعة بيانات Multi30k (تعليقات الصور) بعد اكتشاف أن عدم تطابق المجال يؤثر سلبًا على الأداء، رغم زيادة الحجم.
آلية الاسترجاع (BM25):
يستخدم النظام BM25 (نسخة Okapi) لاسترجاع أفضل r من الأمثلة المتوازية الأكثر تشابهًا من بنك التدريب لجملة مصدر q معينة.
اتجاه الفهرس: تضمن التصحيح الحاسم من عمل المؤلفين السابق بناء فهرس BM25 على جانب اللغة المصدر. بالنسبة للترجمة من الإنجليزية إلى اللغات الهندية (En→X)، يتم بناء الفهرس على الإنجليزية؛ وللترجمة من اللغات الهندية إلى الإنجليزية (X→En)، يتم بناء الفهرس على اللغة الهندية.
إزالة التكرار: لمنع إغراق المطالبات (prompts) بأمثلة متطابقة تقريبًا من مجموعات البيانات المتداخلة، يتخطى النظام المطابقات التامة ويزيل التكرار بناءً على بادئة مكونة من 60 حرفًا موحدة.
الترجمة داخل السياق (In-Context Translation):
النموذج: يتم توليد الترجمات بواسطة Gemini 2.5 Flash عبر واجهة برمجة تطبيقات Google GenAI. لا يتم إجراء أي ضبط دقيق للنموذج.
بناء المطالبة (Prompt Construction): تتكون المطالبة من الجملة المدخلة q، وr من الأمثلة المسترجعة من التدريب، وd من الأمثلة التطويرية (Dd) المختارة عبر ترتيب تداخل الكلمات مع استبعاد "الترك لمرة واحدة" (leave-one-out exclusion).
مطالبات النظام (System Prompts): لكل لغة مطالبة نظام مخصصة تشفر سمات لغوية محددة (مثل تحذير لغة الخاسي من ترتيب VOS، وتوضيح طبيعة البودو التبتية-البرمانية رغم استخدام خط ديفاناغاري).
المعالجة اللاحقة: تشمل إزالة بادئات النموذج، وتوحيد يونيكود، والتحقق من أحرف المخرجات مقابل كتل يونيكود المتوقعة (وهو أمر بالغ الأهمية لخط ميتي ماييك لمنع العودة إلى الخط البنغالي).
تحسين المعلمات الفائقة (Hyperparameter Optimization):
تم إجراء بحث شبكي (grid search) على عدد الاسترجاع r∈{0,20,40,80} وعدد الأمثلة التطويرية d∈{0,10,20,49} لجميع أزواج اللغات الـ 22 (اتجاهات الترجمة).
تم تقييم التكوينات على مجموعات تطوير محجوزة (50 جملة لكل خلية) باستخدام مقياس ChrF.
المساهمات الرئيسية
نقل تقنية RAG إلى مجالات جديدة: تظهر الورقة أن النهج المعزز بالاسترجاع والخالي من الضبط الدقيق، والذي نجح سابقًا في مهمة AmericasNLP، ينتقل بفعالية إلى عائلة لغات شمال شرق الهند، رغم اختلاف الهياكل اللغوية وأنظمة الكتابة.
إصلاح خطأ حرج: حدد المؤلفون وعالجوا خطأ في خط معالجتهم السابق حيث كان فهرس BM25 يُبنى بشكل غير صحيح على اللغة الهدف (الإسبانية) بغض النظر عن اتجاه الترجمة. أدى تصحيح ذلك لبناء الفهارس على اللغة المصدر إلى تحسين أداء X→En بشكل كبير.
تحليل حساسية المجال: من خلال دراسات الاستئصال (ablation studies)، يوضح المؤلفون أن محاذاة المجال أكثر أهمية من مجرد حجم البيانات الضخم بالنسبة لـ BM25-based RAG. كانت البيانات الاصطناعية من مهام وصف الصور (Multi30k) ضارة عند تطبيقها على مجالات النصوص الإخبارية أو الحكومية.
بحث شبكي شامل: تقدم الدراسة تحليلًا مفصلًا لكيفية تفاعل الاسترجاع (r) والأمثلة التطويرية (d) عبر 22 زوجًا مختلفًا من اللغات، مما يكشف عن عدم تماثل في التكوينات المثلى بين اتجاهات En→X و X→En.
النتائج تم تقييم النظام باستخدام مجموعة اختبار WMT26 ومقاييس BLEU و ChrF++.
الأداء: حقق النظام أفضل درجة BLEU في 9 من أصل 19 مهمة ترجمة وأفضل درجة ChrF++ في 11 من أصل 19 مهمة.
عدم التماثل الاتجاهي:
En→X: كان الاسترجاع (r) مفيدًا بشكل عام، حيث كان r=80 هو الأمثل لعشر لغات من أصل إحدى عشرة. يشير هذا إلى أن RAG يساعد بفعالية في توليد اللغات ذات الموارد المنخفضة.
X→En: كان الاسترجاع غالبًا أقل أهمية أو حتى ضارًا. في سبع من أصل إحدى عشرة مهمة X→En، كان r الأمثل هو 0، مما يشير إلى أنه عندما يتم توليد لغة عالية الموارد (الإنجليزية) يعرفها النموذج جيدًا بالفعل، فإن الاسترجاع لا يضيف قيمة ما لم تكن الأمثلة المسترجعة مطابقة تقريبًا للاستعلام.
ندرة البيانات: بالنسبة للغات ذات المجموعات الصغيرة للغاية (مثل الكاربي مع ~900 زوج)، وصل التحسن الناتج عن زيادة r إلى مرحلة الثبات، مما يشير إلى أن قوة الاسترجاع محدودة بحجم المجموعة.
تأثيرات الخطوط: تشير الورقة إلى وجود فجوة أداء كبيرة بين لغة الميتي بالخط البنغالي وخط ميتي ماييك، ويرجع ذلك على الأرجاح إلى ارتفاع تعرض النموذج للتدريب المسبق للخط الأول.
الأهمية والادعاءات يدعي المؤلفون أن نهجهم يعزل قدرات الترجمة المعززة بالاسترجاع، مما يثبت أن الضبط الدقيق ليس ضروريًا تمامًا للمنافسة مع المشاركات الأخرى في بيئات الموارد المنخفضة. يعتمد نجاح النظام على:
بنوك استرجاع عالية الجودة ومتوافقة مع المجال.
بناء الفهرس الصحيح (فهرسة اللغة المصدر).
الاستخدام الاستراتيجي للتعلم داخل السياق باستخدام أمثلة تطويرية منقحة (d) والتي غالبًا ما كانت أكثر تأثيرًا من استرجاع التدريب (r) للمجموعات الصغيرة.
تخلص الورقة إلى أنه بينما يعتمد النظام على الوصول إلى واجهة برمجة التطبيقات (Gemini) ويواجه قيودًا تتعلق بمرشحات السلامة وحدود معدل الطلبات، فإنه يمثل بديلًا قويًا لا يتطلب تدريبًا للترجمة في ظل الموارد المنخفضة. يشير المؤلفون بتواضع إلى ملاحظة انخفاض الأداء من مرحلة التطوير إلى مرحلة الاختبار، وهو ما يتوافق مع النتائج السابقة، ومع ذلك لا يزال النظام يتفوق على المنافسة في معظم المقاييس.