Retrieval-Augmented Long-Context Translation for Cultural Image Captioning: Gators submission for AmericasNLP 2026 shared task
فاز فريق جامعة فلوريدا غيتورز بمهمة AmericasNLP 2026 المشتركة للتعليق على الصور الثقافية للغات السكان الأصليين عبر توظيف مسار عمل مكون من مرحلتين يجمع بين نموذج Qwen2.5-VL للتعليق الوسيط باللغة الإسبانية والتعزيز بالاسترجاع باستخدام التلقين متعدد الأمثلة (many-shot prompting) عبر نموذج Gemini 2.5 Flash، محققاً تحسينات في الأداء تتجاوز 120% مقارنة بالنموذج المرجعي عبر لغات بريبري، وغواراني، وأوريزابا ناهواتل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول كتابة وصف قصير ومثالي ثقافياً لصورة لمجتمع يتحدث لغة قديمة ونادرة. التحدي يكمن في أنك لا تتحدث هذه اللغة جيداً، وهناك كتب أو قواميس قليلة جداً لمساعدتك.
يصف هذا البحث كيف تمكن فريق من جامعة فلوريدا ("الغاترز" - Gators) من حل هذه المشكلة من أجل مسابقة تسمى AmericasNLP 2026. كان هدفهم هو أخذ صورة وكتابة تعليق بلغة واحدة من خمس لغات أصلية في الأمريكتين (مثل الغوارانية أو البربري).
إليك كيف فعلوا ذلك، مقسماً إلى خطوات بسيطة وتشبيهات:
الوصفة المكونة من خطوتين
بدلاً من محاولة القفز مباشرة من "الصورة" إلى "اللغة النادرة"، استخدم الفريق سباق تتابع مكون من خطوتين:
- الخطوة 1: المترجم (الجسر): أولاً، استخدموا ذكاءً اصطناعياً فائق الذكاء (يُسمى Qwen) للنظر إلى الصورة وكتابة وصف بسيط باللغة الإسبانية. فكر في الإسبانية كـ "لغة جسر" يجيد الذكاء الاصطناعي التعامل معها ببراعة.
- الخطوة 2: الخبير الثقافي (المنهي): بعد ذلك، أخذوا ذلك الوصف الإسباني وطلبوا من ذكاء اصطناعي آخر، أكثر ذكاءً (Gemini)، ترجمته إلى اللغة الأصلية النهائية.
السر الخفي: "أظهر، ولا تكتفِ بالإخبار"
السحر الحقيقي لم يكن مجرد الترجمة؛ بل في كيفية تعليم الذكاء الاصطناعي "الأسلوب" الذي يجب استخدامه.
عادةً، عندما تطلب من ذكاء اصطناعي الترجمة، قد يعطيك جملة صحيحة قواعدياً ولكنها تبدو كأنها صادرة عن روبوت أو كتاب مدرسي. أراد الفريق أن تكون التعليقات تبدو كشخص محلي يتحدث بشكل طبيعي.
ولإصلاح ذلك، استخدموا تقنية تُسمى التوليد المعزز بالاسترجاع (Retrieval-Augmented Generation).
- التشبيه: تخيل أنك تكتب رسالة إلى صديق في قرية أجنبية. بدلاً من مجرد التخمين كيف يتحدثون، تسحب صندوقاً يحتوي على 100 رسالة كتبها أشخاص آخرون إلى تلك القرية نفسها. تقرأها لتأخذ شعوراً بلهجتهم، ونبرتهم، وبنية جملهم. ثم تكتب رسالتك، محاكياً هذا الأسلوب.
- في البحث: قبل أن يترجم الذكاء الاصطناعي التعليق الإسباني، بحث النظام في مكتبة ضخمة من الأزواج الموجودة مسبقاً من الإسبانية إلى اللغات الأصلية. قام بجلب الأمثلة الأكثر تشابهاً (مثل "الـ 100 رسالة") وعرضها على الذكاء الاصطناعي كدليل. ساعد هذا الذكاء الاصطناعي على مطابقة "السجل اللغوي" (الأسلوب الثقافي المحدد) المطلوب للمسابقة.
النتائج: فوز كبير
دخل الفريق بهذا النظام المسابقة وفاز بها.
- الدرجة: لقد حسنوا درجاتهم بهوامش ضخمة مقارنة بالخط المرجعي القياسي. على سبيل المثال، في لغة البربري، حسنوا الدرجة بنسبة 164%. وفي لغة الغوارانية، حسنوا الدرجة بنسبة 131%.
- الاختبار البشري: عندما نظر الحكام البشر إلى التعليقات، تم تصنيف مدخلات الفريق في المركز الثاني من بين خمسة متأهلين للتصفيات، مما أثبت أن التعليقات بدت طبيعية ومناسبة ثقافياً.
ماذا تعلموا (لحظات "وجدتها!")
أجرى الفريق العديد من التجارب لمعرفة ما نجح وما لم ينجح، مما أدى إلى ثلاثة اكتشافات رئيسية:
- ليست كل المكتبات متساوية: "المكتبة" من الأمثلة التي استخدموها حققت نتائج مذهلة لـ الغوارانية لأن لديهم مجموعة ضخمة مكونة من 53,000 مثال (بما في ذلك بعض الأمثلة "المزيفة" التي تم إنشاؤها حاسوبياً والتي تبين أنها مفيدة جداً). ومع ذلك، بالنسبة للغة المايا يوكاتيك، لم يكن لديهم أي أمثلة تقريباً. في هذه الحالة، كانت المعرفة الداخلية للذكاء الاصطناعي أفضل من محاولة فرض مكتبة صغيرة مليئة بالضجيج عليه.
- دفعة البيانات "المزيفة": بالنسبة للغة الغوارانية، جاءت حوالي 28 نقطة من نجاحهم تحديداً من استخدام تلك الأمثلة التي تم إنشاؤها حاسوبياً. الأمر يشبه وجود مدرب تدريب يقوم بإنشاء تمارين إضافية لك لتدرسها.
- النبرة مهمة (خاصة للبربري): لغة البربري تمتلك أصواتاً معقدة (نبرات) تغير معنى الكلمات. وجد الفريق أن مجرد الترجمة لم يكن كافياً؛ كان عليهم إعطاء الذكاء الاصطناعي تعليمات خاصة حول كيفية التعامل مع هذه الأصوات وترتيب الكلمات. كان الأمر يشبه إخبار الذكاء الاصطناعي: "تذكر، في هذه اللغة، الفعل يأتي في النهاية، ولا تنسَ النغمات الموسيقية!"
العقبة (القيود)
يعترف الفريق بأن نظامهم ليس مثالياً بعد:
- تفاعل السلسلة: إذا ارتكب الذكاء الاصطنا الأول (المترجم الإسباني) خطأً في وصف الصورة، فإن الذكاء الاصطنا الثاني (المترجم) سيترجم هذا الخطأ بدقة مثالية. لا يوجد زر "تراجع".
- فخ درجة الاختبار: استخدموا أمثلة من "الاختبار التجريبي" (مجموعة التطوير) لمساعدة الذكاء الاصطناعي على تعلم الأسلوب. هذا نجح بشكل رائع في درجات الاختبار التجريبي، ولكنه يشبه دراسة الإجابات الدقيقة لاختبار تجريبي قبل خوض الامتحان الحقيقي. قد يؤدي هذا إلى تضخيم الدرجة، لذا فهم حذرون بشأن كيفية تفسير هذه النتائج.
الملخص
فاز فريق جامعة فلوريدا من خلال بناء مسار يبدأ بوصف صورة باللغة الإسبانية، ثم يستخدم مكتبة ضخمة من الأمثلة المتشابهة لتعليم الذكاء الاصطناعي كيفية ترجمة ذلك الوصف إلى اللغات الأصلية مع النكهة الثقافية الصحيحة. لقد أثبتوا أنه بالنسبة للغات ذات الموارد المحدودة، فإن السياق وأدلة الأسلوب لا تقل أهمية عن الترجمة نفسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.