Simorgh at SemEval-2026 task 7: Region-Aware Hybrid Retrieval for Low-Resource Cultural Reasoning in Multilingual Question Answering

ملخص تقني: سيمورغ (Simorgh) في مهمة SemEval-2026 Task 7

بيان المشكلة
بينما تُظهر النماذج اللغوية الكبيرة (LLMs) كفاءة عالية في الاستنتاج العام والمعرفة الثقافية المتمحورة حول الغرب، إلا أنها تظهر تدهوراً ملحو-ظراً في الأداء عند معالجة الأسئلة ذات الجذور الثقافية القادمة من خلفيات شرقية أو مناطق ذات موارد منخفضة. ينبع هذا التفاوت من مجموعات البيانات التدريبية (مثل Wikipedia وCommon Crawl) التي تنحاز بشدة نحو اللغات والمنظورات المهيمنة، مما يؤدي إلى توزيعات غير متوازنة للمعرفة الثقافية اليومية. وبناءً على ذلك، غالباً ما تنتج النماذج إجابات غير مكتملة، أو عامة للغاية، أو هلوسات عند الاستعلام عن مجالات اجتماعية-ثقافية محددة مثل المطبخ، أو ديناميكيات الأسرة، أو العطلات المحلية في لغات مثل الأمهرية، أو الهوسا، أو السوندية. التحدي الجوهري الذي تعالجه هذه الورقة هو تحسين دقة وملاءمة الإجابات ثقافياً في أسئلة الاختيار من متعدد (MCQA) في هذه السياقات غير الممثلة كفاية دون الاعتماد فقط على المعرفة البارامترية.

المنهجية
يقترح المؤلفون خط معالجة مكون من خطوتين، يسمى سيمورغ (Simorgh)، مصمم لمعيار BLEnD (مهمة SemEval-2026 Task 7). تدمج بنية النظام آلية استرجاع هجين مدرك للمنطقة مع محرك استدلال للنماذج اللغوية الكبيرة المكممة.

1. مُصنف الأدلة الهجين (Hybrid Evidence Ranker):

   • المطابقة المعجمية (Lexical Matching): يستخدم خوارزمية BM25 القياسية مع تقسيم الكلمات إلى وحدات (word-boundary tokenization) لالتقاط المطابقات الدقيقة للكلمات المفتاحية بين الاستعلام والوثيقة الدليلية.
   • التشابه الدلالي (Semantic Similarity): يستخدم نموذج all-MiniLM-L6-v2 SentenceTransformer لتوليد تضمينات كثيفة، وحساب تشابه جيب التمام (cosine similarity) بين السؤال والدليل.
   • الاستدلال المدرك للمنطقة (Region-Aware Heuristic): يتم تطبيق استدلال وزني مبتكر؛ فإذا احتوى نص الدليل المسترجع على إشارات إقليمية صريحة، يتم تطبيق مكافأة بنسبة 30% على الدرجة.
   • معادلة التسجيل (Scoring Formula): تُحسب درجة التصنيف النهائية كالتالي:
     $$\text{FinalScore} = (0.4 \cdot \text{BM25} + 0.6 \cdot \text{Semantic}) \cdot (1 + \text{RegionBonus})$$
   • المخرجات: يتم استخراج أعلى 5 قطع من الأدلة ذات التصنيف الأعلى لمرحلة الاستدلال.

2. محرك استدلال للنماذج اللغوية الكبيرة المكممة (Quantized LLM Inference Engine):

   • النموذج: يستخدم النظام نموذج Qwen3-14B، المحمل بتكميم NormalFloat 4-bit (nf4) مع التكميم المزدوج لتحسين استخدام ذاكرة الفيديو (VRAM) وتمكين المعالجة بالدفعات بكفاءة.
   • بناء المطالبة (Prompt Construction): يتم توجيه النموذج ليعمل كـ "نموذج استدلال ثقافي". يتم إدراج أفضل 5 وثائق مسترجعة مباشرة فوق السؤال والخيارات الأربعة (A, B, C, D) ضمن نافذة السياق. وفي حال عدم استرجاع أي دليل، يعود النموذج إلى معرفته البارامترية.
   • الاختيار الحتمي (Deterministic Selection): بدلاً من توليد نص حر (مما قد يؤدي لأخطاء في التنسيق)، يستخدم النظام اختياراً حتمياً قائماً على الـ Logit. حيث يستخرج قيم الـ logit للتنبؤ بالرمز التالي حصرياً للرموز 'A' و 'B' و 'C' و 'D'، ويختار الخيار صاحب الكتلة الاحتمالية الأعلى.

المساهمات الرئيسية

• الاسترجاع الهجين المدرك للمنطقة: تقدم الورقة استراتيجية استرجاع تجمع بين المطابقة المعجمية (BM2M) والتشابه الدلالي (الكثيف) مع استدلال خاص لإعطاء الأولوية للأدلة التي تحتوي على إشارات إقليمية، بهدف تعزيز صلة السياق المسترجع للاستدلال الثقافي المتموضع.
• المطالبة المهيكلة للاستدلال الثقافي: توضح المنهجية كيفية دمج الأدلة الثقافية المسترجعة بفعالية في مطالبة مهيكلة لنموذج لغوي كبير مكمم لأداء مهام الاختيار من متعدد (MCQA).
• المخرجات الحتمية القائمة على الـ Logit: من خلال تجاوز التوليد النصي لاختيار الإجابة، تضمن الطريقة متانة التنسيق والكفاءة الحسابية، مما يربط جودة الاسترجاع مباشرة باختيار الإجابة.

النتائج
تشير التجارب التي أُجريت على معيار BLEnD (الذي يغطي 30 لغة و16 منطقة) إلى أن نهج الاسترجاع الهجين يحسن الاستقرار عبر اللغات مقارنة بالاستدلال البارامتري الصرف.

• فجوات الأداء: بينما يخفف النهج الهجين من بعض التفاوتات، لا تزال هناك فجوة أداء ملحوظة بين اللغات ذات الموارد العالية (مثل الإنجليزية والفرنسية) واللغات ذات الموارد المنخفضة (مثل الأمهرية والهوسا والسوندية).
• تأثير الاسترجاع: تشير النتائج إلى أن التعزيز القائم على الاسترجاع يساعد في تثبيت الأداء عبر اللغات، رغم أنه لا يتغلب تماماً على القيود التي تفرضها عدم توازنات بيانات التدريب. لا تزال اللغات ذات الموارد العالية تظهر دقة أعلى بكوّنها تتفوق بشكل كبير على نظيراتها منخفضة الموارد.

الأهمية والقيود
تدعي الورقة أن دمج المطابقة المعجمية، والتشابه الدلالي، والتصنيف ذي الأولوية الإقليمية في نموذج استرجاع هجين واستدلال قائم على الـ logit يساعد في تثبيت أداء الاستدلال عبر الثقافات. ومع ذلك، يحافظ المؤلفون على موقف متواضع بشأن اكتمال الحل؛ إذ يقرون بأن تعزيز الاسترجاع وحده ليس كافياً لمعالجة الاختلالات الناتجة عن مجموعات البيانات الضخمة المستخدمة في التدريب المسبق بشكل كامل.

وتشمل القيود المحددة التي تم تحديدها ما يلي:

• الاعتماد على المجموعات الخارجية: ترتبط فعالية النظام بتوفر الوثائق الثقافية ذات الصلة؛ فإذا افتقرت المجموعة الخارجية لبيانات ثقافية محددة، فقد يفشل وحدة الاسترجاع في تقديم أدلة ذات معنى.
• قيود الاستدلال (Heuristic Constraints): قد يفشل استدلال الوزن الإقليمي عندما تكون الإشارات الثقافية ضمنية وليست صريحة في النص.
• عمق الاستدلال: يحد استراتيجية الاختيار القائمة على الـ logit من الاستدلال في نطاق توزيعات احتمالية الرمز التالي، مما قد يؤدي لتفويت التأمل الدقيق متعدد الخطوات المطلوب للاستدلالات الثقافية المعقدة.
• آثار التكميم: بينما يساعد التكميم 4-bit في الكفاءة، إلا أنه قد يؤدي إلى فقدان طفيف في دقة التمثيل، مما قد يؤثر على الأداء في اللغات المعقدة لغوياً أو الغنية قواعدياً.

يخلص المؤلفون إلى أن العمل المستقبلي يجب أن يركز على تطوير نماذج مناطق ديناميكية، وآليات إعادة ترتيب مدركة ثقافياً، واستراتيجيات ضبط دقيق تستهدف تحديداً المجتمعات اللغوية ذات الموارد المنخفضة لتعزيز نزاهة وعدالة تقييمات النماذج اللغوية الكبيرة.