💬 NLP

RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation

حقق نظام فريق RaguTeam الفائز في المهمة 8 لعام 2026 SemEval، والذي يستخدم مجموعة غير متجانسة من سبعة نماذج لغوية كبيرة يتم تنسيقها بواسطة حَكَم من طراز GPT-4o-mini لاختيار الاستجابة الأفضل، المركز الأول من خلال التفوق بشكل كبير على أقوى خط أساس مع تقديم نموذج Meno-Lite-0.1 منخفض التكلفة وانتقاد قيود التوسيم الخاصة بالمهمة.

المؤلفون الأصليون: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

نُشر 2026-05-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: "عرض مواهب" للذكاء الاصطناعي

تخيل أنك تنظم عرض مواهب للعثور على أفضل إجابة لسؤال صعب. لديك لجنة من سبعة حكام مختلفين (نماذج ذكاء اصطناعي)، لكل منهم أسلوبه الخاص، ونقاط قوته، ونقاط ضعفه. بعضهم عمالقة ضخام وذوو ذكاء خارق؛ والبعض الآخر خبراء أصغر حجماً ومتخصصون.

فريق جامعة نوفوسيبيرسك الحكومية، المسمى RaguTeam، لم يكتفِ باختيار الحكم "الأذكى" فحسب. بدلاً من ذلك، أنشأوا نظاماً حيث يكتب الحكام السبعة إجابة، ثم يقوم رئيس الحكام (نموذج ذكاء اصطناعي خفيف الوزن وهو GPT-4o-mini) بقراءة الإجابات السبع واختيار الأفضل منها لهذا السؤال تحديداً.

لقد دخلوا بهذا النظام في مسابقة تسمى SemEval-2026 Task 8 (تحديداً Task B)، والتي تختبر مدى قدرة الذكاء الاصطناعي على الإجابة على الأسئلة بناءً فقط على الوثائق المقدمة، حتى أثناء محادثة طويلة. وقد فاز نظامهم بالمركز الأول من بين 26 فريقاً.

المشكلة: فخ "الهلوسة"

في العالم الحقيقي، غالباً ما يحاول الذكاء الاصطناعي أن يكون متعاوناً أكثر من اللازم. إذا لم يعرف الإجابة، فقد يخترع شيئاً ما (يهلوس) ليبدو واثقاً من نفسه. وهذا أمر خطير عندما يُفترض بالذكاء الاصطناعي أن يكون مدققاً للحقائق.

كانت مهمة المسابقة صعبة لأنها تضمنت:

محادثات متعددة الأدوار: يجب على الذكاء الاصطناعي تذكر ما قيل سابقاً في الدردشة.
قواعد صارمة: يجب على الذكاء الاصطناعي استخدام "النصوص المرجعية" المقدمة فقط (مثل امتحان الكتاب المغلق).
اختبار "لا أعرف": في بعض الأحيان لا تحتوي الوثائق على الإجابة. والمطل้อม من الذكاء الاصطناعي أن يقول "لا أعرف" بدلاً من التخمين.

كيف فازوا: استراتيجية "السكين السويسري"

1. الفريق المتنوع (المجموعة - The Ensemble)

بدلاً من الاعتماد على كمبيوتر خارق واحد، استخدموا فريقاً من سبعة نماذج ذكاء اصطناعي مختلفة.

العمالقة: تضمنوا نماذج ضخمة (مثل GLM-4.6 بـ 357 مليار بارامتر) وهي تشبه الموسوعات.
المتخصصون: تضمنوا نموذجاً مخصصاً أصغر حجماً يسمى Meno-Lite-0.1. فكر في هذا النموذج كنموذج بـ 7 مليارات بارامتر تم تدريبه خصيصاً ليكون "مدقق حقائق" بدلاً من "كاتب مبدع". إنه يشبه محققاً صغيراً رشيقاً بارعاً جداً في اكتشاف متى تكون المعلومات مفقودة.
المزيج: استخدموا نماذج من شركات مختلفة (Google، Meta، Microsoft، إلخ) ومن أحجام مختلفة. الفكرة هي أنه إذا ارتكب أحد النماذج خطأً، فقد يصيب الآخر.

2. أسلوبان في صياغة الأوامر (Prompting Styles)

لم يكتفوا بسؤال النماذج بنفس الطريقة، بل استخدموا أسلوبين مختلفين لتعليمات التوجيه:

الأسلوب (أ) (كتاب القواعد): مجموعة قواعد صارمة تخبر الذك de الاصطناعي بالالتزام فقط بالنص المقدم.
الأسلوب (ب) (الأمثلة): قدموا للذكاء الاصطناعي بعض الأمثلة حول كيفية التعامل مع المواقف الصعبة (مثل عندما لا توجد وثائق أو عندما يكون سجل المحادثة فارغاً). هذا يشبه إعطاء طالب اختباراً تجريبياً قبل الاختبار الحقيقي.

3. رئيس الحكام (الاختيار)

هذا هو السر وراء نجاحهم. لكل سؤال، قامت النماذج السبعة بتوليد إجابة. ثم قام رئيس الحكام (GPT-4o-mini) بقراءتها جميعاً وسأل: "أي من هذه الإجابات هي الأكثر أمانة للوثائق؟"

إذا كانت الوثائق فارغة، يقوم النظام تلقائياً بقول "لا أعرف" (وهي حركة آمنة ومثالية).
إذا كانت الوثائق تحتوي على إجابة، يختار رئيس الحكام الإجابة التي لم تخترع حقائق من عندها.

النتائج الرئيسية (لحظات "وجدتها!")

التنوع أهم من الحجم: أثبت الفريق الفائز أن امتلاك مزيج من النماذج المختلفة أفضل من امتلاك أكبر وأغلى نموذج بمفرده. لقد تفوق "الفريق" على أقوى نموذج عملاق بمفرده (GLM-4.6) بفارق كبير. الأمر يشبه فوز فريق تتابع على عداء منفرد لأنه غطى مساحة أكبر.
الأمثلة تتفوق على القواعد: عندما قدموا للذكاء الاصطناي أمثلة محددة حول كيفية التعامل مع مواقف "لا أعرف" (التعلم من خلال الأمثلة القليلة - few-shot prompting)، كان أداؤه أفضل بكثير مما لو أعطوه قواعد مجردة فقط. إنه يشبه تعليم طفل من خلال إظهار فيديو لشخص يشارك ألعابه، بدلاً من مجرد قول "كن لطيفاً".
دور النموذج الصغير: لم يفز النموذج المخصص (Meno-Lite-0.1) بأكبر عدد من الأصوات، ولكن عندما كان يتم اختياره، فغالباً ما كانت إجابته هي المثالية. لقد كان "متخصصاً" أنقذ الموقف في حالات معينة، مما يثبت أنك لا تحتاج دائماً إلى عقل ضخم لكل مهمة.

النقد: اللعبة كانت "متحيزة" قليلاً

أشار المؤلفون أيضاً إلى خلل في المسابقة نفسها.

اختصار "الصندوق الفارغ": في الاختبار، كلما كان السؤال "غير قابل للإجابة"، كانت الوثائق المقدمة فارغة تماماً. هذا جعل الأمر سهلاً جداً للذكاء الاصطناعي للفوز: كان عليه فقط اكتشاف "الصندوق الفارغ" وقول "لا أعرف".
الحياة الواقعية أصعب: في العالم الحقيقي، تأتي الأسئلة غير القابلة للإجابة عادةً مع وثائق غير ذات صلة (مشتتات). يرى المؤلفون أن الاختبارات المستقبلية يجب أن تتضمن هذه "المشتتات" لجعل الذكاء الاصطناعي يبذل جهداً أكبر ولإثبات أنه يفهم النص فعلياً، بدلاً من مجرد رصد المساحات الفارغة.

الملخص

فاز فريق RaguTeam من خلال معاملة توليد الذكاء الاصطناعي مثل عرض مواهب. لقد جمعوا طاقماً متنوعاً من الشخصيات (نماذج ذكاء اصطناعي مختلفة)، وأعطوهم طرقاً مختلفة للاستعداد (الأوامر)، ووظفوا حكماً ذكياً (رئيس الحكام) لاختيار الفائز في كل جولة. لقد أثبتوا أن فريقاً منسقاً جيداً من أنواع مختلفة من الذكاء الاصطناعي هو أكثر ذكاءً وموثوقية من أي ذكاء اصطناي يعمل بمفرده.

ملخص تقني: فريق RaguTeam في مهمة SemEval-2026 Task 8

تعريف المشكلة

تتناول الورقة البحثية SemEval-2026 Task 8 (MTRAGEval)، وتحديداً المهمة B (Task B)، والتي تركز على توليد الاستجابات متعددة الأدوار المخلصة (faithful) في سياق التوليد المعزز بالاسترجاع (RAG). يتمثل التحدي الجوهري في توليد استجابة لاستعلام مستخدم نهائي ضمن حوار متعدد الأدوار، مع الالتزام الصارم بالمراجع المقدمة.

تتطلب المهمة من الأنظمة التعامل مع عدة قيود معقدة:

تكامل السياق: دمج تاريخ الحوار مع المستندات المسترجعة.
الإخلاص (Faithfulness): ضمان أن جميع الادعاءات مدعومة بالأدلة المقدمة، وتجنب الهلوسة أو الاعتماد على المعرفة المعرفية المتوفرة مسبقاً في النموذج.
الامتناع (Abstention): التحديد الصحيح والامتناع عن الإجابة على الأسئلة التي لا يمكن الإجابة عليها أو غير المحددة بدقة.
تماسك تعدد الأدوار: حل الإشارات المرجعية (coreferences) وتتبع نية المستخدم عبر الأدوار المختلفة.

مقياس التقييم هو المتوسط الهندسي الشرطي (HM3) لثلاث درجات: $RB_{alg}$ (استدعاء BERTScore، ودقة BERT-K، وROUGE-L)، و $RB_{llm}$ (درجة الحكم القائم على نموذج لغوي كبير)، و $RL_F$ (الإخلاص بدون مرجع). وهناك مكون حاسم يتعلق بالتعامل مع الحالات "غير القابلة للإجابة"، حيث يجب على النظام الامتناع عن الإجابة لتحقيق درجات عالية.

المنهجية

يستخدم نظام RaguTeam نهج المجموعة غير المتجانسة (heterogeneous ensemble) مقترناً بآلية اختيار قائمة على الحكم (judge-based selection). تتكون خط الإنتاج من ثلاث مراحل:

1. استراتيجيات هندسة الأوامر (Prompt Engineering)

استخدم الفريق استراتيجيتين متميزتين للأوامر لتعظيم تنوع المرشحين:

أمر النظام فقط (المجموعة 1): أمر نظام مُحسّن بشكل تكراري ( $P$ ) تم إنشاؤه عبر إجراء يعتمد على نموذج لغوي كبير (باستخدام Gemini). يشدد هذا الأمر على الالتزام الصارم بالسياق، واستخدام الصياغة الاستخراجية، والتوليف غير الشخصي، والامتناع الصريح عن الأسئلة التي لا يمكن الإجابة عليها.
استراتيجية الأمثلة القليلة (Few-Shot Strategy) (المجموعة 2): أوامر معززة تحتوي على أمثلة مدركة للفئات. تم تصنيف الحالات إلى ثلاث فئات بناءً على توفر السياق: (1) سياق كامل، (2) سياق فارغ (غير قابل للإجابة)، (3) تاريخ فارغ (الدور الأول). تم اختيار النماذج المركزية (Medoids) من كل فئة لتقديم نماذج سلوكية قوية.

2. تكوين المجموعة غير المتجانسة

يولد النظام مرشحين من سبعة نماذج لغوية كبيرة متنوعة لاستغلال أوجه الفشل المتكاملة عبر عائلات النماذج، وأحجامها، ومزوديها:

المجموعة 1 (أمر النظام): Gemini-3-Pro-Preview، و GLM-4.6، و Llama-3.3-70B-Instruct، و Qwen3-235B-A22B-Instruct-2507.
المجموعة 2 (الأمثلة القليلة): Claude 4.5 Haiku، و Qwen2.5-32B-Instruct، و Meno-Lite-0.1.
- Meno-Lite-0.1 هو نموذج بـ 7 مليارات معلمة قدمه المؤلفون، وهو مشتق من Qwen2.5-7B-Instruct. خضع النموذج لتدريب مسبق مستمر على بيانات تعليمية روسية-إنجليزية، وتدريب فائق موجه (SFT) للاستخراج، والأسئلة متعددة الخطوات (multi-hop QA)، واتباع التعليمات الموجهة لـ RAG.

3. الاختيار القائم على الحكم

لكل حالة، يعمل نموذج GPT-4o-mini خفيف الوزن كحكم. يقوم بتقييم جميع استجابات المرشحين السبعة من حيث الإخلاص (التحقق مما إذا كانت الادعاءات مدعومة بالمقاطع المقدمة) ويمنح درجة من 0 إلى 1. يتم اختيار المرشح الحاصل على أعلى درجة.

المعالجة اللاحقة: بالنسبة للحالات ذات سياقات المراجع الفارغة، يتجاوز النظام عملية التوليد ويخرج استجابة ثابتة "ليس لدي إجابة" لضمان الامتناع الموثوق.

المساهمات الرئيسية

المجموعة المختارة بواسطة الحكم: نظام يجمع بين سبعة نماذج لغوية كبيرة واستراتيجيتين للأوامر، يتم اختيارها بواسطة حكم GPT-4o-mini، محققاً متوسطاً هندسياً شرطياً (HM3) قدره 0.7827.
اختبارات التنوع (Diversity Ablations): إثبات أن التنوع في عائلات النماذج، وأحجامها، واستراتيجيات الأوامب يؤدي إلى مكاسب ثابتة مقارنة بأي نموذج منفرد.
Meno-Lite-0.1: تقديم نموذج متكيف مع المجال بـ 7 مليارات معلمة يحقق توازناً قوياً بين التكلفة والأداء، حيث وصل إلى HM3 قدره 0.681 في الحالات القابلة للإجابة، وأظهر قدرات امتناع متفوقة في الحالات غير القابلة للإجابة مقارنة بالنماذج الأساسية الأكبر.
تحليل المعيار (Benchmark Analysis): فحص نقدي لـ MTRAGEval، يسلط الضوء على القيود مثل "تسرب الهدف" (target leakage) عبر السياقات الفارغة وفجوات التوسيم (annotation gaps).

النتائج

احتل النظام المركز الأول من بين 26 فريقاً في مهمة SemEval-2026 Task 8.

الأداء: حقق متوسطاً هندسياً شرطياً (HM3) قدره 0.7827، متفوقاً بشكل كبير على أقوى نموذج أساسي (gpt-oss-120b، 0.6390) بمقدار +0.1437 نقطة مطلقة (+22.5% نسبة مئوية).
المجموعة مقابل النماذج المنفردة: تفوقت المجموعة (0.783) على أفضل نموذج فردي، GLM-4.6 (0.748)، مما يؤكد أن الاختيار القائم على الحكم يضيف قيمة تتجاوز مجرد حجم النموذج الخام.
رؤى الاختبارات (Ablation Insights):
- التنوع: تفوق الاختيار العشوائي من المجموعة على معظم النماذج الفردية، مما يثبت قيمة تنوع المرشحين.
- الأوامر (Prompting): تفوقت طريقة الأمثلة القليلة (Few-shot) مع الأمثلة المدركة للفئات على أمر النظام المكرر، خاصة في الأسئلة غير المحددة بدقة (+3.7 نقطة مئوية).
- Meno-Lite-0.1: رغم أنه نادراً ما تم اختياره من قبل الحكم (2/424 حالة)، إلا أنه قدم اختيارات نوعية عالية الجودة وأظهر أداءً مستقلاً قوياً في الأسئلة غير القابلة للإجابة (معدل عدم المعرفة IDK بلغ 0.54 مقابل 0.24 لـ Qwen2.5-32B).

الأهمية والادعاءات

تطرح الورقة ثلاث رؤى رئيسية مستمدة من نتائجهم:

التنوع فوق الحجم: يمكن لمجموعة غير متجانسة من النماذج الصغيرة والكبيرة أن تتفوق على أكبر نموذج فردي (مثل GLM-4.6 بـ 357 مليار معلمة) في التوليد المرتكز على السياق، مما يشير إلى أن أوجه الفشل المتكاملة أكثر أهمية من عدد المعلمات.
النماذج الملموسة: الأمثلة القليلة المدركة للفئات أكثر فعالية من التعليمات النظرية للنظام، خاصة للتعامل مع الحالات الحدية مثل الأسئلة غير المحددة بدقة.
الإخلاص مقابل الملاءمة البراغماتية: بينما يعد الإخلاص ضرورياً، إلا أنه ليس كافياً للملاءمة البراغماتية. أخفّت المجموعة أداءها في الأسئلة غير المحددة مقارنة بـ GLM-4.6، مما يشير إلى الحاجة لعملية اختيار متعددة الأهداف توازن بين الارتكاز على السياق والاكتمال.

يشير المؤلفون أيضاً إلى قيود النظام، بما في ذلك التكاليف الحسابية، وزمن الاستجابة بسبب التوليد والتحكيم المتتالي، والاعتماد على نموذج الحكم المحدد (GPT-4o-mini). ويخلصون إلى أن المعايير المستقبلية يجب أن تتضمن مقاطع تشتيت (distractor passages) للأسئلة غير القابلة للإجابة لمنع الاختصارات التافهة، وتقييد حساب المقاييس التي لا تعتمد على مرجع (reference-less) في مرحلة التقييم فقط لمنع التسرب.