CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering

إليك ملخص تقني مفصل لورقة البحث بعنوان "CoGR-MoE: التوجيه الخبير الموجه بالمفاهيم مع الاختيار المتسق والاستدلال المرن للإجابة على الأسئلة البصرية."

1. بيان المشكلة

تتطلب الإجابة على الأسئلة البصرية (VQA) من النماذج الاستدلال بناءً على كل من الأدلة البصرية والنصية لاختيار الإجابة الصحيحة من بين عدة مرشحات. وبينما تم اعتماد بنيات خليط الخبراء (Mixture-of-Experts - MoE) لتحسين الاستدلال عبر تخصيص خبراء مختلفين لأنماط متميزة، إلا أنها تواجه تحديين حرجين:

• عدم استقرار التوجيه (Routing Instability): قد يتم توجيه الأسئلة المتشابهة دلاليًا (التي تتطلب نفس نوع الإجابة) إلى خبراء مختلفين بسبب اختلافات طفيفة في الصياغة، مما يؤدي إلى استدلال غير متسق.
• جمود التوجيه (Routing Rigidity): على العكس من ذلك، فإن الأساليب التي تفرض استقرارًا صارمًا غالبًا ما تؤدي إلى ترسيخ مجموعة الخبراء المفعلة. وهذا يقلل من المرونة على مستوى الخيارات، مما يمنع النموذج من التمييز بين الإجابات المرشحة التي تتطلب أدلة دقيقة خاصة بكل خيار.

تعاني الأساليب الحالية من صعوبة في الموازنة بين الحاجة إلى الاختيار المتسق للخبراء (الاستقرار) والحاجة إلى الاستخدام الديناميكي للخبراء (المرونة) عند مقارنة خيارات إجابة متعددة.

2. المنهجية: CoGR-MoE

يقترح المؤلفون إطار عمل CoGR-MoE، وهو إطار يدمج دلالات خيارات الإجابة في عملية التوجيه لتثبيت اختيار الخبراء مع تمكين التمييز المرن على مستوى الخيار. يتكون الإطار من أربعة مكونات رئيسية:

أ. توليد الإشارات الدلالية (Semantic Cue Generation)

يقوم نموذج لغوي كبير (LLM) بتوليد إشارات دلالية إيجابية وسلبية لكل خيار إجابة خلال مرحلة التدريب.

• الإشارات الإيجابية: السمات البصرية التي يجب أن تكون موجودة ليكون الخيار صحيحًا.
• الإشارات السلبية: السمات البصرية التي يجب ألا تكون موجودة.
• تقدير عدم اليقين: يحسب النظام درجة الاتفاق ($Agr$) بين الصورة والإشارات، ودرجة التباين ($Var$) بناءً على إعادة صياغة الإشارات. ويتم اشتقاق مقياس عدم اليقين ($unc$) لوزن موثوقية هذه الإشارات.

ب. التوجيه الخبير الموجه بالمفاهيم (الاستقرار)

لضمان اختيار خبير متسق للأسئلة المتشابهة، يقوم النموذج بحقن الاتجاه الدلالي لـ الإجابة الصحيحة في الموجه (Router).

• يتم إنشاء متجه اتجاه دلالي ($s_a$) من الفرق بين تضمينات (embeddings) الإشارات الإيجابية والسلبية للإجابة الصحيحة.
• يتم إضافة هذا المتجه إلى لوغاريتمات التوجيه الأساسية ($z_{base}$) لتوجيه اختيار أفضل K من الخبراء (Top-K experts).
• التقطير (Distillation): يستخدم "الموجه المعلم" ($Router_T$) هذه الإشارات لاختيار الخبراء. بينما يتم تدريب "الموجه الطالب" ($Router_S$) عبر تقطير تباعد KL لمحاكاة سلوك التوجيه الخاص بالمعلم دون الحاجة إلى الإشارات أثناء الاستنتاج. وهذا يضمن أن النموذج يتعلم اختيار الخبراء الصحيحين بناءً على زوج (الصورة-السؤال) وحده.

ج. إعادة وزن الخبير المدرك للخيارات (المرونة)

بمجرد اختيار أفضل K من الخبراء (المشتركة عبر جميع الخيارات)، يقوم النموذج بإجراء إعادة وزن خاصة بالخيار للتمييز بين المرشحين.

• يولد كل خيار $j$ متجهًا دلاليًا خاصًا به ($s_j$) من إشاراته.
• يقوم هذا المتجه بتعديل أوزان الخبراء الـ K المشتركة خصيصًا لهذا الخيار.
• يسمح هذا للنموذج بإنتاج تمثيلات متميزة ($\tilde{h}_j$) لكل إجابة مرشحة، على الرغم من اشتراكها في نفس مجموعة الخبراء الأساسية.

د. هدف التدريب

يتم تحسين النموذج باستخدام دالة خسارة موحدة:

1. الخسارة الرئيسية ($L_{main}$): هي خسارة الإنتروبيا المتقاطعة الموزونة حيث يتم تقليل وزن الخيارات ذات عدم اليقين العالي (الإشارات الضوضائية).
2. خسارة التباين ($L_{contrast}$): تعمل على محاذاة تمثيل الخيار الصحيح مع الإشارات الإيجابية ودفع الخيارات غير الصحيحة بعيدًا عن الإشارات السلبية.
3. خسارة التقطير ($L_{distill}$): تضمن تقريب الموجه الطالب لتوزيع توجيه الموجه المعلم.

3. المساهمات الرئيسية

1. التوجيه الموجه بالمفاهيم: إطار عمل مبتكر يحقن الاتجاهات الدلالية ذات الصلة بالإجابة في آلية البوابة لتثبيت اختيار الخبراء دون التضحية بالمرونة.
2. إعادة الوزن المدركة للخيارات: آلية تعدل ديناميكيًا مساهمة الخبماء المشتركين بناءً على محتوى الخيار المحدد، مما يعزز التمييز الدقيق بين المرشحين.
3. التدريب المدرك لعدم اليقين: دمج اتساق الإشارات (الاتفاق/التباين) لوزن عينات التدريب، مما يقلل من تأثير الإشارات الدلالية الضوضائية أو الغامضة.
4. الأداء المتميز (State-of-the-Art): يحقق النهج مكاسب كبيرة في الدقة عبر عدة معايير لـ VQA مع الحفاظ على كفاءة الاستنتاج لنماذج MoE القياسية (لا يتم حساب خبراء إضافيين أثناء الاستنتاج).

4. النتائج التجريبية

قيم المؤلفون CoGR-MoE على VMCBench (الذي يوحد 20 مجموعة بيانات VQA) و MRAG-Bench (الاستدلال المرتكز على الرؤية).

• الأداء العام: تفوق CoGR-MoE على النماذج المرجعية القوية (بما في ذلك MoE-LLaVA و MH-MoE و Metis-HOME و I2MoE) باستخدام دعامات MoE-LLaVA و Qwen3-VL.
  • في MRAG-Bench، حقق دقة إجمالية بلغت 63.25% (لدعامة MoE-LLaVA) و 68.96% (لدعامة Qwen3-VL)، متفوقًا على أفضل النماذج التالية.
  • في VMCBench، حقق 88.5% في VQAv2 و 84.8% في VizWiz.
• المكاسب الخاصة بالمهام: أظهر النموذج قوة خاصة في المهام التي تتطلب المنظور (تغيرات وجهة النظر) والاستدلال التحولي، حيث يعد التمييز الدقيق بين الخيارات أمرًا بالغ الأهمية.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة التوجيه الدلالي ($s_a$) أو التقطير ($L_{distill}$) إلى أكبر انخفاض في الأداء، مما يؤكد أهمية التوجيه المستقر.
  • أدت إزالة إعادة الوزن الخاصة بالخيار ($s_j$) إلى تقليل الأداء في مهام الاستدلال المعقدة، مما يثبت ضرورة الاستخدام المرن للخبراء.
  • تم العثنا على الأداء الأمثل مع 8 خبراء إجماليين وتفعيل خبيرين ($K=2$).
• تحليل التوجيه: أظهرت الخرائط الحرارية والمقاييس أن CoGR-MoE ينتج أنماط توجيه أكثر حدة (أكثر حسمًا) وأكثر استقرارًا (أقل تباينًا ضمن الفئات الدلالية) مقارلة بـ MoE-LLaVA القياسي.

5. الأهمية والقيود

الأهمية:

• سد فجوة الاستقرار والمرونة: نجح CoGR-MoE في حل المقايضة بين اتساق التوجيه والمرونة على مستوى الخيار، وهي عقبة رئيسية في نماذج VQA الحالية القائمة على MoE.
• القابلية للتفسير: يوفر استخدام الإشارات الدلالية وتحليل أنماط التوجيه قدرة أفضل على تفسير سبب اختيار خبراء معينين.
• الكفاءة: تضيف الطريقة عبئًا حسابيًا ضئيلاً أثناء الاستنتاج، حيث يتم تقطير عملية توليد الإشارات المعقدة وتوجيه التوجيه في الموجه الطالب.

القيود:

• الاعتماد على التدريب: تعتمد الطريقة على الإشارات الدلالية المولدة بواسطة LLM أثناء التدريب، مما يضيف تكاليف حسابية وتحيزات محتملة من الـ LLM.
• الحساسية للغموض: رغم أن وزن عدم اليقين يساعد، إلا أن النموذج قد لا يزال يعاني مع المفاهيم البصرية شديدة الغموض حيث قد تكون إشارات الـ LLM هلوسة أو غير متسقة.
• النطاق: التقييم حاليًا محدود على VQA متعدد الخيارات؛ ولم يتم استكشاف مدى فعالية النموذج في التوليد مفتوح النهايات.

في الختام، يمثل CoGR-MoE تقدمًا مهمًا في الاستدلال متعدد الوسائط من خلال الاستفادة من التوجيه الدلالي لإنشاء بنية MoE أكثر قوة وتمييزًا.