ملخص تقني: LatentRouter

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تباينًا كبيرًا في نقاط قوتها عبر المهام، مثل التعرف الضوئي على الحروف (OCR)، وفهم المخططات، والاستدلال المكاني، والإجابة على الأسئلة البصرية (VQA)، بالإضافة إلى تباين تكاليفها التشغيلية وزمن الاستجابة (latency). وبينما لا يعني الأداء المتوسط "الأقوى" أن نموذجًا واحدًا هو الأمثل عالميًا، فإن التوجيه (routing) الفعال يتطلب مطابقة متطلبات الاستعلام متعدد الوسائط (مثل النص الكثيف مقابل تخطيط الرسم البياني) مع قدرات النماذج المرشحة.

تعتمد أساليب التوجيه الحالية لأنظمة النماذج اللغوية الكبيرة المتعددة بشكل أساسي على المدخلات النصية فقط، معتمدة على تقدير صعوبة الاستعلام، أو درجات الثقة، أو سياسات التدرج (cascading policies). وتفشل هذه الطرق غالبًا في المجال متعدد الوسائط لأن اختيار النموذج الأمثل يعتمد على الإشارات البصرية، وحساسية التخطيط، والتفاعلات بين الصورة والسؤال، وهي أمور لا يمكن التقاطها بالكامل من خلال الميزات المستمدة من النص وحده. إن تحويل الصور إلى نص صريح (مثل التعليقات الوصفية أو الـ OCR) هو أمر مكلف، وغير مكتمل، وغالبًا ما يكون غير كافٍ للمعلومات ذات الصلة بالتوجيه. وبناءً على ذلك، يواجه توجيه النماذج (MLLM routing) تحديين مترابطين: الحفاظ على إشارات توجيه متعددة الوسائط مدمجة ومعلوماتية من المدخلات، ومواءمة متطلبات الاستعلام هذه مع قدرات النماذج المتباينة للتنبؤ بالمنفعة (utility).

المنهجية: LATENTROUTER

يقترح المؤلفون LATENTROUTER، وهو موجه يصيغ توجيه النماذج (MLLM routing) كمسألة تنبؤ بالمنفعة متعددة الوسائط المضادة للواقع (counterfactual multimodal utility prediction). بدلاً من رسم خرائط مباشرة للاستعلام إلى معرف نموذج ثابت، يقوم الموجه بتقدير كيفية أداء كل نموذج مرشح على مدخلات الصورة والسؤال الحالية، ويختار النموذج صاحب المنفعة المتوقعة الأعلى.

البنية الأساسية

يتكون النظام من خمس مكونات رئيسية:

1. كبسولات التوجيه متعددة الوسائط (Multimodal Routing Capsules):
   بدلاً من استخدام متجه استعلام واحد مجمع، يمثل LATENTROUTER الاستعلام كمجموعة صغيرة من كبسولات التوجج متعددة الوسائط المتعلمة ($R(x)$). يتم استخراج هذه الكبسولات عن طريق الربط التبادلي (cross-attending) لاستعلامات الكبسولة المتعلمة مع تسلسل الصورة والسؤال المشترك. وقد تم تدريبها من البداية إلى النهاية (end-to-end) للاحتفاظ فقط بالمعلومات الضرورية للتنبؤ بالنموذج المرشح الذي سيعمل بشكل جيد.

2. رموز قدرة النموذج (Model Capability Tokens):
   يتم تمثيل كل نموذج (MLLM) مرشح بواسطة رمز قدرة ($a_i$) يتم بناؤه من البيانات الوصفية بما في ذلك ملفات المعايرة (calibration profiles)، والتكلفة المعيارية، وزمن الاستجابة، وإحصائيات السلوك على مستوى الشريحة أو الثنائية. يتيح ذلك للموجه التعامل مع مجموعات نماذج متغيرة دون الحاجة إلى بُعد مصنف ثابت.

3. التواصل الكامن (Latent Communication):
   يقوم الموجه بمواءمة متطلبات الاستعلام مع قدرات النموذج من خلال عملية تواصل كامن متعددة الخطوات:

• الانتباه المشروط بالنموذج (Model-Conditioned Attention): يقرأ كل رمز نموذج كبسولات التوجيه، مما يسمح للنماذج المختلفة بالانتباه إلى إشارات مختلفة (مثل النص البصري مقابل الإشارات المكانية).
• المقارنة الثنائية (Pairwise Comparison): تتفاعل رموز النماذج عبر الانتباه الذاتي المقنع بالتوافر (availability-masked self-attention) مع انحيازات المقارنة الثنائية لتقييم نقاط القوة النسبية.
• التغذية الراجعة (Feedback): تتلقى كبسولات التوجيه تغذية راجعة موزونة من حالات النماذج، مع التركيز على المرشحين القريبين من حد القرار لتنقية تمثيل الاستعلام.

4. التنبؤ بالنتيجة التوزيعية المضادة للواقع (Distributional Counterfactual Outcome Prediction):
   يتنبأ رأس مشترك بتوزيع (المتوسط $\mu_i$ واليقين $\sigma_i$) لجودة الإجابة لكل نموذج مرشح. يستفيد هذا النهج التوزيعي من ناقل النتائج الملحوظة الكامل من آثار التدريب لنمذجة نقاط القوة والضعف النسبية.

5. تصحيح الكبسولة المحدود (Bounded Capsule Correction):
   يتم إضافة حد تصحيح متبقي ($\Delta^{cap}_i$) إلى المتوسط المتوقع. هذا التصحيح محدود بمعامل قياسي $\rho$ (باستخدام تنشيط $\tanh$)، مما يضمن أنه يعمل على تنقية القرارات القريبة دون السماح للإشارات المتبقية الضوضائية بالهيمنة على التنبؤات الأساسية الواثقة.

التدريب والسياسة

يتم تدريب الموجه على آثار نتائج مجموعة النماذج باستخدام دالة خسارة مركبة:

• الخسارة التوزيعية (Distributional Loss): استخدام سالب لوغاريتم الاحتمالية لمتغير غاوسي متباين التباين (heteroscedastic Gaussian negative log-likelihood) للتنبؤ بالمتوسط واليقين.
• خسارة التصنيف الثنائي (Pairwise Ranking Loss): تشجع على منح درجات أعلى للنماذج ذات المنفعة الملحوظة الأعلى.
• الخسارة القائمة على القائمة (Listwise Loss): تطابق توزيع المنفعة المتوقع مع التوزيع الملحوظ.
• انحدار المنفعة والتنظيم (Utility Regression & Regularization): انحدار المنفعة المباشر وتنظيم المتبقي.

تختار سياسة التوجيه النهائية النموذج $m_i$ الذي يعظم $s_i(x) = \tilde{\mu}_i(x) - \lambda c_i$، حيث يتحكم $\lambda$ في المقايضة بين الأداء والتكلفة. يتم حجب النماذج غير المتوفرة أثناء تسجيل النقاط.

المساهمات الرئيسية

1. صياغة المنفعة المضادة للواقع (Counterfactual Utility Formulation): أعاد البحث صياغة توجيه النماذج (MLLM routing) كمسألة التنبؤ بنتيجة كل نموذج مرشح على نفس الاستعلام، مما يدعم التوجيه الموجه نحو الأداء والتوجح الموجه نحو الأداء والتكلفة، وكذلك مجموعات النماذج الديناميكية عبر التسجيل المشترك وحجب التوافر.
2. بنية مطابقة القدرات الكامنة (Latent Capability-Matching Architecture): تقديم موجه يستخدم كبسولات توجيه متعلمة ورموز قدرة النماذج المتصلة عبر التواصل الكامن لمواءمة متطلبات الاستعلام مع قدرات النماذج.
3. التقييم الشامل (Comprehensive Evaluation): تجارب واسعة النطاق على MMR-Bench و VL-RouterBench تثبت التفوق على النماذج ذات النموذج الثابت، والنماذج القائمة على الميزات، والأساليب المرجعية الموجهة المتعلمة.

النتائج التجريبية

• الأداء: يحقق LATENTROUTER أفضل النتائج غير المثالية (non-oracle) في كلا الاختبارين عبر إعدادات الأداء والتكلفة. التحسينات ذات دلالة إحصائية (على سبيل المثال، $p < 0.001$ في إعداد التكلفة لـ VL-RouterBench).
• الحساسية للمهام: تظهر المكاسب بشكل أوضح في المهام التي تتطلب إشارات متعددة الوسائط دقيقة، مثل الـ OCR، وفهم المخططات/الرسوم البيانية، والاستدلال الرياضي/العلمي، حيث يعتمد اختيار النموذج بشكل كبير على الميزات البصرية والتخطيطية.
• التنبؤ المضاد للواقع (Counterfactual Prediction): يتفوق الموجه على النماذج المرجعية في مقاييس التصنيف (NDCG، معامل سبيرمان، واستدعاء Top-3)، مما يشير إلى أنه يتنبأ بفعالية بالترتيب النسبي لقدرات النماذج بدلاً من مجرد متوسط الدرجات.
• دراسات الاستئصال (Ablation Studies): تم تحديد التواصل الكامن كمساهم رئيسي في مكاسب الأداء؛ حيث يؤدي إزالته إلى أكبر انخفاض في الأداء. يوفر الرأس التوزيعي والتصحيح المحدود تحسينات مستمرة وأصغر حجمًا.
• المرونة والكفاءة: يتعامل الموجه مع مجموعات المرشحين المتغيرة بفعالية من خلال حجب التوافر. كما يحقق أفضل متوسط للمقياس الأساسي مع الحفاظ على أقل زمن استجابة بين الموجهات المتعلمة (0.06 مللي ثانية مقابل 0.10-0.17 مللي ثانية للآخرين).

الأهمية والادعاءات

يدعي البحث أن LATENTROUTER يعالج القيود المحددة للتوجيه المرتكز على النص في الأنظمة متعددة الوسائط من خلال نمذجة التفاعل بين المتطلبات البصرية الخاصة بالاستعلام وقدرات النماذج بشكل صريح. ويؤكد المؤلفون أن المكاسب ناتجة عن آلية أكثر فعالية لـ مطابقة الاستعلام بالنموذج بدلاً من مجرد اختصارات خاصة بالاختبارات (benchmarks).

يوضح العمل أن التعامل مع التوجيه كمسألة تنبؤ مضاد للواقع، جنباً إلى جنب مع التواصل الكامن بين كبسولات الاستعلام ورموز النماذج، يسم يسمح باختيار قوي عبر مجموعات النماذج المتباينة. ويشير المؤلفون إلى أنه بينما يحسن الموجه الكفاءة وفعالية التكلفة، فإنه يعتمد على بيانات المعايرة لملفات تعريف قدرة النماذج، وهناك حاجة إلى عمل مستقبلي للنشر المباشر، والمعايرة التكيفية للنماذج الجديدة، والتوسع في التوجيه متعدد الخطوات. ويؤكد البحث أن الموجه هو آلية لاختيار النماذج وليس ضماناً للصحة أو السلامة، لا سيية في المجالات عالية المخاطر.