ملخص تقني: التقاط قدرات النماذج اللغوية الكبيرة عبر التجميع المعاير بالأدلة

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) قدرات متنوعة عبر مجالات وأنواع مهام مختلفة. ويعد التقييم الدقيق لنقاط القوة هذه أمراً بالغ الأهمية للنشر الموثوق في البيئات المخصصة. ومع ذلك، فإن طرق تقييم النماذج اللغوية الكبيرة الحالية غالباً ما تعتمد على مجموعات بيانات خشنة أو مجموعات استعلامات تنتج أدلة مشوشة، مما يفشل في توصيف متطلبات القدرة الكامنة بشكل فعال.

عادةً ما تندرج طرق تجميع الاستعلامات الحالية تحت فئتين:

1. التصنيفات البشرية الثابتة: الطرق التي تستخدم فئات محددة مسبقاً (مثل "الرياضيات"، "الكيمياء") غالباً ما تفشل لأن الملصق الواحد يمكن أن يشمل استعلامات تتطلب قدرات أساسية مختلفة تماماً (مثل الاستدعاء الآلي مقابل الاستنتاج متعدد الخطوات).
2. التضمينات الدلالية غير الخاضعة للإشراف: التجميع بناءً على التضمينات الدلالية السطحية فقط غالباً ما يفتقر إلى التوافق مع أداء النموذج الفعلي. فالاستعلامات ذات المواضيع الدلالية المتشابهة قد تتطلب قدرات مختلفة، بينما قد تشترك استعلامات ذات مواضيع مختلفة في نفس متطلبات القدرة الكامنة.

هذا عدم التوافق بين الدلالات السطحية ومتطلبات القدرة الكامنة يحد من إمكانية تعميم تقديرات قدرة النموذج، لا سيما بالنسبة للاستعلامات غير المرئية سابقاً. علاوة على ذلك، فإن مناهج "النموذج اللغوي كحكم" (LLM-as-a-judge) الحالية التي تستخرج ملصقات المهارات تؤدي غالباً إلى تقسيمات منفصلة صلبة لا يمكنها استيعاب الاستعلامات ذات المتطلبات القدراتية المختلطة وتتسبب في تكاليف حوسبة عالية.

المنهجية: التجميع المعاير بالأدلة (ECC)

يقترح المؤلفون خوارزمية ECC، وهي خوارزمية مبتكرة تسد الفجوة بين الدلالات السطحية ومتطلبات القدرة الكامنة من خلال دمج التضمينات الدلالية المسبقة مع مقارنات النموذج اللاحقة المحدودة.

المكونات الأساسية

1. معلمات النظام ($\Theta$): تُعرف ECC كل عنقود $k$ باستخدام مكونين:
   • المركز الدلالي ($c_k$): يلتقط الإشارات الدلالية المسبقة في فضاء التضمين.
   • ملف القدرة ($\theta^{(k)}$): هو متجه للقدرات الكامنة لـ $M$ من النماذج اللغوية الكبيرة على الاستعلامات المرتبطة بالعنقود $k$، ويتم تمثيله بواسطة نموذج برادلي-تيري (BT).
2. المسؤوليات الناعمة ($P$): لاستيعاب الاستعلامات التي تتطلب قدرات مختلطة، تقدم ECC تخصيصات ناعمة قابلة للتدريب $r_{qk}$. تقيس هذه الأوزان مدى توافق الاستعلام $q$ بقوة مع ملف القدرة للعنقود $k$، مما يسمح للاستعلام الواحد بالمساهمة في عدة عناقيد.

إجراء التحسين

تستخدم ECC إجراء تحسين تبادلي لتعلم معلمات النظام والمسؤوليات الناعمة بشكل مشترك:

• دالة الهدف: تقلل الخوارزمية من خسارة متوقعة منظمة بالإنتروبيا تجمع بين:
  • خسارة القدرة ($\ell_{comp}$): تقيس مدى ملاءمة ملف برادلي-تيري الخاص بالعنقود للمقارنات الزوجية المرصودة للاستعلام.
  • خسارة التضمين ($\ell_{emb}$): تقيس عدم التطابق الدلالي بين تضمين الاستعلام ومركز العنقود.
  • تنظيم الإنتروبيا: يشجع على التخصيصات المتنوعة ويمنع الحلول المتدهورة.
• التحديثات التبادلية:
  1. تحديث $\Theta$: عند تثبيت المسؤوليات، يتم تحديث المراكز (كأوساط موزونة ومعيرة من التضمينات) وملفات القدرة (عن طريق تقليل خسارة برادلي-تيري الموزونة).
  2. تحديث $P$: عند تثبيت المعلمات، يتم تحديث المسؤوليات باستخدام توزيع بولتزمان مغلق مستمد من الخسارة المشتركة ومعلمة درجة الحرارة $T$.

الاستدلال: الاستدلال المختلط المدفوع بالجس (Probe-Informed Mixture Inference)

بالنسبة للاستعلامات غير المرئية، تستخدم ECC استراتيجية استدلال خفيفة الوزن:

1. إشارة الجس (Probe Signal): يتم جمع مقارنة نموذج زوجية واحدة لهذا الاستعلام الجديد.
2. المعايرة: تُستخدم هذه الإشارة لمعايرة المسؤوليات الناعمة للاستعلام ($r_q$) عبر العناقيد، مما يوفق بين إشارة التضمين والأدلة اللاحقة.
3. التصنيف: يتم اشتقاق التصنيف النهائي الواعي بالقدرة كخليط موزون من ملفات برادلي-تيري الخاصة بكل عنقود:
   $$P(m_j \succ m_i | q) = \sum_{k=1}^K r_{qk} \sigma(\theta^{(k)}_j - \theta^{(k)}_i)$$

المساهمات الرئيسية

1. خوارزمية مبتكرة: تدمج ECC المقارنات الزوجية اللاحقة للنماذج مع التضمينات المسبقة للتغلب على عدم التوافق بين الدلالات السطية ومتطلبات القدرة الكامنة.
2. تقدير عالي الكفاءة في العينات: من خلال توصيف العناقيد بملفات قدرة برادلي-تيري، تمكن ECC من تقدير القوة النسبية للنماذج من خلال مقارنات زوجية محدودة.
3. هيكل مرن: يسمح إدخال المسؤوليات الناعمة القابلة للتدريب بالتقاط متطلبات القدرة المختلطة، مما ينتج هيكلاً تجميعياً مرناً وواعياً بالقدرة.
4. التحقق التجريبي: أظهرت التقييمات المكثفة أن ECC تنتج عناقيد أكثر تماسكاً من حيث القدرة وأفضل بكثير من حيث جودة التصنيف مقارنة بالنماذج المرجعية.

النتائج التجريبية

قيم المؤلفون ECC على ثلاثة اختبارات مرجعية: SPROUT، وRouterBench، وOpen LLM Leaderboard v2، والتي تغطي مجموعات بيانات مثل MMLU وMMLU-Pro وMATH.

• جودة التصنيف: تفوقت ECC بشكل كبير على التجميع القائم على التصنيف البشري والتجميع القائم على التضمينات فقط.
  • بالنسبة للاستعلامات غير المرئية، حسنت ECC جودة التصنيف بمتوسط 17.64 نقطة مئوية (pp) عن التجميع المصنف بشرياً و18.02 نقطة مئوية عن التجميع القائم على التضمينات فقط.
  • حققت ECC باستمرار أفضل أداء عبر إشارات استدلال مختلفة (التضمين فقط، الجس فقط، والمزيج).
• تماسك العنقود: أظهر التحليل النوعي أن عناقيد ECC أكثر اتساقاً داخلياً (تماسك أعلى لملف برادلي-تيري داخل العنقود) وأفضل انفصالاً (تشابه أقل بين العناقيد) من النماذج المرجعية.
• المهام اللاحقة:
  • توجيه الاستعلام (Query Routing): حسنت ECC جودة استجابة الاستعلامات الموجهة بنسبة 16.6% في المتوسط مقارنة بالتجميع القائم على التضمينات فقط.
  • التصنيف عالي الكفاءة في العينات: في المهام التي تتضمن تصنيف نماذج جديدة بميزانيات مقارنة محدودة، حققت ECC جودة تصنيف أعلى بـ 16.3 نقطة مئوية من النماذج المرجعية القائمة على التضمينات فقط.
• المتانة: أظهرت ECC متانة تجاه التباينات في عدد العناقيد، واختيار الجس، ونماذج التضمين، والمقارنات المتساوية.

الأهمية والادعاءات

يزعم البحث أن ECC تعالج قصوراً جوهرياً في التقييم الحالي للنماذج اللغوية الكبيرة: وهو الاعتماد على الدلالات السطحية التي لا تعكس التوزيعات الحقيقية للقدرات. ومن خلال معايرة الأولويات الدلالية بالأدلة اللاحقة، توفر ECC إطاراً أكثر دقة، وقابلية للتفسير، ومرونة للتقييم الواعي بالقدرة.

يؤكد المؤلفون أن ECC لا تتطلب تدريباً (لا تتطلب تحسيناً يعتمد على التدرج للمكونات العصبية) وهي فعالة حوسبياً، مما يجعلها مناسبة للبيئات محدودة الموارد. تمكن هذه الطريقة من التكيف الدقيق عبر الاستعلامات غير المتجانسة وتدعم التطبيقات اللاحقة مثل التوجيه الأمثل للاستعلامات وتصنيف النماذج الجديدة بكفاءة دون الحاجة إلى اختبارات شاملة.

يخلص البحث إلى أنه بينما يركز حالياً على الاستعلامات النصية فقط، فإن الإطار محايد تجاه الوسائط (modality-agnostic) ويمكن نظرياً استيعاب المدخلات متعددة الوسائط. كما يشير المؤلفون إلى أن العمل المستقبلي يمكن أن يوسع الطريقة لتشمل الإعدادات الواعية بالسياق التي تتضمن تاريخ المحادثة.