ملخص تقني: SELECT-LLM

بيان المشكلة

أدى الانتشار السريع للنماذج اللغوية الكبيرة (LLMs) إلى خلق تحدٍ كبير في اختيار النماذج. وبينما تمتلك النماذج اللغوية الكبيرة الحديثة قدرات قوية في التعلم من محاولة واحدة (zero-shot)، إلا أن أداءها النسبي يعتمد بشكل كبير على السياق، حيث يتباين بشكل جوهري عبر المجالات والمهام واللغات. يتطلب تحديد النموذج الأمثل لتطبيق معين عادةً تقييم المرشحين مقابل مجموعات اختبار مرجعية ثابتة. ومع ذلك، أصبح استخدام الاختبارات المعيارية (benchmarking) صعبًا بشكل متزايد للاستخدام في عملية الاختيار، لأن هذه الاختبارات غالبًا ما تتأخر عن إصدارات النماذج الجديدة وقد لا تعكس الاحتياجات الخاصة بمجال معين.

هناك بديل أكثر عملية يتضمن استخدام مجموعات فرعية صغيرة وموسومة من الاستعلامات لاختيار النموذج الأفضل. ومع ذلك، فإن الاختيار القائم على العشوائية أو القواعد الاستدلالية لهذه المجموعات الفرعية غالبًا ما يؤدي إلى استخدام غير فعال لميزانيات التوسيم، ويفشل في إظهار فروق أداء ذات معنى بين المرشحين. وبينما تمت دراسة التعلم النشط (active learning) باستفاضة لمهام التصنيف، فإن الطرق الموجودة للإعدادات التوليدية محدودة، وغالبًا ما تقتصر المقارنات على نموذجين فقط أو تركز على اختبار نموذج واحد بدلاً من الاختيار من بين مجموعات من المرشحين. المشكلة الجوهرية التي يعالجها البحث هي كيفية تحديد أفضل نموذج لغوي كبير لمهمة معينة وتوزيع بيانات مستهدف تحت موارد توسيم محدودة.

المنهجية: SELECT-LLM

يقترح المؤلفون SELECT-LLM، وهو إطار عمل للاختيار النشط للنماذج اللغوية الكبيرة. الهدف هو اختيار مجموعة صغيرة من $b$ من الاستعلامات (حيث $b \ll n$) من مجموعة تضم $n$ من الاستعلامات غير الموسومة بحيث تقلل توسيماتها من عدم اليقين حول هوية النموذج الأفضل إلى أقصى حد.

الصياغة

تم صياغة المشكلة كعملية تعظيم للمعلومات المتبادلة (mutual information) بين الهوية المجهولة للنموذج الأفضل ($F$) والتوسيمات المكتسبة ($A$). يعرف المؤلفون النموذج الأفضل بأنه النموذج الذي يحقق أعلى متوسط درجة أداء عبر مجموعة الاستعلامات عند تقييمه مقابل مراجع حقيقية.

لجعل هذه العملية قابلة للتنفيذ، اعتمدوا صياغة احتمالية حيث تتناسب احتمالية مخرج النموذج طرديًا مع تشابهه مع الإجابة المرجعية، ويحكم ذلك معامل درجة الحرارة $\tau$. الهدف هو اختيار الاستعلامات التي تعظم كسب المعلومات المتوقع:
$$A_{opt}[b] = \arg \max_{A \subseteq \{(q_i, r_i)\}, |A| \le b} I(F; A)$$

الخوارزمية والتقريب

إن الحساب المباشر لكسب المعلومات غير قابل للتنفيذ في حالة التوليد مفتوح النهايات بسبب فضاء المراجع غير المحدود. لذا استنتج SELECT-LLM قاعدة اختيار قابلة للتنفيذ من خلال ثلاثة تقريبات رئيسية:

1. تقريب تايلور (Taylor Approximation): تم تقريب الحد اللوغاريتمي في هدف المعلومات المتبادلة باستخدام تقريب تايلور من الدرجة الثانية، مما حول الهدف إلى صيغة تربيعية تتضمن مقارنات ثنائية.
2. الخطيّة (Linearization): تم خطي نموذج الاحتمالية محليًا، حيث استُبدلت الفروقات في الاحتمالية بالفروقات في درجات التشابه بين مخرجات النماذج والمراجع المحتملة.
3. **استبدال التشابه (Similarity Substitution):que المتوسط عبر استجابات المراجع المحتملة تم تقريبه بواسطة عدم التشابه بين مخرجات النماذج المرشحة نفسها.

ينتج عن ذلك قاعدة اختيار جشعة (Equation 5) تختار الاستعلام التالي $q_t$ عن طريق تقليل التشابه الثنائي الموزون بالاحتمال اللاحق بين مخرجات النماذج المرشحة:
$$q_t = \arg \min_{q \in U_t} \sum_{j=1}^{m} \sum_{k=1}^{m} P(F = f_j | A_t) P(F = f_k | A_t) s(f_j(q), f_k(q))$$
بشكل حدسي، تعطي الخوارزمية الأولوية للاستعلامات التي تنتج فيها النماذج المرشحة الأكثر احتمالاً استجابات أكثر تباينًا، مما يعظم المعلومات المكتسبة من توسيم واحد.

الطبيعة المستقلة عن النموذج

الميزة الحاسمة لـ SELECT-LLM هي أنه يعتمد فقط على استجابات النماذج المولدة. فهو لا يتطلب الوصول إلى أوزان النموذج، أو الـ (logits)، أو الحالات الداخلية. وهذا يجعل الإطار قابلًا للتطبيق على كل من النماذج مفتوحة الأوزان والنماذج "الصندوق الأسود" (التي تعمل عبر واجهة برمجة التطبيقات API فقط).

اختيار المعاملات

يتم اختيار معامل درجة الحرارة $\tau$، الذي يتحكم في حدة التوزيع اللاحق، قبل عملية الاختيار النشط دون الحاجة إلى توسيمات من "خبير مثالي" (oracle). يستخدم المؤلفون إشارة تقريبية مشوشة مشتقة من التشابهات الثنائية بين استجابات النماذج لإجراء بحث شبكي (grid search) وتحديد $\tau$ الذي يحقق أفضل أداء في التحديد.

المساهمات الرئيسية

1. أول صياغة: حسب علم المؤلفين، هذه هي أول صياغة ودراسة للاختيار النشط للنماذج اللغوية الكبيرة تحت ميزانيات توسيم محدودة.
2. إطار عمل SELECT-LLM: إطار عمل مبدئي ومستقل عن النموذج يقوم بالاختيار الجشع للاستعلامات لتعظيم كسب المعلومات. وقد استنتج تقريبًا قابلًا للتنفيذ يعتمد على التشابهات الثنائية بين مخرجات النماذج، متجنبًا الحاجة إلى الوصول الداخلي للنموذج.
3. تقييم شامل: تم التحقق من صحة الإطار عبر 23 مجموعة بيانات متنوعة (تغطي الاستدلال، والأسئلة والأجوبة، والتلخيص، والترجمة، إلخ) و156 نموذجًا تم تقييمها (بما في ذلك النماذج مفتوحة المصدر ونماذج الـ API فقط) باستخدام مقاييس متعددة تعتمد على المراجع (مثل BERTScore، وROUGE، وBLEU، وF1، وExact Match، إلخ).

النتائج

تظهر التقييمات أن SELECT-LLM يتفوق باستمرار على الاستراتيجيات المرجعية المكيفة (بما في ذلك العشوائية، والهامش، والحد الأدنى من الاتفاق، وVMA، وAMC) في جميع الإعدادات:

• تحديد أفضل نموذج: يحدد SELECT-LLM النموذج الأفضل الحقيقي باستخدام عدد أقل بكثير من التوسيمات مقارنة بأقوى النماذج المرجعية. وقد وصلت تخفيضات تكلفة التوسيم إلى 81.8% (على سبيل المثال، في مجموعة بيانات XSum باستخدام ROUGE-L).
• اختيار النموذج "القريب من الأفضل": عندما يتم تخفيف الهدف ليكون تحديد نموذج ضمن فجوة أداء صغيرة ($\delta$) من النموذج الأفضل، يحقق SELECT-LLM كفاءة أعلى حتى أكثر، مع تخفيضات في التوسيم تصل إلى 84.78%.
• المتانة: فيما يتعلق بفجوة الأداء في المئوي الخامس والتسعين (أسوأ فرق بين النموذج المختار والنموذج الأفضل الحقيقي)، يحافظ SELECT-LLM باستمرار على أدنى فجوة عبر مجموعات البيانات ومستويات احتمالية التحديد (70%، 80%، 90%، 100%)، مما يشير إلى المتانة حتى في الحالات الصعبة.
• التعميم: تعمل الطريقة بشكل جيد عبر عائلات المهام المختلفة ومقاييس التقييم المتنوعة، مما يشير إلى أنها ليست مرتبطة بقاعدة تسجيل أو مجال محدد.

الأهمية والادعاءات

يزعم البحث أن SELECT-LLM يوفر نهجًا عمليًا للاختيار النشط للنماذج اللغوية الكبيرة في بيئات "الصندوق الأسود" الواقعية. ومن خلال الاعتماد فقط على مخرجات النماذج وعلى "خبير مثالي" خارجي، فإنه يسد الفجوة بين التعلم النشط النظري والقيود العملية لنشر النماذج اللغوية الكبيرة الحديثة.

يشير المؤلفون إلى أنه بينما يقلل SELECT-LLM تكاليف التوسيم بشكل كبير لاختيار النماذج، فإنه يعمل تحت افتراضات محددة:

• يفترض وجود إشارة خبير مثالي موثوقة (تقييم قائم على المراجع) بدلاً من تفضيلات البشر المشوشة أو أنظمة "النموذج كحكم" (LLM-as-a-Judge).
• يفترض أن مجموعة المرشحين ومجموعة الاستعلامات ثابتة قبل بدء عملية الاختيار.

يسلط العمل الضوء على أن الاختيار الفعال يمكن أن يجعل المقارنة الصارمة للنماذج اللغوية الكبيرة أكثر سهولة، ولكنه يحذر أيضًا من أن التوسيم المنحاز أو معايير التقييم المنحازة قد تؤدي إلى اختيارات نماذج منحازة، خاصة في المجالات الحساسة للسلامة. ويضع المؤلفون هذا العمل كخطوة تأسيسية نحو بروتوكولات تقييم أكثر كفاءة وموثوقية للنماذج اللغوية الكبيرة.