From Raw Corpora to Domain Benchmarks: Automated Evaluation of LLM Domain Expertise

إليك ملخص تقني مفصل للورقة البحثية بعنوان "من المجموعات النصية الخام إلى معايير التقييم المتخصصة: التقييم الآلي لخبرة النماذج اللغوية الكبيرة في المجالات المتخصصة."

1. بيان المشكلة

أدى الانتشار السريع للنماذج اللغوية الكبيرة (LLMs) إلى ظهور حاجة ماسة لتقييم الخبرة في مجالات محددة بدقة (مثل الرعاية الصحية، أو القانون، أو مجالات علمية معينة). ومع ذلك، تعاني طرق التقييم الحالية من قيود حرجة:

• الارتباك (Perplexity): يجمع جودة التنبؤ عبر جميع الرموز (tokens)، مما يجعله عاجزاً عن التمييز بين الطلاقة اللغوية العامة والمعرفة الحقيقية بالمجال.
• الأسئلة متعددة الخيارات (MCQs): تعاني معايير التقييم مثل MMLU من الانحيازات (مثل ترتيب الإجابات، وتنسيق المطالبات/Prompts)، وغالباً ما تعتمد على بيانات قد تكون ملوثة في مجموعات التدريب، كما أنها تضع النماذج الأساسية (base models) التي تفتقر إلى قدرات اتباع التعليمات في موقف غير عادل.
• معايير التقييم الثابتة: غالباً ما يتم تنسيق معايير التقييم الخاصة بالمجالات المتخصصة يدوياً، وهي مكلفة في التحديث، وعرضة للتلوث مع تدريب النماذج على مجموعات بيانات عامة تحتوي على أسئلة المعايير.
• نقص التفصيل (Granularity): تغطي معايير التقييم الحالية غالباً فئات واسعة بدلاً من المجالات الفرعية الدقيقة.

يقترح المؤلفون الحاجة إلى إطار عمل قابل للتوسع، ومقاوم للتلوث، وآلي لتوليد معايير تقييم خاصة بالمجالات من مجموعات النصوص الخام دون الاعتماد على التوسيم البشري أو نماذج لغوية كبيرة أخرى.

2. المنهجية

يقدم المؤلفون مسار عمل حتمي (deterministic pipeline) يحول مجموعات النصوص الخام للمجالات (مثل الأوراق الأكاديمية) إلى معايير تقييم بنمط الإكمال (completion-style). تتكون العملية من ست مراحل:

1. تنسيق البيانات (Data Curation):

   • المدخلات: نص المجال الخام (مثل أوراق arXiv الكاملة) والبيانات الوصفية (Abstracts).
   • المصدر: تم تطبيق مسار العمل باستخدام مجموعة بيانات RedPajama-Data-1T (1.56 مليون ورقة من arXiv) وربطها ببيانات Kaggle الوصفية.
   • المجالات المستهدفة: CS.AI، الفيزياء (Soc-Ph)، البيولوجيا الكمية (Q-Bio.PE)، والاقتصاد العام (Econ-GN).

2. توليد الكلمات المفتاحية:

   • المعالجة المسبقة: يتم توحيد الملخصات (تحويل الأحرف لصغيرة، إزالة الأقواس، معالجة الاختصارات).
   • استخراج الـ N-gram: يقوم نموذج Phrases من مكتبة Gensim بتوليد n-grams مكونة من 2 إلى 7 رموز.
   • التصفية: تُزال الكلمات الشائعة (stopwords)، والمصطلحات الأكاديمية العامة، والتعبيرات الكمية.
   • الاختيار: تستهدف التصفية القائمة على الطول التكيفي حوالي 300 كلمة مفتاحية عالية الجودة لكل مجال.
   • إزالة التكرار: تُستخدم التشابه الدلالي (cosine similarity > 0.85 باستخدام all-MiniLM-L6-v2) لدمج الكلمات المفتاحية المكررة.

3. المطابقة بين الكلمات المفتاحية والجمل:

   • يتم تضمين (embedding) الجمل من الأوراق الكاملة ومطابقتها مع الكلمات المفتاحية باستخدام تشابه جيب التمام (عتبة 0.5).
   • يتم تنظيف الجمل (إزالة LaTeX، وإزالة الاستشهادات) لضمان سياق عالي الجودة.

4. بناء المفردات المستهدفة:

   • يتم إنشاء نسختين لالتقاط مستويات مختلفة من التحديد:
     • تردد المصطلح (TF): يلتقط المصطلحات ذات الصلة على نطاق واسع.
     • تردد المصطلح - لوغاريتم عكسي (TF-IDF): يبرز المصطلحات الأكثر ندرة وتخصصاً من خلال خفض وزن المصطلحات الشائعة عبر جميع مجموعات الكلمات المفتاحية.

5. بناء أزواج (المطالبة-الهدف):

   • لكل كلمة مفتاحية، يتم اختيار الجمل التي تحتوي على المفردات المستهدفة.
   • المطالبة (Prompt): الجملة حتى (ولكن ليس بما في ذلك) المصطلح المستهدف.
   • الهدف (Target): المصطلح الخاص بالمجال الذي يلي المطالبة.
   • القيود: يجب أن تكون المطالبات > 10 رموز؛ ويجب أن تظهر الأهداف بعد الرمز العاشر.
   • المخرج: مئات من أزواج (المطالبة-الهدف) لكل كلمة مفتاحية.

6. تقييم النموذج:

   • المقياس: رتبة التنبؤ (Prediction Rank) (رتبة رمز الهدف الصحيح في توزيع مخرجات النموذج).
   • السبب المنطقي: تُفضل الرتبة على الاحتمالية لأن احتمالات النماذج اللغوية الكبيرة غالباً ما تكون غير معايرة بشكل جيد، خاصة بعد الضبط الدقيق للتعليمات (RLHF). الرتبة تعزل ما يعرفه النموذج عن مدى ثقته في التعبير عنه.
   • التجميع: يُستخدم المتوسط المقطوع بنسبة 20% (20% trimmed mean) للرتب لتقليل تأثير القيم المتطرفة.

3. المساهمات الرئيسية

• توليد معايير التقييم آلياً: مسار عمل حتمي بالكامل يولد معايير التقييم من أي مجموعة نصوص خام دون تدخل بشري أو الاعتماد على نماذج لغوية أخرى.
• مقاومة التلوث: يمكن إعادة توليد معايير التقييم عند الطلب من مجموعات نصية جديدة أو محجوزة، مما يلغي خطر تلوث بيانات التدريب بالتصميم.
• إطار تقييم موحد: يسمح تنسيق نمط الإكمال بمقارنة عادلة بين النماذج الأساسية (base models) والنماذج المضبوطة للتعليمات (chat models)، مما يتجنب انحيازات التنسيق المتأصلة في الأسئلة متعددة الخيارات.
• التفصيل (Granularity): يتيح التقييم عند مستويات مختلفة من التفصيل، بدءاً من التخصصات الواسعة وصولاً إلى مجالات بحثية فرعية محددة.

4. النتائج والتحقق

قام المؤلفون بالتحقق من صحة مسار العمل من خلال تجارب مكثفة:

• التحقق مقابل معايير الخبراء:

  • تمت مقارنة مسار العمل بمعيار خبير تم تنسيقه يدوياً من كتاب Understanding Deep Learning.
  • الارتباط: أظهر مسار العمل الآلي ارتباطاً شبه مثالي مع معيار الخبير (r=0.99, p<0.001).
  • وكيل Claude: أظهر معيار التقييم الذي تم توليده بواسطة Claude Sonnet 4 أيضاً ارتباطاً قوياً مع معيار الخبير (r=0.91)، مما يؤكد صلاحية استخدام النماذج اللغوية الكبيرة عالية الجودة كوكيل قابل للتوسع للتنسيق البشري.

• تجارب التكيف مع المجال:

  • حققت النماذج التي تكيفت مع مجالات قريبة دلالياً من الهدف (مثل CS.CL لـ CS.AI) رتب تنبؤ أفضل بكثير من تلك التي تكيفت مع مجالات غير مرتبطة.
  • المقارنة مع الخط المرجعي: أظهر مقياس الرتب المقترح ارتباطاً قوياً مع معيار الخبير، بينما أظهر الارتباك (Perplexity) ومعدل نسبة الطبقة الأخيرة (Last-Layer Attribution Rate) ارتباطاً ضعيفاً أو معدوماً، وفشلا في التقاط اكتساب المعرفة الحقيقية بالمجال.

• ديناميكيات ما قبل التدريب:

  • نجح معيار التقييم في تتبع اكتساب المعرفة أثناء التدريب المسبق العام (OLMo-2) والتدريب المسبق المستمر (Llama2-7B).
  • على عكس الأسئلة متعددة الخيارات، التي غالباً ما تصل إلى مرحلة التشبع مبكراً في التدريب، كشف مقياس الرتب عن تحسينات دقيقة ومستمرة في معرفة المجال طوال عملية التدريب.

• النماذج الأساسية مقابل نماذج الدردشة (ضريبة المحاذاة - Alignment Tax):

  • كشف تقييم ست عائلات من النماذج عبر أربعة مجالات أن ضبط التعليمات يقلل عموماً من المعرفة الخاصة بالمجال مقارنة بالنماذج الأساسية.
  • كانت هذه "الضريبة" متباينة للغاية؛ فعلى سبيل المثال، أظهرت نماذج Llama2-7B وMistral-7B انخفاضاً كبيراً في الأداء، بينما أظهرت نماذج أخرى (مثل Qwen2-1.5B) تدهوراً طفيفاً أو حتى تحسناً.

5. الأهمية

يوفر هذا العمل بديلاً منهجياً لتقييم النماذج اللغية الكبيرة في المجالات المتخصصة. ومن خلال الانتقال من الأسئلة متعددة الخيارات الثابتة والمنحازة إلى معايير تقييم ديناميكية قائمة على الإكمال ومستمدة مباشرة من مجموعات نصوص المجال، يقدم المؤلفون أداة:

1. تقضي على التلوث: تضمن أن التقييمات تعتمد على بيانات لم يسبق للنموذج رؤيتها.
2. تقلل الانحياز: تزيل انحيازات التنسيق والترتيب المرتبطة بالأسئلة متعددة الخيارات.
3. تسمح بالتوسع: تتيح للباحثين توليد معايير تقييم فورية للمجالات الناشئة أو المجالات الفرعية المحددة.
4. توفر رؤى أعمق: تكشف أن ضبط التعليمات قد يأتي على حساب الخبرة الخام بالمجال، وهي رؤية بالغة الأهمية للممارسين الذين يختارون النماذج للمهام المتخصصة.

يعد هذا الإطار ذا قيمة خاصة للمجالات عالية المخاطر (الطب، القانون، التمويل) حيث يكون التقييم الدقيق والمحدث والخالي من التلوث لقدرات النماذج أمراً ضرورياً.