BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs

إليك ملخص تقني مفصل لورقة البحث بعنوان "BTZSC: معيار لتصنيف النصوص في حالة الصفر من التدريب (Zero-Shot) عبر المشفرات المتقاطعة (Cross-Encoders)، ونماذج التضمين (Embedding Models)، وأدوات إعادة الترتيب (Rerankers)، والنماذج اللغوية الكبيرة (LLMs)".

1. بيان المشكلة

يهدف تصنيف النصوص في حالة الصفر من التدريب (Zero-Shot Text Classification - ZSC) إلى تعيين تسميات (Labels) للنصوص دون تدريب خاص بالمهمة، بالاعتماد بدلاً من ذلك على المطابقة الدلالية بين النص المدخل وأوصاف التسميات القابلة للقراءة البشرية. وبينما يلغي الـ ZSC تكلفة وسم البيانات، إلا أن المجال يفتقر إلى إطار تقييم موحد وعادل.

• محدودية المعايير الحالية: تركز المعايير الحالية مثل MTEB (معيار تضمين النصوص الضخم) بشكل أساسي على تقييم نماذج التضمين باستخدام المجسات الخطية الخاضعة للإشراف (تدريب مصنف فوق التضمينات المجمدة)، وهو ما يفشل في اختبار القدرات الحقيقية للنماذج في حالة الصفر من التدريب.
• التقييم المجزأ: غالباً ما تركز الدراسات السابقة على عائلة واحدة من النماذج (مثل مشفرات NLI المتقاطعة فقط أو نماذج LLM فقط) أو مجموعة ضيقة من مجموعات البيانات، مما يجعل من المستحيل مقارنة نقاط القوة النسبية لمختلف البنيات (مشفرات NLI المتقاطعة، التضمينات، أدوات إعادة الترتيب، والنماذج اللغوية الكبيرة) تحت ظروف صفرية موحدة.

2. المنهجية: معيار BTZSC

قدم المؤلفون BTZSC، وهو معيار شامل مصمم لتقييم أربع عائلات رئيسية من النماذج بشكل منهجي تحت بروتوكول صارم لحالة الصفر من التدريب.

أ. بناء مجموعة البيانات

• النطاق: 22 مجموعة بيانات باللغة الإنجليزية للتسمية الواحدة تغطي أربعة فئات أساسية للتصنيف: العاطفة (Sentiment)، الموضوع (Topic)، القصد (Intent)، والانفعال (Emotion).
• التنوع: تغطي مجموعات البيانات مجالات متنوعة (الأخبار، وسائل التواصل الاجتماعي، التمويل، السياسة، والحوار)، وتتفاوت في عدد الفئات (من الثنائية إلى 7 7 فئة) وأطوال المستندات (من النصوص القصيرة جداً إلى المقالات الطويلة).
• المعالجة المسبقة: تم توحيد جميع مجموعات البيانات في نص مدخل واحد وتسمية فئوية واحدة. والأهم من ذلك، لم يتم استخدام أي أمثلة موسومة من هذه المجموعات للتدريب، أو ضبط المعلمات (Hyperparameter tuning)، أو اختيار النموذج.

ب. بروتوكول التقييم

• لفظ التسميات (Label Verbalization): يتم تحويل التسميات إلى أوصاف باللغة الطبيعية (مثلاً: "العاطفة هي {label}").
• استراتيجيات الاستدلال:
  • مشفرات NLI المتقاطعة (NLI Cross-Encoders): تعامل النص كـ "مقدمة" (Premise) ووصف التسمية كـ "فرضية" (Hypothesis)؛ وتقوم بقياس درجة الاستلزام (Entailment).
  • نماذج التضمين (Embedding Models): تقوم بتشفير النص وأوصاف التسميات بشكل منفصل؛ وتختار التسمية ذات أعلى تشابه جيب تمام (Cosine Similarity).
  • أدوات إعادة الترتيب (Rerankers): تعامل النص كـ "استعلام" (Query) وأوصاف التسميات كـ "مستندات"؛ وتعيد الترتيب بناءً على درجات الصلة.
  • النماذج اللغوية الكبيرة الموجهة بالتعليمات (Instruction-tuned LLMs): تصيغ المهمة كمسألة اختيار من متعدد، حيث يقوم النموذج باختيار الخيار الأفضل بناءً على احتمالية الرمز التالي (Next-token probability).
• المقياس الأساسي: Macro F1 (للتعامل مع عدم توازن الفئات وتفاوت أعدادها)، مكملاً بـ Micro Accuracy، وPrecision، وRecall.

ج. عائلات النماذج التي تم تقييمها

تقيم الدراسة 38 نموذجاً عبر أربع فئات:

1. المشفرات الأساسية (Base Transformer Encoders): النماذج غير المضضبطة (مثل BERT، DeBERTa-v3، ModernBERT).
2. مشفرات NLI المتقاطعة (NLI Cross-Encoders): النماذج التي تم ضبطها بدقة على مجموعات بيانات الاستدلال باللغة الطبيعية (مثل BART-large-MNLI، DeBERTa-v3-NLI).
3. نماذج التضمين (Embedding Models): مشفرات الجمل (مثل all-MiniLM-L6-v2، E5، BGE، GTE، Qwen3-Embedding).
4. أدوات إعادة الترتيب (Rerankers): النماذج المصممة لإعادة ترتيب أزواج الاستعلام-المستند (مثل MS MARCO MiniLM، BGE-Reranker، Qwen3-Reranker).
5. النماذج اللغوية الكبيرة الموجهة بالتعليمات (Instruction-tuned LLMs): النماذج التوليدية (مثل Gemma، Llama، Phi، Qwen، Mistral) التي تتراوح أحجامها من 270 مليون إلى 12 مليار معلمة.

3. النتائج الرئيسية

كشفت التجارب عن أنظمة أداء متميزة وسلوكيات توسع واضحة:

• الأداء الأفضل (SOTA):

  • تحقق أدوات إعادة الترتيب الحديثة (Modern Rerankers) أعلى أداء. حيث سجل Qwen3-Reranker-8B مستوى جديداً للأداء الأفضل (SOTA) بمعدل Macro F1 بلغ 0.72، متفوقاً بشكل كبير على جميع العائلات الأخرى.
  • حتى النموذج الأصغر Qwen3-Reranker-0.6B يتفوق على جميع مشفرات NLI المتقاطعة، مما يثبت قوة بنية إعادة الترتيب حتى في الأحجام المتوسطة.

• نماذج التضمين (Embedding Models):

  • تحقق نماذج التضمين القوية (مثل GTE-large-en-v1.5، E5-large-v2) درجات Macro F1 في حدود 0.60–0.62.
  • توفر هذه النماذج أفضل توازن بين الدقة وزمن الاستجابة (Latency)، مما يجعلها مناسبة جداً للنشر العملي.
  • على عكس أدوات إعادة الترتيب، فإن توسيع نماذج التضمين (مثلاً من 0.6 مليار إلى 8 مليار معلمة) يؤدي إلى عوائد متناقصة، حيث يستقر الأداء حول 0.60–0.62 F1.

• النماذج اللغوية الكبيرة الموجهة بالتعليمات (Instruction-tuned LLMs):

  • تؤدي النماذج الصغيرة (أقل من 1 مليار) بشكل ضعيف، بما يماثل المشفرات الأساسية.
  • تحقق النماذج المتوسطة إلى الكبيرة (4 مليار - 12 مليار، مثل Qwen3-8B، Mistral-Nemo-12B) نتائج تنافسية (Macro F1 حوالي 0.66–0.67)، وتتفوق بشكل خاص في تصنيف الموضوع (Topic Classification).
  • ومع ذلك، لا تزال تتخلف عن أدوات إعادة الترتيب المتخصصة بنحو 5 نقاط F1، مع تحمل تكاليف حوسبة وزمن استجابة أعلى بكثير.

• مشفرات NLI المتقاطعة (NLI Cross-Encoders):

  • تظهر هذه النماذج تحسناً واضحاً مقارنة بالمشفرات الأساسية، لكنها وصلت إلى مرحلة الثبات (Plateau) في السنوات الأخيرة.
  • يوفر توسيع نماذج NLI (الأساسية مقابل الكبيرة) مكاسب متواضلة (+3.5 F1)، لكنها لا تستطيع مضاهاة أداء أدوات إعادة الترتيب الحديثة أو التضمينات القوية.

• اتجاهات التوسع (Scaling Trends):

  • تظهر أدوات إعادة الترتيب مكاسب أداء رتيبة مع زيادة الحجم.
  • تظهر النماذج اللغوية الكبيرة (LLMs) منحنى التوسع الأكثر حدة، حيث تتحسن بسرعة بين 3 مليار و8 مليار معلمة.
  • تصل التضمينات إلى مرحلة التشبع بسرعة بعد بضع مئات الملايين من المعلمات.

• صعوبة المهمة:

  • العاطفة (Sentiment) هي المهمة الأسهل (متوسط F1 ≈ 0.88–0.9).
  • الموضوع (Topic) والقصد (Intent) هما في المستوى المتوسط.
  • الانفعال (Emotion) هو المهمة الأكثر تحدياً (متوسط F1 ≈ 0.25–0.35) لجميع عائلات النماذج.

4. المساهمات الرئيسية

1. معيار موحد (BTZSC): أول معيار يقيم معاً مشفرات NLI المتقاطعة، والتضمينات، وأدوات إعادة الترتيب، والنماذج اللغوية الكبيرة تحت بروتوكول صارم وموحد لحالة الصفر من التدريب.
2. مجموعة بيانات شاملة: مجموعة مختارة من 22 مجموعة بيانات متنوعة تغطي العاطفة، الموضوع، القصد، والانفعال، مما يسد الفجوات التي تركتها المعايير السابقة.
3. مقارنة منهجية: تحليل دقيق لـ 38 نموذجاً، يكشف أن أدوات إعادة الترتيب تتصدر حالياً من حيث الدقة، بينما تتصدر التضمينات من حيث الكفاءة.
4. رؤية حول التوسع: يوضح أن فوائد التوسع تفيد أدوات إعادة الترتيب والنماذج اللغوية الكبيرة بشكل أكبر بكثير من نماذج التضمين التي تميل للتشبع مبكراً.
5. قابلية التكرار (Reproducibility): إصدار كامل للكود، ونقاط فحص النماذج (Checkpoints)، ولوحة صدارة حية لضمان التقدم العادل والقابل للتكرار.

5. الأهمية والآثار المترتبة

• تحول في النموذج الفكري: تتحدى الورقة هيمنة مشفرات NLI المتقاطعة القائمة على الاستدلال، وتظهر أن أدوات إعادة الترتيب (التي تُشتق غالباً من بنيات توليدية) هي الآن الخيار الأفضل للدقة العالية في التصنيف بصفر من التدريب.
• توجيهات النشر: بالنسبة للتطبيقات الواقعية التي تتطلب زمن استجابة منخفض، توفر نماذج التضمين القوية (مثل GTE أو E5) التوازن الأمثل بين الأداء والسرعة، حيث تتفوق على نماذج NLI وتكون أكثر كفاءة من النماذج اللغبية الكبيرة.
• جدوى النماذج اللغبية الكبيرة (LLMs): رغم أن النماذج اللغبية الكبيرة الموجهة بالتعليمات تنافسية، إلا أنها ليست الحل الأكثر كفاءة بعد في حالة الصفر من التدريب، ما لم تتطلب المهمة استدلالاً معقداً أو قدرات "التعلم من أمثلة قليلة" (Few-shot) تتجاوز مجرد التصنيف البسيط.
• البحث المستقبلي: يسلط هذا المعيار الضوء على الحاجة إلى تقنيات أفضل لـ "لفظ التسميات" (Label Verbalization) ومزيد من الاستكشاف لقوانين التوسع (Scaling Laws) لأدوات إعادة الترتيب والتضمينات في سيناريوهات الصفر من التدريب.

في الختام، يوفر BTZSC أساساً حيوياً لفهم المشهد الحالي لتصنيف النصوص في حالة الصفر من التدريب، مؤكداً أنه بينما وضعت نماذج NLI حجر الأساس، فإن أدوات إعادة الترتيب الحديثة والتضمينات عالية الجودة هي القائدة الحالية في هذا المجال.