Confidence-Calibrated Small-Large Language Model Collaboration for Cost-Efficient Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان "التعاون بين النماذج اللغوية الصغيرة والكبيرة المعاير بالثقة من أجل استدلال فعال من حيث التكلفة" (COREA).

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) قدرات استدلال متفوقة (مثل الرياضيات والبرمجة) مقارنة بالنماذج اللغوية الصغيرة (SLMs)، ويرجع ذلك أساسًا إلى قدرتها على توليد مسارات استدلال صريحة لـ "سلسلة الأفكام" (Chain-of-Thought - CoT). ومع ذلك، تأتي هذه القدرة مع تكاليف استدلال وزمن وصول مرتفعين للغاية.

تواجه الحلول الحالية مقايضة:

• النماذج اللغوية الصغيرة وحدها: فعالة من حيث التكلفة ولكنها تفتقر إلى قوة الاستدلال وغالبًا ما تُظهر ثقة مفرطة (فهي لا تعرف ما لا تعرفه)، مما يؤدي إلى دقة ضعيفة في المهام المعقدة.
• النماذج اللغوية الكبيرة وحدها: دقة عالية ولكن تكلفة تشغيلية عالية.
• التعاون/التوجيه الحالي: تعتمد الطرق التي توجه الاستعلامات بين النماذج غالبًا على مصنفات خارجية، أو قواعد استدلالية (heuristics)، أو متوسطات احتمالية الرموز (tokens)، والتي تفشل في التقاط "الثقة الداخلية" للنموذج بدقة أو تتطلب عبء عينات إضافي.

التحدي الجوهري: كيف يمكن تمكين النموذج اللغوي الصغير من إدراك حدوده بدقة (الوعي الذاتي) وتأجيل المشكلات الصعبة ديناميكيًا إلى نموذج لغوي كبير، وبالتالي موازنة الدقة والتكلفة دون الحاجة إلى وحدات توجيه خارجية.

2. المنهجية: إطار عمل COREA

يقترح المؤلفون COREA (الاستدلال التعاوني - COllaborative REAsoner)، وهو نظام متتالي يعمل فيه النموذج اللغوي الصغير كخط دفاع أول، حيث يقوم بتأجيل الاستعلامات غير المؤكدة فقط إلى نموذج لغوي كبير أكثر قوة.

أ. بنية النظام

1. تدفق الاستدلال: بالنسبة لاستعلام معين، يتم توجيه النموذج اللغوي الصغير لتوليد:
   • خطوات الاستدلال.
   • الإجابة النهائية.
   • درجة ثقة لفظية ($y_c \in [0, 1]$).
2. منطق القرار:
   • إذا كانت $y_c \geq T$ (عتبة محددة مسبقًا، عادة ما تكون دقة النموذج الكبير الأساسية)، يتم قبول إجابة النموذج الصغير.
   • إذا كانت $y_c < T$، يتم تأجيل الاستعلام إلى النموذج اللغوي الكبير للحصول على الإجابة النهائية.

ب. التدريب: التعلم التعزيزي مع معايرة الثقة (RLCC)

الابتكار الأساسي هو تدريب النموذج اللغوي الصغير ليس فقط على الصحة، بل على الثقة المعايرة. يستخدم المؤلفون تحسين السياسة النسبي للمجموعة (GRPO) مع دالة مكافأة مركبة:

$$R = R_{correct} + R_{format} + R_{confidence}$$

1. مكافأة الصحة ($R_{correct}$): مكافأة ثنائية ($1$إذا تطابقت الإجابة مع الحقيقة، و$0$ خلاف ذلك).
2. مكافأة التنسيق ($R_{format}$): تضمن إخراج النموذج للاستدلال، والإجابة داخل صندوق محدد، ودرجة الثقة بالتنسيق المطلوب.
3. مكافأة الثقة ($R_{confidence}$): هذا هو المكون المبتكر. فهي تعاقب المسافة بين الثقة المتوقعة من النموذج ($y_c$) والاحتمالية الحقيقية للصحة ($p$).
   • بما أن $p$ غير معروفة أثناء الاستدلال، يتم تقديرها أثناء التدريب باستخدام دقة المجموعة ($\hat{p}$) من خلال $N$ من الاستجابات المأخوذة لنفس السؤال.
   • تقيم الورقة عدة مقاييس للمسافة (L1, L2, KL) وتجد أن مسافة L1 ($R_{L1} = -|p - y_c|$) توفر أفضل توازن.

التمييز الرئيسي: على عكس الطرق السابقة التي تقدر الثقة بناءً على صحة عينة واحدة، يقوم COREA بتقدير الاحتمالية "الحقيقية" $p$ بناءً على أداء المجموعة، مما يشجع النموذج على إخراج درجة ثقة تعكس الدقة المتوقعة لهذا النوع المحدد من الأسئلة.

3. المساهمات الرئيسية

1. إطار عمل COREA: نظام تعاوني بين النماذج اللغوية الصغيرة والكبيرة يحقق دقة عالية بتكاليف أقل بكثير من خلال الاستفادة من ثقة النموذج الصغير المعايرة ذاتيًا لاتخاذ قرار بشأن وقت التأجيل.
2. خوارزمية تدريب RLCC: نهج تعلم تعزيزي مبتكر يحسن قدرة الاستدلال ويعاير درجات الثقة في آن واحد. وهي تقدم مكافأة ثقة على مستوى المجموعة تعمل على مواءمة الثقة اللفظية للنموذج مع احتمالية صحته الفعلية.
3. تقييم شامل: تجارب واسعة النطاق عبر مجموعات بيانات متنوعة (الرياضيات، العلوم، المنطق الشائع) وبنى نماذج مختلفة (Qwen, Llama) تثبت قدرة الطريقة على التعميم بشكل جيد.

4. النتائج التجريبية

قيم المؤلفون COREA باستخدام Qwen2.5-7B (النموذج الصغير) و Qwen2.5-32B (النموذج الكبير) على عدة اختبارات (DeepMath, Math500, GSM8K, GPQA, CommonsenseQA).

• كفاءة التكلفة: مقارنة باستخدام النموذج الكبير وحده، خفض COREA تكاليف الاستدلال بنسبة:
  • 21.5% في مجموعات بيانات الرياضيات خارج النطاق (OOD).
  • 16.8% في مجموعات البيانات غير الرياضية خارج النطاق (OOD).
  • 6.7% في الرياضيات داخل النطاق (DeepMath500).
• الحفاظ على الدقة: حافظ النظام على درجة Pass@1 ضمن نطاق 2% من خط الأساس للنموذج الكبير المستقل، وهو تحسن كبير مقارنة بطرق التعاون الأخرى التي غالبًا ما تعاني من انخفاضات أكبر في الدقة (مثل 5-10%) عند محاولة توفير التكاليف.
• أداء المعايرة:
  • حقق نموذج L1-SLM المقترح أدنى خطأ معايرة متوقع (ECE) (0.12) وأعلى AUROC (0.72) بين جميع الطرق المختبرة.
  • التدريب القياسي بالتعلم التعزيزي (RLVR) حسن الاستدلال ولكنه فشل في معايرة الثقة (ظلت النماذج ذات ثقة مفرطة).
• دراسات الاستئصال (Ablation Studies):
  • دوال المكافأة: تفوقت مكافأة L1 على L2 و KL في موازنة الدقة والمعايرة.
  • أحجام النماذج: كانت الطريقة فعالة عبر أحجام مختلفة من النماذج الصغيرة (1.5B, 7B, 8B)، رغم أن النماذج الأصغر (1.5B) أظهرت وعيًا ذاتيًا أقل قليلًا من النماذج الأكبر.
  • حجم العينات (Rollout Size): الطريقة قوية تجاه أحجام العينات؛ فحتى حجم عينة صغير (4 أو 8) أعطى نتائج قوية، مما جعل التدريب فعالاً.

5. الأهمية والأثر

• النشر العملي: يوفر COREA مسارًا قابلًا للتطبيق لنشر أنظمة ذكاء اصطنا-عالية الاستدلال في السيناريوهات الواقعية الحساسة للتكلفة. فهو يلغي الحاجة إلى موجهات خارجية مكلفة أو تغييرات هيكلية معقدة.
• حل مشكلة "الثقة المفرطة": تعالج الورقة خللاً حرجًا في النماذج اللغوية الحالية—عدم قدرتها على معرفة متى تكون مخطئة. من خلال التدريب الصريح على معايرة الثقة، يخلق النظام وكيلًا "واعيًا ذاتيًا" يعرف متى يطلب المساعدة.
• القابلية للتوسع: النهج مستقل عن النموذج ويمكن تطبيقه على مختلف أزواج النماذج الصغيرة والكبيرة، مما يقدم استراتيجية قابلة للتعميم لـ "اقتصاد الاستدلال".

في الختام، يثبت COREA أن الثقة المعايرة هي آلية قوية لتمكين التعاون الفعال بين النماذج بمختلف أحجامها، مما يحقق دقة تقترب من المثالية مع تقليل التكاليف الحسابية بشكل جذري.