RASPRef: Retrieval-Augmented Self-Supervised Prompt Refinement for Large Reasoning Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "RASPRef: تحسين المطالبات ذاتي الإشراف والمعزز بالاسترجاع لنماذج الاستدلال الكبيرة."

1. بيان المشكلة

أظهرت نماذج الاستدلال الكبيرة (LRMs) الحديثة مثل DeepSeek R1 وOpenAI o1 قدرات قوية في مهام الاستدلال المهيكلة (مثل الرياضيات، توليد الكود، والأسئلة متعددة الخطوات). ومع ذلك، فإن أداء هذه النماذج حساس للغاية لـ صياغة المطالبة (Prompt Formulation).

• القصور الحالي: تصميم المطالبات الفعالة هو عادةً عملية يدوية تكرارية لا تتوسع بشكل جيد عبر المهام أو المجالات المختلفة.
• الفجوة في الحلول الحالية:
  • غالباً ما يتطلب تحسين المطالبات التقليدي بيانات مصنفة، أو نماذج مكافأة، أو الوصول إلى أوزان النموذج (التدرجات)، مما يجعلها غير مناسبة للنماذج المغلقة التي تعمل عبر واجهات برمجة التطبيقات (API).
  • تركز طرق التحسين الذاتي الموجودة على تحسين مخرجات النموذج بدلاً من تحسين المطالبة نفسها.
• الهدف: تطوير إطار عمل يقوم بتحسين المطالبات تلقائياً دون الحاجة إلى تصنيفات بشرية، أو إشراف خاص بالمهمة، أو الوصول إلى المعلمات الداخلية للنموذج، وذلك عبر الاستفادة من تاريخ الاستدلال المتراكم للنموذج نفسه.

2. المنهجية: إطار عمل RASPRef

RASPRef (تحسين المطالبات ذاتي الإشراف والمعزز بالاسترجاع) هو إطار عمل "صندوق أسود" تكراري، يعامل المطالبة كعنصر تكيفي. وهو يجمع بين التوليد المعزز بالاسترجاع (RAG) والتقييم ذاتي الإشراف لتحسين المطالبات أثناء عملية الاستدلال.

المكونات الأساسية

يعمل إطار العمل على مخزن من مسارات الاستدلال السابقة، حيث يتضمن كل مدخل:

1. المشكلة المدخلة.
2. المطالبة المستخدمة.
3. مسار الاستدلال المولد.
4. إشارات الإشراف الذاتي (الاتساق، درجات التحقق، النقد).

عملية التحسين (4 خطوات)

1. استرجاع المسارات ذات الصلة: بالنسبة لمدخل جديد $x$، يقوم النظام باسترجاع أعلى-$k$ من المسارات السابقة الأكثر تشابهاً من مخزن الذاكرة بناءً على هيكل المهمة أو خصائص المجال.
2. بناء المطالبة الأولية: يتم بناء مطالبة أولية باستخدام:
   • تعليمات المهمة العامة.
     // استخلاص الإرشادات من المسارات المسترجعة عالية الجودة.
   • أمثلة تمثيلية من المجموعة المسترجعة.
3. التقييم ذاتي الإشراف: يقوم النموذج بتوليد $K$ من مسارات الاستدلال باستخدام المطالبة المرشحة. يتم تقييم هذه المسارات باستخدام درجة جودة مركبة $Q(p; x)$ تجمع بين أربع إشارات (دون الحاجة لملصقات الحقيقة الأرضية/Ground-truth):
   • الاتساق ($C_{cons}$): الاتفاق عبر إجابات متعددة تم أخذ عينات منها.
   • درجة التحقق ($C_{ver}$): المعقولية والصحة الهيكلية التي يقدرها نموذج تحقق خفيف الوزن.
   • النقد الذاتي ($C_{crit}$): تحليل النموذج لأخطاء الاستدلال الخاصة به.
   • المحاذاة مع الاسترجاع ($C_{ret}$): مدى جودة إعادة استخدام عناصر من المسارات المسترجعة في الاستدلال.
4. التحسين التكراري: يعمل النموذج كمحرر، حيث يراجع المطالبة والمسارات المولدة لاقتراح مراجعات مستهدفة (مثل "توضيح هيكل الخطوات"، "تجنب الإجابات المبكرة"). تتكرر هذه الحلقة حتى تستقر المطالبة أو يتم الوصول إلى ميزانية حوسبية محددة.

الصيغة الرياضية

الهدف هو إيجاد مطالبة $p^*$ تعظم توقع درجة الجودة:
$$p^* \approx \arg \max_{p \in \mathcal{P}} \mathbb{E}_{x \sim D_{test}} [Q(p; x)]$$
حيث أن $Q(p; x) = \alpha C_{cons} + \beta C_{ver} + \gamma C_{crit} + \delta C_{ret}$.

3. المساهمات الرئيسية

• التحسين المرتكز على المطالبة: على عكس الأعمال السابقة التي تحسن مخرجات النموذج، يعامل RASPRef المطالبة صراحةً كهدف للتحسين، معتبراً إياها مكوناً تكيفياً يتطور مع الخبرات المتراكمة.
• الإشراف الذاتي الخالي من الملصقات: يعمل إطار العمل بالكامل دون الحاجة إلى ملصقات بشرية أو نماذج مكافأة خاصة بالمهمة، معتمداً بدلاً من ذلك على الاتساق الداخلي، ونماذج التحقق، والنقد الذاتي.
• التكيف الموجه بالاسترجاع: يسد الفجوة بين RAG وهندسة المطالبات عبر استخدام مسارات الاستدلال الناجحة السابقة لبناء وتحسين المطالبات للمشكلات الجديدة والمشابهة.
• التوافق مع الصندوق الأسود: يعمل الأسلوب مع النماذج المجمدة التي يمكن الوصول إليها عبر API (مثل GPT-4o-mini) دون الحاجة إلى الوصول إلى التدرجات أو إجراء ضبط دقيق (Fine-tuning).

4. النتائج التجريبية

قام المؤلفون بتقييم نموذج أولي لـ RASPRef على معيار GSM8K (مسائل لفظية رياضية للمرحلة الابتدائية تتطلب استدلالاً متعدد الخطوات).

• الإعداد:
  • النموذج: GPT-4o-mini (مجمد، يتم الوصول إليه عبر API).
  • البيانات: 500 مثال اختبار؛ تم بناء فهرس الاسترجاع من 200 مثال تدريبي.
  • النماذج المرجعية (Baselines): المطالبة الثابتة لسلسلة الأفكار (CoT) مقابل المطالبة المعززة بالاسترجاع.
• النتائج:
  • دقة المطالبة الثابتة: 85.6%
  • دقة المطالبة المعززة بالاسترجاع: 95.0%
• التحليل: وفر استرجاع مسارات الاستدلال ذات الصلة توجيهاً سياقياً حاسماً، مما ساعد النموذج على هيكلة الخطوات المتوسطة بشكل أكثر فعالية وتقليل أخطاء الاستدلال. تؤكد النتائج أن بناء المطالبات الموجه بالاسترجاع يتفوق بشكل كبير على النماذج المرجعية الثابتة.

5. الأهمية والتوجهات المستقبلية

• القابلية للتوسع: يوفر RASPRef استراتيجية عملية وقابلة للتوسع لتحسين أداء الاستدلال في نماذج اللغات الكبيرة دون تكلفة الضبط الدقيق أو التصنيف البشري.
• القابلية للتفسير: تظل المطالبات المحسنة شفافة، حيث تكشف عن الاستدلالات والأنماط المستخرجة من مسارات الاستدلال الناجحة، على عكس ضبط المعلمات "الصندوق الأسود".
• المتانة: يظهر إطار العمل إمكانية التعميم على الحالات النادرة أو طويلة الذيل عبر استرجاع أنماط استدلال عميقة بدلاً من مجرد التشابهات اللفظية السطحية.
• العمل المستقبلي: يقترح المؤلفون التوسع ليشمل مجالات أوسع (مثل الأسئلة متعددة الخطوات، وتوليد البرامج)، ودمج إشارات تحقق أقوى، وتحسين كفاءة حلقة التحسين.

في الختام، يثبت RASPRef أن تصميم المطالبة هو عامل حاسم وقابل للتحسين لنماذج الاستدلال، وأن المطالبات ذاتية التحسين والمعززة بالاسترجاع يمكن أن تعزز الأداء بشكل كبير في بيئة خالية من الملصقات البشرية.