ملخص تقني: استقصاء التفاعل بين الأمانة السياقية والأمانة البارامترية لسلسلة الأفكال تحت التحسين

بيان المشكلة

أثبتت "سلسلة الأفكار" (Chain-of-Thought - CoT) فعاليتها في تحسين أداء النماذج اللغوية الكبيرة (LLMs)، ومع ذلك يظل هناك قلق بالغ بشأن أمانة سلسلة الأفكار (CoT faithfulness). ويشير هذا المصطلح إلى ما إذا كانت خطوات الاستدلال المولدة تعكس حقاً العملية الحسابية الكامنة للنموذج، أم أنها مجرد تبريرات لاحقة تبدو منطقية فقط.

يتم تقييم أمانة سلسلة الأفكار حالياً عبر نموذجين منفصلين:

1. الأمانة السياقية (Contextual Faithfulness): تُقاس عن طريق تغيير المدخلات أو مسار الاستدلال (مثل إدخال أخطاء، أو إعادة الصياغة، أو حقن تلميحات) ومراقبة ما إذا كان جواب النموذج سيتغير تبعاً لذلك. هذا يقيس الاتساق بين مسار الاستدلال والمخرج، لكنه يتجاهل المعرفة البارامترية الداخلية للنموذج.
2. الأمانة البارامترية (Parametric Faithfulness): تُقاس عن طريق التدخل في المعرفة البارامترية للنموذج (مثل إلغاء تعلم المعرفة التي تقوم عليها خطوة استدلال معينة) لمعرفة ما إذا كان الجواب سيتغير. يستهدف هذا النهج الآليات الداخلية، لكنه يقتصر على المعرفة التي يتم التعبير عنها لفظياً في سلسلة الأفكار، مما قد يؤدي إلى تفويت العوامل غير المعلنة التي تشكل عملية التوليد.

لقد قاربت الأعمال السابقة هذين النموذجين وصفياً على سلاسل أفكار ثابتة، مما ترك فجوة في فهم كيفية تفاعلهما عندما يتم تحسين (optimize) النماذج صراحةً من أجل الأمانة. ولا يزال من غير الواضح ما إذا كان التحسين لأحد النموذجين يحقق مكاسب في الآخر، أم أن هذه النماذج تكافئ خصائص متضاربة.

المنهجية: إطار عمل FaithMATE

لمعالجة ذلك، قدم المؤلفون إطار عمل FaithMATE (محاذاة مقاييس الأمانة وتقييم الانتقال)، وهو واجهة محاذاة تفضيل موحدة مصممة لتحسين النماذج نحو الأمانة السياقية أو البارامترية وتقييم انتقال هذه المكاسب.

يعمل إطار العمل عبر أربع خطوات رئيسية:

1. أخذ عينات من سلسلة الأفكار (CoT Sampling): لكل مدخل، يقوم النموذج الأساسي بأخذ عينات من مجموعة مكونة من $m$ من سلاسل الأفكار.
2. تقييم الأمانة (Faithfulness Evaluation): يتم تسجيل كل سلسلة أفكار مأخوذة باستخدام مجموعة من المقاييس ($\mathcal{F}$). تشمل المجموعة:
   • المقاييس السياقية: القائمة على الفساد (الإجابة المبكرة، إضافة خطأ، إعادة الصياغة، الرموز الحشوية) والقائمة على الإسناد (CC-SHAP).
   • المقاييس البارامترية: مقاييس ثنائية ($f_{hard}$) ومستمرة ($f_{cont}$) تعتمد على إلغاء تعلم خطوات الاستدلال.
3. بناء أزواج التفضيل (Preference Pair Construction): لمقياس تدريب مختار ($F_{train}$)، يتم اختيار سلسلة الأفكار الأكثر أمانة كاستجابة "مختارة" ($y_w$)، والأقل أمانة كاستجابة "مرفوضة" ($y_l$).
4. التحسين (Optimization): يتم تحسين النموذج باستخدام إما الضبط الدقيق تحت الإشراف (SFT) على سلاسل الأفكار المختارة أو تحسين التفضيل المباشر (DPO) باستخدام الأزواج التي تم إنشاؤها.

يتمثل جوهر الاستقصاء في انتقال مكسب الأمانة ($\delta$): بعد التحسين لمقياس معين $f_i$، يتم تقييم النموذج على جميع المقاييس الأخرى $f_j$ لقياس $\delta(f_i, f_j) = f_j(c') - f_j(c)$، حيث $c'$ هو مخرج النموذج المحسن و $c$ هو النموذج الأساسي.

المساهمات الرئيسية

1. واجهة تحسين موحدة: يوفر FaithMATE أول إطار عمل لضبط النماذج اللغوية الكبيرة بشكل منهجي نحو أهداف الأمانة السياقية والبارامترية، مما يسمح بدراسة محكومة لتفاعلهما.
2. اكتشاف الاقتران غير المتماثل: تكشف الدراسة أنه بينما يرتبط النموذجان إيجابياً، إلا أنهما غير متماثلين. فالتحسين من أجل الأمانة البارامترية يحقق مكاسب متسقة عبر كلا النموذجين. في المقابل، فإن التحسين من أجل الأمانة السياقية يحقق مكاسب متغيرة؛ حيث إن التحسينات في أحد المقاييس السياقية لا تنتقل باستمرار إلى المقاييس الأخرى.
3. عدم الاتساق الداخلي للمقاييس السياقية: يوضح المؤلفون أن مقاييس الأمانة السياقية تلتقط جوانب متباينة من الأمانة. فعلى سبيل المثال، قد يؤدي التحسين لـ "إضافة خطأ" أحياناً إلى تراجع الأداء في "إعادة الصياغة"، مما يشير إلى أن هذه المقاييس ليست بدائل قابلة للتبادل لكمية كامنة واحدة.
4. التمايز الآلي: يظهر التحليل النوعي أن المكاسب السياقية تنبع أساساً من تحسين الاتساق بين الاستدلال والجواب وتخفيف التبرير اللاحق. أما المكاسب البارامترية، فتنبع من كونها أكثر تجذراً في الحقائق ذات الصلة بالمهمة والمعرفة.
5. استراتيجية دمج النماذج: يستكشف البحث دمج الحسابات للمهام (task-arithmetic merging) للنماذج المحسنة لمقاييس سياقية مختلفة. ووجد أن دمج النماذج المحسنة لـ "الإجابة المبكرة" و"الرموز الحشوية" يضاعف مكاسب الأمانة، بينما يؤدي تضمين "إعادة الصياغة" غالباً إلى تقليل المكاسب، ويرجع ذلك على الأرجح إلى اتجاهات تحديث المعلمات المتعارضة.

النتائج التجريبية

أُجريت التجارب على ثلاثة نماذج (Gemma3-4B, Qwen2.5-7B, Llama3.1-8B) عبر مجموعتي بيانات (OpenBookQA, LogiQA) باستخدام ستة مقاييس للأمانة.

• الانتقال عبر النماذج (Cross-Paradigm Transfer):
  • البارامترية $\Rightarrow$ السياقية: متسق للغاية. أدى التحسين للأمانة البارمة تريّة إلى تحسين الأمانة السياقية في 28/30 حالة في OpenBookQA و 24/25 حالة في LogiQA.
  • السياقية $\Rightarrow$ البارامترية: إيجابي ولكنه متغير للغاية. بينما أظهرت 32/48 حالة انتقالاً إيجابياً، تباينت الضخامة بشكل كبير اعتماداً على المقياس السياكي المحدد (على سبيل المثال، انتقل "الرمز الحشوي" بشكل جيد، بينما انتقل "إضافة خطأ" بشكل ضعيف).
• الانتقال داخل النموذج الواحد (السياقية):
  • لم تنتقل المكاسب باستمرار بين المقاييس السياقية المختلفة. فعلى سبيل المثال، لم يؤدِ التحسين لـ "إعادة الصياغة" بالضرورة إلى تحسين درجات "إضافة خطأ"، وفي بعض الحالات، كان المقياسان في حالة تضاد.
• نماذج التدريب:
  • تفوق DPO باستمرار على SFT في توليد مكاسب الأمانة، مما يشير إلى أن الإشارات التباينية (التمييز بين الأمانة العالية والمنخفضة) أكثر فعالية من مجرد تعظيم الاحتمالية البسيطة.
• أداء المهمة:
  • حافظ تحسين الأمانة على دقة المهمة العامة أو حسنها، ولم يُلاحظ أي تدهور كبير.

الأهمية والادعاءات

يدعي البحث أن أمانة سلسلة الأفكار ليست هدفاً متجانساً. وتوحي النتائج بما يلي:

• الأمانة البارامترية هي هدف أكثر موثوقية للتعميم الواسع، لأنها تحسن باستمرار المقاييس البارامترية والسياقية على حد سواء.
• الأمانة السياقية هي عائلة من الخصائص المرتبطة ولكن المتميزة. والاعتماد على مقياس سياقي واحد للتقييم أو التحسين أمر غير كافٍ وقد يكون مضللاً، حيث إن التحسين في مجال واحد قد لا يعكس التحسينات في المجالات الأخرى.
• التحسين متعدد الأوجه ضروري. بما أن المقاييس المختلفة تكافئ سلوكيات مختلفة (مثل اتساق الاستدلال مقابل التجذر الواقعي)، فإن النهج الشامل لتحسين أمانة سلسلة الأفكار يتطلب معالجة هذه الجوانب المتميزة، ربما من خلال تقنيات مثل دمج النماذج أو التحسين متعدد الأهداف.

يخلص المؤلفون إلى أن FaithMATE يعمل كأساس لتطوير أهداف للأمانة تكون متجذرة بارامترياً ومتينة سياقياً، مما يتيح تقديم ادعاءات أكثر دقة حول صلاحية مقاييس الأمانة الفردية.