When Do Explanations Help In-Context Learning? A Comparative Study of Natural Language Explanation Types and Faithfulness
تقدم هذه الورقة دراسة مقارنة عبر ستة معايير وأربعة نماذج تُظهر أنه في حين أن التفسيرات باللغة الطبيعية تعزز بشكل عام أداء التعلم داخل السياق، إلا أن فعاليتها تتباين بشكل كبير بناءً على مصدر التفسير (حيث تضاهي النماذج اللغوية الكبيرة الخارجية غالباً المبررات البشرية) واستراتيجية الاختيار، ولا سيما كشفها عن أن التصفية القائمة على الإخلاص تؤدي إلى نتائج غير متسقة وأن مقاييس الإخلاص المختلفة يمكن أن تؤدي إلى استنتاجات متباينة.
المؤلفون الأصليون:Mahdi Dhaini, Adam Dejl, Juraj Vladika, Volkan Özer, Barbara Plank, Gjergji Kasneci
في عالم الذكاء الاصطناعي، هناك رغبة متزايدة لفهم ليس فقط ما يقوله الكمبيوتر، بل لماذا يقوله. عندما يجيب نموذج لغوي كبير على سؤال ما، فإنه غالباً ما ينتج سلسلة من النصوص التي تبدو وكأنها تفكير بشري في حل مشكلة ما. تُسمى هذه السلاسل النصية بالتفسيرات باللغة الطبيعية. وهي تخدم غرضاً مزدوجاً: فهي تساعد البشر على الثقة في الآلة من خلال إظهار منطقها، ويمكنها أيضاً أن تساعد الآلة على التفكير بشكل أفضل. يُعرف هذا التأثير الثاني بـ "التعلم في السياق". تخيل أنك تطلب من كمبيوتر حل لغز جديد. إذا أعطيته بضعة أمثلة لألغاز مشابهة مع الإجابات الصحيحة، فغالباً ما يمكنه استنتاج اللغز الجديد دون الحاجة إلى إعادة تدريبه. هذا هو التعلم في السياق. الآن، تخيل لو أضفت بضع جمل إلى تلك الأمثلة تشرح كيفية الوصول إلى الإجابة. هل تجعل هذه التفسيرات الإضافية الكمبيوتر أكثر ذكاءً، أم أنها مجرد ضجيج؟ هذا هو السؤال المركزي الذي يحاول الباحثون الإجابة عليه بينما يبنون أنظمة ذكاء اصطناعي أكثر قدرة وموثوقية.
قام فريق من الباحثين من جامعات في ميونيخ ولندن ومن أنحاء ألمانيا باختبار هذا الأمر تحديداً. أرادوا معرفة ما إذا كانت إضافة التفسيرات إلى الأمثلة المقدمة للذكاء الاصطناعي تحسن أداءه بالفعل، وإذا كان الأمر كذلك، فمن أين يجب أن تأتي تلك التفسيرات. اختبروا أربعة نماذج مختلفة من الذكاء الاصطناعي ذات أحجام متفاوتة على ستة أنواع مختلفة من مهام الاستدلال، تتراوح من أسئلة المنطق العام واكتشاف السخرية إلى حل مسائل لفظية رياضية معقدة. قارن الباحثون بين ثلاثة مصادر رئيسية لهذه التفسيرات: تفسيرات كتبها بشر، وتفسيرات ولدها الذكاء الاصطناعي نفسه أثناء محاولته حل المشكلة، وتفسيرات ولدها نموذج ذكاء اصطناعي منفصل وقوي يعمل كمساعد. كما اختبروا ما إذا كانت جودة التفسير تهم، وبالتحديد النظر في "الأمانة" (faithfulness)، وهي مقي de لمدى مطابقة التفسير للخطوات التي اتخذها النموذج للوصول إلى إجابته.
قدمت النتائج صورة واضحة لما يعمل بشكل أفضل في الممارسة العملية. عندما كانت المهمة هي تصنيف المعلومات، مثل تحديد ما إذا كانت جملة ما ساخرة أو تحديد العلاقة بين عبارتين، فإن إضافة التفسيرات إلى الأمثلة ساعدت الذكاء الاصطناعي عادةً على أداء عمله بشكل أفضل. ومع ذلك، كان مصدر التفسير مهماً للغاية. فالتفسيرات التي ولدها نموذج ذكاء اصطناعي منفصل وقوي غالباً ما قدمت أكبر دفعة في الدقة، حيث كان أداؤها يضاهي، وأحياناً يتفوق على، التفسيرات التي كتبها البشر. هذه نتيجة مهمة لأن التفسيرات المكتوبة بشرياً مكلفة وبطيئة في الإنتاج، بينما يمكن إنشاء التفسيرات المولدة بواسطة الذكاء الاصطناعي فوراً. في المقابل، كانت التفسيرات التي ولدها الذكاء الاصطناعي نفسه أثناء محاولته حل المشكلة أكثر تذبذباً؛ فقد ساعدت أحياناً، لكنها كانت في كثير من الأحيان أقل موثوقية من المصادر الخارجية.
كما بحث الباحثون فيما إذا كان تصفية هذه التفسيرات المولدة ذاتياً للاحتفاظ فقط بالتفسيرات "الأمينة" — تلك التي تعكس حقاً استنتاج النموذج — سيؤدي إلى تحسين النتائج. ووجدوا أن هذه الاستراتيجية لم تحقق سوى مكاسب متوسطة صغيرة وكانت غير متسقة للغاية. فأحياناً، ساعد اختيار التفسيرات الأكثر أمانة في تحسين الأداء، ولكن في أحيان أخرى جعلت النموذج يؤدي بشكل أسوأ. اعتمدت النتيجة بشكل كبير على الاختبار الرياضي المحدد المستخدم لقياس الأمانة، والمهمة المحددة التي يقوم بها النموذج، وحجم النموذج نفسه. يشير هذا إلى عدم وجود طريقة واحدة مثالية لتقييم جودة التفسير تصلح لكل موقف. علاوة على ذلك، اختبر الفريق مدى قوة النظام من خلال تبديل التفسيرات بين أمثلة مختلفة أو استخدام تفسيرات من مواضيع مختلفة تماماً. وبينما لم تنهار النماذج تماماً عند إعطائها هذه التفسيرات غير المتطابقة، إلا أن أداءها انخفض، مما يشير إلى أن التفسير يحتاج إلى أن يكون متوافقاً دلالياً مع المثال المحدد ليكون مفيداً حقاً.
أما في المهمة الأكثر تعقيداً المتمثلة في الاستدلال الرياضي، فقد تغيرت الديناميكيات. هنا، كانت فائدة إضافة التفسيرات أقل اتساقاً وتعتمد بشدة على النموذج المحدد ومصدر التفسير. بالنسبة لأكبر النماذج، ظلت الطريقة القياسية المتمثلة في مطالبة النموذج بالتفكير خطوة بخطوة بمفرده قوية جداً. ومع ذلك، بالنسبة للنماذج الأصغر، يمكن للتفسيرات الخارجية عالية الجودة أن توفر دفعة كبيرة في الأداء، حيث تعمل كنوع من التوجيه الذي لا يستطيع النموذج الأصغر توليده بمفرده. ويخلص البحث إلى أنه بينما تعد إضافة التفسيرات إلى المطالبات أداة قوية، إلا أنها ليست حلاً سحرياً. فالنهج الأفضل يعتمد على المهمة والموارد المتاحة. وللكثير من التطبيقات العملية، يعد استخدام التفسيرات التي يولدها ذكاء اصطناعي منفصل وقادر وسيلة موثوقة وفعالة من حيث التكلفة لتحسين الأداء، في حين أن الاعتماد على النموذج لشرح استنتاجه الخاص يتطلب اختياراً دقيقاً ويقدم نتائج أقل قابلية للتنبؤ.
ملخص تقني: متى تساعد التفسيرات في التعلم داخل السياق؟
بيان المشكلة
تُستخدم التفسيرات باللغة الطبيعية (NLEs)، أو المبررات النصية الحرة، بشكل متزايد كمدخلات للتأثير على سلوك النماذج اللغوية الكبيرة (LLMs) في عملية التعلم داخل السياق (ICL). وبينما تُستخدم هذه التفسيرات على نطاق واسع لتحسين القابلية للتفسير وأداء النموذج، لا يزال من غير الواضح كيف تتقارب مصادر التفسيرات المختلفة (سواء كانت بشرية التدوين، أو ذاتية التوليد، أو مولدة خارجياً بواسطة نموذج لغوي آخر) من حيث المنفعة التنبؤية. علاوة على ذلك، فإن دور جودة التفسير — وتحديداً الأمانة/الموثوقية (ما إذا كان التفسير يعكس بدقة عملية اتخاذ القرار لدى النموذج) — ومدى قوة التعلم داخل السياق تجاه عدم الاتساق الدلالي (المبررات غير ذات الصلة أو الخارجة عن التوزيع) لا تزال أموراً غير مستقصاة بشكل كافٍ. هذا النقص في الأدلة المنهجية يعيق قدرة الممارسين على اتخاذ قرارات مدروسة فيما يتعلق بالمفاضلة بين الدقة والتكلفة في مسارات التلقين المعززة بالتفسيرات.
المنهجية
يقدم المؤلفون دراسة مقارنة شاملة لتقييم المنفعة التنبؤية للتفسيرات عبر ستة معايير استدلال متنوعة (ECQA، e-SNLI، SNARKS، Boolean Expressions، Causal Judgment، و GSM8K) وأربعة نماذج مضبوطة التعليمات ذات أحجام متفاوتة (GPT-4o-mini، Llama-3.1-8B، Llama-3.3-70B، و Mistral-7B).
يتضمن الإطار التجريبي أربع خطوات أساسية:
اختيار عينات قليلة التلقين (Few-shot): تعتمد الدراسة استراتيجية اختيار قائمة على الخطأ، حيث يتم اختيار n=6 من العينات التي أخطأ النموذج المستهدف في تصنيفها في وضع "الصفر تلقين" (zero-shot). تعمل هذه العينات كإشارات تصحيحية.
توليد التفسيرات (NLE Generation): يتم توليد ثلاثة مصادر للتفسيرات للعينات المختارة:
التفسيرات البشرية (Human-NLEs): المبررات من مجموعات البيانات القابلة للتفسير الموجودة (حيثما توفرت).
التفسيرات الذاتية (Self-NLEs): يولدها النموذج المستهدف نفسه باستخدام طريقة "سلسلة الأفكوت اللاحقة" (Post-hoc Chain-of-Thought). ومن المهم ملاحظة أنه بالنسبة للعينات التي تم تصنيفها بشكل خاطئ، يتم إعادة توليد التفسيرات الذاتية بناءً على التسمية الصحيحة (gold label) لضمان مقارنة عادلة مع المصادر الأخرى.
تفسيرات النماذج اللغوية الخارجية (LLM-NLEs): تولدها نماذج تفسير خارجية (GPT-4o-mini أو o3-mini) مُلقنة لتقديم مبررات لأزواج المدخلات والمخرجات الصحيحة.
استراتيجيات اختيار التفسير: تختبر الدراسة كيف يؤثر اختيار الأمثلة بناءً على جودة التفسير على الأداء:
الاختيار العشوائي: اختيار أساسي دون تقييم الجودة.
الاختيار الأكثر أمانة (Most-Faithful): اختيار التفسيرات الذاتية ذات أعلى الدرجات بناءً على مقياسين آليين للأمانة (fm1 من إطار عمل LExT و fm2 القائم على الاتساق الذاتي).
الاختيار الأقل أمانة (Lowest-Faithful): اختيار التفسيرات الذاتية ذات أقل الدرجات لاختبار العلاقة العكسية.
اختبارات الضغط لعدم الاتساق (Misalignment Stress Tests): إعدادان للاختزال حيث يتم إما تبديل المبررات عشوائياً ضمن نفس مجموعة البيانات (عدم تطابق داخل النطاق) أو استبدالها بمبررات من مجموعة بيانات مختلفة تماماً (خارج التوزيع/OOD) لاختبار المتانة.
التقييم: يتم قيال الأداء من خلال دقة المهام اللاحقة، ومقارنة التلقين المعزز بالتفسير مع خطوط الأساس (الصفر تلقين، التلقين القليل القياسي بدون مبررات، والصفر تلقين مع سلسلة الأفكوت/CoT).
المساهمات الرئيسية
دراسة مقارنة شاملة: أول تقييم واسع النطاق يقارن بين التفسيرات البشرية، والذاتية، والمولدة خارجياً عبر نماذج ومهام استدلال متعددة.
إطار تقييم معياري: إطار عمل قابل لإعادة الإنتاج يدمج الاختيار القائم على الخطأ، وتقييم جودة التفسير (الأمانة)، وبناء التلقين لعزل تأثير مصدر التفسير واستراتيجية الاختيار.
تحليل مقاييس الأمانة: تحقيق مفصل في كيفية اتفاق أو اختلاف مقاييس الأمانة المختلفة (fm1 و fm2)، وكيف يؤثر هذا الاختلاف على اختيار الأمثلة والأداء اللاحق.
اختبارات ضغط المتانة: تقديم عمليات تبديل المبررات العشوائية وخارج التوزيع (OOD) لقياس حساسية التعلم داخل السياق تجاه عدم الاتساق الدلالي.
النتائج والتحليل
1. مصدر التفسير والمنفعة التنبؤية (RQ1)
مهام التصنيف: في معايير التصنيف (ECQA، e-SNLI، SNARKS، Boolean، Causal Judgment)، يؤدي إضافة التفسيرات إلى التلقين القليل عادةً إلى تحسين الدقة مقارنة بالتلقين القليل القياسي.
مقارنة المصادر: توفر التفسيرات المولدة خارجياً بواسطة النماذج اللغوية (من GPT-4o-mini أو o3-mini) باستمرار أقوى وأكثر المنفعة استقراراً، وغالباً ما تضاهي أو تتجاوز المبررات البشرية حيثما وجدت. تظهر التفسيرات الذاتية تبايناً أكبر وتتخلف عموماً عن المصادر الخارجية، رغم أنها قد تكون تنافسية في حالات محددة.
الاستدلال الرياضي (GSM8K): فوائد التفسيرات تعتمد بشكل أكبر على النموذج والمصدر. بينما تظل "سلسلة الأفكوت" (CoT) خط أساس قوياً في الرياضيات، فإن التفسيرات المولدة خارجياً تتفوق عموماً على التفسيرات الذاتية، وإن كان الفارق يتفاوت بشكل كبير حسب حجم النموذج.
2. الأمانة والاختيار (RQ2)
الاختلاف بين المقاييس: يختلف مقياسا الأمانة (fm1 و fm2) بشكل كبير (متوسط معدل الاختلاف ~50%)، مما يشير إلى أنهما يلتقطان جوانب تشغيلية مختلفة من الأمانة. ويؤثر هذا الاختلاف مباشرة على أي التفسيرات الذاتية يتم اختيارها وعلى المنفعة الناتجة.
منفعة الاختيار القائم على الأمانة: يؤدي اختيار التفسيرات الذاتية بناءً على الأمانة المقاسة إلى مكاسب متوسطة صغيرة إجمالاً، ولكنه حساس للغاية للمقياس، والمهمة، والنموذج.
في GSM8K، أدى الاختيار القائم على fm1 إلى تحسين الأداء بشكل ملحوظ لنموذج Llama-70B، لكنه أدى إلى تراجع الأداء لنموذج Mistral-7B.
أظهر الاختيار القائم على fm2 نتائج مختلطة، حيث أدى أحياناً إلى تحسين الأداء وأحياناً أخرى إلى خفضه مقارنة بالاختيار العشوائي.
الاستنتاج: الاختيار القائم على الأمانة ليس مرشحاً موثوقاً به عالمياً؛ ففعاليته تعتمد بشدة على المقياس المختار ومزيج النموذج والمهمة.
3. المتانة تجاه عدم الاتساق (RQ3)
المتانة الجزئية: تظهر النماذج متانة جزئية تجاه المبررات غير المتسقة. وبينما تؤدي المبررات المبدلة عشوائياً داخل النطاق والمبررات الخارجة عن التوزيع (OOD) عموماً إلى تقليل الأداء مقارنة بالاختيار القائم على الأمانة، إلا أن النماذج لا تنهار تماماً.
أهمية الاتساق الدلالي: يؤكد انخفاض الأداء الملاحظ مع مبررات OOD (مثل ربط مسألة رياضية بتفسير للسخرية) أن الاتساق الدلالي بين المبرر والمثال هو عامل حاسم لتحقيق مكاسب الأداء. أما عمليات التبديل العشوائي داخل النطاق فتظهر آثاراً مختلطة، مما يشير إلى أن حتى المبررات غير المتسقة داخل النطاق قد توفر بعض الإشارات ذات الصلة بالمهمة.
الأهمية والآثار العملية
تخلص الورقة إلى أن مصدر التفسير، واستراتيجية الاختيار، ومقاييس الأمانة هي خيارات تصميمية حاسمة في التعلم داخل السياق المعزز بالتفسير.
إرشادات عملية: بالنسبة للممارسين، توفر التفسيرات المولدة خارجياً بواسطة النماذج اللغوية بديلاً عملياً وعالي المنفعة للتدوين البشري المكلف، خاصة لمهام التصنيف. فهي توفر أداءً مستقراً دون الحاجة إلى مرحلة معقدة لتقييم الأمانة.
التفسيرات الذاتية: بينما تعد التفسيرات المولدة ذاتياً منخفضة التكلفة، فإن منفعتها أقل موثوقية وحساسة للغاية لاستراتيجيات الاختيار. يجب التعامل مع تصفية التفسيرات الذاتية بناءً على الأمانة بحذر، حيث يمكن أن يؤدي اختيار المقياس إلى نتائج متضاربة.
الاتساق: تؤكد الدراسة أن الاتساق الدلالي أمر بالغ الأهمية؛ فاستخدام مبررات غير متسقة (حتى لو كانت من نفس مجموعة البيانات) يمكن أن يلغي فوائد التلقين المعزز بالتفسير.
حجم النموذج: تظهر النماذج الأصغر (SLMs) مكاسب أداء أكثر وضوحاً من التفسيرات الخارجية عالية الجودة مقارنة بالنماذج الأكبر (LLMs)، والتي يبدو أنها تستوعب أنماط الاستدلال داخلياً وتعتمد بشكل أقل على الدعامات الخارجية.
بشكل عام، تقدم هذه الدراسة أدلة تجريبية لتوجيه اختيار والإبلاغ عن التفسيرات في مسارات التلقين، مؤكدة أنه بينما يمكن للتفسيرات تشكيل سلوك النموذج، فإن منفعتها مرهونة بمصدر التفسير، وجودته، واتساقه.