Explanation Generation for Contradiction Reconciliation with LLMs

1. تعريف المشكلة

تتعامل أبحاث معالجة اللغات الطبيعية (NLP) الحالية بشكل سائد مع التناقضات باعتبارها أخطاءً يجب حلها عن طريق التحكيم لتحديد أي العبارتين هي الصحيحة وأيهما خاطئة (التحكيم). ومع ذلك، فإن الاستدلال البشري في السياقات الاجتماعية والمهنية والعلمية يعتمد غالباً على الاستدلال الاستنباطي (Abductive Reasoning) لتوليد تفسيرات توفق بين العبارات التي تبدو متناقضة، مما يجعلها متوافقة بدلاً من استبعاد إحداهما.

تحدد الورقة فجوة في قدرات النماذج اللغوية الكبيرة (LLMs): فبينما تُستخدم هذه النماذج بشكل متزايد كوكلاء محادثة ومساعدين علميين، فإن قدرتها على صياغة فرضيات لتفسيرات توفيقية للتناقضات لا تزال غير مستكشفة إلى حد كبير. يركز العمل الحالي على اكتشاف الصراعات أو اختيار "الفائز"، لكنه نادراً ما يركز على توليد السياق الذي يجعل كلا التصريحين صحيحين في آن واحد.

2. المنهجية

صياغة المهمة: توليد التفسير التوفيقي (REG)

يحدد المؤلفون مهمة جديدة حيث يتم إعطاء النموذج ($M_{expl}$) مقدمة ($P$) وفرضية ($H$) يصنفها نموذج حكم أولياً على أنها تناقض. الهدف هو توليد تفسير ($E$) بحيث:

1. الفعالية (Effectiveness): عند دمج $E$ مع $P$، يؤدي السياق الناتج إلى استلزام $H$ (أي أن $P + E \models H$).
2. الاتساق (Coherence): لا يتناقض $E$ مع $P$ (أي أن $P$ و $E$ متسقان).

تنسيق البيانات

بدلاً من إنشاء مجموعة بيانات جديدة من الصفر، يقترح المؤلفون إطار عمل مبتكر لإعادة استخدام مجموعات بيانات الاستدلال اللغوي الطبيعي (NLI) الحالية:

• المصدر: استخدموا مجموعة فرعية ChaosNLI-MNLS (المستمدة من MultiNLI)، والتي تحتوي على أزواج (مقدمة-فرضية) تم تصنيفها من قبل 100 من المراجعين البشريين.
• استراتيجية الاختيار: اختاروا الحالات التي يكون فيها الملصق (Label) الأكثر شيوعاً هو "تناقض"، مع الإقرار بأن المراجعين البشريين غالباً ما يختلفون (لم تكن هناك حالة واحدة تم تصنيفها بالإجماع كتناقض). تم التعامل مع هذا الاختلاف المتأصل كميزة، حيث يمثل "السياق الكامن" المطلوب للتوفيق.
• مجموعة البيانات: تتكون مجموعة البيانات النهائية (ChaosNLI-MNLI-C) من 275 حالة، حيث يبلغ متوسط نسبة المراجعين الذين صنفوا الزوج كتناقض 0.62.

إطار التقييم

تقدم الورقة طريقة تقييم آلية وقابلة للتوسع باستخدام "النموذج اللغوي كحكم" (LLM-as-a-Judge):

• الأحكام: تعمل نماذج NLI متعددة (تم اختيارها من بين الـ 18 نموذجاً المختبرة بناءً على دقتها في التنبؤ بالملصق الأكثر شيوعاً في مجموعة البيانات) كأحكام.
• المقاييس: لكل تفسير مُولد، يقيم الأحكام ثلاث علاقات:
  1. هل $P + E$ يستلزم $H$؟ (الفعالية)
  2. هل $P$ يتناقض مع $E$؟ (الاتساق، ويتم التحقق منه ثنائياً)
  3. معدل النجاح (Success Rate): النسبة المئوية للتفسيرات التي تستوفي كلاً من الفعالية والاتساق.
• الميزة: يتجنب هذا النهج الضجيج والذاتية في التقييم البشري، معتمداً على أحكام نماذج متسقة وقابلة للتكرار.

الإعداد التجريبي

• النماذج: تم تقييم 18 نموذجاً لغوياً كبيراً، بما في ذلك Qwen3 (بأحجام مختلفة وأنماط "تفكير")، وLlama-3.1-Tulu-3، وOlmo-3، وDeepSeek-R1، والنماذج المملوكة لشركة OpenAI (gpt-5-mini، gpt-5.2).
• الأنماط: تم اختبار النماذج في كل من نمط "غير التفكير" (المخرجات المباشرة) ونمط "التفكير" (سلسلة الأفك - Chain-of-Thought) لتقييم تأثير التفكير الممتد.

3. النتائج الرئيسية

• الأداء العام: تعاني معظم النماذج في مهمة REG. حقق أفضل نموذج مفتوح المصدر (Llama-3.3-70B-Instruct) معدل نجاح قدره 26.20%، بينما أدت النماذج المملوكة أداءً أفضل بكثير (gpt-5-mini: 40.25%، gpt-5.2: 31.56%).
• الاتساق مقابل الفعالية: تجد النماذج عموماً سهولة أكبر في توليد تفسيرات متسقة (لا تتناقض مع المقدمة) مقارنة بالتفسيرات الفعالة (التي تستلزم الفرضية فعلياً).
• مفارقة "التفكير":
  • الاتساق: أدى تفعيل أنماط "التفكير" عموماً إلى خفض درجات الاتساق. غالباً ما تقر النماذج بوجود تناقضات في مسارات تفكيرها، لكنها لا تزال تولد تفسيرات تفشل في حل تلك التناقضات.
  • الفعالية: بالنسبة للنماذج متوسطة الحجم (مثل Qwen3-4B، 8B)، أدى "التفكير" إلى تحسين الفعالية بشكل ملحوح. ومع ذلك، بالنسبة للنماذج الأكبر (مثل Qwen3-32B)، فإن فائدة "التفكير" استقرت أو حتى تراجعت.
  • النماذج الصغيرة: بالنسبة لأصغر النماذج (0.6B، 1.7B)، أدى "التفكير" إلى تقليل الفعالية، مما يشير إلى أن سلاسل الاستدلال المفروضة قد تزعزع استقرار النماذج ذات المعلمات الأقل.
• الارتباط البشري: وُجد ارتباط سلبي ضعيف ولكن ذو دلالة إحصائية (-0.2257) بين نسبة البشر الذين صنفوا الزوج كتناقض وبين معدل نجاح النموذج. وهذا يشير إلى أنه إذا وجد البشر صعوبة في حل التناقض، فإن النماذج أيضاً ستعاني.
• أنماط الفشل: كشف التحليل النوعي أن النماذج غالباً ما تلجأ إلى:
  • إعادة صياغة الفرضية دون إضافة سياق جديد.
  • إساءة تفسير الفروق اللغوية الدقيقة (مثل معاملة كلمة "كلب" المجازية كحيوان حقيقي).
  • توليد سيناريوهات غير منطقية (مثل الإعلان عن تواريخ بعد وقوع الحدث).

4. المساهمات الرئيسية

1. تعريف مهمة جديدة: تقديم توليد التفسير التوفيقي (REG)، وتحويل التركيز من التحكيم إلى الاستدلال الاستنباطي لحل التناقضات.
2. بيانات وتقييم قابل للتوسع: اقتراح طريقة لتنسيق بيانات REG من مجموعات بيانات NLI الحالية عبر الاستفادة من اختلاف المراجعين، وتقديم مقاييس آلية (الفعالية/الاتساق) باستخدام أحكام النماذج اللغوية، مما يلغي الحاجة إلى التقييم البشري المكلف.
3. رؤى تجريبية: تقديم اختبارات مرجعية واسعة النطاق عبر 18 نموذجاً، كشفت أن النماذج اللغوية الحالية لديها قدرة محدودة على هذه المهمة المحددة من الاستدلال، وأن "التفكير" لا يتحسن خطياً مع زيادة حجم النموذج.

5. الأهمية والآثار المترتبة

• ما وراء التحكيم: يسلط هذا العمل الضوء على قصور حرج في النماذج اللغوية الكبيرة الحالية: فهي جيدة في تحديد "من هو المصيب" ولكنها سيئة في معرفة "كيف يمكن أن يكون كلاهما مصيباً". وهذا أمر ضروري لتطبيقات مثل روبوتات الدردشة (للتعامل مع ارتباك المستخدم)، والاكتشاف العلمي (لحل الملاحظات المتناقضة)، والاستدلال القانوني (للقراءة المتوافقة للتشريعات).
• حدود الاستدلال: تشير نتيجة أن أنماط "التفكير" تصل إلى مرحلة الثبات في الفعالية لدى النماذج الكبيرة إلى أن مجرد زيادة الحوسبة أو طول سلسلة الأفك (CoT) ليس كافياً. يجب أن يركز البحث المستقبلي على بنية الاستدلال وكيفية استرجاع النماذج للمعرفة الكامنة ودمجها لتوليد فرضيات جديدة.
• الاتجاهات المستقبلية: يدعو المؤلفون إلى توسيع هذا الإطار ليشمل التناقضات على مستوى الوثائق، واللغات المتنوعة، ودمج معايير التأسيس الواقعي وتنوع الفرضيات.