How Language Models Conflate Logical Validity with Plausibility: A Representational Analysis of Content Effects

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "كيف تخلط النماذج اللغوية بين الصلاحية المنطقية والمعقولية: تحليل تمثيلي لآثار المحتوى."

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs)، مثل البشر، "آثار المحتوى" (المعروفة أيضاً باسم انحياز الاعتقاد) في مهام الاستدلال. وهذا عبارة عن انحياز منهجي حيث تؤثر معقولية المحتوى الدلالي للعبارة على حكم النموذج على صلاحتها المنطقية.

• الصلاحية المنطقية (Logical Validity): هي خاصية بنيوية حيث تتبع النتيجة من المقدمات بالضرورة، بغض النظر عن الحقيقة.
• المعقولية (Plausibility): هي مدى كون العبارة حقيقية في العالم الواقعي.
• المشكلة: غالباً ما يحكم نماذج LLM على الحجة بأنها "صحيحة" لمجرد أن النتيجة معقولة، حتى لو كان المنطق معيباً. وبينما يفسر "نظرية العمليات المزدوجة" (النظام 1 مقابل النظام 2) هذا السلوك لدى البشر، إلا أن الآليات الداخلية التي تقود هذا الانحياز في نماذج LLM لا تزال غير واضحة.

2. المنهجية

يستخدم المؤلفون تقنيات "التفسير الآلي" (Mechanistic Interpretability) للتحقيق في كيفية تشفير الصلاحية والمعقولية في الفضاء الكامن (Latent Space) لنماذج LLM.

مجموعات البيانات والمهام

• الاستدلال القياسي (Syllogistic Reasoning): تستخدم الدراسة مجموعة بيانات مكونة من 1,280 قياساً منطقياً (مقدمتان + نتيجة) تغطي جميع الأنواع الـ 64 للقياسات المنطقية الكلاسيكية.
• الشروط: يتم تصنيف القياسات المنطقية حسب الصلاحية (صحيح/غير صحيح) والمعقولية (نتيجة معقولة/نتيجة غير معقولة).
• المهام:
  1. تصنيف الصلاحية المنطقية: تحديد ما إذا كانت الحجة صحيحة منطقياً.
  2. تصنيف المعقولية: تحديد ما إذا كانت النتيجة حقيقية.
  3. مهام التحكم: تصنيف (الاسم الأعلى/الاسم الأدنى) وتصنيف (ضار/غير ضار) للتأكد من أن التأثيرات الملحوظة خاصة بالصلاحية والمعقولية وليست ناتجة عن التصنيف الثنائي أو المفردات.
• النماذج: أُجريت التجارب على نماذج مضبوطة التعليمات من عائلات Qwen-2.5، وQwen-3 (بما في ذلك نماذج "التفكير")، وGemma-3 (تتراوح من 4 إلى 32 مليار معلمة). تم استخدام كل من التلقين بأسلوب "الصفر من الخطوات" (Zero-shot) و**"سلسلة الأفكار" (Chain-of-Thought - CoT)**.

تقنيات التحليل التمثيلي

• متجهات فرق المتوسطات (Difference-in-Means Vectors): يستخرج المؤلفون متجهات اتجاه خطية للمفاهيم (مثل $v_{validity}$ و $v_{plausibility}$) عبر حساب الفرق بين متجهات التنشيط المتوسطة للفئات الإيجابية والسلبية في طبقات محددة.
• التوجيه (Steering): تُضاف هذه المتجهات أو تُطرح من الحالات المخفية (Hidden States) للتلاعب بسلوك النموذج (على سبيل المثال، إجبار النموذج على الحكم بناءً على المعقولية بدلاً من الصلاحية).
• المقاييس:
  • أثر المحتوى (Content Effect - CE): مقياس يحدد كمية الانحياز. $CE = 1$ يعني أن الأحكام مدفوعة بالكامل بالمعقولية؛ و $CE = 0$ يعني الاستقلالية.
  • قوة التوجيه (Steering Power - SP): تقيس مدى فعالية المتجه في قلب توقعات النموذج.
  • تشابه جيب التمام (Cosine Similarity): يُستخدم لقياس التوافق الهندسي بين متجهات الصلاحية والمعقولية.

3. المساهمات الرئيسية

1. التشابك التمثيلي: تقدم الورقة أول دليل على أن نماذج LLM تشفر خطياً كلاً من الصلاحية والمعقولية، وأن هذين المفهومين متشابكان هندسياً (متوافقان بشدة) في فضاء التمثيل الخاص بالنموذج.
2. التأثير المتبادل السببي: من خلال تجارب التوجيه، يثبت المؤلفون وجود علاقة سببية: إضافة متجه "المعقولية" إلى الحالة المخفية أثناء مهمة الصلاحية يقلب أحكام الصلاحية، والعكس صحيح.
3. الارتباط التنبؤي: درجة التوافق الهندسي (تشابه جيب التمام) بين متجهات الصلاحية والمعقولية تتنبأ بحجم آثار المحتوى السلوكية عبر مختلف النماذج وأساليب التلقين.
4. تدخل إلغاء الانحياز (Debiasing Intervention): يقترح المؤلفون متجه فرق المهمة ($\mu_{V-P}$) الجديد الذي يعزل الأبعاد الخاصة بالصلاحية عن طريق طرح تنشيطات المعقولية. تطبيق هذا المتجه يقلل من آثار المحتوى ويحسن دقة الاستدلال دون الحاجة لإعادة التدريب.

4. النتائج الرئيسية

النتائج السلوكية

• وجود الانحياز: تُظهر جميع النماذج المختبرة آثار محتوى كبيرة في إعدادات "الصفر من الخطوات" (على سبيل المثال، Qwen2.5-32B لديه CE قدره 0.348).
• تأثير سلسلة الأفكار (CoT): يقلل التلقين بأسلوب "سلسلة الأفكار" من آثار المحتوى بشكل كبير (على سبيل المثال، ينخفض CE في Qwen2.5-32B إلى 0.096)، مما يشير إلى أن الاستدلال الصريح يساعد في فك تشابك المفاهيم، رغم بقاء التشابك الهندسي الأساسي.
• مقارنة النماذج: تُظهر نماذج "التفكير" الأحدث (Qwen-3) آثار محتوى أساسية أقل من النماذج القياسية، لكن نمط التشابك التمثيلي يستمر في الظهور.

النتائج التمثيلية

• التشفير الخطي: يتم تمثيل كل من الصلاحية والمعقولية كاتجاهات خطية منفردة في الطبقات المتأخرة من الشبكة (قوة التوجيه $\approx 1$).
• التوافق الهندسي: في الطبقات التي يكون فيها التوجيه فعالاً، يكون تشابه جيب التمام بين متجهات الصلاحية والمعقولية مرتفعاً (0.48–0.64)، بينما تُظهر مفاهيم التحكم (عدم الضرر، والاسم الأعلى/الأدنى) تشابهاً منخفضاً.
• تحليل الانحدار: يؤكد تحليل الانحدار ذو التأثيرات المختلطة أن التشابه التمثيلي الأعلى بين متجهات الصلاحية والمعقولية هو متنبئ إيجابي كبير لآثار المحتوى السلوكية ($\beta = 0.557, p = 0.017$).
• التوجيه السببي:
  • تطبيق متجه المعقولية أثناء مهمة الصلاحية ينجح في قلب أحكام الصلاحية.
  • تطبيق متجه الصلاحية أثناء مهمة المعقولية يقلب أحكام الحقيقة.
  • هذا التأثير المتبادل بين المهام يكون أقوى في نفس الطبقات المتأخرة حيث تكون المفاهيم أكثر قابلية للتوجيه.

نتائج التدخل

• إلغاء الانحياز: من خلال إضافة متجه فرق المهمة ($\mu_{V-P}$) مضروباً في $\alpha=1.5$ في طبقات محددة (مثل الطبقة 43 لنموذج Qwen2.5-32B)، حقق المؤلفون ما يلي:
  • تقليل الانحياز: انخفض CE من 0.348 إلى 0.072 (لـ Qwen2.5-32B) ومن 0.213 إلى 0.043 (لـ Qwen3-14B).
  • تحسين الدقة: زادت الدقة الإجمالية (على سبيل المثال، ارتفعت دقة Qwen3-14B من 86.54% إلى 96.70%).
  • يتفوق هذا التدخل على الطرق السابقة التي اعتمدت على ضبط النموذج (Fine-tuning) أو التوجيه التبايني نحو "السلوك الصحيح"، لأنه يفصل المفاهيم صراحةً بناءً على تمثيلها الداخلي.

5. الأهمية والخاتمة

• الرؤية النظرية: تتحدى الدراسة وجهة النظر القائلة بأن نماذج LLM هي أدوات استدلال مجردة تماماً. فهي تشير إلى أن آثار المحتوى تنشأ لأن النماذج تتعلم ربط الصلاحية بالمعقولية، وذلك غالباً بسبب بيانات التدريب حيث تكون الحجوات الصحيحة منطقياً ذات مقدمات حقيقية (الرصانة/Soundness).
• التفسير الآلي: تنتقل الدراسة من مجرد الملاحظة السلوكية إلى تقديم تفسير آلي لانحياز الاعتقاد في نماذج LLM: وهو التشابك الهندسي لمتجهات الصلاحية والمعقولية.
• التطبيق العملي: يوفر التدخل بالتوجيه المقترح طريقة لتقليل انحيازات الاستدلال دون الحاجة لتغيير المعلمات، وتتم أثناء مرحلة الاستدلال (Inference-time). وهذا يثبت أن تحليل التفسير يمكن أن يؤدي مباشرة إلى تحسينات ملموسة في موثوقية النماذج.
• الاتجاهات المستقبلية: يقترح المؤلفون توسيع هذا الإطار ليشمل الانحيازات المعرفية الأخرى، والتحقيق في كيفية تشكيل إحصائيات بيانات التدريب (مثل الارتباط بين الصلاحية والحقيقة في المجموعات النصية) لهذه الهندسة التمثيلية.

باختصار، تثبت الورقة أن نماذج LLM تخلط بين المنطق والحقيقة لأن كلاهما ممثل في نفس الاتجاه الهندسي داخل النموذج. ومن خلال تحديد وفصل هذه الاتجاهات رياضياً، يمكن للباحثين تحسين قدرات الاستدلال المنطقي لنماذج LLM بشكل كبير.