Ideological Bias in LLMs' Economic Causal Reasoning

إليك ملخص تقني مفصل لورقة البحث بعنوان "التحيز الأيديولوجي في الاستدلال السببي الاقتصادي لنماذج اللغات الكبيرة (LLMs)."

1. بيان المشكلة

تعالج الورقة فجوة حرجة في تقييم نماذج اللغات الكبيرة (LLMs): التحيز الأيديولوجي المنهجي في الاستدلال السببي الاقتصادي. بينما تركز الأبحاث الحالية على الآراء السياسية المعلنة للنماذج (مثل الاستطلاعات) أو قدرتها على إجراء الاستدلال المنطقي الصوري، فإن دراسات قليلة تفحص ما إذا كانت هذه النماذج تظهر تحيزاً اتجاهياً عند التنبؤ بـ الآثار السببية القابلة للتحقق في الاقتصاد.

في العديد من السياقات الاقتصادية (مثل تأثير الحد الأدنى للأجور، أو سياسة الضرائب)، تتوقع أطر عمل متنافسة — الموجهة نحو التدخل (المؤيدة للحكومة، والتي تركز على الطلب/توفيق الوظائف) و الموجهة نحو السوق (المؤيدة للسوق، والتي تركز على تكاليف العمالة/الأتمتة) — إشارات سببية متباينة. ويجادل المؤلفون بأنه إذا كانت نماذج اللغات الكبيرة تفضل بشكل منهجي إطار عمل على آخر عند التنبؤ بالاتجاهات السببية، فإن ذلك يؤدي إلى "ميل غير مرئي" في تحليل السياسات والتقارير الاقتصادية عالية المخاطر، مما قد يؤدي إلى اتخاذ قرارات منحازة.

2. المنهجية

بناء مجموعة البيانات: توسيع EconCausal

قام المؤلفون بتوسيع معيار EconCausal الحالي، الذي يحتوي على 10,490 ثلاثية سببية $(T, O, \text{Sign})$ مستمدة من أفضل المجلات الاقتصادية والمالية.

• هيكل الثلاثية: المعالجة ($T$)، النتيجة ($O$)، واتجاه التأثير المثبت تجريبياً ($\text{Sign} \in \{+, -, \text{None}, \text{Mixed}\}$).
• المجموعة الفرعية المتنازع عليها أيديولوجياً ($D_{div}$): حدد المؤلفون الحالات التي تتوقع فيها وجهات النظر الموجهة نحو التدخل والموجهة نحو السوق إشارات مختلفة.
  • استعلموا من أربعة نماذج (GPT, Claude, Qwen, Grok) لتحديد الإشارات المتوقعة لكلا المنظورين بشكل أعمى.
  • تم تصنيف الثلاثية على أنها "متنازع عليها أيديولوجياً" إذا أسندت 3 من أصل 4 نماذج إشارات مختلفة للمنظورين.
  • النتيجة: 1,056 ثلاثية متنازع عليها (10.1% من الإجمالي).
  • توزيع الحقيقة الأرضية (Ground Truth): من بين العناصر ذات الاتجاه، توافقت 58.1% مع توقعات التدخل ("حقيقة التدخل") و 41.9% مع توقعات السوق ("حقيقة السوق").
• التحقق: قام أستاذان في الاقتصاد بالتحقق من مجموعة فرعية مكونة من 126 ثلاثية، وحققا اتفاقاً بين المقيمين بنسبة تزيد عن 93%، مما أكد استقرار التصنيف.

إطار التقييم

قيمت الدراسة 20 نموذجاً من أحدث نماذج اللغات الكبيرة (سواء كانت مغلقة المصدر: GPT, Claude, Gemini, Grok؛ أو مفتوحة المصدر: Llama, Qwen) في مهمة التنبؤ بالإشارة.

• المقاييس:
  • الدقة (Accuracy): الإجمالية، ومقسمة حسب المتنازع عليه وغير المتنازع عليه.
    يدخل في حسابها الفجوة في الدقة ($\Delta_{acc}$): $Acc_{intervention} - Acc_{market}$.
  • درجة التحيز الاتجاهي ($B_{dir}$): تقيس عدم التماثل في الأخطاء: $\frac{Errors_{intervention} - Errors_{market}}{Errors_{total}}$.
• اختبارات المتانة:
  • مطابقة الصعوبة (Difficulty Matching): مطابقة عناصر "حقيقة التدخل" و "حقيقة السوق" بنسبة 1:1 بناءً على درجات الصعوبة (مقياس 1-5) لاستبعاد احتمال أن تكون عناصر "حقيقة السوق" أصعب بطبيعتها.
  • التعلم داخل السياق (ICL): اختبار ما إذا كان تقديم أمثلة (متوافقة مع التدخل مقابل متوافقة مع السوق) يمكن أن يوجه تنبؤات النموذج.
  • تحليل المجالات الفرعية: تحليل التحيز عبر 7 مجالات اقتصادية فرعية (مثل الرعاية الصحية، العمل، الضرائب) باستخدام أكواد JEL.

3. المساهمات الرئيسية

1. منظور جديد للاستدلال السببي: تقديم مفهوم العلاقات السببية المتنازع عليها أيديولوجياً لدراسة استدلال نماذج اللغات الكبيرة بما يتجاوز مجرد الاعتماد على السياق.
2. مجموعة بيانات مصنفة: إنشاء مجموعة فرعية مصادق عليها من معيار EconCausal تميز بين الثلاثيات المتنازع عليها وغير المتنازع عليها.
3. مقاييس التحيز الاتجاهي: تعريف وتطبيق $\Delta_{acc}$ و $B_{dir}$ لقياس عدم التماثل المنهجي في تنبؤات النماذج.
4. أدلة تجريبية على عدم التماثل: تقديم أول دليل منهجي على أن نماذج اللغات الكبيرة ليست فقط أقل دقة في الأسئلة المتنازع عليها، بل هي أكثر موثوقية بشكل منهجي في اتجاه أيديولوجي واحد (الموجه نحو التدخل) مقارنة بالآخر.

4. النتائج الرئيسية

أ. تدهور الأداء في العناصر المتنازع عليها

• العناصر المتنازع عليها أيديولوجياً هي أصعب بالنسبة لجميع النماذج.
  • النماذج مغلقة المصدر: 61.3% دقة (متنازع عليه) مقابل 74.5% (غير متنازع عليه).
  • النماذج مفتوحة المصدر: 52.5% دقة (متنازع عليه) مقابل 63.8% (غير متنازع عليه).

ب. عدم التماثل المنهجي (النتيجة الجوهرية)

• أفضلية التدخل: عبر 18 من أصل 20 نموذجاً، تكون الدقة أعلى بكثير عندما تتوافق الحقيقة الأرضية مع توقعات التوجه نحو التدخل.
  • النماذج مغلقة المصدر: متوسط $\Delta_{acc} = +9.7$ نقطة مئوية (pp).
  • النماذج مفتوحة المصدر: متوسط $\Delta_{acc} = +15.1$ نقطة مئوية (pp).
• التحيز في خطأ الاتجاه: الأخطاء ليست عشوائية؛ فهي تميل بشكل غير متناسب نحو تنبؤات التدخل.
  • تظهر معظم النماذج قيمة موجبة لـ $B_{dir}$ (على سبيل المثال، Llama 3.3-70B: $+17.9$؛ Qwen 3-8B: $+17.7$).
  • الاستثناء: أظهرت عائلة Claude (Sonnet 4.6, Opus 4.6) أفضلية طفيفة لـ "حقيقة السوق".

ج. تباين المجالات الفرعية

• التحيز ليس موحداً. تظهر أكبر مزايا "حقيقة التدخل" في الرعاية الصحية ($\Delta_{acc} = +20.9$ pp) و الرفاهية/إعادة التوزيع ($\Delta_{acc} = +18.0$ pp).
• كان الضرائب هو المجال الفرعي الوحيد الذي أظهر نمطاً معكوساً ($\Delta_{acc} = -1.0$ pp)، مما يشير إلى أن التحيز يعتمد على السياق وليس تحيزاً شاملاً نحو "اليسار".

د. المتانة والتوجيه

• مطابقة الصعوبة: حتى بعد التحكم في صعوبة العناصر، استمرت فجوة الدقة ($\Delta_{acc} \approx +10.6$ pp)، مما يؤكد أن التحيز ليس ناتجاً عن كون أسئلة "حقيقة السوق" أكثر صعوبة.
• التعلم داخل السياق (ICL): فشل تقديم أمثلة من خطوة واحدة (تدخل مقابل سوق) في إزالة التحيز.
  • ظلت النماذج أكثر دقة في الأهداف المتوافقة مع التدخل حتى عند تقديم أمثلة متوافقة مع السوق.
  • غالباً ما أدى ICL إلى زيادة ثقة النموذج دون تحسين الدقة (سوء المعايرة)، مما يشير إلى أن التحيز متجذر بعمق في الأولويات (priors) الخاصة بالنموذج بدلاً من كونه مجرد أثر سطحي للمطالبة (prompt).

هـ. مصادر التحيز

• التدريب المسبق مقابل الضبط (Alignment): أظهر تحليل نماذج Base مقابل نماذج Instruct (في Qwen) أن التحيز موجود في النماذج الأساسية ولكنه غالباً ما يتضخم من خلال ضبط التعليمات (الضبط/Alignment).
• التطور: تشير الصورة 4 إلى أن التحيز يتطور؛ حيث كانت النماذج الأقدم تتجمع نحو تحيز التدخل، بينما تظهر الإصدارات الأحدث اتجاهاً نحو دقة "حقيقة السوق"، وإن ظل عدم التماثل قائماً.

5. الأهمية والآثار المترتبة

• ما وراء الدقة الإجمالية: تجادل الورقة بأن الدقة الإجمالية غير كافية لتقييم نماذج اللغات الكبيرة في السياسة الاقتصادية. يمكن للنموذج أن يبدو كفؤاً في المتوسط بينما يكون غير موثوق به بشكل خطير في اتجاه أيديولوجي محدد.
• مخاطر السياسة: في الإعدادات عالية المخاطر (مثل اتصالات البنوك المركزية، أو تقييم السياسات)، يمكن لهذا "الميل غير المرئي" أن يؤدي إلى استنتاجات منحازة بشكل منهجي قد يفسرها المستخدمون كحقائق تجريبية بدلاً من كونها أولويات (priors) منحازة.
• معيار التقييم: يقترح المؤلفون أن التقييم الواعي بالاتجاه (باستخدام $\Delta_{acc}$ و $B_{dir}$) يجب أن يصبح فحص متانة قياسي لنماذج اللغات الكبيرة المستخدمة في المجالات الاقتصادية والسياسية.
• العمل المستقبلي: تسلط الضوء على الحاجة للتمييز بين الاسترجاع القائم على الذاكرة (تذكر نتائج أوراق بحثية محددة) والاستدلال القائم على الآليات لعزل مصادر هذا التحيز بشكل أكبر.