💬 NLP

EconCausal: A Context-Aware Economic Reasoning Benchmark for Large Language Models

تقدم هذه الورقة EconCausal، وهو معيار مرجعي واسع النطاق يضم أكثر من 10,000 ثلاثية سببية مشروحة سياقياً مستمدة من دراسات اقتصادية رفيعة المستوى، والتي تكشف أنه في حين تستطيع النماذج اللغوية الكبيرة التعامل مع السياقات الثابتة، إلا أنها تواجه صعوبة كبيرة في مراجعة الأحكام السببية عندما تتغير الظروف البيئية أو عند مواجهة أدلة مضللة.

المؤلفون الأصليون: Donggyu Lee, Hyeok Yun, Meeyoung Cha, Sungwon Park, Sangyoon Park, Jihee Kim

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Donggyu Lee, Hyeok Yun, Meeyoung Cha, Sungwon Park, Sangyoon Park, Jihee Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة EconCausal، باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: لماذا يصعب على الذكاء الاصطناعي فهم عبارة "هذا يعتمد"

تخيل أنك تسأل روبوتاً فائق الذكاء ومطلعاً جداً عن نصيحة بشأن سؤال محدد للغاية: "إذا رفعنا الحد الأدنى للأجور، هل سيزداد التوظيف أم ستتقلص الوظائف؟"

في العالم الحقيقي، الإجابة ليست مجرد "نعم" أو "لا". الأمر يعتمد كلياً على السياق:

هل الاقتصاد في حالة ازدهار أم انهيار؟
هل هي بلدة صغيرة أم مدينة كبيرة؟
هل هناك قوانب صارمة تحكم كيفية عمل الشركات؟

في بعض الأماح، قد يساعد رفع الأجور. وفي أماكن أخرى، قد يضر. وفي أماكن ثالثة، قد لا يفعل شيئاً على الإطلاق.

تجادل الورقة البحثية بأنه بينما تبرع النماذج اللغوية الكبيرة (LLMs) في قراءة الكتب وتلخيص الحقائق، إلا أنها تعاني حالياً في فهم مواقف "هذا يعتمد". فهي تميل إلى إعطاء إجابة واحدة واثقة حتى عندما يتغير الموقف، أو ترتبك عندما تعطيها حقيقة تكون صحيحة في مكان ما ولكنها خاطئة في مكان آخر.

الحل: "تجربة قيادة" مدركة للسياق

لإثبات ذلك، صمم الباحثون اختباراً جديداً يسمى EconCausal. فكر في هذا الاختبار كأنه اختبار قيادة للذكاء الاصطناعي، ولكن بدلاً من قيادة سيارة، يقود الذكاء الاصطناعي عبر المشهد المعقد للاقتصاد.

كيف بنوا الاختبار:

المادة المصدرية: لم يبتكروا أسئلة من خيالهم. بل بحثوا في آلاف الدراسات الاقتصادية عالية الجودة والمراجعة من قبل الأقران (المعيار الذهبي للبحث العلمي) من أفضل الدوريات العلمية.
الاستخراج: استخدموا عملية دقيقة متعددة الخطوات (مثل فريق من المحررين يراجع كل منهم عمل الآخر) لاستخراج قصص محددة "السبب والنتيجة".
- مثال: "رفع الحد الأدنى للأجور (السبب) $\leftarrow$ التوظيف في قطاع الوجبات السريعة (الأثر) $\leftarrow$ الإشارة: إيجابي (في نيوجيرسي، عام 1992)."
السياق: من الناحية الجوهرية، حافظوا على السياق مرتبطاً بكل قصة. لم يقولوا فقط "الأجور ارتفعت، الوظائف ارتفعت". بل قالوا: "الأجور ارتفعت، والوظائف ارتفعت، ولكن فقط بسبب وقت وسوق وظروف معينة".

انتهى بهم المطاف بـ 10,490 من هذه الثلاثيات التفصيلية (السبب، الأثر، الإشارة).

التحديات الثلاثة (أسئلة الاختبار)

وضع الباحثون نماذج ذكاء اصطناعي متنوعة (مثل GPT-5، Gemini، Llama، إلخ) تحت ثلاثة مستويات من الصعوبة:

المستوى 1: اختبار الذاكرة

السؤال: "إليك موقف محدد (على سبيل المثال: حالة ركود في نيوجيرسي). إذا رفعنا الحد الأدنى للأجور، ماذا سيحدث للوظائف؟"
الهدف: هل يمكن للذكاء الاصطناعي تذكر ما وجده الخبراء في ذلك السيناريو المحدد؟
النتيجة: أدى الذكاء الاصطناعي بشكل جيد هنا (حوالي 88% دقة). لقد استطاعوا استرجاع الحقائق عندما كان السياق واضحاً وثابتاً.

المستوى 2: اختبار "نفس الشيء، مكان مختلف"

السؤال: "نعلم أنه في الصين، أدت زيادة الدعم إلى زيادة التسجيل في التأمين. الآن، ماذا يحدث إذا طبقنا نفس الدعم في ماساتشوستس؟"
الهدف: هل يمكن للذكاء الاصطناعي أن يدرك أن الإجابة قد تكون مختلفة لأن السياق قد تغير؟
النتيجة: هنا تعثر الذكاء الاصطناعي. عندما تغير السياق، انخفضت دقة النماذج بنحو 33 نقطة مئوية. لقد استمروا في محاولة تطبيق إجابة "الصين" على مشكلة "ماساتشوستس"، وفشلوا في رؤية أن قواعد اللعبة قد تغيرت.

المستوى 3: اختبار "الأخبار المزيفة"

السؤال: "إليك قصة من الصين تقول إن الدعم أدى إلى تضرر التسجيل في التأمين (وهي معلومة خاطئة/مضللة في الواقع). الآن، ماذا يحدث في ماساتشوستس؟"
الهدف: هل يمكن للذكاء الاصطناعي تجاهل المعلومات المضللة واستنتاج الحقيقة بناءً على السياق الجديد؟
النتيجة: فشل الذكاء الاصطناعي فشلاً ذريعاً. عند تغذيته بمعلومة كاذبة، غال Ong تصدقها وطبقها على الموقف الجديد. انخفضت دقة النماذج إلى أقل من 50% (أي أنها كانت تخمن فقط).

المشكلات الرئيسية المكتشفة

تسلط الورقة الضوء على "عيوب شخصية" رئيسية في نماذج الذكاء الاصطناعي الحالية:

تحيز "الثقة المفرطة":
تفضل نماذج الذكاء الاصطناعي دائماً اختيار جانب. فهي تقريباً دائماً تخمن "إيجابي" (+) أو "سلبي" (−). وهي سيئة جداً في قول "لم يحدث شيء" (None) أو "الأمر مختلط/معقد" (Mixed).
- تشبيه: تخيل مذيع أحوال جوية يخشى أن يكون مخطئاً لدرجة أنه لا يقول أبداً "قد يكون الجو غائماً". هو فقط يخمن "مشمس" أو "ممطر" في كل مرة، حتى عندما تكون السماء رمادية وغير متوقعة. لقد خمن الذكال الاصطناعي "لا يوجد أثر" أو "مختلط" بشكل صحيح بنسبة 14% فقط.
تأثير "الارتكاز" (Anchoring):
عندما يرى الذكاء الاصطناعي حقيقة ما (حتى لو كانت من زمن أو مكان مختلف)، فإنه "يتعلق" بها. إنه يعامل تلك الحقيقة القديمة كقاعدة تنطبق في كل مكان، بدلاً من كونها ملاحظة محددة قد لا تناسب الموقف الجديد.

الخلاصة

تخلص الورقة إلى أنه بينما يتحسن الذكاء الاصطناعي في القراءة والتلخيص، إلا أنه ليس جاهزاً بعد ليكون مستشاراً اقتصادياً موثوقاً للقرارات المعقدة في العالم الحقيقي.

إذا سألت ذكاءً اصطناعياً: "هل ستنجح هذه السياسة؟"، فقد يعطيك إجابة واثقة بناءً على دراسة من قبل 10 سنوات في بلد آخر، دون أن يدرك أن السياق قد تغير. وحتى يتعلم الذكاء الاصطناعي كيف يقول: "لا أعرف، لأن الوضع مختلف"، فلا ينبغي الوثوق به لاتخاذ قرارات عالية المخاطر تتعلق بالمال أو السياسات أو الاستراتيجيات.

باخت باختصار: الذكاء الاصطناعي هو أمين مكتبة رائع يمكنه العثين على الكتاب، لكنه لا يزال محققاً سيئاً يجد صعوبة في معرفة ما إذا كانت الأدلة الموجودة في كتاب ما تنطبق على مسرح الجريمة الذي أمامه.

ملخص تقني: EconCausal

بيان المشكلة

تعتمد التأثيرات السببية الاجتماعية والاقتصادية بطبيعتها على السياق؛ إذ يمكن لنفس التدخل أن يؤدي إلى نتائج متباينة أو حتى متناقضة اعتمادًا على الأنظمة التنظيمية، أو ظروف السوق، أو الفترات الزمنية، أو خصائص السكان. وبينما أظهرت النماذج اللغوية الكبيرة (LLMs) قدرة واعدة في التفكير العام، فإن تطبيقها في دعم القرار الاقتصادي يعوقه فجوة حرجة: وهي عدم القدرة على استنتاج الاتجاهات السببية بشكل موثوق تحت سياقات محددة وعالية الأبعاد، وعدم القدرة على مراجعة تلك الأحكام عند تغير السياق. تفشل المعايسات الحالية في معالجة ذلك لأنها تركز عادةً على علاقات عامة تفتقر إلى السياق، أو تغفل السياق المؤسسي والتجريبي الضروري للتفسير، أو نادراً ما تختبر المتانة تحت تغير السياق. ونتيجة لذلك، تخاطر النماذج الحالية بإنتاج أحكام سببية سطحية أو مضللة في الإعدادات الاجتماعية والاقتصادية.

المنهجية

بناء مجموعة البيانات: EconCausal

قدم المؤلفون EconCausal، وهو معيار واسع النطاق يتكون من 10,490 ثلاثية سببية مشروحة بالسياق، مستخرجة من 2,595 دراسة تجريبية عالية الجودة منشورة في دوريات الاقتصاد والتمويل رفيعة المستوى (مثل American Economic Review و Journal of Finance). يتبع بناء مجموعة البيانات مساراً صارماً يتكون من أربع مراحل:

استخراج الثلاثيات عبر توافق تعدد التشغيل: باستخدام GPT-5 mini، يقوم النظام باستخراج أزواج (المعالجة–النتيجة) من الأوراق البحثية ثلاث مرات بشكل مستقل. يتم الاحتفاظ بالأزواج التي تظهر في تشغيلين على الأقل. يتم دمج الاختلافات الطفيفة في الصياغة عبر تشابه جيب التمام (عتبة $\ge$ 0.8) على تضمينات النصوص. يتم تعيين الإشارات ( $+$ , $-$, $\text{None}$ , $\text{Mixed}$ ) عبر التصويت بالأغلبية، مع تخزين فقرات الأدلة الداعمة لضمان إمكانية التتبع.
البيانات الوصفية والسياق العالمي: يتم استخراج البيانات الوصفية على مستوى الورقة البحثية (تجريبية أم نظرية)، وملخصات السياق العالمي (الزمان، المكان، وحدة التحليل)، وطرق التحديد (مثل DiD، IV، RCT) لتعمل كقيم افتراضية.
التنقيح الخاص بالثلاثية: بالنسبة للأوراق التجريبية، يتحقق النظام مما إذا كان السياق العالمي ينطبق على ثلاثيات محددة. إذا كانت الثلاثية تتطلب سياقاً أكثر تحديداً أو طريقة تحديد معينة، يتم إجراء تعديل طفيف؛ وإلا يتم الاحتفاظ بالقيم الافتراضية العالمية.
تقييم وتصفية متعدد النقاد: يقوم ثلاثة نقاد مستقلين من النماذج اللغوية الكبيرة (Gemini، Grok، Qwen) بتقييم كل ثلاثية بناءً على ستة أبعاد (استخراج المتغيرات، الاتجاه، الإشارة، السببية، الادعاء الرئيسي، ملاءمة السياق) باستخدام مقياس من 0 إلى 3. يتم استبعاد الثلاثيات التي تفشل في تجاوز العتبات المحافظة (متوسط درجة $\ge$ 2.0 لكل معيار ومجموع كلي $\ge$ 15)، مما أدى إلى استبعاد 27.3% من المرشحين.

تم التحقق من صحة مجموعة البيانات من قبل ثلاثة أساتذة اقتصاد، الذين وافقوا على 86.6% من الثلاثيات المستبقاة، مما أكد تحفظ قاعدة التصفية.

مهام المعيار

يقيم EconCausal النماذج اللغوية الكبيرة من خلال ثلاث مهام تزداد تعقيداً:

المهمة 1 (تحديد الإشارة السببية): بالنظر إلى سياق محدد $c$ وزوج (معالجة–نتيجة) $(T, O)$ ، التنبؤ بالإشارة السببية. يختبر هذا ما إذا كانت النماذج قد استوعبت السببيات الاقتصادية الراسخة.
المهمة 2 (التنبؤ بالإشارة المعتمدة على السياق): بالنظر إلى إشارة معروفة لـ $(T, O)$ تحت السياق $c_1$ ، التنبؤ بالإشارة تحت سياق مختلف $c_2$ . يختبر هذا القدرة على إدراك أن الإشارات السببية تتغير مع السياق.
المهمة 3 (التنبؤ بالإشارة المقاوم للمعلومات المضللة): مشابهة للمهمة 2، ولكن المثال المقدم لـ $c_1$ يحتوي على إشارة خاطئة عمداً. يختبر هذا المتانة ضد الأدلة المضللة.

النتائج الرئيسية

نظرة عامة على الأداء

تكشف التجارب عبر نماذج متنوعة مملوكة (Gemini, GPT, Grok) ومفتوحة المصدر (Llama, Qwen) عن فجوة كبيرة في الأداء بين التفكير ذي السياق الثابت والتنقل المعتمد على السياق:

السياق الثابت (المهمة 1): تحقق النماذج الرائدة دقة عالية ( $\sim$ 88% لـ Gemini 3 Flash)، مما يشير إلى استيعاب قوي للحقائق السببية في الإعدادات الصريحة.
تحول السياق (المهمة 2): تنخفض الدقة بشكل كبير عندما يتعين على النماذج مراجعة أحكامها عبر السياقات. بالنسبة للنماذج مغلقة المصدر، تنخفض الدقة الإجمالية من 73.9% إلى 41.3% في حالات "عدم تطابق الإشارة" (حيث يتضمن المصدر والهدف سياقات توحي بإشارات متضاربة).
المقاومة للمعلومات المضللة (المهمة 3): يتدهور الأداء بشكل أكبر عند إدخال أدلة مضللة، حيث انخفض متوسط النماذج مغلقة المصدر ومفتوحة المصدر إلى 49.3% و44.3% على التوالي.

الإخفاقات المنهجية

النقل المفرط لإشارات المصدر: في المهمة 2، تظهر النماذج انحيازاً قوياً نحو "النقل المفرط" للإشارة من المثال المصدر، حتى عندما تتعارض مع السياق المستهدف. أدى إضافة مثال مصدر يحمل إشارة إلى تقليل التنبؤات الصحيحة بمقدار 15.08 نقطة مئوية مع زيادة التنبؤات المطابقة لإشارة المصدر بنسبة 21.95 نقطة مئوية.
الانحياز نحو الإشارات الاتجاهية: تلتزم النماذج بشكل منهجي بالإشارات الثنائية ( $+$ أو $- $)، وتجد صعوبة في تحديد التأثيرات المعدومة ($ \text{None} $) أو المتنوعة ($ \text{Mixed} $). بلغت الدقة في حالات$ \text{None} $13.8% فقط، وفي حالات$ \text{Mixed}$ 22.8%، مقارنة بـ 74.8% و61.1% للإشارات الموجبة والسالبة على التوالي.
ضعف المعايرة: تظهر النماذج حالة من "الالتزام المفرط"، حيث تخصص ثقة عالية للتنبؤات غير الصحيحة، لا سيما في فئات $\text{None}$ و $\text{Mixed}$ . خطأ المعايرة المتوقع (ECE) شديد لهذه الفئات الغامضة (على سبيل المثال، 0.839 لفئة $\text{None}$ في التمويل)، ونادراً ما تختار النماذج "غير معروف" حتى عند إزالة المعلومات السياقية تماماً.

الأهمية والادعاءات

يزعم البحث أن EconCausal يوفر أساساً صارماً لتقييم كيفية دمج النماذج اللغوية الكبيرة للقيود المؤسسية والبيئية في الأحكام الاقتصادية. ويجادل المؤلفون بأن الأنظمة الحالية ليست قوية بما يكفي بعد للتحليلات الاقتصادية أو السياسية الحساسة لأنها تخلط بين "المعقولية" و"القابلية للنقل". فبينما يمكن للنماذج توليد إشارات سببية معقولة، فإنها تفشل في تحديد ما إذا كانت تلك الإشارات تنطبق على سياق مستهدف محدد، وغالباً ما ترتكز على إشارات صحيحة تجريبياً من سياقات المصدر حيث لم تعد صالحة.

يسلط المعيار الضوء على أن التفكير الاجتماعي والاقتصادي يتطلب ما هو أكثر من مجرد التعرف على الأنماط؛ إنه يتطلب القدرة على تكييف الأحكام بناءً على سياقات عالية الأبعاد، ومراقبة جزئياً، وداخلية محتملة. ويضع المؤلفون EconCausal كخطوة ضرورية نحو تطوير أنظمة يمكنها الحكم ليس فقط على ما إذا كانت الإشارة السببية معقولة، بل ما إذا كانت قابلة للنقل إلى السياق القائم.

القيود

يقر المؤلفون بعدة قيود:

الاعتماد على الاستخراج: يعتمد المسار على النماذج اللغوية الكبيرة للاستخراج والتصفية، مما قد يؤدي إلى تحيزات منهجية أو إغفال تفاصيل تحديد دقيقة، رغم توافق تعدد التشغيل والتحقق من قبل الخبراء.
تحيز المتن: تم استقاء مجموعة البيانات من دوريات رفيعة المستوى وباللغة الإنجليزية، مما قد يؤدي إلى تمثيل مبالغ فيه للأبحاث المؤثرة مع نقص في تمثيل الادعاءات الاجتماعية والاقتصادية الأخرى.
دقة التسمية: تضغط تسميات الاتجاه ( $\text{+}, \text{-}, \text{None}, \text{Mixed}$ ) النتائج التجريبية المعقدة، وتغفل أحجام التأثير، والمقادير، وفترات الثقة.
نطاق السياق: ترتبط السياقات بإعدادات تجريبية محددة، مما يحد من التقييم المباشر للصلاحية الخارجية عبر الميزات غير الملحوظة مثل هيكل السوق أو بيئات الإنفاذ.
النطاق السلوكي: التقييم سلوكي ولا يستقصي التمثيلات الداخلية للنموذج أو آليات الانتباه.