💬 NLP

Same Claim, Different Judgment: Benchmarking Scenario-Induced Bias in Multilingual Financial Misinformation Detection

تقدم هذه الورقة البحثية MFMDScen، وهو معيار مرجعي شامل متعدد اللغات يقيم الانحيازات السلوكية في 22 نموذجاً من النماذج اللغوية الكبيرة عبر سيناريوهات اقتصادية متنوعة، كاشفةً عن استمرار وجود انحيازات كبيرة في كل من النماذج التجارية والمفتوحة المصدر عند اكتشاف المعلومات المالية المضللة.

المؤلفون الأصليون: Zhiwei Liu, Yupen Cao, Yuechen Jiang, Mohsinul Kabir, Polydoros Giannouris, Chen Xu, Ziyang Xu, Tianlei Zhu, Md. Tariquzzaman, Triantafillos Papadopoulos, Yan Wang, Lingfei Qian, Xueqing Peng, Zhuohan

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhiwei Liu, Yupen Cao, Yuechen Jiang, Mohsinul Kabir, Polydoros Giannouris, Chen Xu, Ziyang Xu, Tianlei Zhu, Md. Tariquzzaman, Triantafillos Papadopoulos, Yan Wang, Lingfei Qian, Xueqing Peng, Zhuohan Xie, Ye Yuan, Saeed Almheiri, Abdulrazzaq Alnajjar, Mingbin Chen, Harry Stuart, Paul Thompson, Prayag Tiwari, Alejandro Lopez-Lira, Xue Liu, Jimin Huang, Sophia Ananiadou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً ومطلعاً. تسأله: "هل هذه القصة الإخبارية عن عملية احتيال في الأسهم حقيقية أم كاذبة؟". عادةً، يعطيك الروبوت إجابة واثقة. ولكن ماذا لو تغيرت الإجابة لمجرد أنك أخبرت الروبوت من الذي يطرح السؤال أو أين يجلس؟

هذا بالضبط ما تبحث فيه هذه الورقة البحثية بعنوان "ادعاء واحد، حكم مختلف" (Same Claim, Different Judgment). فقد صمم الباحثون اختباراً خاصاً لمعرفة ما إذا كانت النماذج اللغوية الكبيرة (LLMs) — وهي العقول التي تقف وراء أدوات مثل ChatGPT — تمتلك "سمات شخصية خفية" أو تحيزات عند التعامل مع الأموال والأكاذيب.

إليك تفصيل الأمر بكلمات بسيطة:

1. المشكلة: "خاتم المزاج" الخاص بالروبوت

فكر في النموذج اللغوي الكبير (LLM) كأنه أمين مكتبة واسع المعرفة. إذا سألته: "هل هذا الكتاب حقيقي؟"، فسيتحقق من الحقائق. لكن هذه الورقة تجادل بأنه إذا همست له: "أنا مستثمر متوتر فقدت أموالي للتو"، أو "أنا مدير تنفيذي في سوق مزدهر"، فقد يغير أمين المكتبة إجابته، حتى لو لم يتغير الكتاب.

وجد الباحثون أن هذه النماذج الذكية ليست مجرد مدققي حقائق؛ بل هي "حرباء سياقية". فهي تسمح لـ "المشهد" المحيط بالسؤال بتغيير حكمها، مما يؤدي أحياناً إلى وقوعها في الأخطاء.

2. الاختبار: "MFMD-Scen" (اختبار الضغط المالي)

أنشأ الفريق ساحة لعب ضخمة تسمى MFMD-Scen. تخيل لعبة فيديو حيث يتم لعب نفس قصة "الأخبار المزيفة" في 22 سيناريو مختلفاً. لقد اختبروا 22 نموذجاً مختلفاً للذكاء الاصطناعي (من عمالقة التكنولوجيا مثل جوجل وOpenAI إلى النماذج مفتوحة المصدر) لمعرفة رد فعلها.

لقد غيروا ثلاثة أشياء رئيسية في القصة:

الشخصية (Persona): هل الشخص الذي يسأل هو مدير تنفيذي واثق، أم مستثمر تجزئة متوتر، أم شخص يتبع القطيع فقط؟
الموقع (Region): هل الشخص في الولايات المتحدة، أم أوروبا، أم في سوق ناشئ في آسيا؟
الهوية (Identity): هل الشخص ينتمي لعرقية أو خلفية دينية معينة (مثل مسيحي صيني أو مسلم عربي)؟

3. الاكتشافات الكبرى: نقاط ضعف الروبوت

كانت النتائج كأنك اكتشفت أن نظام تحديد المواقع (GPS) الخاص بك يعطيك طرقاً مختلفة بناءً على حالتك المزاجية. إليك النتائج الرئيسية:

فخ "مستثمر التجزئة": عندما قيل للذكاء الاصطناعي إن المستخدم هو شخص عادي يستثمر مدخراته ("مستثمر تجزئة")، أصبح متشككاً للغاية. كان أكثر عرضة لقول "هذه كذبة!" حتى عندما تكون الأخبار حقيقية بالفعل. الأمر يشبه كلب حراسة ينبح على كل شيء لأنه يعتقد أن صاحبه ضعيف.
تأثير "القطيع": عندما تضمن السيناريو "القطيع" (اتباع الناس للجمهور)، واجه الذكاء الاصطناعي صعوبة. لقد ارتبك وارتكب المزيد من الأخطاء، وكأنه انجرف وراء الذعر بدلاً من التمسك بالحقائق.
التحيز الجغرافي: تصرف الذكاء الاصطناعي بشكل مختلف بناءً على الموقع. في الأسواق الآسيوية، كان حذراً ومتشككاً للغاية (غالباً ما يقول "خطأ"). أما في الولايات المتحدة وأوروبا، فقد كان أكثر تفاؤلاً. يبدو الأمر كما لو أن الروبوت لديه "مقياس مخاطر" مختلف اعتماداً على الدولة التي يعتقد أنه فيها.
التواء الهوية: كان هذا الجزء الأكثر إثارة للدهشة. فقد انقلب تحيز الذكاء الاصطناعي بناءً على الدور. على سبيل المثال، قد يتم التعامل مع مجموعة عرقية معينة بشك عندما يعتقد الذكاء الاصطناعي أنهم "مستثمر تجزئة"، ولكن يتم التعامل معهم بثقة عندما يعتقد أنهم "صاحب شركة". لم يكن الذكاء الاصطناعي يحكم على الشخص فحسب؛ بل كان يحكم على الجمع بين هويتهم وما يفعلونه.

4. لماذا يهم هذا؟

تخيل أنك تستخدم ذكاءً اصطناعياً لتقرر ما إذا كنت ستستثمر مدخرات حياتك.

إذا كان الذكاء الاصطناعي متحيزاً ضد "مستثمري التجزئة"، فقد يخبرك أن استثماراً آمناً هو عملية احتيال، مما يجعلك تفوت فرصة حقيقية.
إذا كان الذكاء الاصطناعي متحيزاً ضد مناطق معينة، فقد يتجاهل فرصاً حقيقية في الأسواق الناشئة.
إذا كان الذكاء الاصطناعي متحيزاً ضد هويات معينة، فقد يوجه النصائح المالية بعيداً عن مجتمعات محددة بشكل غير عادل.

تحذر الورقة من أن الذكاء الاصطناعي ليس حكماً محايداً. فهو يحمل إرث بيانات تدريبه، والتي تتضمن الصور النمطية البشرية والافتراضات الثقافية.

5. الخلاصة

لقد بنى الباحثون هذا المعيار ليعمل مثل "كشاف الضوء". ومن خلال تسليط الضوء على هذه التحيزات الخفية، يأملون أن يتمكن المطورون من إصلاحها.

باختاً مختصراً:
إذا سألت بشراً: "هل هذا حقيقي؟"، فقد يجيب بشكل مختلف إذا كان متعباً، أو متوتراً، أو في بلد مختلف. أثبتت هذه الورقة أن الذكاء الاصطناعي يفعل الشيء نفسه تماماً. وقبل أن نأتمن هذه الروبوتات على أموالنا، نحتاج إلى تعليمها كيف تُخرج "مزاجها" من المعادلة وتلتزم بالحقائق، بغض النظر عمن يسأل أو أين يتواجد.

فيما يلي ملخص تقني مفصل للورقة البحثية بعنوان: "نفس الادعاء، حكم مختلف: قياس التحيز الناجم عن السيناريوهات في كشف المعلومات المالية المضللة متعددة اللغات."

1. بيان المشكلة

يتم نشر النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في المجالات المالية للتحليل ودعم اتخاذ القرار. ومع ذلك، فهي ترث تحيزات بشرية من بيانات التدريب الخاصة بها، مما قد يؤدي إلى عدم الاستقرار وعدم اليقين، لا سيما في كشف المعلومات المالية المضللة متعددة اللغات (MFMD).

تركز الأبحاث الحالية حول تحيز النماذج اللغوية الكبيرة عادةً على:

الأسئلة المباشرة أو الإعدادات العامة المبسطة.
التقييم الساكن حيث يتم الحكم على الادعاء بمعزل عن السياق.

الفجوة: هناك نقص في فهم كيفية تأثير السيناريوهات المالية المعقدة في العالم الحقيقي (التي تتضمن أدواراً، وشخصيات، ومناطق، وهويات ثقافية محددة) على أحكام النماذج اللغوية الكبيرة بشأن نفس ادعاء المعلومات المضللة. لا تأخذ المعايير المرجعية الحالية في الاعتبار كيف يمكن للمقدمات السياقية (على سبيل المثال، كون المستخدم "مستثمراً تجزئة" في "سوق آسيوي ناشئ") أن تطغى على الإشارات القائمة على المحتوى، مما يؤدي إلى أخطاء منهجية تعتمد على السياق عبر لغات وأطراف معنية مختلفة.

2. المنهجية: المعيار المرجعي MFMD-Scen

يقدم المؤلفون MFMD-Scen، وهو معيار مرجعي شامل مصمم لتقييم التحيزات السلوكية في النماذج اللغوية الكبيرة عبر سيناريوهات اقتصادية متنوعة.

أ. بناء مجموعة البيانات

المصدر: مشتق من مجموعة بيانات FinFact (الجزء الخاص بـ Snopes)، مع سحب الادعاءات من روابط URL الأصلية لضمان الاكتمال.
الاختيار: تم اختيار 144 ادعاءً مالياً ذا صلة عالمياً (121 كاذب، 23 صحيح).
التوسع متعدد اللغات: تمت ترجمة الادعاءات إلى الصينية واليونانية والبنجالية (بالإضافة إلى الإنجليزية) باستخدام GPT-4.1، متبوعة بمراجعة صارمة من قبل متحدثين أصليين وتعديل يدوي لضمان الدقة والطلاقة.
الترميز: تم تحقيق توافق عالٍ بين المرمزين (Kappa > 0.96) فيما يتعلق بالارتباط المالي وجودة الترجمة.

ب. صياغة السيناريو

يُعرف المعيار المهمة بأنها تحديد مدى صدق ادعاء $c$ تحت سيناريو محدد $s$ . يتم قياس التحيز كفرق في درجات F1 بين التنبؤ المدرك للسيناريو ( $l_{scen}$ ) والخط المرجعي غير المدرك للسيناريو ( $l_{base}$ ).

تم إنشاء ثلاث مهام فرعية متميزة:

MFMD-persona (الدور + الشخصية): يجمع بين ثلاثة أدوار (مستثمر تجزئة، محترف/مؤسسة، صاحب شركة) مع خمسة تحيزات في التمويل السلوكي:
- الثقة المفرطة، تجنب الخسارة، سلوك القطيع، الارتكاز، وانحياز التأكيد.
  السيناريوهات محددة كـ صريحة (يتم ذكر التحيز مباشرة) أو ضمنية (يتم نقلها عبر تلميحات سردية).
MFMD-region (الدور + المنطقة): يقيم التحيز عبر ست مناطق اقتصادية رئيسية (أوروبا، الولايات المتحدة الأمريكية، آسيا والمحيط الهادئ، الصين البر الرئيسي، أستراليا، الإمارات العربية المتحدة)، مع مراعاة الأطر التنظيمية ونضج السوق.
MFMD-identity (الدور + العرق + العقيدة): يدمج المتغيرات الثقافية من خلال ربط الأدوار بعرقيات ومعتقدات دينية محددة (مثل "صيني-مسيحي"، "عربي-إسلامي") لاختبار التحيز التقاطعي.

ج. إعداد التقييم

النماذج: تم تقييم 22 نموذجاً لغوياً كبيراً رئيساً، بما في ذلك النماذج الموجهة للاستنتاج (مثل GPT-5-mini، DeepSeek-R، Qwen3-R) والنماذج الدردشية القياسية (مثل GPT-4.1، Llama-3.3، Mistral).
المقاييس: الدقة القياسية ودرجات Macro-F1. يتم قياس التحيز باستخدام:
- المتوسط الحسابي (AM): اتجاه التحيز (التحول الإيجابي/السلبي).
- القيمة المطلقة المتوسطة (MAV): حجم الانحراف عن الخط المرجعي.

3. المساهمات الرئيسية

المعيار المرجعي MFMD-Scen: أول معيار مرجعي مصمم من قبل خبراء خصيصاً لتقييم التحيزات السلوكية في كشف المعلومات المالية المضللة عبر الإعدادات متعددة اللغات والمشروطة بالسيناريوهات.
مجموعة بيانات متعددة اللغات: مجموعة بيانات عالية الجودة ومحققة بشرياً تغطي الإنجليزية والصينية واليونانية والبنجالية، مما يعالج ندرة موارد المعلومات المالية المضللة غير الإنجليزية.
التحليل المنهجي للتحيز: تقييم صارم لـ 22 نموذجاً لغوياً كبيراً يكشف أن المقدمات السياقية يمكن أن تطغى على الإشارات على مستوى الادعاء، مما يتسبب في إصدار أحكام مختلفة على نفس الادعاء بناءً على ملف تعريف المستخدم وبيئته.

4. النتائج الرئيسية والمكتشفات

أ. اتجاهات الأداء العام

كشف الكاذب مقابل الصحيح: النماذج قوية بشكل عام في كشف الادعاءات الكاذبة (F1 مرتفع، حدود قرار محافظة). ومع ذلك، ينخفض الأداء بشكل كبير في الادعاءات الصحيحة، حيث تميل النماذج إلى أن تكون شديدة الشك.
حجم النموذج: النماذج الأكبر والأكثر تقدماً (مثل GPT-5، DeepSeek-R) تظهر تحيزات أصغر وأداءً أكثر استقراراً مقارنة بالنماذج الأصغر.
الاستنتاج مقابل عدم التفكير: بالنسبة للنماذج الصغيرة، لا تؤدي قدرات الاستنتاج دائماً إلى تحسين الأداء في مهام التصنيف. بالنسبة للنماذج الكبيرة، تتفوق متغيرات الاستنتاج عموماً على نماذج الدردشة القياسية.

ب. النتائج الخاصة بالسيناريوهات

MFMD-persona (الشخصية):
- مستثمرو التجزئة وسلوك القطيع: تظهر النماذج تحيزاً سلبياً واضحاً (ميل لتصنيف الادعاء ككاذب) عندما يتضمن السيناريو مستثمري التجزئة أو سلوك القطيع.
- الضمني مقابل الصريح: يسبب التحيز الضمني (التلميحات السردية) انحرافات أكبر في الحكم من التحيز الصريح، مما يشير إلى أن النماذج تواجه صعوبة في استنتاج الحالات النفسية الدقيقة.
- تأثير اللغة: تظهر اللغات ذات الموارد المنخفضة (اليونانية، البنجالية) تحيزات أكبر، لا سيما في الادعاءات الصحيحة.
MFMD-region (الجغرافيا):
- الأسواق الناشئة: السيناريوهات الموضوعة في الأسواق الآسيوية (آسيا والمحيط الهادئ، الصين البر الرئيسي) والإمارات العربية المتحدة تسبب تحيزاً سلبياً كبيراً (ميل نحو تجنب المخاطر والشك الافتراضي).
- الأسواق المتقدمة: تظهر سيناريوهات الولايات المتحدة وأوروبا تحيزات أصغر نسبياً، حيث تسبب سيناريوهات الولايات المتحدة أحياناً تحيزاً إيجابياً.
MFMD-identity (التقاطع):
- انعكاس يعتمد على الدور: يمكن أن تظهر نفس المجموعة العرقية/الدينية تحيزات متضادة اعتماداً على الدور. على سبيل المثال، تظهر المجموعات الصينية تحيزاً سلبياً كمستثمري تجزئة، لكنها تتحول نحو التحيز الإيجابي كأصحاب شركات.
- التقدير المفرط/أقل من الحقيقي المنهجي: يتم المبالغة في تقدير الهويات الأمريكية بشكل منهجي (تحيز إيجابي)، بينما يتم التقليل من شأن الهويات الصينية باستمرار (تحيز سلبي).
- الحساسية الدينية: تظهر الهويات المرتبطة بالإسلام تحولات سلبية قوية في أدوار مستثمري التجزئة، لكنها تنعكس إلى تحيز إيجابي في أدوار أصحاب الشركات، مما يسلط الضال على التحيز التفاعلي غير الجمعي.

ج. المقارنة البشرية

غالباً ما تظهر النماذج الأصغر سلوكاً أقرب إلى الأداء البشري في سياقات إقليمية محددة، بينما تظهر النماذج الأكبر سلوكيات "فائقة للبشر" ولكنها محسنة بشكل منهجي وتختلف عن أنماط الحكم البشري.

5. الأهمية والآثار المترتبة

خطر النشر: إذا تم نشر هذه النماذج في أدوات اتخاذ القرار المالي، فقد تنشر المعلومات المضللة دون قصد، أو تضلل المستثمرين، أو تضخم التفاوتات الثقافية والإقليمية في المشورة المالية بسبب التحيزات الناجمة عن السيناريوهات.
الحاجة إلى تخفيف التحيز الواعي بالسياق: التقييم الساكن غير كافٍ. يجب أن تأخذ استراتيجيات تخفيف التحيز التفاعل بين هوية المستخدم، والدور، والسياق السوقي.
البحث المستقبلي: يوفر MFMD-Scen أساساً لتطوير أنظمة ذكاء اصطناعي مالية أكثر قوة وعدلاً وإدراكاً للسياق، خاصة للغات ذات الموارد المنخفضة والأسواق الناشئة.

في الختام، توضح الورقة أن السياق ليس مجرد اضطراب بل هو عامل حاسم في الاستدلال المالي للنماذج اللغوية الكبيرة. تظهر ظاهرة "نفس الادعاء، حكم مختلف" أن النماذج الحالية تفتقر إلى الاستقرار المطلوب في البيئات المالية متعددة اللغات وعالية المخاطر.