ملخص تقني: Fin-Bias: تقييم شامل لاتخاذ القرار في النماذج اللغوية الكبيرة (LLMs) تحت تأثير التحيز البشري في المجال المالي

بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في السياقات المالية لمهام مثل تحليل المشاعر، والإجابة على الأسئلة، وتداول الأسهم. ومع ذلك، فإن المعايções الحالية تعتمد غالباً على عينات صغيرة، ومدخلات ذات سياق قصير (مثل عناوين الأخبار أو التغريدات المتتالية)، وتفشل في تقييم مدى عرضة النماذج اللغوية الكبيرة للتحيز البشري داخل الوثائق المالية طويلة التنسيق. هناك سؤال جوهري لم يتم حله بعد، وهو ما إذا كانت النماذج اللغوية الكبيرة تظهر سلوك "القطيع" (herding)—أي الميل إلى التوافق مع الآراء البشرية الصريحة (مثل تصنيفات المحللين) المضمنة في السياق، بدلاً من تركيب بيانات متباينة لتكوين أحكام مستقلة. وفي الأسواق المالية، حيث يمكن للمحللين البشر إظهار تحيزات منهجية (مثل التفاؤل المفرط)، فإن النموذج اللغوي الكبير الذي يتبع هذه الآراء بشكل أعمى قد يفشل في تقديم نصائح استثمارية دقيقة عندما يكون الإجماع خاطئاً.

المنهجية

بناء مجموعة البيانات: Fin-Bias

قدم المؤلفون مجموعة بيانات Fin-Bias، وهي معيار يتكون من 8,868 تقريراً خاصاً بالشركات تم الحصول عليها من Yahoo Finance.

• النطاق: تغطي مجموعة البيانات ثمانية قطاعات رئيسية (التكنولوجيا، الصناعات، الخدمات المالية، الرعاية الصحية، المرافق، الطاقة، خدمات الاتصالات، والعقارات).
• السياق: على عكس المعايين السابقة التي تستخدم مقتطفات قصيرة، فإن هذه التقارير هي تقارير طويلة التنسيق (بمتوسط ~4,000 توكن) تحتوي على أبحاث متعمقة، وتحليل للاقتصاد الكلي، وأساسيات الشركات.
• الحقيقة الأرضية (Ground Truth): لتجنب استخدام تصنيفات المحللين المتحيزة كملصقات (labels)، قام المؤلفون بإنشاء تصنيفات استثمارية للحقيقة الأرضية (متفائل/محايد/متشائم) بناءً على العوائد التراكمية غير الطبيعية المحققة (CAR) خلال نافذة زمنية مدتها 60 يوماً تلي تاريخ التقرير. تم تعيين التصنيفات باستخدام نهج قائم على المئينات (أعلى 30% = متفائل، أدنى 30% = متشائم، المنتصف 40% = محايد).

التصميم التجريبي

تُقيم الدراسة 18 نموذجاً (من النماذج الخاصة والمفتوحة المصدر) عبر ثلاثة ظروف تجريبية لقياس سلوك القطيع:

1. السياق الأصلي: تقرير المحلل الكامل، بما في ذلك التصنيف الاستثماري الصريح في الجملة الأولى.
2. إزالة التصنيف: يتم حذف الجملة الأولى التي تحتوي على التصنيف الصريح، مما يترك التحليل السردي فقط.
3. التصنيف المزيف: يتم استبدال التصنيف الأصلي بتصنيف "مزيف" متناقض (مثلاً تغيير "متفائل" إلى "متشائم") مع الحفاظ على بقية التحليل كما هو.

المقاييس:

• درجة القطيع (Herding Score): تقيس مدى التوافق بين التصنيف الذي ولّده النموذج اللغوي الكبير والتصنيف البشري الصريح (أو التصنيف المزيف) الموجود في السياق.
• دقة التنبؤ (Prediction Accuracy): تقيس قدرة النموذج اللغوي الكبير على التنبؤ بتصنيف العائد المستند إلى الحقيقة الأرضية مقارنة بأداء المحلل البشري.

استراتيجيات التخفيف

يقترح البحث طريقتين للتخفيف من سلوك القطيع:

1. تصفية المعجم (Lexicon Filtering): استخدام معجم MPQA للذاتية لتحديد وإزالة الجمل التي تحتوي على آراء ذاتية قوية (المصنفة كـ strongsubj) من السياق قبل تغذية النموذج بها.
2. تحسين التفضيل المباشر (DPO): نهج للضبط الدقيق (fine-tuning) للنماذج مفتوحة المصدر حيث يتم تدريب النموذج على تفضيل الاستجابات "المستقلة" (المستمدة من حقيقة السوق دون آراء المحللين) على الاستجابات "التابعة للقطيع" (المستمدة من اتباع منطق المحلل).

النتائج الرئيسية

1. انتشار سلوك القطيع

• تأثير التحيز الصريح: عند وجود تصنيفات المحللين الصريحة، تظهر النماذج اللغوية الكبيرة سلوك قطيع قوياً. ترتفع درجات القطيع بشكل كبير (غالباً ما تتجاوز 90%) في كل من النماذج الخاصة (مثل GPT-5 و GPT-4) والنماذج مفتوحة المصدر مقارنة بحالة "إزالة التصنيف".
• الحساسية للتصنيف المزيف: حتى عندما يتعارض التصنيف الصريح مع بقية التحليل (حالة "التصنيف المزيف")، لا تزال النماذج تتبع القطيع نحو الملصق الصريح. يبلغ متوسط درجة القطيع للتصنيفات المزيفة حوالي 30%، مع وصول بعض النماذج إلى 60%. هذه الحساسية موجودة بغض النظر عن حجم النموذج؛ فحتى النماذج الأكثر تطوراً مثل GPT-5 و GPT-4 تظهر سلوك قطيع ملحوظاً.
• التباين القطاعي: سلوك القطيع ليس موحداً؛ حيث تظهر قطاعات مثل الخدمات المالية والرعاية الصحية توافقاً أساسياً أعلى، بينما تظهر قطاعات مثل خدمات الاتصالات تبايناً أكبر يتركز عند توفير تصنيفات صريحة.

2. التأثير على اتخاذ القرار

• التوافق مقابل الاستقلالية: عند وجود تصنيفات المحللين، تحقق معظم النماذج دقة (~33%) مطابقة تقريباً لأداء المحللين البشر. ومع ذلك، يشير هذا إلى نقص في التفكير المستقل، حيث لا تتفوق النماذج على أداء البشر.
• تباين الأداء: عند إزالة التصنيفات الصريحة:
  • تشهد بعض النماذج مفتوحة المصدر (مثل gemma-2-9b-it و Llama-3-8B) انخفاضاً في الأداء بنسبة ~6%، مما يشير إلى الاعتماد الشديد على الإشارات البشرية.
  • على العكس من ذلك، فإن العديد من النماذج (مثل Qwen3-8B و Mistral-7B-it-v0.3) تتفوق فعلياً على المحللين البشر في غياب التصنيفات الصريحة، مما يشير إلى قدرتها على تركيب المعلومات بشكل مستقل عندما لا تكون منحازة للملصق الصريح.

3. فعالية التخفيف

• تصفية المعجم: تؤدي إزالة الجمل التي تحتوي على آراء ذاتية قوية إلى تحسين دقة التنبؤ بمقدار 2-4 نقاط مئوية، لا سيما للنماذج المفتوحة المصدر الأخف (مثل Qwen3-8B). وهذا يسمح لبعض النماذج بتجاوز أداء المحلل.
• DPO: يعمل الضبط الدقيق عبر تحسين التفضيل المباشر على التخفيف من سلوك القطيع وتحسين دقة التنبؤ، مما يثبت أن تعلم التفضيل الهيكلي يمكن أن يستوعب الشك تجاه إشارات الإجماع البشري العالية.

المساهمات والأهمية

يقدم البحث ثلاث مساهمات رئيسية:

1. تقييم شامل لسلوك القطيع: يقدم دليلاً تجريبياً على أن النماذج اللغوية الكبيرة معرضة بشدة لاتباع الآراء البشرية، حتى عندما تشكل هذه الآراء جزءاً صغيراً من سياق طويل. وهذا يتحدى الافتراض بأن النماذج الأكبر أو الأكثر تقدماً تمتلك بطبيعتها قدرات تفكير مستقلة متفوقة في المجالات المالية.
2. معيار Fin-Bias: يقدم معياراً واسع النطاق وطويل السياق يتضمن جوانب الشركات الملخصة عبر صناعات متنوعة ويتضمن التحيز البشري، مما يعالج قيود المعايين المالية الحالية ذات السياق القصير أو العينات الصغيرة.
3. التخفيف والتفكير المستقل: يقترح ويتحقق من صحة طرق (تصفية المعجم و DPO) لتوجيه النماذج اللغوية الكبيرة لتجنب سلوك القطيع. تشير النتائج إلى أن معالجة المدخلات أو الضبط الدقيق المناسب يمكن أن يمكن النماذج من تحقيق تفكير مستقل يتجاوز أحياناً أداء المحلل البشري، مما يسلط الضوء على إمكانات وكلاء اتخاذ القرار المالي غير المنحازين.

الأهمية: تؤكد هذه الدراسة على ضرورة تنسيق المدخلات بعناية وتطوير استراتيجيات تدريب تعطي الأولوية للحكم المستقل والمستند إلى الحقائق بدلاً من مجرد عكس السرديات البشرية السائدة، خاصة في المجالات القائمة على الآراء مثل التمويل. وهي تدعو لتطوير النماذج اللغوية الكبيرة مستقبلاً للتركيز على تقليل الحساسية تجاه الإشارات البشرية المعادية أو المنحازة.