Can Open-Weight Models Compete on Financial Text Comprehension?
تقيم هذه الورقة معايير "Financial Touchstone" المحدثة باستخدام عشرين نموذجاً، كاشفةً أن النماذج ذات الأوزان المفتوحة مثل "Kimi K2.6" يمكنها منافسة الأنظمة المملوكة في فهم النصوص المالية رغم استمرار اختناقات استرجاع المعلومات وسلوكيات الرفض الجيوسياسية غير المتسقة في النماذج الصينية.
تخيل عالماً تتعلم فيه الحواسيب القراءة والكتابة والتفكير مثل البشر. هذا المجال، الذي يُسمى الذكاء الاصطناعي (AI)، قد انفجر مؤخراً بنماذج جديدة يمكنها الدردشة، وحل المسائل الرياضية، وحتى كتابة الأكواد البرمجية. لكن هناك عقبة: العديد من هذه الحواسيب فائقة الذكاء هي "صناديق سوداء". نحن نعرف أنها تعمل، لكننا لا نعرف بالضبط كيف بُنيت أو ما هي الأسرار التي تخبئها داخل كوداتها. مؤخراً، ظهرت موجة جديدة من هذه النماذج من مختبرات صينية وهي "مفتوحة الأوزان"، مما يعني أن مخططاتها متاحة للجميع لدراستها، على عكس النسخ السرية والمغلقة من قبل شركات التكنولوجيا الأمريكية الكبرى. السؤال الكبير الذي يشغل بال الجميع هو: هل يمكن لهذه النماذج المفتوحة والعلنية أن تقوم بالفعل بالعمل الشاق والممل ولكن المهم للغاية المتمثل في قراءة التقارير المالية وإيجاد الحقيقة، أم أنها مجرد جيدة في التظاهر بالذكاء؟
هذه الورقة البحثية تشبه اختباراً ضخماً عالي المخاطر لعشرين نموذجاً من هذه النماذج. لقد وضع الباحثون تحدي "اللمسة المالية" (Financial Touchstone)، وهو في الأساس مكتبة ضخمة تضم 495 تقريراً سنوياً حقيقياً لشركات من جميع أنحاء العالم، مقترنة بـ 2,967 سؤالاً صعباً حولها. تخيل الأمر كأنك تعطي طالباً كومة من 495 كتاباً مدرسياً وتسأله: "كم بلغت أرباح الشركة (س) في عام 2022؟" أو "ما هي قطاعات الأعمال الثلاثة الرئيسية؟". كان الهدف هو معرفة أي ذكاء اصطناعي يمكنه إيجاد الإجابات الصحيحة دون اختلاق أشياء (وهي مشكلة تُسمى "الهلوسة") ودون أن يتعثر لأنه لم يستطع العثور على الصفحة الصحيحة في الكتاب.
كانت النتائج بمثابة تحول مفاجئ في الحبكة. لفترة طويلة، اعتقد الناس أنك بحاجة إلى "دماغ استنتاجي" خاص أو نموذج سري ومملوك ليتعامل مع الرياضيات المالية المعقدة. لكن هذه الدراسة وجدت أن النماذج مفتوحة الأوزان تلحق بالركب بسرعة. في الواقع، جاء النموذج مفتوح الأوزان المسمى Kimi K2.6 في المركز الثالث إجمالاً، متفوقاً على عدة نماذج أمريكية شهيرة ومغلقة. وكان الأداء الأفضل في الواقع لنموذج يسمى Claude Opus 4.6، الذي أجاب على 88.4% من الأسئلة بشكل صحيح. ومع ذلك، هناك التواء في القصة: فبينما كانت بعض النماذج رائعة في إيجاد الإجابة الصحيحة، كانت نماذج أخرى مذهلة في عدم اختلاق الأشياء. فقد سجل نموذج Gemini 2.5 Pro من جوجل أدنى معدل للكذب، حيث بلغ معدل الهلوسة لديه 0.08% فقط، لكنه لم يكن الأفضل في إيجاد الإجابات في المقام الأول.
اكتشف الباحثون أيضاً أن المشكلة الأكبر لجميع نماذج الذكاء الاصطناعي هذه لم تكن في عقولها، بل في عيونها. فقد حدث ما يقرب من نصف جميع الأخطاء (48.9%) لأن الكمبيوتر ببساطة لم يستطع العث� على الصفحة الصحيحة في التقرير الضخم لقراءتها. الأمر يشبه امتلاك عبقري لا يستطيع العثور على الكتاب على الرف. وهناك اكتشاف غريب آخر، وهو أن بعض النماذج الصينية كانت تحتوي على "فلتر سلامة" يرفض فجأة الإجابة على أسئلة مالية طبيعية تماماً إذا ذكر التقرير شخصيات أو أحداثاً سياسية معينة، مثل طالب يرفض خوض اختبار لأن الموضوع يذكره بقاعدة لا ينبغي له كسرها.
إذاً، ما هي الخلاصة؟ تشير الورقة إلى أن النماذج مفتوحة الأوزان أصبحت الآن قوية بما يكفي لتنافس أفضل النماذج السرية في العالم في فهم التمويل. إنهم لا يحتاجون إلى حواسيب "استنتاجية" فائقة للقيام بعمل رائع؛ فأحياناً، يعمل نموذج بسيط ومفتوح بنفس الكفاءة. لكن الدراسة تحذر أيضاً من أننا لا نزال أمام طريق طويل. الحواسيب تتحسن في القراءة، لكنها لا تزال تعاني في العثور على المعلومات الصحيحة في الوثائق الضخمة، وأحياناً يتم حظرها بواسطة قواعد سلامة حساسة للغاية. وتخلص المؤلفة إلى أنه بينما نحن قريبون من امتلاك مساعدين يعملون بالذكاء الاصطناعي يمكنهم التعامل مع التقارير المالية في العالم الحقيقي، فإننا لا نزال بحاجة إلى إصلاح كيفية بحثهم عن المعلومات قبل أن نتمكن من الوثوق بهم تماماً في أموالنا.
ملخص تقني: هل يمكن للنماذج مفتوحة الأوزان منافسة فهم النصوص المالية؟
بيان المشكلة بينما نجحت نماذج اللغة مفتوحة الأوزان من مختبرات الذكاء الاصطناዊ الصينية مؤخرًا في سد فجوة الأداء مع النماذج المملوكة الرائدة في الاختبارات المعيارية العامة، إلا أن موثوقيتها في المهام المالية الواقعية لا تزال غير مختبرة. ويتمثل أحد التحديات الكبيرة في تقييم النماذج اللغوية الكبيرة (LLMs) في عامي 2025-2026 في "تلوث الاختبارات المعيارية" (benchmark contamination)، حيث يتم استيعاب مجموعات البيانات العامة ضمن بيانات التدريب. علاوة على ذلك، تمثل التقارير السنوية المالية مجالًا متطلبًا للغاية نظرًا لطولها (الذي يتجاوز 700 صفحة)، وعدم تجانسها (التي تمزج بين السرد، والنصوص التنظيمية الجاهزة، والجداول المعقدة)، وتنوعها القضائي (تغطي 22 دولة ومعايير محاسبية متنوعة). وقد اعتمدت الاختبارات المعيارية السابقة على سياقات قصيرة أو مستندات مفردة، مما أدى إلى الفشل في التقاط تعقيد استرجاع المقاييس المالية المحددة من التقارير غير المهيكلة متعددة الصفحات.
المنهجية قام المؤلف بتحديث الاختبار المعياري Financial Touchstone، وتوسيع نطاقه من 2,878 سؤالاً عبر 480 تقريراً إلى 2,967 ثلاثية (سؤال-سياق-إجابة) عبر 495 تقريراً سنوياً دولياً (الإصدار 1.2). تغطي مجموعة البيانات جميع قطاعات التصنيف الصناعي العالمي (GICS) وتشمل تقارير من الأعوام 2021-2023.
تقييم النماذج: قيمت الدراسة 20 نموذجاً من 10 مزودين، لتوسع المجموعة السابقة التي كانت تضم 11 نموذجاً. ويشمل ذلك النماذج مفتوحة الأوزان الحديثة (مثل Kimi K2.6، وGLM 5، وDeepSeek V3.2) والنماذج الرائدة المملوكة (مثل Qwen3-Max، وClaude Opus 4.6، وGemini 2.5 Pro).
خط العمل (Pipeline): تم استخدام خط عمل لـ "التوليد المعزز بالاسترجاع" (RAG) حيث يتم تقسيم التقارير إلى نوافذ مكونة من 1,000 توكن. يتم استرجاع أفضل 5 قطع (chunks) باستخدام نموذج تضمين ثابت (text-embedding-3-small) وتقنية FAISS. ومن الأهمية بمكان أن خطوة الاسترجاع هي جزء من المهمة؛ حيث تُعامل حالات الفشل في استرجاع السياق ذي الصلة كفشل في النظام، ولا تُعذر كأخطاء ناتجة عن عمليات سابقة.
مقاييس التقييم: يُقاس الأداء من خلال:
الدقة (Accuracy): استدعاء المعلومات المطلوبة مقابل "إجابة ذهبية" منسقة بشرياً.
معدل الهلوسة (Hallucination Rate): نسبة الادعاءات غير المدعومة بالنص المصدر.
تصنيف الفشل (Failure Taxonomy): تُصنف الأخطاء كفشل في الاسترجاع، أو أخطاء في فهم النموذج، أو هلوسات.
ضبط الجودة: تم استخدام عملية تحقق من السلامة تتضمن "نموذجاً داخل الحلقة" (model-in-the-loop) وعملية تدقيق مزدوجة لمراجعة 67 إجابة غير مكتملة و15 إجابة ذهبية مهلوسة. بلغت دقة المرجع البشري 82.8% مع معدل هلوسة قدره 2.8%.
النتائج الرئيسية
أداء النماذج: حقق نموذج Anthropic's Claude Opus 4.6 أعلى دقة (88.4%)، يليه Claude Sonnet 4.6 (86.7%). ومن الملاحظ أن النموذج مفتوح الأوزان Kimi K2.6 جاء في المرتبة الثالثة (83.5%)، متفوقاً على المرجع البشري. كما احتلت النماذج غير القائمة على الاستنتاج (non-reasoning) مثل GLM 5 (82.0%) وMistral 3 (81.3%) المراكز الخمسة الأولى، مما يتحدى الافتراض بأن بنيات الاستنتاج هي شرط مسبق للفهم المالي القوي.
الهلوسة مقابل الدقة: حافظ نموذج Google's Gemini 2.5 Pro على أدنى معدل هلوسة (0.08%)، وهو أقل بكثير من المرجع البشري، لكنه احتل المرتبة 13 في الدقة (76.6%). وعلى العكس من ذلك، سجل Mistral 3 معدل هلوسة مرتفعاً (13.0%) رغم دقته الجيدة. برز Kimi K2.6 كتوازن قوي، حيث احتل المرتبة الثالثة في الدقة مع معدل هلوسة منخفض (0.13%).
مصادر الخطأ: لا يزال استرجاع المعلومات هو العائق الرئيسي، حيث يمثل 48.9% من جميع حالات الفشل. وشكلت أخطاء فهم النموذج 44.7%، بينما شكلت الهلوسات المستقلة 9.1%. عندما يفشل الاسترجاع، تنخفض الدقة عبر جميع النماذج بشكل حاد من 77.9% إلى 12.0%.
تصفية المحتوى: وثّقت دراسة جديدة أن النماذج الصينية تظهر مرشحات محتوى جيوسياسية ترفض الأسئلة المالية المشروعة. عبر 23,736 محاولة، استمر وجود 18 حالة رفض (0.08%) في بيانات الاختبار المعياري. تم تحفيز حالات الرفض بسبب ذكر قادة سياسيين صينيين (مثل تقارير Kweichow Moutai)، أو احتجاجات هونج كونج، أو البنوك المملوكة للدولة. ومن المهم ملاحظة أن سلوك الرفض كان يعتمد على مسار التوجيه (route-dependent): حيث تم الإجابة على طلبات متطابقة عند توجيهها عبر بروكسي طرف ثالث، بينما رُفضت عند استخدام استدعاءات API الأصلية.
الأهمية والادعاءات يدعي البحث حدوث ثلاثة تحولات جوهرية في مشهد الذكاء الاصطناعي المالي:
تنافسية النماذج مفتوحة الأوزان: سدت النماذج مفتوحة الأوزان، وخاصة تلك القادمة من المختبرات الصينية، الفجوة مع النماذج الرائدة المملوكة في فهم النصوص المالية، حيث تفوق بعضها (Kimi K2.6، وGLM 5) على النماذج الاستنتاجية الراسخة.
الاستنتاج مقابل عدم الاستنتاج: ضعفت العلاقة بين بنية "الاستنتاج" والأداء المالي. فالنماذج غير الاستنتاجية (Mistral 3، وGPT-4o) والنماذج مفتوحة الأوزان تنافس، أو تتفوق على، النماذج المخصصة للاستنتاج (مثل Magistral، وGrok 4) في هذه المهمة المحددة.
مخاطر النشر: تحدد الدراسة تصفية المحتوى في النماذج الصينية كمخاطر نشر ملموسة للتحليل المالي العالمي، حيث قد يتم حظر استعلامات مشروعة تتعلق بجهات أو كيانات معينة بناءً على محفزات جيوسياسية، وهو سلوك يختلف باختلاف مسار الوصول.
يخلص المؤلف إلى أنه بينما تحسنت قدرات توليد النماذج، فإن عنق زجاجة الاسترجاع يظل العائق الأكبر أمام الذكاء الاصطناعي المالي عالي الدقة. ويقترح أن تحسين بنية RAG (على سبيل المثال، عبر GraphRAG) يوفر إمكانات أكبر لتحقيق مكاسب في الأداء مقارنة بمجرد استبدال المولدات (generators). وقد تم إصدار مجموعة البيانات وإطار التقييم علنًا لدعم قابلية التكرار.