Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval

تخيل أنك تحاول حل لغز صعب، ولكن بدلاً من الاعتماد فقط على عقلك، لديك مكتبة ضخمة من الكتب المرجعية بجانبك مباشرة. هذا هو عالم التوليد المعزز بالاسترجاع (RAG). فكر في الأمر كطالب يؤدي اختباراً ويُسمح له بالبحث عن الحقائق في كتاب مدرسي قبل الإجابة. عادةً ما تكون أجهزة الكمبيوتر بارعة في هذا إذا كانت الأسئلة باللغة الإنجليزية، لكن الأمور تصبح فوضوية عندما تكون الأسئلة بالإسبانية أو اليونانية أو الهندية. قد تكون "المكتبة" مليئة بالكتب الإنجليزية ولكنها فارغة للغات أخرى، وقد لا يعرف الطالب كيف يقرأ الكتب الأجنبية حتى لو وجدها.

يتناول هذا البحث نسخة محددة للغاية وعالية المخاطر من هذه المشكلة: اختبارات الشهادات المالية. هذه ليست مجرد أسئلة عامة؛ بل هي اختبارات معقدة للحصول على شهادة محلل مالي معتمد أو محاسب، وتتطلب منطقاً عميقاً حول المال والقوانين وقواعد المحاسبة. السؤال الكبير الذي يطرحه المؤلفون هو: هل يمكننا بناء نظام كمبيوتر يجتاز هذه الاختبارات المالية الصعبة بخمس لغات مختلفة (الإنجليزية والإسبانية واليونانية والصينية والهندية) بنفس جودة أدائه باللغة الإنجليزية؟ الإجابة مهمة لأن التمويل عالمي، لكن معظم عقول الكمبيوتر تم تدريبها بشكل أساسي على الإنجليزية، مما يترك فجوات هائلة في كيفية تعاملها مع المصطلحات المالية بلغات أخرى.

تجربة الفريق الكبرى: محقق متعدد اللغات ذكي

قام الباحثون من جامعة جورجيا التقنية، الذين أطلقوا على فريقهم اسم DS@GT، ببناء نظام محقق رقمي لحل أسئلة الاختبارات المالية هذه. وبدلاً من مجرد التخمين، يتبع نظامهم عملية صارمة مكونة من ثلاث خطوات، يطلقون عليها اسم "خط الإنتاج" (pipeline).

الخطوة 1: محقق اللغة
أولاً، ينظر النظام إلى السؤال ويسأل: "ما هي هذه اللغة؟" إنه يشبه حارس النادي الذي يتحقق من بطاقات الهوية. إذا كان السؤال باليونانية، فإن النظام يعرف أنه يحتاج إلى سحب كتب من "القسم اليوناني" في مكتبته. وإذا كانت المكتبة فارغة لتلك اللغة (وهو ما يحدث مع اللغات الأصغر مثل اليونانية أو الهندية)، فإنه يسحب كتباً من "القسم العالمي" التي قد تحتوي على أفكار مشابهة، حتى لو كانت بلغة مختلفة. لقد استخدموا أداة خاصة تسمى BGE-M3 لترجمة معنى الأسئلة إلى رمز عالمي حتى يتمكن النظام من العثور على الأمثلة ذات الصلة، حتى عبر الحواجز اللغوية.

الخطوة 2: موجه النموذج (العقل اليمين للمهمة المناسبة)
هنا اكتشف الفريق شيئاً مفاجئاً. لم يستخدموا مجرد عقل كمبيوتر واحد ضخم لكل شيء. فقد اكتشفوا أن عقول الكمبيوتر المختلفة أفضل في لغات مختلفة.

• بالنسبة لـ الإنجليزية، استخدموا نموذجاً يسمى Qwen2.5-14B.
• بالنسبة لـ اليونانية، وجدوا بشكل مفاجئ أن نموذجاً أصغر، وهو Llama-3.1-8B، كان هو النجم الحقيقي، حيث تفوق على النماذج الأكبر بفارق هائل (حوالي 19.5 نقطة مئوية!).
• بالنسبة لـ الصينية والهندية والعربية، استخدموا Qwen3-14B.

لو أنهم استخدموا فقط "أفضل" نموذج للجميع، لفشل النظام فشلاً ذريعاً في الإنجليزية واليونانية. الأمر يشبه إدراك أن عداء الماراثون رائع في المسافات الطويلة، لكنك لن تريده أن يلعب الشطرنج؛ بل تحتاج إلى متخصص مختلف لكل مهمة.

الخطوة 3: المُقيّم (لا مزيد من ألعاب التخمين)
عادةً عندما تجيب أجهزة الكمبيوتر على الأسئلة، فإنها تحاول "كتابة" الإجابة، مثل "الإجابة هي ج". وغالباً ما يؤدي هذا إلى أخطاء حيث يكتب الكمبيوتر فقرة طويلة ثم ينسى ذكر الحرف الذي اختاره. استخدم فريق DS@GT حيلة ذكية تسمى التقييم المباشر المعزز بالاسترجاع (RADS). بدلاً من كتابة الإجابة، يقوم النظام ببساطة بالتحقق من الرياضيات: "ما مدى احتمالية أن تكون الكلمة التالية هي 'أ'؟ ما مدى احتمالية أن تكون 'ب'؟ ما مدى احتمالية أن تكون 'ج'؟" ثم يختار الحرف صاحب أعلى درجة رياضية. هذه الطريقة تشبه اختبار الاختيار من متعدد حيث لا يحتاج الكمبيوتر لكتابة مقال؛ بل يكتفي فقط بتظليل الدائرة الصحيحة. لقد قضت هذه الطريقة على جميع "فشلات التحليل" (الأخطاء في قراءة إجابة الكمبيوتر الخاصة به)، محققة نسبة نجاح 100% في الأسئلة الصينية حيث عانت الطرق الأخرى.

الاكتشافات المفاجئة

أجرى الفريق آلاف الاختبارات ووجدوا بعض القواعد التي كسرت الأفكار المعتادة حول كيفية عمل الذكاء الاصطعي:

1. التفكير الزائد قد يكون سيئاً: بالنسبة لمعظم الناس، يساعد "سلسلة الأفكار" (Chain-of-Thought) (أي طلب شرح استنتاجات الذكاء الاصطناعي خطوة بخطوة). لكن بالنسبة للأسئلة اليونانية، أدى ذلك في الواقع إلى تدمير الأداء. انخفضت الدقة من 90.7% الرائعة إلى 20.9% سيئة للغاية. اتضح أنه بالنسبة لهذه الأسئلة اليونانية المحددة، والتي تتعلق بتصنيف الحقائق أكثر من حل المسائل الرياضية، فإن جعل الذكاء الاصطناعي "يفكر بصوت عالٍ" قد أربكه؛ حيث بدأ في كتابة قصص بدلاً من اختيار الفئة الصحيحة.
2. فخ "وضع التفكير": يحتوي نموذج Qwen3 على إعداد افتراضي حيث يكتب قسماً لـ "التفكير" قبل الإجابة. وجد الفريق أنه إذا تركوا هذا الوضع مفعلاً، فإن قدرة النظام على اختيار الحرف الصحيح (RADS) انهارت لتصل إلى مستوى التخمين العشوائي تقريباً بالنسبة للغة العربية. كان عليهم إيقاف "وضع التفكير" هذا يدوياً ليعمل النظام.
3. الترجمة هي فخ: حاولوا ترجمة الأسئلة من لغات أخرى إلى الإنجليزية، وحلها، ثم ترجمتها مرة أخرى. كانت هذه النتيجة كارثية. فقدت الترجمة تفاصيل مالية مهمة، وانخفضت الدرجات بنسبة تقارب 20 نقطة مئوية مقارنة بحلها باللغة الأصلية.
4. البيانات مهمة، لكن النماذج أهم: بالنسبة لـ الهندية، ساعدت إضافة المزيد من الأمثلة الهندية الأصلية إلى مكتبتهم، ولكن بنسبة ضئيلة فقط (حوالي 1 بالمائة). ومع ذلك، كانت الفجوة بين نظامهم وأعلى ذكاء اصطناعي تجاري (Claude Opus 4.7) ضخمة (17 نقطة مئوية). وهذا يشير إلى أنه بالنسبة للغات ذات الموارد المنخفضة، فإن المشكلة ليست فقط في امتلاك المزيد من الكتب في المكتبة؛ بل في أن عقل الكمبيوتر نفسه يحتاج إلى تدريب أعمق على تلك المصطلحات المالية الخاصة بتلك اللغة.

لوحة النتائج النهائية

عندما قدم الفريق نظامه إلى مسابقة FinMMEval 2026 الرسمية، حقق نتائج جيدة، حيث احتل المراكز العشرة الأولى في معظم اللغات.

• العربية: 76.0% (المركز العاشر)
• الهندية: 73.5% (المركز السابع)
• الإنجليزية: 69.5% (المركز التاسع)
• الصينية: 64.5% (المركز التاسع)

على الرغم من أنهم لم يفوزوا بالمركز الأول (حققت الفرق الأولى أكثر من 90%)، إلا أن عملهم أثبت درساً حيوياً: الحجم الواحد لا يناسب الجميع. لبناء ذكاء اصطناعي مالي ذكي يعمل عالمياً، لا يمكنك استخدام نموذج واحد واستراتيجية واحدة. أنت بحاجة إلى توجيه اللغات المختلفة إلى نماذج مختلفة، واختيار استراتيجيات تفكير مختلفة بناءً على المهمة، وتقييم الإجابات رياضياً بدلاً من كتابتها. إن مستقبل الذكاء الاصطناعي المالي العالمي ليس متعلقاً بعقل خارق واحد؛ بل يتعلق بفريق من المتخصصين، يتحدث كل منهم اللغة الصحيحة ويستخدم الأدوات المناسبة.