When Tables Go Crazy: Evaluating Multimodal Models on French Financial Documents
تقدم هذه الورقة البحثية "Multimodal Finance Eval"، وهو أول معيار لتقييم فهم المستندات المالية باللغة الفرنسية، والذي يكشف أنه بينما تبرع النماذج اللغوية البصرية الحالية في استخراج النصوص والجداول، فإنها تعاني بشكل كبير في تفسير الرسوم البيانية وتعاني من انتشار الأخطاء في الاستدلال الحواري متعدد الأدوار.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك فريقاً من الروبوتات الذكية جداً والسريعة للغاية. هذه الروبوتات خبراء في قراءة الكتب والنظر إلى الصور؛ يمكنها أن تخبرك عن ماذا تدور القصة أو تصف لك صورة في ثوانٍ معدودة.
الآن، تخيل أنك وظفت هذه الروبوتات ليكونوا مستشارين ماليين لبنك فرنسي. مهمتهم هي قراءة آلاف الصفحات من الوثائق الاستثمارية المملة والمعقدة (مثل نشرات الإصدار) المليئة بالنصوص القانونية، والجداول الضخمة، والرسوم البيانية الملونة. وسيتعين عليهم الإجابة على أسئلة مثل: "كم تبلغ تكلفة الانضمام لهذا الصندوق؟" أو "ماذا يحدث إذا انخفضت السوق؟"
الورقة البحثية التي شاركتها هي في الأساس شهادة تقييم لهذه الروبوتات. لقد صمم الباحثون اختباراً خاصاً يسمى MULTIMODAL FINANCE EVAL ليروا ما إذا كانت هذه الروبوتات مستعدة حقاً للوظيفة، أم أنها مجرد مدعية.
إليك تفاصيل ما وجدوه، باستخدام بعض التشبيهات من الحياة اليومية:
1. الاختبار: "مضمار عقبات مالي"
لم يكتفِ الباحثون بطرح أسئلة بسيطة على الروبوتات، بل أنشأوا مضمار عقبات ضخم يتكون من 1,204 سؤالاً بناءً على وثائق مالية فرنسية حقيقية.
- النص: فقرات قانونية طويلة وكثيفة (مثل قراءة كتاب قواعد مكون من 500 صفحة).
- الجداول: شبكات معقدة من الأرقام (مثل ورقة "إكسل" عملاقة).
- الرسوم البيانية: رسوم توضيحية بصرية تظهر الاتجاهات (مثل خط سوق الأسهم وهو يصعد وينخفض).
- المحادثة: دردشة ذهاباً وإياباً حيث يتعين على الروبوت تذكر ما قاله قبل خمس دقائق.
2. النتائج: مشكلة "الحصان الذي يمتلك مهارة واحدة فقط"
أبلت الروبوتات بلاءً حسناً بشكل مفاجئ في بعض المجالات، لكنها فشلت فشلاً ذريعاً في مجالات أخرى.
- قراءة النص (وضع "دودة الكتب"): 🌟 رائع!
عندما كان السؤال يتعلق فقط بقراءة جملة، كانت الروبوتات مثل أمناء مكتبات فائقين السرعة. لقد أجابوا على حوالي 90% من الأسções بشكل صحيح. إذا سألتهم: "ما هي رسوم الدخول؟"، يمكنهم العثور عليها فوراً. - قراءة الجداول (وضع "المحاسب"): 📊 جيد جداً.
عندما كانت البيانات في شبكة مرتبة، أدت الروبوتات بشكل جيد (حوالي 85%). استطاعوا النظر في صف وعمود والعثور على الرقم الصحيح. - قراءة الرسوم البيانية (وضع "الفنان"): 🎨 سيء للغاية.
هنا أصبح الأمر غريباً. عندما كانت المعلومات في رسم بياني أو صورة، ارتبكت الروبوتات. انخفضت دقتها لتتراوح بين 34% و62%.- التشبيه: تخيل أنك تظهر لروبوت صورة لسلسلة جبال وتسأله: "أي قمة هي الأعلى؟". قد يخمن الروبوت فقط لأنه جيد في قراءة الكلمات، لكنه سيء في "رؤية" شكل الجبل. إنه يواجه صعوبة في فهم أن الخط المتجه للأعلى يعني "جيد" والخط المتجه للأسفل يعني "سيء".
3. الكارثة الكبرى: "تأثير الدومينو"
الجزء الأكثر صدمة في الورقة هو ما حدث عندما جعلوا الروبوتات تخوض محادثة.
- السيناريو: تسأل الروبوت سؤالاً، فيجيب. ثم تطرح عليه سؤالاً لاحقاً يعتمد على إجابته الأولى.
- المشكلة: إذا ارتكب الروبوت خطأً صغيراً واحداً في الإجابة الأولى، فإنه يعلق. يحاول بناء الإجابة التالية بناءً على تلك الحقيقة الخاطئة.
- النتيجة: تنهار الدقة لتصل إلى حوالي 50% (أي أنها تصبح كرمية العملة المعدنية تقريباً).
- التشبيه: تخيل لعبة "الهاتف المكسور" (Telephone). إذا همس الشخص الأول بالكلمة الخاطئة، فإن السلسلة بأكملها ستفسد. حتى لو أعطيت الروبوت دماغاً أكبر (المزيد من "المعلمات" أو الذكاء)، فإن ذلك لا يساعد. الروبوت فائق الذكاء معرض تماماً للوقوع في حلقة من الإجابات الخاطئة تماماً مثل الروبوت الأصغر. بمجرد أن يتعثر، لا يستطيع النهوض مجدداً.
4. لماذا يهم هذا؟
وجد الباحثون أنه بينما تعد نماذج الذكاء الاصطنا هذه مذهلة في إيجاد المعلومات (مثل محرك البحث)، إلا أنها هشة للغاية عندما يتعين عليها التفكير عبر مشكلة معقدة خطوة بخلاف أخرى، خاصة عندما يتعلق الأمر بالصور والمحادثات.
- الأخبار الجيدة: يمكننا الوثوق بها للعثور على رقم محدد في وثيقة بسرعة.
- الأخبار السيئة: لا يمكننا الوثوق بها للقيام بدور مستشار مالي في دردشة مباشرة. إذا ارتكبت خطأً واحداً صغيراً، فقد تعطيك نصيحة مالية سيئة للغاية، ولن تعرف أنها مخطئة.
الخلاصة
خلصت الورقة إلى أنه لا ينبغي لنا مجرد الاستمرار في جعل هذه الروبوتات "أكبر" (بإضافة المزيد من القدرات الذهنية). بدلاً من ذلك، نحتاج إلى تعليمها كيفية مراجعة عملها، وكيفية فهم الصور بشكل أفضل، وكيفية التعافي عندما ترتكب خطأً. وحتى ذلك الحين، فإن استخدامها لتقديم نصائح مالية عالية المخاطر يشبه السماح لطفل صغير بقيادة سيارة سباق: قد يكون سريعاً، لكنه ليس مستعداً للمضمار.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.