Confidence Estimation for Financial Vision-Language Models in Chart and Document Understanding

تخيل أنك قبطان سفينة فضائية، ولكن بدلاً من التوجيه عبر النجوم، أنت تبحر في بحر من الرسوم البيانية المالية، وجداول الأسهم، والوثائق المعقدة. لديك مساعد آلي ذكي وسريع جداً (ذكاء اصطناعي)، يمكنه قراءة هذه الوثائق والإجابة على أسئلتك. هذا الروبوت بارع في رصد الأنماط، لكنه أحياناً يصبح مفرط الثقة في نفسه. قد ينظر إلى ورقة بيضاء ويخبرك بثقة بسعر سهم ما، أو قد يقرأ رسماً بيانياً ويخطئ في الرقم بينما يبدو واثقاً تماماً. في عالم المال، لا يعتبر الخطأ في رقم مجرد خطأ بسيط؛ بل قد يكلف ملايين الدولارات. لذا، السؤال الكبير ليس فقط "هل الروبوت ذكي؟" بل "هل يمكننا الوثوق بما يقوله الآن؟"

لحل هذه المشكلة، يقوم العلماء بتعليم الروبوتات إعطاء نفسها "درجة ثقة" — وهو رقم من 0 إلى 1 يقول: "أنا متأكد تماماً مما أقول" أو "أنا مجرد أخمن". فكر في الأمر كأنه توقعات الطقس. إذا قال خبير الأرصاد الجوية إن هناك احتمال 90% لهطول الأمطار، فأنت تأخذ مظلة معك. وإذا قال 10%، فأنت تتركها في المنزل. ولكن ماذا لو كان خبير الأرصاد الجوية كاذباً ويقول دائماً "90%" بغض النظر عن شكل السماء؟ ستتبلل حتماً. تتحدث هذه الورقة عما إذا كانت مساعدي الروبوت الماليين هم خبراء أرصاد جوية صادقون أم مجرد كاذبين واثقين. أراد الباحثون معرفة ما إذا كانت الأدوات التي نستخدمها للتحقق من ثقة الروبوت تعمل عندما ينظر الروبوت إلى رسوم بيانية مالية معقدة لم يسبق له رؤيتها، بدلاً من مجرد صور عادية لقطط وكلاب.

اختبار "الحدس" لدى الروبوت

قام الباحثون بإعداد تجربة ضخمة لاختبار سبعة طرق مختلفة للتحقق مما إذا كان الذكاء الاصطناعي يقول الحقيقة. استخدموا خمسة نماذج مختلفة من الذكاء الاصطناعي "الذكي" وطلبوا منها حل مشكلات من ثلاث بنوك اختبار مالية مختلفة. تضمنت هذه الاختبارات قراءة رسوم بيانية للأسهم، وتحليل تقارير الشركات، وحتى الإجابة على أسئلة باللغتين الإنجليزية والصينية. العقبة كانت؟ الأدوات المستخدمة للتحقق من ثقة الذكاء الاصطناعي تم تدريبها فقط على صور عادية ويومية (مثل قطة تجلس على حصيرة) ثم أُلقي بها مباشرة في أعماق التمويل دون أي تدريب إضافي. كان الأمر أشبه بأخذ منقذ تدرب فقط في مسبح هادئ وطلب منه إنقاذ أشخاص في محيط هائج.

اكتشف الفريق ثلاثة أمور كبيرة، وهي بمثابة جرس إنذار لأي شخص يأمل في ترك الذكاء الاصطناعي يدير الأمور بمفرده.

1. كونك جيداً في "التصنيف" ليس كافياً؛ يجب أن تكون "صادقاً"
الاكتشاف الأول هو أن العديد من الأدوات المستخدمة للتحقق من الثقة جيدة في فرز الإجابات من "أفضل تخمين" إلى "أسوأ تخمين"، لكنها سيئة جداً في كونها صادقة بشأن مدى تأكدها. تخيل طالباً يؤدي اختباراً. أداة "التصنيف" قد تقول: "هذه الإجابة أفضل من تلك"، لكنها قد تعطي كلتا الإجابتين درجة ثقة 100%، حتى لو كان الطالب يخمن فقط. وجد الباحثون أن الطرق القياسية وسهلة الاستخدام كانت مفرطة الثقة بشكل جامح. فقد كانت تعطي إجابة خاطئة درجة ثقة 90% بنفس وتيرة الإجابة الصحيحة تقريباً. هذا أمر خطير، لأنه إذا وضعت قاعدة لـ "الثقة فقط في الإجابات التي تزيد عن 80%"، فستظل تثق في الكثير من الإجابات الخاطئة.

ومع ذلك، فإن أداتين خاصتين (تسمى "المجسات" أو Probes) اللتين تنظران داخل دماغ الذكاء الاصطناعي كانتا أفضل بكثير. لقد كانت هاتان الأداتان "معايرتين"، بمعنى أنه إذا قالتا إنهما متأكدتان بنسبة 80%، فإنهما ستكونان على صواب بنسبة 80% من الوقت فعلياً. كانت هاتان هما الأداتان الوحيدتان اللتان يمكن الوثوق بهما لرسم خط آمن بين "الأتمتة" و"طلب تدخل بشري".

2. لا يوجد حل "واحد يناسب الجميع"
الاكتشاف الثاني هو أنه لا يمكنك اختيار أداة واحدة "أفضل" واستخدامها للأبد. فالأداة الأفضل تتغير بناءً على ما يفعله الذكاء الاصطناعي وأي نموذج ذكاء اصطناعي تستخدمه. الأمر يشبه محاولة العثور على أفضل أداة في صندوق العدة: المطرقة رائعة للمسامير، لكنها سيئة جداً للبراغي.

• عندما كان الذكاء الاصطناعي ينظر إلى رسوم بيانية بسيطة، نجحت أداة واحدة بشكل أفضل.
• عندما كان يقرأ وثائق معقدة، كانت أداة أخرى أفضل.
• عندما كانت المهمة باللغة الصينية، تغيرت التصنيفات مرة أخرى.

وجد الباحثون أنه لا توجد أداة واحدة فازت في أكثر من 8 من أصل 20 سيناريو مختلفاً. وهذا يعني أنه إذا نظرت إلى قائمة متصدرين عامة واخترت الأداة "الأفضل"، فمن المرجح أن تختار الأداة الخاطئة لمهمتك المحددة. موثوقية الذكاء الاصطناعي ليست خاصية عالمية؛ بل هي محلية ومتغيرة.

3. مستوى مهارة الذكاء الاصطناعي يحدد الحد الأقصى
الاكتشاف الثالث يتعلق بمقدار العمل الذي يمكنك بالفعل تفويضه للروبوت. سأل الباحثون: "كم عدد الأسئلة التي يمكننا ترك الروبوت يجيب عليها تلقائياً قبل أن نتوقف ونقوم بالتحقق من البقية؟" وجدوا أن الإجابة تعتمد بشكل أساسي على مدى ذكاء الروبوت منذ البداية.

• في المهام الأسهل (مثل قراءة رسم بياني بسيط)، استطاع الروبوت التعامل مع جزء جيد من العمل إذا استخدمت أداة الثقة المناسبة.
• في المهام الأصعب (مثل الوثائق المالية المعقدة)، كان الروبوت يخطئ كثيراً لدرجة أنه حتى أفضل أداة للثقة لم تستطع إنقاذه. نسبة الأتمتة "الآمنة" كانت تقتر un صفر.

لقد اتضح أن أداة الثقة لا تجعل الروبوت السيئ جيداً؛ بل تساعدك فقط في معرفة متى يكون الروبوت سيئاً. تضيف الأداة قيمة فقط عندما يعاني الروبوت، وذلك من خلال مساعدتك في رصد الأخطاء. ولكن إذا كان الروبوت يفشل في نصف المرات بالفعل، فلا يوجد قدر من فحص الثقة يمكن أن يجعله آمناً للعمل بمفرده.

الأداة "السحرية" التي تكتشف الكذب

إحدى الأدوات الأكثر إثارة للاهتمام التي اختبرها الباحثون كانت تسمى BICR. تمتلك هذه الأداة خدعة خاصة: يمكنها معرفة ما إذا كان الذكاء الاصطناعي يتجاهل الصورة ويقوم فقط بابتكار أشياء بناءً على ما يعرفه من تدريبه.
تخيل أن الذكاء الاصطناعي سُئل: "ما هي أعلى نقطة في هذا الرسم البياني؟". إذا كان الذكاء الاصطناعي ينتبه، فإنه ينظر إلى الرسم البياني. أما إذا كان يتجاهل الرسم، فقد يخمن رقماً بناءً على المنطق العام. أداة BICR يمكنها اكتشاف متى يتجاهل الذكاء الاصطناعي الرسم البياني. عندما يحاول الذكاء الاصطناعي الإجابة دون النظر إلى الرسم، تقوم BICR بخفض درجة الثقة. إنه يشبه جهاز كشف الكذب الذي يعرف متى يقوم الروبوت بتقديم إجابة "منمقة" بالكلمات بدلاً من استخدام البيانات الفعلية. هذا أمر بالغ الأهمية لأن أخطر خطأ يمكن أن يرتكبه الذكاء الاصطناعي في التمويل هو تقديم إجابة بليغة وتبدو واثقة ولكن ليس لها علاقة بالأرقام الفعلية.

الخلاصة

تخلص الورقة إلى أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، إلا أننا لسنا مستعدين لجعله يقود الطائرة بمفرده بعد. نماذج الذكاء الاصطناوي الخمسة التي تم اختبارها ليست موثوقة بما يكفي للتعامل مع الرسوم البيانية والوثائق المالية بمفردها وفقاً لمعايير السلامة العالية المطلوبة في التمويل.

النهج الأفضل في الوقت الحالي هو نظام "بوابة الثقة" (confidence-gated system). وهذا يعني أن الذكاء الاصطناعي يمكنه القيام بالعمل السهل، ولكن يجب أن يكون هناك "بشر في الحلقة" (human in the loop) للتحقق من الأمور الصعبة. يجب السماح للذكاء الاصطناعي بالتصرف فقط عندما تكون درجة ثقته عالية و تكون الأداة التي تتحقق منه معايرة (صادقة). إذا قالت الأداة: "أنا لست متأكدة"، أو "الذكاء الاصطناعي يتجاهل الرسم البياني"، فيجب تصعيد الإجابة إلى خبير بشري.

باختصار، الذكاء الاصطناعي هو متدرب سريع جداً وواثق جداً. يمكنه القيام بالكثير من الأعمال الشاقة، ولكنك تحتاج إلى مشرف يعرف كيفية قراءة مقياس ثقة المتدرب للتأكد من أنه لن يرسل بالخطأ مليون دولار إلى الحساب الخاطئ. الأدوات للقيام بذلك موجودة، ولكن يجب اختيارها بعناية لكل مهمة محددة، ولا يمكنها إصلاح روبوت ليس ذكياً بما يكفي للمهمة.