BEAR-Bench: A Bilingual Enterprise and Academic Reasoning Benchmark for Multimodal Models
تقدم هذه الورقة البحثية BEAR-Bench، وهو معيار تقييم ثنائي اللغة (الإنجليزية-الروسية) يتكون من 1,000 سؤال تم تصنيفها بشرياً بناءً على وثائق مؤسسية وأكاديمية غنية بالنصوص لتقييم قدرات الاستدلال المعقدة وموثوقية كشف الهلوسة للنماذج اللغوية الكبيرة متعددة الوسائط، مما يكشف عن فجوات أداء كبيرة حتى بين الأنظمة الأكثر تطوراً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الحديث، أصبحت الحواسيب بارعة بشكل ملحوظ في النظر إلى الصور وقراءة الكلمات الموجودة داخلها. إذا عرضت على آلة صورة لافتة شارع، يمكنها إخبارك بما تقوله اللافتة. وإذا عرضت عليها رسماً بيانياً من تقرير إخباري، يمكنها غالباً وصف الاتجاه الذي يسلكه الخط. هذه القدرة، المعروفة باسم الفهم متعدد الوسائط، تجمع بين الرؤية واللغة في مهارة واحدة. لفترة طويلة، كان التحدي يكمن ببساطة في جعل الآلة تقرأ النص بوضوح. لكن الخطوة التالية، الأكثر صعوبة، هي الاستنتاج. وهذا هو القدرة على النظر في وثيقة معقدة، وإيجاد عدة قطع مختلفة من المعلومات المبعثرة عبر صفحة، وربطها للإجابة على سؤال غير مكتوب في أي مكان. تخيل تقريراً مالياً مليئاً بالجداول والرسوم البيانية وفقرات النصوص. يمكن لخبير بشري أن ينظر إلى رقم في جدول، ويقارنه باتجاه في رسم بياني، ثم يقرأ جملة في النص لفهم سبب تغير تلك الأرقام. تعليم حاسوب القيام بهذا النوع من التفكير نفسه، خاصة عندما تكون الوثيقة كثيفة بالمعلومات ومكتوبة بلغات أخرى غير الإنجليزية، ظل يمثل حدوداً صعبة.
لقد اتخذ فريق من الباحثين من "Yandex" ومعهد الذكاء الاصطناعي التطبيقي خطوة كبيرة نحو حل هذه المشكلة من خلال إنشاء اختبار جديد مصمم خصيصاً لهذا النوع من التفكير المعقد. هم يسمون ابتكارهم BEAR-Bench. وعلى عكس الاختبارات السابقة التي ركزت على القراءة البسيطة أو تطلبت من الحاسوب معرفة حقائق خارجية، يطلب هذا المعيار الجديد من الآلات حل المشكلات باستخدام المعلومات الموجودة فقط في صفحة واحدة من الوثيقة. الاختبار ثنائي اللغة، حيث يتميز بكل من الإنجليزية والروسية، وهو خيار يسلط الضوء على فجوة في التكنولوجيا الحالية حيث تعاني الآلات غالباً مع اللغات الأخرى غير الإنجليزية أو الصينية. جمع الباحثون ألف وثيقة من العالم الحقيقي، تتراوح بين التقارير المالية للشركات وعروض المستثمرين والأوراق العلمية الأكاديمية. هذه الصفحات ليست بسيطة؛ فهي مزدحمة بالنصوص، والجداول، والرسوم البيانية، والمخططات، والمعادلات الرياضية.
لبناء هذا الاختبار، لم يطلب الباحثون من الحواسيب مجرد توليد أسئلة، بل استعانوا بثلاثة عشر خبيراً بشرياً، لكل منهم درجة علمية في مجال تقني، لكتابة الأسئلة والأجوبة يدوياً. بالنسبة لكل صورة صفحة، كان على الخبير إنشاء سؤال يتطلب خطوات متعددة للحل. على سبيل المثال، قد يطلب السؤال من الحاسوب العثور على قيمة محددة في جدول، والنظر في رسم بياني ذي صلة لمعرفة كيف تغيرت تلك القيمة بمرور الوقت، ثم قراءة جملة في النص لتفسير سبب ذلك التغيير. لم يكن مسموحاً للحاسوب باستخدام أي معرفة خارجية؛ كان عليه إيجاد الإجابة تماماً داخل الصورة المقدمة. وقد ضمن هذا أن يقيس الاختبار قدرة الآلة على الاستنتاج من الوثيقة التي أمامها، بدلاً من قدرتها على حفظ الحقائق من الإنترنت. كما قام الباحثون بتصفية الوثائق بعناية لضمان احتوائها على ما يكفي من التعقيد البصري، مثل المخططات والمعادلات، لجعل المهمة تحدياً.
عندما وضع الباحثون ستة عشر نموذجاً مختلفاً من الذكاء الاصطناعي تحت هذا الاختبار، كشفت النتائج صورة واضحة لمكان وقوف التكنولوجيا اليوم. النماذج الأفضل أداءً، وهي الأنظمة الأكثر تقدماً المتاحة حالياً، تمكنت من الإجابة على حوالي خمسة وسبعين بالمائة من الأسئلة بشكل صحيح. ورغم أن هذا قد يبدو مثيراً للإعجاب، إلا أنه يعني أيضاً أن حتى أذكى الآلات لا تزال ترتكب أخطاء في حوالي سؤال واحد من كل أربعة أسئلة. ووجدت الدراسة أن هذه النماذج تؤدي بشكل أسوأ بشكل ملحوظ عندما تكون الوثائق باللغة الروسية مقارنة بالإنجليزية، مما يؤكد أن اللغة تظل عائقاً كبيراً. علاوة على ذلك، كان نوع الوثيقة مهماً؛ إذ تميل النماذج إلى المعاناة أكثر مع تقارير الأعمال مقارنة بالأوراق العلمية، وواجهت مشكلة خاصة عندما تتطلب الأسئلة منها عد الأشياء أو دمج المعلومات من أجزاء مختلفة من الصفحة.
نظر الباحثون أيضاً عن كثب في أسباب فشل الآلات. ووجدوا أن الأخطاء الأكثر شيوعاً لم تكن ناتجة عن نقص في المنطق، بل عن مشاكل إدراكية بسيطة. فغالباً ما كانت الحواسيب تخطئ في قراءة رقم في جدول، أو تفشل في ملاحظة تسمية محددة على رسم بياني، أو ترتبك بشأن الاتجاه الذي يشير إليه سهم في مخطط. وبمجرد أن تخطئ الآلة في قراءة تفصيل بصري واحد، فإن بقية استنتاجها ينهار. وهذا يشير إلى أنه قبل أن تصبح هذه الأنظمة خبراء حقيقيين في تحليل الوثائق، يجب أن تصبح أفضل بكثير في رؤية التفاصيل الصغيرة بوضوح.
بعيداً عن مجرد اختبار النماذج، استخدم الباحثون النتائج لمعرفة ما إذا كانت هناك طريقة لتحديد متى يرتكب الحاسوب خطأً. في العديد من المواقف الواقعية، لا يكفي معرفة أن الحاسوب قد يكون مخطئاً؛ بل تحتاج إلى طريقة لاكتشاف ذلك الخطأ قبل أن يسبب ضرراً. اختبر الفريق عدة طرق مختلفة لرصد هذه الأخطاء. ووجدوا أنه بالنسبة للأنظمة المغلقة والمملوكة لجهات معينة حيث لا يمكنهم رؤية العمليات الداخلية، فإن أفضل طريقة لاكتشاف الخطأ كانت استخدام نموذج ذكاء اصطناعي قوي آخر ليعمل كـ "حكم" ويتحقق من الإجابة. أما بالنسبة للأنظمة المفتوحة حيث يمكنهم النظر داخل الكود، فقد وجدوا أن التحقق من إشارات الثقة الداخلية للحاسوب يعمل جيداً للإجابات القصيرة، ولكنه يواجه صعوبة عندما ينتج الحاسوب تفسيرات طويلة ومفصلة للغاية. وتخلص الدراسة إلى أنه بينما نحرز تقدماً، إلا أننا لا نملك بعد طريقة مثالية لالتقاط كل خطأ، وأن أفضل الأنظمة لا تزال تترك مجالاً واسعاً للتحسين.
هذا العمل مهم لأنه ينقل النقاش إلى ما وراء القراءة البسيطة. فهو يوضح أنه بينما تستطيع الآلات قراءة النص، إلا أنها لا تزال تتعلم كيفية التفكير به. ومن خلال إنشاء اختبار صعب، وثنائي اللغة، ومركز على وثائق حقيقية، قدم الباحثون خريطة واضحة لمواطن القوة والضعف في التكنولوجيا. لقد أظهروا أن الطريق إلى الأمام لا يتطلب نماذج أكبر فحسب، بل يتطلب طرقاً أفضل للتعامل مع الواقع الفوضوي والمفصل للوثائق المهنية بلغات متعددة. وحتى تتمكن الآلات من قراءة رسم بياني بموثوقية، وربطه بجدول، وشرح العلاقة دون أن تضيع في التفاصيل، فإن استخدامها في المجالات عالية المخاطر مثل التمويل والعلوم سيتطلب إشرافاً بشرياً دقيقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.