← أحدث الأبحاث
💬 NLP

Benchmarking and Boosting Multilingual Capabilities of LVLMs via OCR-Centric Reinforcement Learning

تقدم هذه الورقة PM4Bench، وهو معيار متعدد الوسائط متوازي بدقة يكشف أن التعرف الضوئي على الحروف (OCR) هو سبب رئيسي في التفاوتات عبر اللغات في النماذج اللغوية الكبيرة متعددة الوسائط (LVLMs)، وتقترح استراتيجية تعلم تعزيزي تركز على التعرف الضوئي على الحروف وخالية من الملصقات لتعزيز القدرات متعددة اللغات بفعالية وتقليل فجوات الأداء.

المؤلفون الأصليون: Junyuan Gao, Jiahe Song, Jiang Wu, Runchuan Zhu, Guanlin Shen, Shasha Wang, Xingjian Wei, Haote Yang, Weijia Li, Bin Wang, Lijun Wu, Conghui He

نُشر 2026-08-25
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Junyuan Gao, Jiahe Song, Jiang Wu, Runchuan Zhu, Guanlin Shen, Shasha Wang, Xingjian Wei, Haote Yang, Weijia Li, Bin Wang, Lijun Wu, Conghui He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً يمكن فيه للحاسوب أن ينظر إلى صورة فوتوغرافية ويفهم تماماً ما يراه، فيقرأ اللافتات، وقوائم الطعام، والملاحظات المكتوبة بخط اليد تماماً كما يفعل البشر. هذه القدرة، المعروفة باسم فهم اللغة البصرية، أصبحت حجر الزاوية في الذكاء الاصطناعي الحديث. وتعمل هذه الأنظمة الآن كعيون للمساعدين الرقميين، مما يساعدهم على التنقل في هواتفنا، وحواسيبنا، والعالم المادي من حولنا. ومع ذلك، استمرت مشكلة كبيرة في الظهور: فبينما كانت هذه الآلات بارعة في فهم اللغة الإنجليزية، فإنها غالباً ما تتعثر عندما تواجه لغات أخرى، خاصة عندما تكون النصوص مدمجة داخل صورة. ولا يزال من غير الواضح ما إذا كانت هذه الفجوة في الأداء تعود إلى عدم قدرة الآلة على تعلم لغات جديدة، أو ببساً لأن الاختبارات المستخدمة لقياسها كانت غير عادلة، حيث تقارن "التفاح بالبرتقال". لقد كافح الباحثون طويلاً لبناء اختبار عادل يعزل القدرة الحقيقية للآلة عن الخصائص الغريبة للبيانات نفسها.

قام فريق من الباحثين الآن ببناء أرضية اختبار جديدة وصارمة تسمى PM4Bench لحل هذه المشكلة. فبدلاً من استخدام صور مختلفة للغات المختلفة، مما قد يؤدي إلى إدخال انحيازات خفية، أنشأوا مجموعة من عشر لغات يكون محتواها متطابقاً تماماً. وسواء كان النص بالإنجليزية أو الصينية أو العربية أو الروسية، فإن التخطيط، والخلفية، والإجابة، ومعنى السؤال يظل كما هو تماماً؛ حيث يتغير فقط نوع اللغة. وهذا يسمح بمقارنة عادلة حقاً، مثل وزن عشر ثمار مختلفة على الميزان نفسه. علاوة على ذلك، صمموا الاختبار ليحاكي الاستخدام في العالم الحقيقي، حيث يرى الوكيل الحاسوبي الشاشة كصورة واحدة تحتوي على نصوص ورسومات معاً، بدلاً من تلقي النص والصورة كملفات منفصلة. هذا "الإعداد البصري" يجبر النموذج على قراءة النص مباشرة من بكسلات الصورة، تماماً كما يفعل الإنسان عند النظر إلى شاشة هاتف ذكي.

عندما اختبر الباحثون عشرة نماذج مختلفة من نماذج الرؤية واللغة الكبيرة باستخدام هذا المعيار الجديد، اكتشفوا نمطاً واضحاً. فقد كان أداء النماذج أسوأ بكثير عندما كان النص مدمجاً في الصورة مقارنة بما كان عليه عندما يتم توفير النص بشكل منفصل. والأهم من ذلك، أن الفجوة بين مدى فهم النماذج للغة الإنجليزية واللغات الأخرى اتسعت بشكل كبير في هذا الإعداد القائم على الصور. وقد حقق الفريق في السبب من خلال إجراء تجربة منضبطة: حيث أخذوا نفس الأسئلة القائمة على الصور وقدموا للنماذج النص الصحيح مكتوباً لها، مما ألغى الحاجة إلى قراءته من الصورة. وعندما تم تزويد النماذج بالنص مباشرة، تحسن أداؤها، وتقلصت الفجوة بين اللغات. وقد أشارت هذه الأدلة إلى وجود نقطة اختناق واحدة مشتركة: وهي القدرة على التعرف على النصوص داخل الصور، وهي مهارة تُعرف باسم التعرف الضوئي على الحروف (OCR). ووجدت الدراسة أن نجاح النموذج في قراءة النص من صورة يرتبط ارتباطاً وثيقاً بنجاحه في الإجابة على الأسئلة المتعلقة بتلك الصورة، بغض النظر عن اللغة.

ولمعالجة نقطة الاختناق هذه، طور الباحثون طريقة تدريب جديدة تركز بالكامل على تحسين قدرة النموذج على قراءة النصوص من الصور. لقد قاموا بتوليد كمية هائلة من بيانات التدريب الاصطناعية، حيث أنشأوا آلاف الصور بنصوص عشوائية بعشر لغات مختلفة، دون الحاجة إلى أي بشري لكتابة التسميات أو الإجابات. ثم استخدموا استراتيجية التعلم التعزيزي، وهي نوع من التدريب حيث يتعلم النموذج من خلال المحاولة لتعظيم درجة معينة، لتعليم النموذج التعرف على هذا النص بدقة أكبر. ومن الأهمية بمكان أنهم صمموا نظام تسجيل النقاط بحيث لا يكافئ مجرد الحصول على النص الصحيح فحسب، بل أيضاً الحفاظ على قدرة النموذج على التفكير والتفكير المنطقي في المشكلات المعقدة. وكانت النتيجة نسخة جديدة من النموذج أظهرت تحسناً ملحوظاً في جميع المهام. فقد أصبح أفضل في قراءة النصوص في الصور، وانتقل هذا التحسن إلى قدرته على الإجابة على الأسئلة والتفاعل مع الواجهات الرسومية في جميع اللغات العشر. ولم تقتصر المكاسب على الاختبار المحدد فحسب؛ بل أدى النموذج أيضاً إلى أداء أفضل في معايير أخرى موجودة، مما يشير إلى أن التحسن كان حقيقياً وقابلاً للانتقال.

تخلص الدراسة إلى أن الأداء غير المتكافئ لهذه الأنظمة القوية للذكاء الاصطناعي عبر اللغات المختلفة مدفوع غالباً بضعف محدد في قراءة النصوص من الصور، وليس بسبب عدم قدرة جوهرية على فهم اللغات نفسها. ومن خلال تحديد هذا الضعف المحدد وتدريب النموذج على التغلب عليه باستخدام مجموعة بيانات ضخمة وغير مصنفة بشرياً، أثبت الباحثون مساراً نحو ذكاء اصطناعي أكثر إنصافاً. ويشير عملهم إلى أنه إذا أردنا للوكلاء الذكيين أن يعملوا بموثوقية للجميع، بغض النظر عن اللغة التي يتحدثونها، فيجب علينا أولاً ضمان قدرتهم على رؤة وقراءة النصوص التي تحيط بهم في العالم المرئي. يقدم هذا النهج طريقة عملية وفعالة لتعزيز قدرات هذه الأنظمة، مما يضمن مشاركة فوائد الذكاء الاصطناعي على نطاق أوسع بين سكان العالم.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →