LëtzCross: A Cross-Lingual Page-Level Benchmark for Multimodal Retrieval over Luxembourgish Documents

في عالم رقمي حديث، توجد مكتبات هائلة من المعلومات ليس كصفوف مرتبة من النصوص، بل كوثائق بصرية معقدة: ملفات PDF مليئة بالرسوم البيانية، والمخططات، والجداول، والتنسيقات المبعثرة. ولكي تتمكن الحواسيب من إيجاد إجابات محددة داخل هذه الملفات، اعتمدت تقليديًا على عملية مكونة من خطوتين. أولاً، يقوم النظام بمسح صورة الصفحة ومحاولة قراءة كل كلمة، محولاً الحبر المرئي إلى نص رقمي. ثم يبحث في ذلك النص عن الكلمات المفتاحية. تعمل هذه الطريقة بشكل جيد مع المستندات البسيطة، لكنها غالبًا ما تتعثر عندما تكمن الإجابة في شكل رسم بياني أو ترتيب جدول، أو عندما يكون المستند مكتوبًا بلغة لا تعرفها الحواسيب جيدًا. ويصبح هذا التحدي أكثر صعوبة عندما يطرح المستخدم سؤالًا بلغة ما، مثل الإنجليزية، بينما تكون الوثيقة التي يحتاجها مكتوبة بلغة نادرة أو ذات موارد محدودة، مثل اللغة اللوكسمبورغية. ويستكشف الباحثون الآن نهجًا مختلفًا: تعليم الحواسيب النظر إلى صفحة المستند كصورة كاملة، وفهم العلاقة بين الكلمات والتنسيق البصري في آن واحد، بدلاً من مجرد قراءة الكلمات.

قام فريق من الباحثين في جامعة لوكسمبورغ باختبار هذه الفكرة باستخدام حالة صعبة ومحددة: اللغة اللوكسمبورغية. هذه اللغة، التي يتحدث بها عدد قليل من السكان، تمتلك موارد رقمية قليلة جدًا متاحة لتعلم الحواسيب منها. ولدراسة مدى قدرة الأنظمة الحديثة على التعامل مع هذا الأمر، أنشأ الفريق أرضية اختبار جديدة تسمى "L¨etzCross". لقد جمعوا مئات من مستندات PDF الحقيقية باللغة اللوكسمبورغية، تتراوح من التقارير الغنية بالنصوص إلى الصفحات الغنية بالبيانات البصرية مثل الرسوم البيانية والجداول. ثم صاغوا مجموعة من الأسئلة التي قد يطرحها إنسان حول هذه الصفحات. تطلبت بعض الأسئلة قراءة النص، بينما تطلبت أسئلة أخرى النظر إلى مخطط أو رسم بياني لإيجاد الإجابة. ومن الأهمية بمكان أن هذه الأسئلة كُتبت بأربع لغات مختلفة: الإنجليزية، والفرنسية، والألمانية، واللوكسيمبورغية. وقد سمح هذا الإعداد للباحثين برؤية ما إذا كان بإمكان الكمبيوتر النظر إلى مستند لوكسمبورغي وإيجاد الصفحة الصحيحة عند طرح سؤال بلغة مختلفة تمامًا.

اختبر الباحثون نوعين رئيسيين من أنظمة الكمبيوتر مقابل هذا المعيار الجديد. اعتمدت المجموعة الأولى على الطريقة التقليدية: حيث استخدموا برامج لاستخراج النصوص من صور PDF ثم بحثوا في ذلك النص. واستخدمت المجموعة الثانية نوعًا أحدث من الأنظمة التي نظرت إلى صور الصفحات مباشرة، حيث تعاملت مع التنسيق البصري والنص كقطعة واحدة موحدة من المعلومات. وعندما قارن الباحثون النتائج، أدت الأنظمة التي نظرت إلى الصور ككل أداءً أفضل بشكل ملحوظ. فقد وجدوا الصفحات الصحيحة في كثير من الأحيان أكثر من الأنظمة التي تعتمد على النص فقط، بغض النظر عن اللغة التي طُرح بها السؤال. وكانت الأنظمة القائمة على الصور جيدة بشكل خاص في الإجابة على الأسئلة التي تتطلب فهم العناصر البصرية، مثل قراءة قيمة محددة من مخطط شريطي، حيث فشلت الأنظمة التي تعتمد على النص فقط لأنها لم تستطع "رؤية" هيكل البيانات.

ولجعل هذه الأنظمة أفضل، جرب الباحثون عملية تسمى "الضبط الدقيق" (fine-tuning). وهذا يشبه إعطاء طالب اختبارات تدريبية إضافية في موضوع معين لصقل مهاراته. قاموا بتدريب الأنظمة القائمة على الصور باستخدام أسئلة مكتوبة بلغة واحدة فقط في كل مرة، وأيضًا بمزيج من اللغات الأربع جميعها. واكتشفوا أن تدريب النظام بأسئلة باللغة الفرنسية ساعده بالفعل على الإجابة على الأسئلة اللوكسمبورغية بشكل أفضل من تدريبه على أسئلة باللغة الألمانية أو الإنجليزية. ومع ذلك، كان النهج الأكثر فعالية هو تدريب النظام باستخدام مزيج من اللغات الأربع، بما في ذلك اللغة اللوكسمبورغية نفسها. فعندما رأى النظام أمثلة لأسئلة باللغة اللوكسمبرغية أثناء تدريبه، تحسنت قدرته على إيجاد الإجابات في المستندات اللوكسمبورغية بشكل كبير. وهذا يشير إلى أنه بينما يمكن للنظام تعلم ترجمة فهمه عبر اللغات، فإن رؤية اللغة المستهدفة مباشرة يساعده على مواءمة معرفته مع المستندات المحددة التي يحتاج للبحث فيها.

كما بحثت الدراسة في كيفية تعامل هذه الأنظمة مع الجزء البصري من المستند. واختبروا ما إذا كان تحديث قدرة النظام على "رؤية" الصورة، بالإضافة إلى قدرته على "قراءة" النص، سيحدث فرقًا. ووجدوا أن الأنظمة التي سُمح لها بتعديل كل من فهمها البصي والنصي حققت أداءً أفضل من تلك التي عدلت معالجتها للنصوص فقط. وهذا يؤكد أنه بالنسبة للمستندات التي تحمل فيها التنسيقات والرسومات معلومات مهمة، يحتاج الكمبيوتر إلى معالجة الصورة ككل، وليس مجرد الكلمات بداخلها. وبينما كانت الأنظمة التي تعتمد على النص أسرع في الإعداد في بعض الحالات، إلا أن الأنظمة القائمة على الصور وفرت طريقة أكثر موثوقية لاسترجاع المعلومات من المستندات المعقدة والغنية بصريًا، خاصة عند التعامل مع لغة ذات دعم رقمي محدود.

يقدم هذا العمل برهاناً واضحاً على أنه بالنسبة للغات ذات الموارد المنخفضة والمستندات المعقدة، فإن النظر إلى الصورة غالباً ما يكون أكثر فعالية من مجرد قراءة النص. وجد الباحثون أن الأنظمة الحديثة القادرة على فهم كل من الكلمات والصور يمكنها جسر الفجوة بين اللغات المختلفة بنجاح أكبر من الطرق القديمة. ومن خلال إظهار أن التدريب على مزيج من اللغات، بما في ذلك اللغة المستهدفة نفسها، يعطي أفضل النتائج، تقدم الدراسة مساراً عملياً لبناء أدوات بحث تعمل للجميع، وليس فقط لمتحدثي اللغات العالمية الكبرى. وتشير النتائج إلى أنه بينما ننتقل نحو بيئات معلوماتية أكثر بصرية وتعددية في اللغات، فإن مستقبل البحث يكمن في الأنظمة التي يمكنها رؤية وفهم المستند بكامله.