MGAL: A Multilingual Granularity-Aware Long-Context Benchmark

تخيل أنك تحاول قراءة كتاب مكون من ألف صفحة، ولكن بدلاً من تقليب الصفحات، أنت مجبر على الاحتفاظ بالنص بأكمله في عقلك دفعة واحدة، بحثاً عن حقيقة واحدة مخبأة في مكان ما في المنتصف. هذا هو التحدي الذي يواجه أنظمة الذكاء الاصطناعي الحديثة المعروفة بنماذج اللغات الكبيرة. لقد أصبحت هذه البرامج ماهرة بشكل ملحوظ في فهم اللغة البشرية، وهي قادرة على كتابة المقالات، والإجابة على الأسئلة، وترجمة النصوص بكل سهولة. ومع ذلك، فإن قدرتها على معالجة المستندات الطويلة جداً — التي تمتد لعشرات الآلاف من الكلمات — لا تزال تشكل عقبة كبيرة. فبينما يمكنها غالباً استرجاع حقيقة من بداية النص أو نهايته، إلا أنها غالباً ما تتعثر عندما تكون المعلومة التي تحتاجها مدفونة في عمق المنتصف، أو عندما يتعين عليها فهم كيفية ارتباط الأجزاء المختلفة من قصة ما لتشكيل وحدة متماسكة. لطالما اشتبه الباحثون في أن هذه الأنظمة تعاني من مشكلة "السياق الطويل"، ولكن حتى الآن، لم تكن هناك طريقة شاملة لاختبار أين ولماذا تفشل بالضبط، خاصة عند التعامل مع لغات أخرى غير الإنجليزية.

قام فريق من الباحثين الآن ببناء أرض اختبار جديدة تسمى MGAL لحل هذا الغموض. لقد أنشأوا هذا المعيار باستخدام وثائق من العالم الحقيقي من الأمم المتحدة، وتحديداً التقاريد التي تتراوح أطوالها بين 8,000 و 128,000 توكن (token). تغطي هذه الوثائق موضوعات عالمية بالغة الأهمية مثل حقوق الإنسان، وحفظ السلام، والصحة العامة، وهي متاحة بست لغات رسمية: الإنجليزية، والصينية، والفرنسية، والروسية، والإسبانية، والعربية. لم يكتفِ الباحثون بإنشاء اختبار بسيط؛ بل صمموا مجموعة متطورة من المهام التي تختبر النماذج عند أربعة مستويات مختلفة من التفصيل. في المستوى الأكثر دقة، يجب على النماذج العثور على كلمات أو أرقام محددة. وفي المستوى التالي، يجب عليها فهم كيفية ملاءمة جملة واحدة لفقرة ما. بعد ذلك، يجب عليها توليد فقرات مفقودة منطقية في سياقها، وأخيراً، يجب عليها تلخيص أو ترجمة وثائق كاملة. ومن الأهمية بمكان أن الباحثين تتبعوا بدقة مكان وجود المعلومات داخل النص — سواء ظهرت في البداية، أو المنتصف، أو النهاية — مما سمح لهم برؤية ما إذا كان لدى النماذج انحياز تجاه أجزاء معينة من المستند.

عندما اختبر الباحثون اثني عشر من أكثر نماذج اللغات تقدماً مقابل هذا المعيار الجديد، كشفت النتائج عن نمط واضح ومتسق. فقد أدت النماذج أداءً استثنائياً عندما تطلبت المهمة العثور على كلمة أو رقم محدد، مما أظهر قدرتها على العمل كمحركات بحث فعالة للتفاصيل الدقيقة. ومع ذلك، كلما أصبحت المهام أوسع وتطلبت فهم كتل أكبر من النصوص، مثل تلخيص تقرير كامل أو ملء فقرة مفقودة، انخفض أداؤها بشكل كبير. لقد عانت النماذج للحفاظ على فهم متماسك للمستند ككل. علاوة على على ذلك، سلطت الدراسة الضوء على فجوة واض-حة بين اللغات ذات الموارد العالية، مثل الإنجليزية والصينية، واللغات ذات الموارد الأقل. وبينما قدمت النماذج الأكبر والأكثر تكلفة أداءً متشابهاً عبر اللغات، أظهرت النماذج الأصغر والمفتوحة المصدر ميزة واضحة للغات الرئيسية وعانت بشكل كبير مع اللغات الأخرى.

ربما جاءت النتائج الأكثر كشفاً من خلال تحليل كيفية فشل النماذج. اكتشف الباحثون أنه عندما تشاركت الجمل في نص ما مواضيع متشابهة أو كررت نفس الأسماء، تميل النماذج إلى الارتباك. فبدلاً من فهم الدور المنطقي الذي تلعبه الجملة — سواء كانت تقدم خلفية، أو تقدم خاتمة، أو تقدم حجة مضادة — اعتمدت النماذج على أدلة سطحية. حيث كانت تختار الجملة التي تبدو أكثر تشابهاً مع النص المحيط أو تحتوي على نفس الكلمات الرابطة، حتى لو كانت هي الخيار الخاطئ. هذا يشبه طالباً، عندما يُطلب منه تلخيص قصة، يقوم ببساطة بتكرار أسماء الشخصيات التي يتذكرها أكثر من غيرها بدلاً من شرح ما حدث بالفعل. بالإضافة إلى ذلك، وجدت الدراسة أن النماذج غالের ما تنتج نصوصاً تبدو فصيحة وسليمة نحوياً ولكنها خاطئة واقعياً. فقد كانت تخترع بثقة تفاصيل أو تواريخ أو أشخاصاً لم يكونوا في المستند الأصلي، مما يخلق سرداً يبدو سلساً ولكنه ينحرف عن الحقيقة.

كما أكد الباحثون أن موقع المعلومات يهم بعمق. ففي العديد من المهام، كانت النماذج أفضل بكثير في العثور على الإجابات الموجودة في بداية المستند أو نهايته، بينما انخفض الأداء بشكل ملحوظ عندما كانت الإجابة في المنتصف. وهذا يشير إلى أن النماذج تجد صعوبة في الحفاظ على تركيز انتباهها على مركز تسلسل طويل من النصوص. ومن خلال استخدام هذا المعيار الجديد، قدم الفريق خريطة واضحة للقيود الحالية للذكاء الاصطناعي في فهم المستندات الطويلة. لقد أظهروا أنه بينما تعد هذه الأنظمة أدوات قوية لمعالجة المعلومات، إلا أنها لا تزال تفتقر إلى الفهم العميق والمتسق المطلوب لـ "قراءة" وفهم التقارير المعقدة والطويلة حقاً عبر لغات مختلفة. هذا العمل يضع معياراً جديداً للأبحاث المستقبلية، موجهاً المطورين لبناء نماذج يمكنها النظر إلى ما وراء الأدلة السطحية والحفاظ على فهم دقيق وأمين للقصة بأكملها، بغض النظر عن طولها.