Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding
تقدم هذه الورقة TIDE، وهو معيار جديد تم التحقق منه من قبل خبراء لتقييم النماذج اللغوية الكبيرة في فهم المستندات المتطورة زمنياً، والذي يكشف أن النماذج الحالية تعاني بشكل كبير في حل مشكلات تحديد الإصدارات وغالباً ما تعطي الأولوية للمعرفة البارامترية الواثقة على النصوص المحددة زمنياً والموثوقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول العثور على القاعدة الصحيحة للعبة ما، ولكن كتاب القواعد كائن حي يتغير كل يوم. في عالم الذكاء الاصطناعي، هناك طريقتان رئيسيتان يتم من خلالهما التعامل مع المعرفة عادةً. الأولى تشبه موسوعة ضخمة: إذا تغيرت حقيقة ما، يتم ببساطة مسح الحقيقة القديمة واستبدالها بالجديدة. إذا سألت عن عاصمة دولة تغير اسمها، ستظهر لك الموسوعة الاسم الجديد فقط. أما الطريقة الثانية، وهي الأكثر تعقيداً، فهي تشبه كومة من العقود القانونية أو لعبة فيديو تخضع لتحديثات (patches). هنا، لا تختفي القاعدة القديمة؛ بل تظل صحيحة تماماً للفترة التي كانت نشطة فيها، بينما تتولى قاعدة جديدة زمام الأمور لاحقاً. إذا سألت: "ماذا كان حد السرعة في عام 2015؟"، فأنت بحاجة إلى قاعدة عام 2015، وليس قاعدة عام 2025. إذا أخطأ الكمبيوتر في ذلك، فلن يكون مجرد خطأ سخيف؛ بل قد يكون مثل إخبار شخص ما بدفع الضريبة الخاطئة أو اتباع إرشادات طبية تم إلغاؤها منذ سنوات. هذا هو تحدي "حل الإصدارات" (version resolution): تحديد أي إصدار من القاعدة كان هو المسيطر في تاريخ معين.
قام فريق من الباحثين ببناء اختبار جديد يسمى TIDE (انزياح المعلومات الزمني في الوثائق المتطورة) لمعرفة ما إذا كانت أجهزة الذكاء الاصطناعي الأذكى اليوم قادرة على التعامل مع هذا المنطق المعقد للسفر عبر الزمن. لم يكتفوا بوضع أسئلة وهمية؛ بل بحثوا في 644 وثيقة رسمية حقيقية من الحكومة البنغلاديشية، تغطي قوانين الجمارك، والرموز الضريبية، واللوائح من عام 1969 وصولاً إلى عام 2025. هذه الوثائق فوضوية، حيث تمزج بين الإنجليزية والبنغالية، وتحتوي على شبكة من التعديلات حيث يلغي تعديلٌ ما قاعدةً أخرى، والتي بدورها يتم إلغاؤها بتعديل ثالث. أنشأ الباحثون 3,050 سؤالاً بناءً على هذه الوثائق، طالبت الذكاء الاصطناعي بأن يعمل كمحامٍ يسافر عبر الزمن. اختبروا تسعة من أقوى نماذج الذكاء الاصطناعي المتاحة، ومنحوها ثلاث طرق مختلفة لإيجاد الإجابات: الاعتماد فقط على ما حفظته أثناء التدريب (مثل امتحان الكتاب المفتوح)، أو قراءة الوثائق الصحيحة المقدمة إليهم بالضبط، أو البحث في قاعدة بيانات للعثور على الصفحات المناسبة.
كانت النتائج بمثابة جرس إنذار. فحتى أفضل نماذج الذكاء الاصطناعي، عندما مُنحت الوثائق المثالية لقراءتها، لم تجب بشكل صحيح إلا في حوالي 68.5% من الحالات. وهذا يعني أنها كانت لا تزال تخفق في أكثر من حالة واحدة من بين كل ثلاث حالات، حتى عندما كانت الإجابة أمام "عينيها" مباشرة. وجد البحث أن هذه النماذج جيدة بشكل مدهش في العثور على النص الصحيح عندما تعرف بالضبط أين تبحث، لكنها سيئة جداً في إدراك متى يكون النص الذي تقرؤه هو في الواقع النسخة "الخاطئة" للتاريخ المطلوب. على سبيل المثال، إذا أعطيت الذكاء الاصطناعي وثيقة تقول "الضريبة هي 10%" ولكن السؤال يسأل عن وقت كانت فيه الضريبة 5%، فإن الذكاء الاصطناعي غالباً ما يتجاهل الوثيقة بثقة ويتمسك بذاكرته أو بالنص الخاطئ. في الواقع، عندما حاول الباحثون خداع الذكاء الاصطناعي ببيان واثق ولكنه خاطئ، كانت النماذج جيدة جداً في رصد الخطأ (اكتشاف الأخطاء بنسبة 7s 79% تقريباً)، لكنها كانت سيئة جداً في تحديد ماهية الخطأ بالضبط (تحديد الخطأ المحدد بنسبة 19% فقط تقريباً). هذا يعني أنها غالباً ما تشعر بوجود مشكلة ولكنها تلقي باللوم بثقة على التفصيل الخاطئ.
تشير الورقة البحثية إلى أن مجرد إعطاء الذكاء الاصطناعي المزيد من النصوص للقراءة أو أدوات بحث أفضل ليس كافياً لحل هذه المشكلة. تعاني النماذج بشكل أكبر في المهام التي تتطلب منها تجميع جدول زمني، مثل ترتيب الأحداث زمنياً أو حساب ما كانت عليه القاعدة "بعد ثلاث سنوات". إنها تميل إلى افتراض أن القواعد تصبح أكثر صرامة فقط أو تتغير في اتجاه واحد، متجاهلة حقيقة أن القوانين غالباً ما تُلغى أو تعود إلى نسخ قديمة. وبينما أظهر الباحثون أن امتلاك الوثائق الصحيحة يساعد، إلا أنه لا يضمن النجاح. وتخلص الدراسة إلى أن "حل الإصدارات" لا يزال عقبة رئيسية لم تُحل بعد في مجال الذكاء الاصطناعي. وإلى أن تتمكن هذه النماذج من فهم تدفق الوقت في الوثائق القانونية حقاً، فقد تظل خطيرة جداً للاعتماد عليها في مهام العالم الحقيقي مثل تقديم الإقرارات الضريبية أو التخليص الجمركي، حيث يمكن أن يؤدي الخطأ في التاريخ إلى مشا-كل مالية أو قانونية جسيمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.