Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives
تقدم هذه الورقة NCP-Bench، وهو معيار يتكون من 100 بيئة سردية صُممت لتقييم اتساق المدى الطويل في القصص التفاعلية، كاشفةً أن حتى النماذج اللغوية الكبيرة المتطورة تعاني بشكل كبير في الحفاظ على حفظ الالتزام المنطقي وسلامة السرد في مواجهة التدخلات غير المقيدة من المستخدم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة تقمص أدوار ضخمة ولانهائية، حيث لا تنتهي القصة أبداً، ويمكنك فعل أي شيء تريده تماماً. في هذا العالم، قد تقرر لكم درع تنين، أو سرقة تاج ملك، أو إقناع شرير بأن يصبح خبازاً. السحر الذي يجعل هذا ممكناً هو نوع من الأدمغة الحاسوبية فائقة الذكاء تسمى "النموذج اللغوي الكبير" (LLM). فكر في هذه النماذج كأنها ممثلون موهوبون للغاية في الارتجال، قرأوا كل كتاب كُتب تقريباً؛ فهم بارعون في التحدث بشكل طبيعي، وخلق الأجواء، والحفاظ على تدفق المحادثة. لكن هناك عقبة: بينما هم بارعون جداً في "إظهار" معرفتهم بالقصة، فإنهم غالباً ما يعانون في "تذكر" قواعد العالم الذي يبنونه فعلياً. إذا قال الكمبيوتر "الباب مغلق"، فقد يسمح لك بعد بضع دقائق بالمرور عبره وكأنه مفتوح، أو قد ينسى أنك وجدت المفتاح بالفعل. هذه مشكلة كبيرة لمصممي الألعاب ورواة القصص الذين يريدون عالماً يبدو حقيقياً ومتسقاً، بغض النظر عن مدى جنون اللاعب.
هذه الورقة البحثية، بعنوان "هل يمكن لوكلاء النماذج اللغوية الكبيرة الالتزام بالنص؟"، تغوص بعمق في هذه المشكلة تحديداً. لقد أنشأ الباحثون ساحة اختبار خاصة تسمى NCP-Bench (معيار الحفاظ على الالتزام بالسرد) ليروا ما إذا كان هؤلاء الرواة من الذكاء الاصطناعي يمكنهم الوفاء بوعودهم خلال جلسة لعب طويلة وفوضوية. لقد أعدوا 100 عالم قصصي مختلف بناءً على حبكات أفلام شهيرة، مثل Iron Man أو The Bourne Identity. في كل عالم، يعمل الذكاء الاصطناعي كـ "سيد اللعبة" (Game Master)، المسؤول عن إدارة العرض، بينما يعمل ذكاء اصطناعي ثانٍ كلاعب "مثير للمشاكل"، يحاول القفز للأمام، أو كسر القواعد، أو إجبار القصة على الذهاب في اتجاهات مستحيلة. كان الهدف هو معرفة ما إذا كان "سيد اللعبة" سيظل متسقاً—أي يراقب الحقائق، ويتذكر ما حدث، ويلتزم بمعالم الحبكة المطلوبة—حتى عندما يحاول اللاعب كسر اللعبة.
كانت النتائج بمثابة صدمة للواقع لمجتمع الذكاء الاصطناعي. وجدت الدراسة أنه حتى أكثر نماذج الذكاء الاصطناعي تقدماً وحداثة سيئة بشكل مفاجئ في الالتزام بالنص عندما تصبح الأمور معقدة. وبينما يمكن لهذه النماذج كتابة قصص رائعة، وسلسة، ومثيرة، إلا أنها غالباً ما تفقد مسار القصة عندما تستمر اللعبة لفترة طويلة. في الاختبارات، تمكن أفضل نموذج أداءً (نسخة من GPT-5.2) من الاستمرار دون ارتكاب خطأ منطقي بنسبة 42% فقط بعد 20 جولة من التفاعل. ومع استمرار اللعبة، انخفض معدل البقاء بشكل حاد. وبحلول الوقت الذي وصلت فيه اللعبة إلى حد الـ 100 جولة، لم يستطع أي نموذج تقريباً إنهاء القصة كاملة دون التناقض مع نفسه أو نسيان نقطة حبكة رئيسية.
اكتشف الباحثون أن الخطأ الأكثر شيوعاً لم يكن أن الذكاء الاصطناعي كان لئيماً أو يتجاهل اللاعب، بل كان ببساطة أن الذكاء الاصطناعي نسي الحقائق التي وضعها سابقاً. حيث شكلت "تضاربات الحقائق" ما بين 40% إلى 68% من حالات الفشل، حيث يقول الذكاء الاصطناعي شيئاً يناقض مباشرة ما قاله قبل عشر دقائق. على سبيل المثال، إذا وضعت القصة أن شخصية ما مصابة، فقد يصفها الذكاء الاصطناعي لاحقاً وهي تركض ماراثوناً دون خدش واحد. وحتى عندما يحاول الذكاء الاصطناعي أن يكون متعاوناً ويسمح للاعب بتجاوز أجزاء مملة من القصة، فإنه غالباً ما يفعل ذلك عبر إعادة كتابة التاريخ بطريقة تكسر منطق العالم.
ومن المثير للاهتمام أن الورقة اختبرت أيضاً نوعاً خاصاً من الذكاء الاصطناعي المصمم بنظام "ذاكرة" لمساعدته على التذكر بشكل أفضل. وبينما ساعد نظام الذاكرة هذا الذكاء الاصطناعي على الصمود لفترة أطول قليلاً في اللعبة، إلا أنه لم يحل المشكلة. في الواقع، جعل نظام الذاكرة الذكاء الاصطناعي أحياناً أسوأ في الاستماع إلى أفعال اللاعب المحددة، لأنه كان مشغولاً جداً بتلخيص القصة إلى كتل كبيرة مما جعله يفتقد التفاصيل الصغيرة. تشير الدراسة إلى أن مجرد جعل الذكاء الاصطناعي أكثر ذكاءً أو إعطائه ذاكرة أكبر ليس كافياً؛ نحن بحاجة إلى طريقة جديدة لتعليم هذه النماذج كيفية معاملة قواعد القصة كقوانين غير قابلة للكسر، وليس مجرد اقتراحات.
باختصار، تخلص الورقة إلى أنه بينما يعتبر رواة القصص الحاليون من الذكاء الاصطناعي رائعين في الارتجال والظهور بمظهر رائع، إلا أنهم حالياً سيئون جداً في لعب "اللعبة الطويلة". لا يمكنهم الالتزام بالنص بشكل موثوق عندما يحاول اللاعب كسر القواعد. يأمل المؤلفون من خلال توفير هذا المعيار، أن يتمكن باحثون آخرون من بناء أدوات أفضل لإصلاح هذا، حتى يأتي اليوم الذي يمكننا فيه امتلاك قصص تفاعلية لانهائية، متسقة، وسحرية حقاً، حيث يجعل العالم منطقياً مهما فعلنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.