Do Language Models Track Entities Across State Changes?
تكشف هذه الورقة أن النماذج اللغوية الكبيرة تخفق في تتبع حالات الكيانات بشكل تراكمي عبر العمليات المتتالية، حيث تعتمد بدلاً من ذلك على استراتيجية غير تسلسلية تجمع المعلومات عند رمز الاستعلام وتستخدم آلية كبت عالمية هشة لعمليات الإزالة، مما يؤدي إلى أنماط فشل يمكن التنبؤ بها والتي يمكن التخفيف من حدتها جزئياً من خلال التدخل الميكانيكي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة "سايمون يقول" مع روبوت ذكي جداً، ولكنه ينسى قليلاً. أنت تخبر الروبوت بمكان اختباء أشياء متنوعة في سبعة صناديق مختلفة. ثم تبدأ في إعطائه تعليمات: "ضع ساعة في الصندوق 1"، "أخرج البرطمان من الصندوق 2"، "انقل التفاحة من الصندوق 0 إلى الصندوق 1". أخيراً، تسأله: "ماذا يوجد في الصندوق 1؟"
تبحث هذه الورقة البحثية في كيفية تعامل نماذج لغة الذكاء الاصطناًعي الحديثة (الروبوتات) مع هذه اللعبة. وتتساءل تحديداً: هل يحتفظ الروبوت بقائمة ذهنية جارية لمكان وجود كل شيء أثناء حديثك، أم أنه ينتظر حتى النهاية ليفهم الأمر؟
إليك ما وجده الباحثون، مشروحاً عبر تشبيهات بسيطة:
1. الروبوت لا يملك "بثاً مباشراً"
قد تفترض أن الروبوت، بينما يسمع كل تعليمات، يقوم بتحديث خريطة ذهنية للعالم، تماماً مثل نظام GPS يحدث موقعك خطوة بخطوة.
- الواقع: الروبوت يشبه طالباً في امتحان لا يذاكر حتى اللحظة الأخيرة. هو لا يبني صورة كاملة للعالم مع تطور القصة، بل ينتظر حتى تطرح السؤال النهائي ("ماذا يوجد في الصندوق 1؟"). عندها فقط، يقوم بمسح سريع ومضطرب للقصة بأكملها التي سمعها للتو، ويستخرج الجمل المحددة المتعلقة بالصندوق 1، ويحسب الإجابة في تلك اللحظة. إنه لا يتتبع "حالة" العالم بشكل تدريجي؛ بل يسترجع الحقائق الضرورية بالتوازي في النهاية فقط.
2. مشكلة "الإضافة" مقابل "الحذف"
بحث الباحثون في كيفية تعامل الروبوت مع نوعين محددين من التعليمات: وضع (إضافة عنصر) و إزالة (أخذ عنصر بعيداً).
عملية "الوضع" (الإضافة): تعمل هذه العملية بشكل جيد للغاية. فعندما يسمع الروبوت "ضع الساعة في الصندوق 1"، فإنه يستخدم آلية "النظر إلى الوراء" القياسية؛ حيث يجد ذكر "الصندوق 1" وذكر "الساعة" ويربطهما معاً، تماماً كما يربط البشر الاسم بالوجه. هذا الجزء موثوق.
عملية "الإزالة" (الحذف): هنا يصبح سلوك الروبوت غريباً ويرتكب أخطاء.
- التشبيه: تخيل أن لديك قائمة بضيوف حفلة. إذا قلت "أزل جون من القائمة"، فإن النظام الذكي سيشطب اسم جون من تلك القائمة المحددة فقط.
- خلل الروبوت: يستخدم هذا الروبوت "ممحاة عالمية". فعندما يسمع كلمة "أزل"، فإنه لا يكتفي بشطب العنصر في الصندوق المحدد المذكور فحسب، بل يضع علامة "لا تتوقع" ضخمة وغير مرئية على ذلك العنصر في كل مكان. إنه يخبر نفسه فعلياً: "لا تقل كلمة 'برطمان' أبداً مرة أخرى"، بغض النظر عن الصندوق الذي كان فيه البرطمان.
3. تأثير "الدب الأبيض"
قارن الباحثون بين هذه "الممحاة العالمية" وبين خدعة نفسية شهيرة تسمى "مشكلة الدب الأبيض". إذا قلت لشخص ما "لا تفكر في دب أبيض"، سيبدأ فوراً في التفكير فيه.
- في حالة الروبوت، تعليمات "أزل البرطمان" تخلق إشارة تقول "اقمع (أوقف) البرطمان". ولأن هذه الإشارة عالمية (تطبق على العالم كله وليس على صندوق واحد فقط)، فإن الروبوت قد يرتبك أحياناً. فإذا كان البرطمان في الصندوق 2، وسألت عن الصندوق 1، فقد يظل الروبوت يقمع (يمنع ذكر) البرطمان رغم أنه لم يكن في الصندوق 1 أصلاً.
4. التنبؤ بالخلل وإصلاحه
لأن الباحثين فهموا (آلية) طريقة تفكير الروبوت، استطاعوا التنبؤ بدقة متى سيفشل، حتى قبل رؤية الفشل يحدث.
- الاختبار: أنشأوا سيناريوهات مخادعة لم يسبق للروبوت رؤيتها، مثل: "البرطمان في الصندوق 1. أزل البرطمان من الصندوق 1. الآن، ضع البرطمان مرة أخرى في الصندوق 1".
- النتيجة: لأن الروبوت يستخدم "ممحاة عالمية"، فإنه غالباً ما ينسى إعادة وضع البرطمان، لأن علامة "الإزالة" لا تزال تطارد كلمة "برطمان".
- الإصلاح: حاول الباحثون إجراء تدخل "جراحي". قاموا بمسح علامة "الممحاة العالمية" يدوياً من داخل عقل الروبوت قبل أن يقدم تخمينه مباشرة. نجح هذا في إصلاح الخطأ في كثير من الحالات، مما أثبت أن "الممحاة العالمية" كانت هي السبب في المشكلة.
الخلاصة الكبرى
تخلص الورقة البحثية إلى أنه بينما تعد نماذج الذكاء الاصطنا هذه بارعة جداً في حل الألغاز المعقدة، إلا أنها لا تفعل ذلك بالطريقة التي يفعلها البشر. البشر يبنون قصة مستمرة في عقولهم، أما هذه النماذج، فتتعامل مع القصة كمكتبة ثابتة من الحقائق التي لا تستشيرها إلا عند الضرورة القصوى.
علاوة على ذلك، فإن طريقتهم في "حذف" المعلومات هشة. فبدلاً من تحرير ملف محدد بعناية، يميلون إلى وضع لافتة "لا يُستخدم" على المفهوم بأكمله، مما يؤدي إلى أخطاء عندما تصبح السياقات معقدة. توضح الدراسة أنه من خلال فهم هذه "الآليات" الداخلية، يمكننا التنبؤ بمواضع تعثر الروبوت وحتى إصلاح أخطائه دون الحاجة لإعادة تدريب النظام بأكمله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.