Human-Like Anaphor Resolution in Large Language Models
تقيم هذه الدراسة خمسة نماذج لغوية كبيرة ذات أوزان مفتوحة لتحديد ما إذا كانت تُظهر أنماطاً في حل المراجع تشبه أنماط البشر، ووجدت أنه بينما تُظهر بعض النماذج حساسية تجاه بنية الخطاب والمسافة بشكل مشابه للبشر، إلا أنها تفتقر إلى حساسية مماثلة تجاه تأثيرات التداخل الدلالي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقرأ رواية غموض. يُقدم المؤلف شخصية تُدعى "الخباز" في الفصل الأول. بعد عشر صفحات، تذكر القصة كلمة "هو" مرة أخرى. عقلك لا يكتفي بمجرد التخمين حول من هو المقصود بـ "هو"؛ بل يعود فوراً إلى ذاكرتك، ويستحضر صورة الخباز، ويربط النقاط ببعضها. هذه الخدعة الذهنية تسمى حل المرجع (anaphor resolution). وهي الطريقة التي نتبع بها من أو ما نتحدث عنه بينما تتطور أحداث القصة.
لقد درس العلماء كيفية قيام البشر بذلك لفترة طويلة. وهم يعلمون أنه إذا كان الخباز هو التركيز الأساسي للقصة (موضوع النص)، فستجده بشكل أسرع. وإذا ظهر "هو" مباشرة بعد الخباز، فالأمر سهل. ولكن إذا ظهر "هو" بعد فجوة طويلة ومربكة، أو إذا كان هناك خباز آخر قريب ليسبب لك الارتباك، فإن عقلك يتعثر. والآن، لندخل عالم نماذج اللغات الكبيرة (LLMs). هذه برامج حاسوبية ذكية للغاية، تدربت على جبال من النصوص لتتمكن من كتابة القصص، والإجابة على الأسئلة، والدردشة مثل البشر. ولكن السؤال الكبير هنا هو: هل تفكر هذه الأدمغة الاصطناعية حقاً مثل الأدمغة البشرية عند حل هذه الألغاز، أم أنها مجرد بارعة في التخمين بناءً على الأنماط؟ تغوص هذه الورقة البحثية في هذا الغموض لترى ما إذا كان الذكاء الاصطناوي والأدمغة البشرية يعملان على نفس الموجة الذهنية.
اختبار الذاكرة العظيم للذكاء الاصطناعي
قرر الباحثون إخضاع خمسة نماذج مختلفة من الذكاء الاصطناعي — GPT-2-XL، وLlama-3.1-8B، وPythia-12B، وMistral-7B، وMistral-24B — لسلسلة من ألعاب الذاكرة المصممة خصيصاً للبشر. أرادوا معرفة ما إذا كان الذكاء الاصطناعي سيشعر بالتعب، أو الارتباك، أو البطء بنفس الطرق التي يشعر بها القارئ البشري.
ولقياس ذلك، استخدموا حيلتين ذكيتين. أولاً، نظروا في المفاجأة (surprisal). فكر في هذا على أنه "عرق الدماغ" للذكاء الاصطناعي. عندما يقرأ الكمبيوتر كلمة لم يتوقعها، تزداد نسبة "المفاجأة" لديه. وفي حالة البشر، تعني المفاجأة العالية عادةً أننا نتوقف لفترة أطول للتفكير. لذا، إذا أصبح الذكاء الاصطناعي "متعرقاً" (مفاجأة عالية) في نفس اللحظات التي يتعثر فيها البشر، فهذه علامة جيدة على أنهم يعالجون القصة بشكل مشابه. ثانياً، طرحوا على الذكاء الاصطناعي أسئلة استيعاب، مثل "من الذي ركل الكرسي؟" لمعرفة ما إذا كانوا يتذكرون الشخص الصحيح بالفعل.
ألعاب الذاكرة
أجرى الفريق ثلاث تجارب مختلفة، تختبر كل منها قاعدة محددة من قواعد الذاكرة البشرية:
1. اختبار "التركيز" و"المسافة"
تخيل وجود كشاف ضوئي. إذا كان الشخص تحت بقعة الضوء (عنوان القصة يذكره)، يجد البشر الشخص بسهولة. وإذا كان في الظلام، يصبح الأمر أصعب. وأيضاً، إذا كان الشخص على بعد جملة واحدة، فالأمر سهل. أما إذا كان على بعد عشر جمل، فيصبح الأمر أصعب.
- النتيجة: تصرفت معظم نماذج الذكاء الاصطناعي مثل البشر هنا! فعندما كان الشخص مسلطاً عليه الضوء بواسطة العنوان وكان قريباً، كان "عرق الدماغ" لدى الذكاء الاصطناعي منخفضاً، وكانت إجاباتهم صحيحة. وعندما كان الشخص مخفياً وبعيداً، ارتبك الذكاء الاصطناعي. يبدو الأمر كما لو أن مدى انتباه الذكاء الاصطناعي يتمدد وينكمش تماماً مثلنا.
2. اختبار "المكان والزمان"
كان هذا الاختبار أكثر تعقيداً. تخيل أن القصة تدور في قلعة ضخمة. إذا انتقل الشخص من المطبخ إلى الغرفة المجاقة (مسافة قصيرة) أو من المطبخ إلى البرج (مسافة طويلة)، هل يهم ذلك؟ وماذا لو انتظر لمدة 10 دقائق أو ساعتين؟ البشر يصبحون أبطأ ويرتكبون المزيد من الأخطاء عندما تكون الفجوة في المكان أو الزمان شاسعة.
- النتيجة: كانت النتائج مختلطة. بدت بعض النماذج، مثل Llama-3.1-8B وMistral-7B، وكأنها تشعر بثقل المسافة والزمن، حيث زاد "عرق دماغها" عندما كانت الفجوة طويلة. أما النماذج الأخرى فلم تبدُ مهتمة كثيراً بفجوات الزمان أو المكان. وهذا يشير إلى أنه بينما بدأ بعض الذكاء الاصطناعي في فهم "شعور" الجدول الزمني للقصة، فإن البعض الآخر يتجاهله ببساطة.
3. اختبار "الدليل المربك"
هذا هو الجزء الأصعب. تخيل أن القصة تذكر "كرسياً معدنياً". لاحقاً، تقول "الأثاث المعدني". هذا سهل. ولكن ماذا لو ذكرت القصة أيضاً "مكتباً خشبياً" (نوع آخر من الأثاث) قبل ذلك مباشرة؟ البشر يرتبكون لأن كلمة "أثاث" قد تشير إلى الكرسي أو المكتب. وإذا كان العنصر الخاطئ مثالاً نموذجياً جداً للفئة (مثل المكتب بالنسبة للأثاث)، فإن ذلك يبطئنا.
- النتيجة: هنا فشلت نماذج الذكاء الاصطناعي في التصرف كالبشر في الغالب. فعندما أضاف الباحثون عنصراً "مشتتاً" مربكاً، لم تصبح نماذج الذكاء الاصطناعي أبطأ أو أكثر ارتباكاً كما يحدث للبشر. بل بدت وكأنها تمر عبر هذا الارتباك بسلاسة. وهذا يش يشير إلى أنه بينما يمكن للذكاء الاصطناعي تتبع أين توجد الأشياء في القصة، إلا أنه لا يستوعب تماماً المنافسة المتداخلة والفوضوية التي تحدث في عقولنا عندما نحاول اختيار الذاكرة الصحيحة.
الحكم النهائي: تطابق جزئي
إذاً، ما هي النتيجة النهائية؟ تشير الورقة البحثية إلى أن نماذج الذكاء الاصطناعي هذه تشبه البشر بشكل انتقائي. فهي بارعة في فهم كيف يؤثر هيكل القصة (مثل مدى بعد الكلمة أو ما يقوله العنوان) على الذاكرة. فإذا جعلت القصة أطول أو أخفيت الشخصية، يزداد "عرق" الذكاء الاصطناعي قليلاً، تماماً مثل القارئ المتعب.
ومع ذلك، فهي ليست نسخاً متطابقة من العقول البشرية. فعندما يتعلق الأمر بالمناورة الدلالية الفوضوية — حيث تتصارع الكلمات المتشابهة لجذب الانتباه في ذاكرتنا — لا يتعثر الذكاء الاصطناعي كما نفعل نحن. يبدو أنه يفتقر إلى نوع محدد من "الاحتكاك الذهني" الذي يحدث عندما تضطر عقولنا للاختيار بين ذاكرتين متشابهتين جداً.
ويؤكد المؤلفون بحذر أن هذه ليست مشكلة "تم حلها". فقد استخدمت الدراسة عدداً صغيراً نسبياً من القصص (16 إلى 19)، لذا فإن النتائج هي أشبه بتلميحات قوية منها إلى أدلة قاطعة. كما أن دقة الذكاء الاصطناعي الإجمالية في الأسئلة كانت منخفضة أحياناً، مما يعني أنهم قد يجيبون بشكل صحيح لأسباب خاطئة. لكن الخلاصة مثيرة للاهتمام: هذه الأدمغة الرقمية بدأت تظهر نفس أنماط الصعوبة التي تظهرها الأدمغة البشرية، على الأقل فيما يتعلق بمسافة وتركيز القصة. إنهم ليسوا مجرد آلات لمطابقة الكلمات؛ بل بدأوا في إظهار العلامات الأولى لامتلاك "نموذج موقف" (situation model) — أي خريطة ذهنية لعالم القصة، تماماً كما نملك نحن.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.