← أحدث الأبحاث
💬 NLP

Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation

تقدم هذه الورقة أول مجموعة بيانات مشروحة من قبل خبراء لإلغاء التضمين لتقييم قدرة النماذج اللغوية الكبيرة على التعرف على المعتقدات غير المعلنة وتحديثها، مما يكشف أن النماذج اللغوية الكبيرة الحالية تتخلف عن الأداء البشري في مهام الاستدلال البراغماتي هذه.

المؤلفون الأصليون: Cesare Spinoso-Di Piano, Verna Dankers, Marius Mosbach, Jackie Chi Kit Cheung

نُشر 2026-07-29
📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Cesare Spinoso-Di Piano, Verna Dankers, Marius Mosbach, Jackie Chi Kit Cheung

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تلعب لعبة "التمثيل الصامت" (Charades)، ولكن بدلاً من تمثيل الكلمات، أنت تخوض محادثة تكون فيها الأجزاء الأكثر أهمية هي الأشياء التي لا تقولها. في عالم اللغة البشرية، نحن نتفاوض باستمرار على واقع مشترك، "أرضية مشتركة" حيث نتفق كلانا على ما هو حقيقي. نحن نفعل ذلك ليس فقط عبر ذكر الحقائق، بل عبر إلقاء تلميحات، أو ما يسمى بـ الاستلزامات الحوارية (Implicatures). إذا قلت: "بعض الكعك قد اختفى"، فأنا ألمح (دون قول ذلك صراحة) إلى أن ليس كل الكعك قد اختفى. أنت تفهم هذا فوراً لأن دماغك بارع في القراءة بين السطور. ولكن في بعض الأحيان، قد أغير رأيي وأقول: "في الواقع، أعتقد أن الكعك كله قد اختفى". يُسمى هذا الإلغاء (Cancellation)، حيث أتراجع عن التلميح الذي قدمته للتو. هذه القدرة على تحديث معتقداتنا المشتركة فورياً بناءً على إشارات دقيقة وغير منطوقة هي الغراء الذي يربط المحادثة البشرية ببعضها البعض.

الآن، تخيل تعليم روبوت فائق الذكاء لعب هذه اللعبة. لقد بنينا نماذج ذكاء اصطناعي ضخمة تسمى "نماذج اللغات الكبيرة" (LLMs) يمكنها كتابة الشعر، وحل المسائل الرياضية، والدردشة مثل البشر. ولكن هل تفهم حقاً رقصة التلميحات والتراجعات غير المرئية؟ هل يستوعبون عندما يتغير مسار المحادثة، أم أنهم مجرد يخمنون بناءً على ما رأوه من قبل؟ هذا هو السؤال الكبير الذي يطرحه الباحثون. إذا لم يتمكن الذكاء الاصطناعي من التعامل مع هذه التحديثات الصغيرة وغير المنطوقة، فسيواجه صعوبة في إجراء محادثة حقيقية وسلسة معنا، وغالباً ما سيخطئ في فهم المقصد أو يصاب بالارتباك عندما نغير آراءنا.

في هذه الورقة البحثية، قرر الباحثون وضع نماذج الذكاء الاصطناعي هذه تحت الاختبار. لقد أنشأوا ساحة لعب جديدة تماماً تسمى IMPLICATUREX، وهي عبارة عن مجموعة بيانات مكونة من 271 مقطعاً قصيراً من المحادثات المصاغة بعناية. فكر في الأمر كمجموعة من الأفلام القصيرة حيث يلقي أحد الشخصيات تلميحاً، ثم يتراجع عنه فوراً. وقد طلبوا من متطوعين بشر ومن نماذج ذكاء اصطناعي متنوعة مشاهدة هذه المقاطع والإجابة على: "هل حدث التلميح؟ هل نجح التراجع؟ هل تغير اعتقاد الشخصية؟"

كانت النتائج بمثابة صدمة للواقع بالنسبة للذكاء الاصطناعي. فبينما كانت أكثر نماذج الذكاء الاصطناعي ذكاءً جيدة بشكل مفاجئ في رصد التلميحات البسيطة ذات النمط التقليدي (مثل مثال "بعض مقابل الكل" في موضوع الكعك)، إلا أنها تعثرت بشدة عندما أصبحت المحادثة فوضوية وواقعية. فعندما جاءت التلميحات من محادثات طبيعية ويومية — مثل حديث صديقين عن حفلة أو هواية — غالباً ما فشلت نماذج الذكاء الاصطاري في فهم التلميح في المقام الأول، أو فاتها التراجع تماماً. في الواقع، في السيناريوهات الأكثر طبيعية، كان أداء الذكاء الاصطناعي بالكاد أفضل من التخمين العشوائي.

كما أجرى الباحثون تجارب ضبط خفية لمعرفة لماذا يعاني الذكاء الاصطناعي. ووجدوا أنه عندما يصيب الذكاء الاصطناعي في رصد تلميح ما، فإنه لا يكون دائماً بسبب فهمه للمحادثة؛ بل أحياناً يكون مجرد اعتماد على "اعتقاد مسبق"، مثل طالب حفظ نموذج الإجابة دون قراءة السؤال. على سبيل المثال، إذا رأى الذكاء الاصطناعي كلمة "بعض"، فقد يفترض تلقائياً أنها تعني "ليس الكل" دون حتى الاستماع إلى بقية الجملة. علاوة على ذلك، عندما طُلب من الذكاء الاصطناعي تحديث معتقداته بعد عملية التراجع، كان أفضل حالاً في التمسك بتخمينه الأصلي منه في تغيير رأيه. يبدو الأمر كما لو أن الذكاء الاصطناعي عنيد، يفضل تجاهل المعلومات الجديدة بدلاً من القيام بالتمارين الذهنية المطلوبة لتحديث فهمه.

في النهاية، تشير الدراسة إلى أنه بينما تتحسن نماذج الذكاء الاصطناعي لدينا في محاكاة الكلام البشري، إلا أنها لم تتقن بعد فن التفكير البشري في المحادثة. يمكنهم اتباع النص، لكنهم لا يزالون يتأخرون عنا عندما يتعلق الأمر بالمعتقدات المتغيرة وغير المنطوقة التي تجعل التواصل الحقيقي فعالاً. لا تدعي الورقة أن الذكاء الاصطناعي معطل، لكنها تشير إلى أنه ما لم تتمكن هذه النماذج من التعامل مع دقة إلغاء التلميح في الدردشة الطبيعية، فإنها ليست مستعدة تماماً لتكون شركاء حقيقيين في الحوار.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →