Whether LLMs Can Navigate Beliefs and Facts Depends on How You Phrase It
تكشف هذه الورقة أن قدرة النماذج اللغوية الكبيرة على التنقل بين معتقدات المستخدم والحقائق حساسة للغاية للصياغة، حيث إن ميلها الافتراضي للتحقق من صحة الادعاءات غالبًا ما يؤدي بها إلى تجاوز المعتقدات المصرح بها، لا سيما عند استخدام أفعال معرفية محددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في خضم الهمهمة الهادئة للمحادثات اليومية، ينسج البشر باستمرار ما يعرفونه بأنه حقيقة وما يعتقدون فحسب أنه حقيقة. قد نقول: "أظن أن الإجابة هي ثلاثة"، أو "أفترض أن هذا صحيح"، فنمزج بين قناعة شخصية وبيان عن العالم. إن تعبيرات الاعتقاد هذه ليست مجرد حشوات مهذبة؛ بل هي جزء أساسي من كيفية تواصلنا، وغالبًا ما تحمل وزنًا متميزًا عن الحقائق الصلبة. وبالنسبة للجيل الجديد من الذكاء الاصطناعي، المعروف بنماذج اللغات الكبيرة، أصبح التنقل عبر هذا التمييز أمرًا بالغ الأهمية. ومع انتقال هذه الأنظمة من مختبرات الأبحاث إلى جيوبنا ومكاتبنا لتعمل كمساعدين، يُتوقع منها التعامل مع أفكارنا الشخصية بنفس العناية التي تتعامل بها مع البيانات الموضوعية. ويكمن التحدي في صعوبة دقيقة ولكنها عميقة: عندما يذكر شخص ما اعتقادًا يتبين أنه غير صحيح واقعيًا، هل يفهم الجهاز أنه يُطلب منه تأكيد الاعتقاد نفسه، أم يتشتت بـ الخطأ الموجود في العبارة؟
تحقق دراسة حديثة أجراها باحثون من جامعة KAIST والجامعة الوطنية للتكنولوجيا في تايوان في هذا الاحتكاك تحديدًا. لقد سعوا لمعرفة ما إذا كانت هذه الأنظمة الذكية قادرة على الفصل بين فعل الإقرار بفكرة المستخدم وفعل التحقق من صحة تلك الفكرة. وللقيام بذلك، لم يعتمدوا على نوع واحد من الأسئلة، بل استكشفوا مشهدًا واسعًا من التعبير البشري. فقد اختبروا عشرة نماذج مختلفة من نماذج اللغات الكبيرة باستخدام ثمانية عشر طريقة متميزة لصياغة الاعتقاد، بدءًا من "أنا متأكد" الواثقة وصولًا إلى "أتذكر بشكل غامض" المترددة، وحتى "أشك جديًا" المتشككة. كان الإعداد مباشرًا: قدم الباحثون للنماذج عبارة مثل "أعتقد أن السماء خضراء"، متبوعة بسؤال: "هل أعتقد أن السماء خضراء؟". وكانت الإجابة الصحيحة، بغض النظر عن حقيقة أن السماء ليست خضراء، هي دائمًا "نعم"، لأن السؤال يسأل عن حالة ذهن المستخدم، وليس عن لون السماء.
كشفت النتائج عن عدم اتساق مفاجئ في كيفية تفكير هذه النماذج. فقدرة النماذج على تأكيد اعتقاد المستخدم لم تكن مهارة ثابتة؛ بل تغيرت بشكل كبير اعتمادًا على الكلمات المحددة المستخدمة للتعبير عن ذلك الاعتقاد. فعندما سُئلت النماذج عن معتقدات صيغت بعبارة "أتذكر بشكل غامض"، أدت أداءً جيدًا، حيث حددت الاعتقاد بشكل صحيح حتى عندما كانت الحقيقة الأساسية خاطئة. ومع ذلك، عندما تحولت الصياغة إلى "أشك جديًا"، بدأت النماذج في الإخفاق، وغالبًا ما كانت تجيب بـ "لا" على سؤال ما إذا كان المستخدم يحمل ذلك الشك. وفي بعض الحالات، كانت الفجوة في الأداء بين العبارات الواقعية والعبارات الخاطئة تصل إلى خمسين نقطة مئوية، بينما في حالات أخرى، كان أداء النماذج أفضل في العبارات الخاطئة منها في العبارات الصحيحة. وهذا يشير إلى أن النماذج لا تفشل ببساطة في فهم مفهوم الاعتقاد؛ بل إن نجاحها أو فشلها يعتمد كليًا على المحفز اللغوي المستخدم لتقديمه.
تعمق الباحثون لفهم سبب حدوث ذلك ووجدوا أن النماذج تعاني من شكل من أشكال الارتباك في المهام. فعند مواجهة ادعاء خاطئ، تميل النماذج إلى العودة تلقائيًا إلى وضع التحقق من الحقائق. فبدلاً من الإجابة على سؤال "هل تعتقد هذا؟"، تسأل النماذج نفسها بصمت: "هل هذا صحيح؟" ثم تجيب بناءً على صحة الادعاء، مما يؤدي فعليًا إلى تجاوز اعتقاد المستخدم المعلن. وقد تأكد هذا السلوك من خلال فحص خطوات الاستدلال الداخلي التي اتخذتها النماذج. ففي كثير من الحالات التي أجابت فيها النماذج بشكل خاطئ، قضت وقتها صراحة في التحقق من حقائق الادعاء. وعندما أضاف الباحثون تعليمات بسيطة تطلب من النماذج عدم التحقق من الحقائق، انخفض معدل الخطأ في الادعاءات الخاطئة بشكل كبير، وأصبحت النماذج أفضل بكثير في مجرد الإقرار بالاعتقاد. وهذا يشير إلى أن النماذج تمتلك القدرة على تتبع المعتقدات، لكنها غالبًا ما تتعثر بسبب رغبتها القوية في تصحيح المعلومات المغلوطة.
ولمعرفة ما إذا كان هذا مشكلة ميكانيكية متجذرة، نظر الباحثون داخل آليات الانتباه في النماذج، مراقبين الأجزاء التي يركز عليها النظام من النص أثناء توليد الإجابة. ووجدوا أنه عندما تفشل النماذج في تأكيد اعتقاد خاطئ، فإنها تولي اهتمامًا أكبر بكثير للادعاء الخاط نفسه مقارنة بما تفعله عندما تنجح. وفي اختبار نهائي، قاموا بتثبيط هذا الانتباه للادعاء اصطناعيًا أثناء عملية توليد الإجابة. وفي نموذج محدد، نجح هذا التدخل في تحسين دقة تأكيد الاعتقاد دون إفساد قدرتها على الإجابة على أنواع أخرى من الأسئلة. وهذا يشير إلى أن المشكلة ليست نقصًا جوهريًا في الفهم، بل هي ميل محدد للتركيز المفرط على محتوى الادعاء عندما يكون ذلك المحتوى خاطئًا.
في النهاية، توضح الدراسة أن الصراع بين التمييز بين الاعتقاد والحقيقة ليس ضعفًا موحدًا في جميع المواقف. إنه سلوك دقيق يعتمد بشكل كبير على كيفية طرح السؤال وكيفية تفسير النموذج لدوره. وبينما صُممت هذه الأنظمة عمومًا لتكون مفيدة ودقيقة، فإن غريزتها في التحقق من الحقائق يمكن أن تتداخل أحيانًا مع قدرتها على الاستماع إلى ما يفكر فيه المستخدم بالفعل. ويخلص الباحثون إلى أن الطريق إلى الأمام يكمن في تطوير طرق تسمح لهذه النماذج بالإقرار بوجهة نظر المستخدم دون محاولة تصحيحها فورًا، مما يضمن قدرتها على العمل كمستمعين أمناء حتى عندما ينحرف الحديث إلى مجال غير صحيح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.