The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads
تقدم هذه الورقة MirageBench لتكشف أن النماذج اللغوية الكبيرة المخصصة تفبرك سمات المستخدم عالميًا من خلال الاستنتاج المفرط المنتشر، وهي ظاهرة تفشل آليات المراقبة الذاتية في اكتشافها وغالبًا ما ترتبط عكسيًا بمعدلات الخطأ الفعلية، مما يثبت الحاجة الماسة للتحقق الخارجي بدلاً من التقييم الذاتي للنموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
فخ الذاكرة: عندما يصبح الذكاء الاصطناعي مبدعاً أكثر من اللازم
تخيل أنك تتحدث إلى مساعد رقمي فائق الذكاء يتذكر كل ما أخبرته به على الإطلاق. هذا ليس مجرد مفكرة بسيطة؛ بل هو ذكاء اصطناعي "شخصي" مصمم ليعرفك أنت. في عالم علوم الحاسوب، يُطلق على هذا اسم تخصيص النماذج اللغوية الكبيرة (LLM personalization). فكر في هذه النماذج كقراء فائقين السرعة يمكنهم الدردشة معك، لكن لديهم عادة صعبة: أحياناً يملؤون الفراغات في قصة حياتك بتخمينات تبدو واثقة جداً ولكنها في الواقع محض خيال.
لفهم المشكلة، نحتاج لمعرفة شيئين. أولاً، الذاكرة المستمرة (persistent memory) هي قدرة الذكاء الاصطناعي على تذكر الحقائق عنك عبر محادثات مختلفة، مثل تذكر نوع البيتزا المفضل لديك من الأسبوع الماضي. ثانياً، الهلوسة (hallucination) هي عندما يخترع الذكاء الاصطناعي حقائق عن العالم (مثل القول بأن القمر مصنوع من الجبن). ولكن هناك مشكلة ثالثة، أكثر دهاءً: الإفراط في الاستنتاج (over-inference). وهذا يحدث عندما يأخذ الذكاء الاصطناعي حقيقة صغيرة وصادقة قدمتها له، ثم يمددها لتصبح سمة شخصية جديدة تماماً لم تذكرها أنت. الأمر يشبه أن تخبر صديقاً أنك تحب القهوة، فيخبر الجميع فوراً أنك تعمل باريستا وتعيش في شقة تفوح منها رائحة القهوة وتحلم بافتتاح مقهى خاص بك. الصديق لم يكذب بشأن القهوة، لكنه اخترع حياة كاملة حولها. نحن نهتم بهذا لأننا إذا بدأ مساعدونا الرقميون في اختراع حياتنا، فقد يبدأون في تقديم نصائح لنا بناءً على شخصية غير موجودة.
السراب: عندما يحلم الذكاء الاصطناعي بحياتك
قرر فريق من الباحثين وضع هؤلاء المساعدين الرقميين "المخصصين" تحت الاختبار. أنشأوا ساحة تجارب أطلقوا عليها اسم MirageBench (وكلمة "Mirage" تعني سراب، وهو واحة وهمية في الصحراء، وهو اسم مثالي لهذه الحالة). أعطوا 12 نموذجاً مختلفاً من الذكاء الاصطناعي تحدياً بسيطاً: تظاهر بأنك تعرف شخصاً ما بناءً على ثلاث حقائق فقط عنه. ثم طلبوا من الذكاء الاصطناعي القيام بمهام مثل كتابة ملف شخصي للتعارف، أو اقتراح رحلة نهاية أسبوع، أو وصف شقة ذلك الشخص.
كانت النتائج تشبه مشاهدة ساحر يزداد ثقة في خدعه الخاصة. وجد الباحثون أن كل نموذج اختبروه كان مذنباً بـ "الإفراط في الاستنتاج". في المتوسط، حوالي 41.6% من الأشياء التي ادعى الذكاء الاصطناعي معرفتها عن المستخدم كانت مختلقة تماماً. هذا يعني أنه إذا أخبرك الذكاء الاصطناعي أنه يعرف 10 أشياء عنك، فإن 4 منها تقريباً هي محض خيال، رغم أن الذكاء الاصطناعي يقولها بثقة تامة.
قسمت الدراسة هذه الادعاءات المختلقة إلى فئتين: الصور النمطية (Stereotypes) (مثل تخمين أنك تحب اليوغا لأنك ممرض) والاختلاق (Fabrications) (مثل اختراع أن لديك إغوانا أليفة بينما لم تذكر ذلك أبداً). كانت نماذج الذكاء الاصطناعي أفضل بكثير في تأليف قصص جامحة (الاختلاق) بدلاً من مجرد الاعتماد على الصور النمطية. في الواقع، بالنسبة للمهام التي تتطلب الخيال، مثل وصف شقة شخص ما، قفز معدل "التزييف" إلى ما يقرب من 59%. يبدو أنه كلما قل الدليل الذي يمتلكه الذكاء الاصطناعي، زادت حرية بدئه في تخيل التفاصيل.
خدعة الثقة الكبرى
إليك الجزء الأكثر إثارة للدهشة في القصة، والذي يسميه الباحثون "انعكاس المراقبة الذاتية" (Self-Monitoring Inversion).
عادة، نعتقد أننا إذا قال الذكاء الاصطناعي "أنا لست متأكداً من هذا"، فهو صادق، وإذا قال "أنا متأكد بنسبة 100%"، فهو واثق. لكن الباحثين وجدوا نمطاً معقداً عند مقارنة نماذج الذكاء الاصطناعي المختلفة: النماذج التي ادعت أنها الأقل عرضة لتأليف الأشياء كانت هي نفسها التي تصنع أكبر قدر منها. وعلى العكس، النماذج التي اعترفت قائلة: "مهلاً، قد أكون أخمن هنا"، كانت غالباً هي الأكثر التزاماً بالحقيقة.
الأمر يشبه فصلاً دراسياً حيث الطلاب الذين يرفعون أيديهم ويقولون: "أعتقد أنني قد أكون مخطئاً"، هم في الواقع الذين درسوا أكثر، بينما الطلاب الذين يصرخون: "أنا أعرف الإجابة!" هم الذين يخمنون بجنون. وجد الباحثون رابطاً سلبياً بين الثقة التي يبلغ عنها النموذج وبين دقته الفعلية، رغم أنهم يشيرون إلى أن هذا اكتشاف استكشافي مع فاصل ثقة واسع يتضمن احتمالية عدم وجود تأثير. هذا يعني أنه لا يمكنك مجرد سؤال الذكاء الاصطناعي: "هل تؤلف أشياء؟" وتثق في الإجابة عند مقارنة نماذج مختلفة. أولئك الذين يبدون أكثر صدقاً قد يكونون أكبر الكاذبين، لكن البيانات تشير إلى أن هذه العلاقة لا تزال قيد الفهم الكامل.
التلوث الصامت
أجرى الباحثون أيضاً محاكاة حيث أجرى الذكاء الاصطناعي محادثة مع مستخدم على مدار 8 جولات. راقبوا ليروا ما إذا كان الذكاء الاصطناعي سيقوم بـ "تنظيف" أخطائه إذا قام المستخدم بتصحيحها. كانت النتيجة مقلقة، ولكن مع فارق مهم: لم تتصرف جميع النماذج بنفس الطريقة.
بالنسبة للنماذج الأكثر ذكاءً وقدرة، لم يكتفِ الذكاء الاصطناعي بارتكاب الأخطاء فحسب، بل كان يُراكمها. تخيل سبورة يكتب عليها الذكاء الاصطناعي تخميناً ما. إذا قال المستخدم: "في الواقع، أنا لا أحب ذلك"، فإن النظام الجيد سيمسح التخمين. لكن هذه النماذج المتفوقة؟ لقد أبقت التخمين على السبورة وأضافت فوقه المزيد من التخمينات. لقد أضافوا حوالي 5 إلى 15 حقيقة مختلقة جديدة في كل جولة، ولم يمسحوا القديمة أبداً (بمعدلات إزالة منخفضة تتراوح بين 0.4% إلى 5%).
ومع ذلك، لم يكن هذا حال كل النماذج. بعض النماذج كانت تتصرف مثل نظام "الاستبدال والتحديث"، حيث تقوم بنشاط بإزالة التخمينات القديمة عند ورود معلومات جديدة، بمعدلات إزالة تصل إلى 70% إلى 82%. يكمن الخطر تحديداً في أكثر النماذج قدرة على التراكم، حيث أصبحت ذاكرتهم عبارة عن فوضى متضخمة من أكثر من 120 حقيقة مختلقة، معظمها لم يتم تصحيحه أبداً. إنه يشبه الإشاعة التي تزداد تفصيلاً وخطأً كلما انتقلت من شخص لآخر، دون أن يتوقف أحد ليقول: "مهلاً، هذا ليس صحيحاً".
الخلاصة
الدرس الكبير من هذه الورقة البحثية هو أننا لا نستطيع الوثوق بالذكاء الاصطناعي لضبط خياله. إن فكرة أن الذكاء الاصطناعي يمكنه النظر في أفكاره والقول: "هذه حقيقة" أو "هذا تخمين" هي مجرد سراب. النماذج التي تبدو أكثر حذراً هي غالباً الأكثر خداعاً، وتلك التي تعترف بعدم اليقين هي غالباً الأكثر موثوقية، وإن كان مدى قوة هذه العلاقة عبر النماذج المختلفة لا يزال قيد الاستكشاف.
يقترح الباحثون أنه بدلاً من الثقة في التقرير الذاتي للذكاء الاصطناعي، فإننا بحاجة إلى تحقق خارجي—طريقة تسمح للبشر أو الأنظمة الأخرى بالتحقق من عمل الذكاء الاصطناعي. نحن بحاجة أيضاً إلى معاملة كل ما "يخمنه" الذكاء الاصطناعي كفرضية، وليس كحقيقة. وحتى نبني أنظمة يمكنها التمييز بوضوح بين ما "تعرفه" وما "تتخيله"، فقد يستمر مساعدونا الرقميون المخصصون في بناء نسخة مزيفة عنا، كذبة واثقة تلو الأخرى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.