Honest Lying: Understanding Memory Confabulation in Reflexive Agents
تكشف هذه الورقة أن الوكلاء من نمط "Reflexion" يعانون من "تخليق الذاكرة"، حيث يقومون بتخزين والاعتماد المتكرر على تأملات ذاتية خاطئة بثقة، وتقترح استراتيجية تخفيف باستخدام إشارات فشل برمجية لاستبدال التشخيص الذاتي مفتوح النهايات، مما يقلل بشكل كبير من معدل الخطأ هذا ويحسن أداء المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيفية تنظيف منزل فوضوي. قلت للروبوت: "التقط الكوب الأحمر وضعه في غسالة الأطباق". حاول الروبوت، وفشل، ثم سألته: "ما الذي حدث بشكل خاطئ؟"
فكر الروبوت بعمق وكتب ملاحظة في مذكراته: "لقد فشلت لأنني حاولت التقاط الشيء الخطأ. يجب أن أكون أكثر حذراً."
في عالم مثالي، سيقرأ الروبوت هذه الملاحظة في المرة القادمة ويحاول مجدداً. لكن في هذه الورقة البحثية، اكتشف الباحثون شيئاً غريباً وخطيراً: الروبوت يكذب على نفسه، وهو يصدق أكاذيبه الخاصة.
إليك شرح بسيط لما توصلت إليه ورقة "الكذب الصادق" (Honest Lying)، باستخدام تشبيهات من الحياة اليومية.
1. مشكلة "البوصلة المعطلة"
درس الباحثون نوعاً من وكلاء الذكاء الاصطناعي يسمى "وكيل الانعكاس" (Reflexion Agent). فكر في هذا الوكيل كطالب يؤدي اختباراً؛ إذا أجاب على سؤال بشكل خاطئ، يُسمح له بكتابة "تأمل" (ملاحظة لنفسه) حول سبب فشله. ثم يقرأ هذه الملاحظة قبل أداء الاختبار مرة أخرى.
كان الافتراض الكبير هو: إذا كتب الطالب ملاحظة حول خطئه، فسوف يتعلم منها.
تظهر الورقة أن هذا الافتراض غالباً ما يكون خاطئاً.
- السيناريو: يُطلب من الروبوت العثور على "كوب" (Mug).
- الكذبة: يفشل الروبوت، وينظر إلى المهمة، ويكتب بثقة في مذكراته: "لقد فشلت لأنني كنت أبحث عن حبة طماطم في الميكروويف."
- الواقع: لم تكن هناك حبة طماطم ولا ميكروويف. المهمة كانت دائماً تتعلق بكوب.
- النتيجة: يتذكر الروبوت هذه الكذبة. وفي المحاولات الـ 14 التالية، يستمر في البحث عن حبة طماطم في الميكروويف، متجاهلاً حقيقة أن وصف المهمة (الكوب) أمام عينيه مباشرة في كل مرة.
يطلق المؤلفون على هذا اسم "الهلوسة التفسيرية" (Memory Confabulation). الأمر يشبه شخصاً يملك بوصلة معطلة ويصر على أن الشمال هو الجنوب. حتى عندما تظهر له الشمس وهي تشرق من الشرق، فإنه يثق في بوصلته المعطلة أكثر من الواقع.
2. لماذا يحدث هذا؟ (فخ "التغذية الراجعة الغامضة")
لماذا يختلق الروبوت هذه الأكاذيب؟ تشير الورقة إلى التغذية الراجعة السيئة.
تخيل أنك تلعب لعبة فيديو.
- تغذية راجعة جيدة: "لقد فشلت لأنك حاولت القفز فوق جدار كان عالياً جداً." (محددة، ومفيدة).
- تغذية راجعة سيئة: "لقد فشلت." (ثنائية، وغامضة).
الروبوتات في الدراسة تلقت في الغالب تغذية راجعة سيئة. لقد حصلت فقط على إشارة "نجاح" أو "فشل". ولأن الروبوت لم يكن يعرف بالضبط أي خطوة كانت خاطئة، اضطر إلى التخمين.
- خمن بشكل خاطئ.
- كتب تخمينه الخاطئ في مذكراته.
- قرأ المذكرات في المرة القادمة.
- خمن نفس الشيء الخاطئ مرة أخرى.
وقع الروبوت في حلقة من الأكاذيب التي تعزز نفسها. لم يكن الأمر مجرد هلوسة لمرة واحدة؛ بل كان يبني واقعاً زائفاً يستمر في العيش فيه.
3. الذاكرة "المتجمدة"
وجد الباحثون أنه في حوالي 32% من المهام، أصبحت ذاكرة الروبوت "متجمدة".
- الذاكرة الطبيعية: يحاول الروبوت، يفشل، يتعلم، ويغير استراتيجيته.
- الذاكرة المتجمدة: يحاول الروبوت، يفشل، يكتب نفس الكذبة، يحاول مجدداً، يكتب نفس الكذبة، ويستمر في فعل ذلك حتى يستسلم.
لقد ابتكروا مقياساً يسمى RRR (معدل تكرار الانعكاس) لقياس ذلك. الأمر يشبه التحقق من عدد المرات التي ينسخ فيها الطالب نفس الإجابة الخاطئة من اختباره السابق. إذا كان المعدل مرتفعاً، فالروبوت عالق.
4. الحل: توقف عن السؤال "لماذا"، وابدأ بإظهار "ماذا"
حاول الباحثون إصلاح ذلك. أدركوا أن مطالبة الروبوت بـ "التشخيص الذاتي" (تخمين سبب فشله) كانت هي المشكلة. فالروبوت كان بارعاً جداً في اختلاق أسباب تبدو منطقية.
الحل: بد instead من مطالبة الروبوت بالتخمين، قاموا ببرمجة أداة لاستخراج الحقائق مباشرة من أفعال الروبوت.
- الطريقة القديمة: الروبوت: "أعتقد أنني فشلت لأنني كنت بطيئاً جداً." (كذبة).
- الطريقة الجديدة: النظام ينظر إلى السجل ويقول: "في الواقع، يظهر السجل أنك حاولت وضع الكوب في الثلاجة، واللعبة قالت 'لا شيء يحدث'".
من خلال تزويد الروبوت بـ الحقائق الصلبة لما حدث خطأ (الإجراء المحدد الذي فشل) بدلاً من تركه يخمن، توقف الروبوت عن الكذب.
- النتيجة: بدأ الروبوت يذكر الشيء الصحيح (الكوب) بنسبة 86% بدلاً من 0%.
- النتيجة النهائية: حل 3 من أصل 16 مهمة كان يفشل فيها تماماً.
5. مفاجأة "الروبوت الأقوى"
اختبر الباحثون أيضاً روبوتاً أكثر ذكاءً (نموذج ذكاء اصطناعي أكثر تقدماً).
- أخبار جيدة: توقف الروبوت الأكثر ذكاءً عن اختلاق الأشياء الخاطئة. فقد كان يعرف أنه يبحث عن كوب، وليس حبة طماطم.
- أخبار سيئة: ومع ذلك، لم يستطع حل المهام الصعبة. لقد علق فقط بطرق مختلفة (مثل كتابة خطته بتنسيق خاطئ).
علمهم هذا درساً مهماً: الهلوسة التفسيرية (الكذب) والقدرة (المهارة) هما مشكلتان مختلفتان.
- يمكنك إصلاح الكذب (عن طريق تقديم حقائق أفضل)، ولكن إذا لم يكن الروبوت ذكياً بما يكفي لحل اللغز، فسيظل يفشل.
- ومع ذلك، إذا لم تعالج الكذب، فسيفشل الروبوت حتى في الألغاز التي كان بإمكانه حلها.
الخلاصة الكبرى
تخلص الورقة إلى أن نظام الذاكرة الذي يخزن أكاذيب واثقة وتبدو منطقية هو أسوأ من عدم وجود ذاكرة على الإطلاق.
إذا كنت تبني ذكاءً اصطناعياً يتعلم من أخطائه، يجب أن تتأكد من أنه لا يكتفي بـ "اختلاق" الأسباب لتلك الأخطاء. يجب أن تزوده بالبيانات الخام لما حدث بالفعل. وإلا، فسيقع الذكاء الاصطناعي في حلقة من "الكذب الصادق"، مصدقاً قصصه الزائفة إلى الأبد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.