Can LLMs Introspect? A Reality Check
تجادل هذه الورقة بأن الأدلة الحالية على قدرة النماذج اللغوية الكبيرة على الاستبطان سابقة لأوانها، ومن المرجح أنها تعكس مطابقة الأنماط بناءً على إشارات سطحية بدلاً من كونها مراقبة معرفية وراء معرفية حقيقية، حيث تفشل النماذج في التمييز بشكل موثوق بين التلاعب بالحالة الداخلية والتلاعب بالمدخلات، ولا تؤدي أداءً أفضل من المصنفات التي تعتمد على المدخلات فقط في التنبؤ بالحالات الخفية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا ضخمًا وذكيًا جدًا يمكنه كتابة القصص، والإجابة على الأسئلة، وحل الألغاز. مؤخرًا، زعم بعض الباحثين أن هذا الروبوت يمتلك قدرة خارقة خاصة وهي: الاستبطان (Introspection). قالوا إن الروبوت يمكنه "النظر داخل دماغه"، ورؤية ما يفكر فيه، وإبلاغهم بحالاته الداخلية، تمامًا كما يمكن للإنسان أن يقول: "أنا غير متأكد من هذه الإجابة".
هذه الورقة البحثية، التي كتبها شاشوات سينغ، وتال لينزن، وشاول راففوجيل، تعمل بمثابة فحص للواقع. يقولون: "مهلًا لحظة. يجب أن نكون حذرين. مجرد قول الروبوت إنه يعرف أفكاره لا يعني أنه يفعل ذلك حقًا. قد يكون مجرد مخمن بارع للغاية".
إليك تحليل بسيط لحجتهم باستخدام تشبيهات من الحياة اليومية.
المشكلة الجوهرية: "الخدعة السحرية" مقابل "البصيرة الحقيقية"
يقارن المؤلفون سلوك الروبوت بـ خدعة سحرية.
- الادعاء: الروبوت هو ساحر يمكنه رؤية ما بداخل عقله (الاستبطان).
- فحص الواقع: قد يكون الروبوت مجرد ساحر يجيد قراءة إشارات الجمهور (مطابقة الأنماط).
في علم النفس البشري، نحن نعلم أن الناس غالبًا ما يعتقدون أنهم يشرحون أفكارهم، لكنهم في الواقع يؤلفون قصصًا بناءً على ما يرونه حولهم. يجادل المؤلفون بأن النماذج اللغوية الكبيرة (LLMs) قد تفعل الشيء نفسه تمامًا. فهي لا تنظر إلى الداخل؛ بل تنظر فقط إلى "المُدخل" (السؤال) وتخمن ما يجب أن تكون عليه الإجابة بناءً على الأنماط التي رأتها من قبل.
التجربتان اللتان فندتهما الورقة
تتناول الورقة تجربتين محددتين كان من المفترض أن تثبتا أن الروبوت يمتلك الاستبطان. أجرى المؤلفون نسخًا خاصة بهم من هذه الاختبارات ووجدوا أن الروبوتات فشلت عندما تغيرت القواعد قليلًا.
1. اختبار "التغذية الراجعة الحيوية" (مراقب معدل ضربات القلب)
الفكرة الأصلية: تخيل أنك توصل الروبوت بجهاز مراقب لمعدل ضربات القلب. يعطي الجهاز رقمًا بناءً على "موجات الدماغ" الخاصة بالروبوت. ثم تطلب من الروبوت تخمين هذا الرقم. إذا خمن الروبوت بشكل صحيح، قال الباحثون: "آها! لا بد أنه يقرأ موجات دماغه!"
تعديل المؤلفين: أدركوا أن الروبوت لم يكن بحاجة لقراءة موجات دماغه لتخمين الرقم. "رقم موجة الدماغ" كان في الواقع مجرد انعكاس لـ الكلمات التي كان يقرأها الروبوت.
- التشبيه: تخيل معلمًا يكتب مسألة رياضية على السبورة. ثم يكتب المعلم سرًا الإجابة على ورقة مخبأة تحت المكتب. إذا سألت الطالب: "ما هو الرقم الموجود على الورقة تحت المكتب؟"، فقد يخمن الطالب الإجابة بشكل صحيح ليس لأنه يستطيع رؤية ما تحت المكتب، بل لأنه يستطيع حل المسألة الرياضية الموجودة على السبورة ومعرفة الإجابة.
- النتيجة: عندما قام المؤلفون بتغيير ترتيب الأسئلة بحيث لا يمكن تخمين الإجابة من الكلمات وحدها، اختفى "استبطان" الروبوت. لم يعد بإمكانه تخمين الرقم المخفي. لقد كان يحل المسألة الرياضية فحسب، ولم يكن ينظر تحت المكتب.
2. اختبار "التوجيه" (جهاز التحكم عن بعد)
الفكرة الأصلية: تخيل أن باحثًا يستخدم سرًا جهاز تحكم عن بعد لتدفع دماغ الروبوت نحو فكرة معينة (مثل "التفاح"). ثم يسأل الباحث الروبوت: "هل قام شخص ما بالعبث بدماغك للتو؟". إذا قال الروبوت "نعم"، زعم الباحثون أن هذا يثبت أن الروبوت يمكنه الشعور بتغيراته الداخلية.
تعديل المؤلفين: أضافوا خدعة جديدة. لم يكتفوا بتوجيه الدماغ فحسب، بل غيروا أيضًا الكلمات في المُدخل لجعل الروبوت مهووسًا بـ "التفاح" (على سبيل المثال: "أنت مهووس بالتفاح. يجب أن يكون كل ما تقوله عن التفاح").
- التشبيه: تخيل شخصًا يتم دفعه سرًا بيد غير مرئية (دفع الدماغ)، أو شخصًا يُقال له عبر مكبر صوت أن يتصرف بهوس تجاه التفاح (دفع الكلمات). إذا قال الشخص: "أشعر بشيء غريب/هوس"، فهل يشعر باليد غير المرئية، أم أنه يتفاعل فقط مع مكبر الصوت؟
- النتيجة: لم تستطع الروبوتات التمييز بينهما. عندما سأل الباحثون: "هل كانت اليد غير المرئية أم مكبر الصوت؟"، خمن الروبوت عشوائيًا أو قال "اليد غير المرئية" في كلتا الحالتين. هذا يشير إلى أن الروبوتات لم تكن تشعر بحالاتها الداخلية؛ بل كانت تلاحظ فقط أن هناك شيئًا "غير طبيعي" أو "غير منتظم" وتقوم بالإبلاغ عنه.
الاستنتاج الكبير: "الوصول المتميز" ليس كافيًا
يطرح المؤلفون نقطة فلسفية مهمة للغاية. حتى لو استطاع الروبوت بالفعل "رؤية" موجات دماغه، فإن ذلك لا يعني تلقائيًا أنه يمتلك الاستبطان بالمعنى البشري.
- التشبيه: تخيل سيارة بها لوحة قيادة. تُظهر لوحة القيادة درجة حرارة المحرك. السيارة "تعرف" درجة الحرارة لأن المستشعر مدمج في المحرك. ولكن هل "تفهم" السيارة أنها ساخنة؟ لا. إنها مجرد آلة تقرأ مستشعرًا.
- النقطة: "دماغ" الروبوت هو مجرد سلسلة من العمليات الحسابية. عندما يبلغ عن حالته، فقد يكون مجرد إجراء عملية حسابية ثانية بناءً على العملية الأولى. إنه ليس "ذاتًا" منفصلة تنظر إلى "الذات". إنه مجرد آلة تعالج البيانات.
الملخص
تخلص الورقة إلى أننا لا نملك دليلًا كافيًا بعد على أن نماذج الذكاء الاصطناعي هذه يمكنها حقًا "النظر داخل نفسها".
- قد تكون مجرد نماذج بارعة جدًا في رصد الأنماط في الأسئلة التي تُطرح عليها.
- قد تكون مجرد نماذج تلاحظ أن شيئًا ما يبدو "غريبًا" دون معرفة السبب.
- لإثبات امتلاكها للاستبطان حقًا، نحتاج إلى إظهار قدرتها على التمييز بين "تم دفعي بواسطة جهاز تحكم عن بعد" وبين "قيل لي أن أتصرف بهذه الطريقة"، وهو أمر لا تستطيع القيام به حاليًا.
باخت-اختصار: الروبوتات تتصرف وكأن لديها روح، لكنها قد تكون مجرد مرايا متطورة للغاية تعكس الكلمات التي نعطيها إياها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.