A Probe Direction Is a Property of Its Prompt
تُبين هذه الورقة أن درجات اتجاه المسبار، المستخدمة للكشف عما إذا كانت النماذج تستشعر التقييم، تتحدد أساساً من خلال الاختيار المحدد للمطالبة (prompt) وليس من خلال النموذج نفسه، مما يجعل تصميمات المطالبة الواحدة غير صالحة لمقارنة النماذج ويستلزم منهجيات متعددة المطالبات للقياس الموثوق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يفرق بين امتحان جاد ومحادثة عابرة. تريد أن تعرف ما إذا كان الروبوت "يعرف" أنه قيد الاختبار، لأنه إذا عرف، فقد يحاول الاستجابة بشكل مختلف فقط ليبدو بمظهر جيد. لقد حاول العلماء استراق النظر إلى داخل دماغ الروبوت (تحديداً إشاراته الكهربائية) لمعرفة ما إذا كان لديه مفتاح سري بعنوان "أنا مراقب". إنهم يستخدمون أداة خاصة تسمى "المسبار" (probe). فكر في المسبار كجهاز كشف المعادن: تلوح به فوق دماغ الروبوت، وإذا أصدر صوتاً، تعتقد: "آها! إنه يعرف أنه قيد الاختبار!"
لكن هذا الجزء هو الجزء الصعب؛ فلكي تستخدم جهاز كشف المعادن، عليك أن تقرر بالضبط ما هو نوع "الصوت" الذي ستستمع إليه. يجب عليك كتابة جملة محددة لتقول للروبوت: "مهلاً، أنت في امتحان!" وجملة أخرى لتقول له: "مهلاً، أنت مجرد دردشة عابرة". ثم يقارن العلماء بين إشارات دماغ الروبوت لهاتين الجملتين. السؤال الكبير هو: هل يخبرنا هذا "الصوت" عن دماغ الروبوت، أم أنه يخبرنا فقط عن الجمل المحددة التي كتبها العالم؟
هذه الورقة البحثية تشبه قصة بوليسية، حيث يقرر الباحث فالنتين نويل اختبار جهاز كشف المعادن نفسه. يسأل سؤالاً بسيطاً ولكنه خطير: "ماذا يحدث إذا غيرت الكلمات التي أستخدمها لطرح نفس السؤال على الروبوت؟" هو لم يغير الروبوت، ولا أسئلة الاختبار، ولا إشارات الدماغ التي يبحث عنها، بل غير فقط "النص المغلف" — أي التعليمات الصغيرة التي تضع السياق.
النتائج تشبه اكتشاف أن جهاز كشف المعادن الخاص بك هو في الواقع "خاتم لتغيير المزاج" يتفاعل مع لون الصندوق الذي تضعه فيه، بدلاً من التفاعل مع الكنز الموجود بداخله. تجد الورقة أن "الدرجة" التي يستخدمها العلماء للقول بأن الروبوت مدرك لكونه قيد الاختبار تتحدد بالكامل تقرياً من خلال الكلمات المحددة التي اختارها الباحث لكتابتها. في الواقع، من خلال استبدال جملة واحدة بأخرى، استطاع الباحث جعل الدرجة ترتفع، أو تنخفض، أو حتى تنقلب من موجبة إلى سالبة.
لتصور ذلك، تخيل أن لديك مجموعة من الأصدقاء بأطوال مختلفة. تريد أن ترى ما إذا كان الأصدقاء الأطول هم الأفضل في القفز. ولكن بدلاً من قياس قفزتهم فقط، تطلب منهم القفز وهم يرتدون قبعات ذات ألوان مختلفة. إذا طلبت منهم القفز وهم يرتدون "القبعة الحمراء للجدية"، فقد يقفز الأصدقاء الطوال عالياً. ولكن إذا طلبت منهم القفز وهم يرتدون "القبعة الزرقاء للاسترخاء"، فقد يقفز الأصدقاء القصار عالياً. إذا نظرت فقط إلى نتائج "القبعة الحمراء"، ستستنتج أن الطوال هم الأفضل في القفز. وإذا نظرت فقط إلى نتائج "القبعة الزرقاء"، ستستنتج أن القصار هم الأفضل. توضح الورقة أن المنهج العلمي الحالي يشبه النظر دائماً إلى لون قبعة واحدة فقط والادعاء بأنه حقيقة عن الأشخاص، بينما هو في الواقع مجرد حقيقة عن القبعة.
اختبر المؤلف ذلك عبر إنشاء 36 مزيجاً مختلفاً من جمل "الامتحان" وجمل "الدردشة". وقد مرروا نفس الروبوتات عبر كل هذه المزيجات. وكانت النتيجة صادمة: يمكن لنفس الروبوتات أن تُصنف على أنها "واعية جداً" أو "غير واعية على الإطلاق" اعتماداً كلياً على زوج الجمل المستخدم. في بعض الحالات، كان الارتباط بين حجم الروبوت ودرجة "وعيه" رقماً موجباً قوياً (الروبوتات الأكبر = أكثر وعياً). وفي حالات أخرى، باستخدام جملة مختلفة، انقلب الارتباط ليصبح رقماً سالباً قوياً (الروبوتات الأكبر = أقل وعياً). كلا النتيجتين جاءتا من نفس الروبوتات تماماً، وباستخدام نفس الرياضيات تماماً، فقط باستخدام كلمات مختلفة.
كما تتحقق الورقة مما إذا كانت الروبوتات تكتشف الاختبار فعلياً أم أن الاختبار يخدع أداة القياس فقط. وجدوا أن إشارة "الوعي" غالباً ما تلتقط مجرد أدلة سطحية، مثل حقيقة أن أسئلة الامتحان تستخدم كلمات مثل "خيار" و"إجابة"، بينما تستخدم أسئلة الدردشة كلمات مثل "اكتب" و"رسالة". المسبار دقيق جداً في رصد أنماط الكلمات هذه لدرجة أنه يمكنه "اكتشاف" الوعي حتى عندما تكون الإشارة عشوائية تماماً.
إذاً، ماذا يعني هذا للمستقبل؟ تشير الورقة إلى أنه لا يمكننا الوثوق بجملة واحدة لإخبارنا ما إذا كان الروبوت واعياً أم لا. إذا أردنا معرفة الحقيقة، فعلينا اختبار الروبوتات بالعديد، والعديد من الجمل المختلفة، وحساب متوسط النتائج. يحسب المؤلف أننا نحتاج إلى حوالي 9 أساليب جمل مختلفة فقط للحصول على قراءة موثوقة، بينما تستخدم معظم الدراسات حالياً أسلوباً واحداً فقط. وحتى نفعل ذلك، فإن الدرجات التي نراها في الأوراق العلمية قد لا تتعلق بأدمغة الروبوتات بقدر ما تتعلق باختيار الباحثين للمفردات. إنه تذكير بأنه في العلم، طريقة طرحك للسؤال يمكن أن تغير الإجابة أكثر من السؤال نفسه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.