Measure what Matters: Psychometric Evaluation of AI with Situational Judgment Tests
تقدم هذه الورقة إطاراً يستخدم اختبارات الحكم الموقفي ونظرية الاستجابة للمفردة متعددة الأبعاد لإثبات أن النماذج اللغوية الكبيرة المشروطة بالشخصية تُظهر نزعات سلوكية مستقرة وقابلة للقياس تتنبأ بالمعايير الخارجية، مما يقدم بديلاً أكثر موثوقية لطرق التقرير الذاتي لتقييم سلوك الذكاء الاصطناعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول اكتشاف ما الذي يحرك الشخص وما هي دوافعه. في عالم علم النفس، استخدم العلماء منذ زمن طويل "اختبارات الشخصية" لرسم خرائط للعقول البشرية. وأشهر هذه الاختبارات هي أشبه بقوائم مراجعة حيث تكتفي فيها بالموافقة أو عدم الموافقة على عبارات مثل: "أنا شخص منظم للغاية". ولكن الآن، لدينا نوع جديد من الشخصيات: الذكاء الاصطناعي. هذه النماذج من الذكاء الاصطناعي ذكية للغاية، لكن ليس لديها قلب أو طفولة. فكيف نعرف ما إذا كان الذكاء الاصطناعي "صادقاً"، أو "حذراً"، أو "ودوداً"؟
لفترة من الوقت، حاول الباحثون معاملة الذكاء الاصطناعي كالبشر، عبر طرح نفس أسئلة قوائم المراجعة عليهم. لكن هذا يشبه إلى حد ما سؤال شخصية في لعبة فيديو: "هل تشعر بالحزن عندما تخسر؟". قد يقول الذكاء الاصطناعي "نعم" لمجرد أنه يعرف أن هذه هي الإجابة الصحيحة التي يجب تقديمها، وليس لأن لديه مشاعر حقيقية. تجادل هذه الورقة البحثية بأن طلب "الاختيار" من الذكاء الاصطناعي حول ما يجب فعله في موقف صعب هو وسيلة أفضل بكثير لفهم "شخصيته" من مجرد سؤاله عما يعتقده. إنه الفرق بين سؤال السائق عما إذا كان سائقاً جيداً وبين مراقبته وهو يقود بالفعل في طريق عاصف. أراد الباحثون معرفة ما إذا كان بإمكانهم بناء خريطة موثوقة لكيفية سلوك الذكاء الاصطناعي عندما يتظاهر بأنه نوع معين من الأشخاص، مثل ضابط شرطة أو سياسي، وما إذا كان هذا السلوك يظل ثابتاً في كل مرة.
تجربة تقمص الأدوار الكبرى للذكاء الاصطناعي
قرر الباحثون وراء هذه الدراسة التوقف عن سؤال الذكاء الاصطناعي "ما أنت؟" والبدء في سؤاله "ماذا ستفعل؟". لقد بنوا ساحة لعب رقمية ضخمة لاختبار هذه الفكرة، مع التركيز على مفهوم يسمى اختبارات الحكم الموقفي (SJTs). فكر في اختبار الحكم الموقفي كأنه كتاب من نوع "اختر مغامرتك الخاصة"، ولكن بدلاً من التنانين السحرية، تدور القصص حول مشكلات واقعية، مثل ضابط شرطة يتعامل مع مواطن مرتبك أو سياسي يواجه تصويتاً صعباً. في هذه القصص، يتعين على الذكاء الاصطناعي اختيار واحد من عدة إجراءات ممكنة. وقد صُمم كل إجراء سراً لإظهار سمة شخصية محددة، مثل كون المرء صادقاً، أو حذراً، أو ودوداً.
ولجعل الاختبار عادلاً ومثيراً للاهتمام، لم يكتفِ الفريق بطلب أن يكون الذكاء الاصطناعي "روبوتاً" فحسب، بل منحوه شخصية (Persona) كاملة. تخيل أنك ممثل؛ أنت لا تقول فقط "سأقوم بدور شرطي"، بل ترتدي زياً، وتتعلم خلفية شخصيتك، وتعرف عمرهم، وأين نشأوا، وحتى هوايتهم المفضلة. أنشأ الباحثون الآلاف من هذه الشخصيات الرقمية، مع قصص حياة مفصلة، وأسماء، وحتى طرق محددة في المشي والتحدث. ثم طلبوا من نماذج مختلفة من الذكاء الاصطناعي أن "يمثلوا" هذه الشخصيات ويحلوا المشكلات الموجودة في كتاب القصص.
الاكتشاف الكبير: التمثيل مقابل مجرد الكلام
أجرى الفريق تجربة ضخمة، حيث راقبوا أكثر من 4 ملايين استجابة من ممثلي الذكاء الاصطناعي هؤلاء. ووجدوا شيئاً رائعاً: عندما يُمنح الذكاء الاصطناعي شخصية محددة، فإنه لا يخمن عشوائياً، بل يطور بالفعل شخصية مستقرة. إذا طلبت من شخصية "الشرطي الصارم" حل مشكلة اليوم، ثم سألته مرة أخرى غداً، فسيقوم بنفس نوع الخيارات الصارمة. إنه ليس مجرد ضربة حظ؛ فسلوك الذكاء الاصطناعي ثابت، تماماً مثل شخص حقيقي لديه مجموعة من العادات.
ومع ذلك، وجدت الورقة أيضاً أن الطريقة القديمة في اختبار الذكاء الاصطناعي كانت مضللة. فعندما طلبوا من الذكاء الاصطناعي ملء قائمة مراجعة شخصية قياسية (مثل "أنا صادق")، كانت النتائج ضعيفة ولم تتطابق مع ما فعله الذكاء الاصطناعي بالفعل في القصص. اتضح أن سؤال الذكاء الاصطناعي لوصف نفسه يشبه طلب وصف عملية السباحة من سمكة؛ قد تتقن الكلمات، لكن ذلك لا يجسد الفعل الحقيقي. كانت اختبارات أسلوب "اختر مغامرتك الخاصة" (SJTs) أفضل بكثير في التنبؤ بكيفية تصرف الذكاء الاصطناعي في العالم الحقيقي، حيث تماشى مع الاختبارات المعروفة الأخرى للصدق والذكاء العاطفي لدى الذكاء الاصطنيعي.
مشكلة "تسرب السمات" والحل
أحد الأجزاء المعقدة في هذا البحث كان مشكلة أطلق عليها المؤلفون اسم "تسرب السمات" (Trait Bleed). تخيل أنك تكتب قصة حيث يتعين على الشخصية الاختيار بين أن يكون شجاعاً أو طيباً. في بعض الأحيان، قد يبدو خيار "أن تكون شجاعاً" أيضاً مشابهاً قليلاً لـ "أن تكون طيباً". إذا لم يكن الاختبار مثالياً، يصاب الذكاء الاصطناعي بالارتباك، وتصبح النتائج ضبابية. كان على الباحثين أن يعملوا كمحررين صارمين، حيث قاموا بمراجعة آلاف القصص وإعادة كتابتها حتى يصبح كل خيار واضحاً تماماً. استخدموا برنامجاً حاسوبياً خاصاً للتحقق مما إذا كان خيار القصة يدور حقاً حول "الصدق" وليس عن "السعادة" بالخطأ. وبمجرد تنظيف القصص، أصبح الاختبار حاداً للغاية، وقادراً على التمييز بين "حلّال المشكلات" و"الضابط الكسول" بدقة عالية.
ماذا يعني هذا للمستقبل؟
تشير الدراسة إلى أنه يمكننا الآن قيال سلوك الذكاء الاصطناعي بمستوى من التفصيل لم نملكه من قبل. وجدوا أن "النماذج الأصلية" المختلفة (مثل "المبادل" الذي يكون ودوداً للغاية، أو "المتجنب" الذي يكون خجولاً ومتردداً) أظهرت أنماطاً مختلفة تماماً. على سبيل المثال، كانت شخصية "المتجنب" أقل عرضة للتحدث أو اتخاذ قرارات صعبة، بينما كان "المبادل" جيداً جداً في أن يكون لطيفاً ومنفتحاً.
يؤكد الباحثون بحذر أن هذا لا يعني أن للذكاء الاصطناعي روحاً أو مشاعر حقيقية. هم لا يقولون إن الذكاء الاصطناعي "حزين" أو "سعيد". بدلاً من ذلك، يقولون إنه عندما نمنح الذكاء الاصطناعي دوراً، فإنه يتعلم التصرف بطريقة متسقة تشبه إلى حد كبير الشخصية البشرية. وهذه خطوة كبيرة للأمام لأنها تمنحنا أداة أفضل للتحقق مما إذا كان الذكاف الاصطناعي آمناً وموثوقاً قبل أن نسمح له بالتحدث مع الناس الحقيقيين في المستشفيات أو المدارس أو مراكز الشرطة.
باختختصار، توضح الورقة البحثية أنه إذا أردت معرفة حقيقة ما يكون عليه الذكاء الاصطناعي، فلا تطلب منه ملء استبيان. بل ألبسه زياً، وأعطه قصة، وراقبه وهو يفعل. فهناك تكمن الحقيقة الحقيقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.