From Prompts to Constructs: A Dual-Validity Framework for Large Language Model Research in Psychology
تقترح هذه الورقة إطار عمل للتحقق المزدوج لأبحاث النماذج اللغوية الكبيرة في علم النفس، والذي يعمل على توسيع نطاق المتطلبات الاستدلالية من مجرد الموثوقية البسيطة إلى صدق البناء والاستدلال السببي الصارم، مما يمنع ظهور "أشباح القياس" عبر ضمان عدم تطبيق الأدوات البشرية على الذكاء الاصطناه دون التحقق من قابليتها للتفسير ومسوغاتها العلمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في الزوايا الهادئة لعلم النفس الحديث، اعتمد الباحثون لفترة طويلة على طريقة بسيطة وموثوقة: طرح الأسئلة على الناس ومراقبة كيفية إجابتهم. إنهم يستخدمون استطلاعات واختبارات مصممة بعناية لقياس أشياء غير مرئية مثل الشخصية، أو القلق، أو التفكير الأخلاقي. هذه الأدوات مبنية على افتراض أنه عندما يقول الشخص "أنا قلق"، فإنه يبلغ عن شعور داخلي حقيقي. ولكن قد فُتحت آفاق جديدة حيث لا يكون الشخص الذي يجيب على الأسئلة بشراً، بل نموذجاً لغوياً كبيراً؛ وهي برامج حاسوبية قوية يمكنها كتابة القصص، والإجابة على استفسارات معقدة، وإجراء محادثات تبدو بشرية بشكل مذهل. وبينما يبدأ العلماء في استخدام هذه الآلات لدراسة العقل البشري، أو حتى لدراسة الآلات نفسها كما لو كانت كائنات نفسية، برز سؤال جوهري: هل يمكننا الوثوق بالإجابات التي تقدمها هذه الحواسيب؟ إذا قال الحاسوب إنه خائف، فهل يعني ذلك نفس الشيء عندما يقوله البشر، أم أن الحاسوب ببساطة يحاكي صوت الخوف دون أن يشعر به؟
تتناول مراجعة جديدة من قبل عالم النفس "تشيتشنغ لين" من جامعة يونسي هذا الشك مباشرة. تجادل الورقة بأن العديد من الدراسات الحالية ترتكب خطأً جسيماً عبر معاملة مخرجات الحاسوب كما لو كانت استجابات بشرية. ويقترح المؤلف أن الباحثين غالباً ما يرون "أشباح القياس" (measurement phantoms)—وهي أنماط إحصائية تبدو كسمات نفسية حقيقية، لكنها في الواقع مجرد أعطال في كيفية معالجة الحاسوب للكلمات. ولإصلاح ذلك، يقترح "لين" إطار عمل جديد يجمع بين طريقتين مختلفتين للتفكير في العلم: التحقق مما إذا كان الاختبار موثوقاً، والتحقق مما إذا كانت التجربة تثبت بالفعل وجود علاقة سببية. والنتيجة الجوهرية هي أننا لا نستطيع ببساطة أخذ اختبار صُمم للبشر وتقديمه للحاسوب، متوقعين أن تكون النتائج هي نفسها. بدلاً من ذلك، يجب علينا بناء طرق قياس جديدة تحترم الطبيعة الميكانيكية الفريدة لهذه الأنظمة الرقمية.
تبدأ قصة هذه المشكلة باكتشاف مفاجئ حول مدى هشاشة هذه النماذج الحاسوبية. كان الباحثون يختبرون الذكاء الاصطناعي في المعضلات الأخلاقية، مثل الاختيار بين إنقاذ شخص واحد أو إنقاذ خمسة، ووجدوا أن النماذج تبدو وكأنها تتخذ خيارات أخلاقية تشبه خيارات البشر تماماً. فقد بدت وكأنها تثمن الحياة البشرية على الحيوانات وتفضل إنقاذ المجموعات الأكبر. ومع ذلك، كشفت نظرة فاحصة أن هذه "التفضيلات الأخلاقية" كانت غير مستقرة للغاية. فعندما قام الباحثون بتغيير تفصيل صغير في السؤال، مثل تغيير تسمية الخيارات من "الحالة 1" و"الحالة 2" إلى "(أ)" و"(ب)"، انقلفت الموقف الأخلاقي للنموذج بالكامل؛ إذ أصبح فجأة يفضل النتيجة المعاكسة. كما أن تغيير علامة ترقيم واحدة أو طلب الرد من النموذج بطريقة مختلفة قليلاً يمكن أن يعكس حكمه أيضاً. هذا الحساسية تعني أن الحاسوب لا يفكر بالضرورة من خلال مبدأ أخلاقي، بل يتفاعل مع الشكل المحدد للكلمات على الشاشة. وإذا تغير القياس بشكل جذري بناءً على فاصلة، فلا يمكن الوثوق به لقياس سمة مستقرة مثل الأخلاق.
يخلق عدم الاستقرار هذا تأثيراً متسلسلاً يقوض المجال بأكل في استخدام الحواسيب للبحوث النفسية. تحدد الورقة ثلاثة مصادر رئيسية لعدم الموثوقية هذه. أولاً، يمكن لعملية التدريب نفسها أن تؤدي إلى تحيزات؛ فهذه النماذج مدربة على كميات هائلة من النصوص من الإنترنت، والتي تتضمن العديد من الآراء والقوالب النمطية البشرية. وعندما يوافق النموذج باستمرار على عبارة ما، فقد لا يكون ذلك لأنه يحمل ذلك الاعتقاد، بل لأنه يحاول إرضاء المستخدم أو لأنه يكرر الأنماط التي رآها في بيانات تدريبه. ثانياً، النماذج شديدة الحساسية لكيفية طرح السؤال؛ فترتيب الكلمات، أو المسافات، أو التسميات المستخدمة للإجابات يمكن أن يغير النتيجة تماماً. ثالثاً، النماذج غير مستقرة بمرور الوقت؛ فقد يعطي النموذج إجابة متسقة اليوم، ولكن إذا تم تحديث البرنامج في الشهر التالي، فقد تعطي نفس الأسئلة إجابة مختلفة تماماً. وبسبب هذه المشكلات، قد يبدو للحاسوب شخصية أو بوصلة أخلاقية، لكنها غالباً ما تكون مجرد أنماط عابرة في البيانات، وليست سمات نفسية حقيقية.
للمضي قدماً، تجادل الورقة بضرورة اعتماد إطار عمل "التحقق المزدوج" (dual-validity). وهذا يعني أنهم بحاجة إلى استيفاء مجموعتين من القواعد في وقت واحد. المجموعة الأولى تأتي من تقليد الاختبارات النفسية، والتي تسأل: "هل يقيس هذا الاختبار حقاً ما يدعي قياسه؟" وبالنسبة للحاسوب، يتطلب هذا إثبات أن إجاباته متسقة وأنها تعكس آلية حقيقية كامنة، وليس مجرد رد فعل عشوائي للمحفز. والمجموعة الثانية من القواعد تأتي من تقليد الاستدلال السببي، والذي يسأل: "هل تسببت تجربتنا بالفعل في التغيير الذي رأيناه؟" فعندما يغير الباحثون المحفز لمعرفة كيفية تأثيره على سلوك النموذج، يجب عليهم التأكد من أن التغيير الذي أجروا هو الشيء الوحيد الذي تغير، وليس إعداداً تقنياً مخفياً أو تحولاً في الحالة الداخلية للنموذج.
تحدد الورقة "سلماً من الطموح العلمي"، موضحة أنه كلما ادعينا أكثر عن هذه الآلات، احتجنا إلى مزيد من الإثبات. في المستوى الأدنى، يتطلب استخدام الحاسوب كأداة بسيطة لفرز النصوص أو عد الكلمات مجرد أن تكون الأداة دقيقة. وإذا أردنا وصف سلوك الحاسوب نفسه، مثل القول بأن لديه "شخصية"، فنحن بحاجة إلى دليل قوي على أن إجاباته مستقرة ومتسقة. وإذا أردنا استخدام الحاسوب لمحاكاة السلوك البشري، فنحن بحاجة إلى إظهار أنه يطابق البيانات البشرية بطرق محددة وموثوقة. وفي المستوى الأعلى، إذا أردنا الادعاء بأن العمليات الداخلية للحاسوب تكشف كيف تعمل العقول البشرية، فنحن بحاجة إلى إثبات أن الحاسوب يستخدم عملية مشابهة للدماغ البشري، وليس مجرد إنتاج إجابة تبدو مشابهة. حالياً، تتخطى العديد من الدراسات درجات هذا السلم مباشرة إلى القمة، مدعية رؤى عميقة دون إثبات الأساسيات أولاً.
يقترح المؤلف أن الحل ليس في إجبار الحواسيب على التصرف مثل البشر، بل في تطوير مفاهيم جديدة تناسب ما هي عليه الحواسيب بالفعل. فبدلاً من سؤال ما إذا كان الجهاز يشعر بالقلق، يجب على الباحثين البحث عن أنماط حوسبية تعمل مثل القلق، مثل نظام يظهر التردد أو يستخدم لغة سلبية عند عدم اليقين. هذا التحول في المنظور يسمح للعلماء بدراسة الآلة بشروطها الخاصة. إنه يقر بأن الحاسوب ليس لديه جسد، أو تاريخ حياة، أو ذات، ولكن لا يزال بإمكانه إظهار أنماط مثيرة للاهتمام ومفيدة للدراسة. ومن خلال بناء مقاييس جديدة خاصة بالحاسوب والالتزام بالدقة فيما يمكن للبيانات وما لا يمكنها إثباته، يمكن للمجال تجنب فخ "أشباح القياس". والهدف هو تحويل مجموعة من الانحرافات الإحصائية إلى علم حقيقي للذكاء الاصطناعي، علم يحترم الطبيعة الفريدة للآلات التي يدرسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.