A validity-guided workflow for robust large language model research in psychology
تقترح هذه الورقة سير عمل مكوناً من ست مراحل وموجهاً بالصلاحية، يدمج بين القياس النفسي والاستدلال السببي لمعالجة عدم الموثوقية الشديدة في القياس في أبحاث النماذج اللغوية الكبيرة، مما يضمن أن تكون النتائج في علم نفس الذكاء الاصطناعي قوية وشفافة ومتميزة عن الآثار الإحصائية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في غمرة الهمهمة الهادئة للمختبرات الحديثة، ظهر نوع جديد من المواضيع للدراسة النفسية: النماذج اللغوية الكبيرة. هذه ليست روبوتات ذات أجساد أو عقول بالمعنى البشري، بل هي أنظمة حاسوبية هائلة تدربت على كل ما كُتب تقريبًا على الإنترنت. يمكنها كتابة القصص، وحل المسائل الرياضية، وإجراء محادثات تبدو بشرية بشكل مذهل. ولأنها تتحدث لغتنا وتحاكي منطقنا، بدأ الباحثون في استخدامها كأدوات لدراسة السلوك البشري، أو حتى كبدلاء للمشاركين البشر في التجارب. وقد ذهب البعض إلى أبعد من ذلك، متسائلين عما إذا كانت هذه الآلات تمتلك نسختها الخاصة من الشخصية، أو الأخلاق، أو حتى الشعور بالذات. والسؤال الذي يحرك هذا المجال بسيط ولكنه عميق: عندما تقول الحاسوب "أنا أشعر بالحزن" أو "أنا أعتقد (س)"، هل تكشف عن حالة داخلية حقيقية، أم أنها مجرد صدى للأنماط التي تعلمتها من بيانات تدريبها؟
المشكلة تكمن في أن الإجابات التي نحصل عليها من هذه الآلات هشة للغاية. فتغيير طفيف في كيفية طرح السؤال — علامة ترقيم مختلفة، أو إعادة صياغة بسيطة، أو تغيير في ترتيب الكلمات — يمكن أن يتسبب في جعل النموذج نفسه يقلب إجابته تمامًا. ففي لحظة قد يجتاز اختبارًا في التفكير الأخلاقي بتفوق باهر، وفي اللحظة التالية، مع تعديل تافه في النص الموجه (البرومبت)، يفشل تمامًا. هذا عدم الاستقرار يخلق ما يسميه الباحثون "أشباح القياس": وهي أوهام إحصائية تبدو وكأنها ظواهر نفسية حقيقية، لكنها في الواقع مجرد نواتج عرضية لكيفية معالجة الآلة للنصوص. فإذا ادعى باحث أن النموذج يمتلك سمة شخصية، ولكن هذه "الشخصية" تتلاشى عند إعادة كتابة السؤال، فإن الاكتشاف ليس اكتشافًا لعقل الآلة، بل هو خلل في القياس. وبدون وسيلة للتمييز بين السمة الحقيقية وخطأ في التنسيق، يخاطر المجال بأكمله ببناء بيت من الورق على أرضية مهتزة.
ولحل هذه المعضلة، اقترح "تشيتشنغ لين"، وهو باحث في جامعة يونسي، سير عمل صارم مكون من ست خطوات مصمم للفصل بين الظواهر الحسابية الحقيقية وأشباح القياس هذه. الفكرة الجوهرية هي أنه لا يمكنك ببساطة سؤال الآلة سؤالاً وأخذ إجابتها كحقيقة مسلم بها. بدلاً من ذلك، يجب عليك معاملة الآلة كنوع جديد من الأدوات العلمية التي تتطلب معايرة دقيقة خاصة بها قبل أن يمكن الوثوق بها. تبدأ العملية بتحديد ما تحاول القيام به بوضوح. هل تستخدم الآلة كأداة بسيطة لتصنيف النصوص، أم كموضوع للدراسة، أم كمحاكٍ للجماهير البشرية، أم كنموذج لفهم كيفية عمل التفكير البشري؟ كل هدف من هذه الأهداف يتطلب مستوى مختلفًا من الإثبات. فالأداة التي تصنف رسائل البريد الإلكتروني تحتاج إلى الدقة، أما الآلة التي يُزعم أن لديها "شخصية" فهي تحتاج إلى إثبات أن استجاباتها مستقرة وذات معنى، وليست مجرد استجابات عشوائية أو سهلة التأثر بكيفية صياغة السؤال.
بمجرد تحديد الهدف، يجب على الباحث بناء واختبار الأداة نفسها. يتضمن ذلك إنشاء مجموعة من الأسئلة أو السيناريوهات المصممة لقياس سمة معينة، مثل "اليقظة الضميرية" أو "الذاتية". ولكن قبل استخدام هذه الأسئلة في تجربة حقيقية، يجب اختبار قدرتها على التحمل. يقوم الباحث بتشغيل نفس الأسئلة عبر الآلة مرات عديدة لمعرفة ما إذا كانت الإجابات تظل متسقة. كما يقوم بإعادة كتابة الأسئلة بطرق مختلفة لضمان أن الآلة تجيب بناءً على معنى الكلمات، وليس مجرد رد فعل تجاه التنسيق المحدد. إذا أعطت الآلة إجابة مختلفة في كل مرة يتم فيها تعديل السؤال بشكل طفيف، فإن الأداة معطلة، ويجب على البحث العودة إلى نقطة البداية. هذه الخطوة حاسمة لأنها تمنع الباحث من قياس حساسية الآلة لعلامات الترقيم بدلاً من سماتها النفسية الفعلية عن طريق الخطأ.
ومع امتلاك أداة موثوقة، يمكن للباحث بعد ذلك تصميم تجربة. تتطلب هذه المرحلة عناية فائقة لضمان أن أي تغيير في سلوك الآلة ناتج عن المتغير المحدد الذي يتم اختباره، وليس عن عوامل خفية مثل الوقت من اليوم، أو نسخة البرنامج، أو طريقة تشغيل خادم الكمبيوتر. يجب على الباحث التحكم في هذه التفاصيل التقنية بنفس الصرامة التي يتحكم بها عالم الأحياء في درجة الحرارة في طبق بتري. كما يجب عليهم الحذر من معاملة استجابات الآلة المتعددة كما لو كانت أشخاصًا مستقلين. فإذا أجابت الآلة على خمسين سؤالًا في جلسة واحدة، فإن تلك الخمسين إجابة مرتبطة بتلك الجلسة المحددة وبتلك النسخة المحددة من النموذج؛ وليست خمسين نقطة بيانات منفصلة من خمسين عقلًا مختلفًا. يجب أن يأخذ التحليل هذا التكتل في الاعتبار لتجنب الاستنتاجات الخاطئة.
أخيرًا، يجب تقديم النتائج بتواضع ودقة. يتطلب سير العمل من الباحثين تجنب اللغة الدرامية الشبيهة بالبشر ما لم يكن لديهم دليل قاطع يدعم ذلك. فبدلاً من قول "النموذج يعاني من القلق"، فإن الباحث الذي يتبع هذا الدليل سيقول "أنتج النموذج استجابات تتوافق مع مستويات عالية من القلق تحت هذه الظروف المحددة". هذا التمييز حيوي؛ فهو يقر بأن الآلة تتصرف بطريقة معينة دون افتراض أنها تشعر أو تفكر مثل البشر. وإذا فشل مفهوم مثل "الذات" في الصمود أمام هذا الاختبار الصارم، فلا يقوم الباحث بمجرد التخلي عن الفكرة، بل يقوم بتنقيحها. قد يكتشف أن الآلة لا تملك "ذاتًا" بالمعنى البشري، لكنها تملك نمطًا مستقرًا من اللغة المرجعية للذات.
توضح الورقة البحثية هذه العملية برمتها من خلال مثال ملموس: محاولة قياس "ذاتية النماذج اللغوية الكبيرة". بدأ الباحثون بإعادة تعريف المفهوم؛ فبدلاً من البحث عن روح أو هوية مستمرة، ركزوا على "اتساق الاستجابة المرجعية للذات" — أي مدى استقرار استخدام الآلة لضمائر المتكلم مثل "أنا" و"لي" عبر مواقف مختلفة. قاموا ببناء مجموعة من السيناريوهات، واختبروا موثوقيتها، ثم أجروا تجربة لمعرفة ما إذا كان شعور الآلة بالذات يمكن أن يتغير من خلال نص توجيهي بسيط. أظهرت النتائج أنه بينما أظهرت الآلة بعض الاستقرار، إلا أن "ذاتها" كانت مرنة وتتغير اعتمادًا على السياق. ولم يكن الاستنتاج أن الآلة تمتلك روحًا، ولا أنها خالية تمامًا، بل إنها تظهر نمطًا سلوكيًا محددًا وقابلًا للقياس، ومستقرًا بما يكفي للدراسة، شريطة استخدام الأدوات الصحيحة.
إن سير العمل هذا ليس مجرد مجموعة من القواعد؛ بل هو تحول في كيفية تفكيرنا في الذكاء الاصطناعي في العلم. إنه يشير إلى أن الطريق لفهم هذه الأنظمة ليس من خلال العروض السريعة والمبهرة، بل من خلال التحقق البطيء والدقيق. ومن خلال إدخال نوع من "الاحتكاك" في عملية البحث، وإجبار العلماء على التوقف والتحقق من أدواتهم، يهدف سير العمل إلى بناء أساس من المعرفة يمكنه حقًا الصمود أمام اختبار الزمن. إنه يقر بأن هذه الآلات تتغير بسرعة، وأن ما يعمل اليوم قد لا يعمل غدًا، لذا يجب أن يكون التحقق مستمرًا. وفي نهاية المطاف، الهدف هو تجاوز الرغبة في رؤية البشر داخل الآلة، وبدلاً من ذلك تعلم رؤية الآلة على حقيقتها: نظام حسابي معقد وقوي، وأحيانًا هش، يمكنه تعليمنا عن نفسه إذا منحناه الوقت الكافي لقياسه بشكل صحيح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.