Automated Coding of Communication Data Using ChatGPT: Consistency Across Subgroups
تُظهر هذه الدراسة أن الترميز القائم على ChatGPT لبيانات التواصل يؤدي بشكل متسق عبر المجموعات الفرعية للجنس والعرق/الإثنية، مما يطابق موثوقية المقيم البشري ويؤكد إمكاناته للتقييمات التعاونية واسعة النطاق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تقييم كومة ضخمة من محادثات المشاريع الجماعية. في الماضي، كان عليك توظيف فريق من المعلمين البشر لقراءة كل رسالة دردشة، وتحديد ما هي "المهارة" التي تظهرها كل رسالة (مثل "مشاركة فكرة" أو "كون الشخص فظاً")، وتدوين ذلك. كان هذا الأمر بطيئاً، ومكلفاً، ومرهقاً.
مؤخراً، اكتشفنا ذكاءً اصطناعياً فائق الذكاء (مثل ChatGPT) يمكنه قراءة هذه الدردشات والقيام بعملية التقييم نيابة عنا بشكل فوري تقريباً. ولكن، تماماً مثل موظف جديد، علينا أن نسأل: "هل هذا الذكاء الاصطناعي عادل؟ هل يقيم الجميع بنفس الطريقة، بغض النظر عما إذا كان الشخص رجلاً أو امرأة، أو من خلفية عرقية معينة؟"
هذه الورقة البحثية هي بمثابة "تقرير درجات" لهذا الموظف الآلي. إليك التفاصيل بتبسيط شدٍ:
1. الإعداد: "آلة التقييم"
أخذ الباحثون ثلاثة أنواع مختلفة من التحديات الجماعية:
- التفاوض: مجموعة تحاول التخطيط لجمع تبرعات حيث يريد الجميع أشياء مختلفة.
- القرار: مجموعة تحاول اختيار أفضل شقة، لكن كل فرد لا يعرف إلا نصف الحقائق.
- اللغز: مجموعة تحاول حل رمز سري حيث تعادل الحروف أرقاماً.
قام أشخاص حقيقيون بالدردشة حول هذه المهام. ثم طلبوا حدوث شيئين لكل رسالة دردشة:
- خبير بشري قرأ الرسالة وصنفها ضمن فئة معينة (مثلاً: "هذه (مشاركة معلومات)").
- ChatGPT قرأ نفس الرسالة تماماً وحاول تصنيفها بنفس الفئة.
2. السؤال الكبير: هل الذكاء الاصطناعي منحاز؟
كان الباحثون قلقين من أن يكون الذكاء الاصطناعي مثل معلم صارم يحب نوعاً معيناً من الطلاب دون غيرهم عن غير قصد. ربما تم تدريب الذكاء الاصطناعي على بيانات الإنترنت التي تجعل فهمه لطريقة حديث "الرجال البيض" أفضل من فهمه لطريقة حديث "النساء السود". إذا كان الذكاء الاصطناعي منحازاً، فقد يعطي درجات غير عادلة لمجموعات معينة، مما يفسد نتائج الاختبار.
وللتحقق من ذلك، أجروا ثلاثة اختبارات محددة للعدالة:
- الاختبار الأول: فحص الاتفاق. هل اتفق الذكاء الاصطناعي والبشر على التصنيفات للجميع بالتساوي؟ أم أنهم اختلفوا في التصنيف مع الطلاب السود أكثر من الطلاب البيض؟
- الاختبار الثاني: فحص الموثوقية. هل تقييم الذكاء الاصطناعي متسق؟ إذا قيم الذكاء الاصطناعي رسالة اليوم، فهل سيقيم رسالة مماثلة غداً بنفس الطريقة؟ وهل يصمد هذا الاتساق لجميع المجموعات؟
- الاختبار الثالث: فحص "الرأي الثاني". إذا قرأ معلم بشري ثانٍ الرسائل، فهل سيتفق مع الذكاء الاصطناعي بقدر اتفاقه مع المعلم البشري الأول؟ هذا يختبر ما إذا كان الذكاء الاصطناعي يتصرف كما يفعل البشر.
3. النتائج: لقد نجح الذكال الاصطناعي (مع خلل بسيط للغاية)
الأخبار الجيدة:
في معظم الأحيان، الذكاء الاصطناعي عادل. لقد قيم الرجال والنساء، والناس من مختلف الأعراق، بنفس المستوى من الدقة والاتساق. لم يبدُ أنه يفضل مجموعة على أخرى. الذكرا الاصطناعي جاهز للمساعدة في توسيع نطاق هذه الاختبارات لتقييم آلاف الطلاب في وقت واحد دون الحاجة لتوظيف جيش من المعلمين.
الخلل الغريب الوحيد:
كان هناك تعثر صغير في مهمة "التفاوض". أظهرت البيانات أن الذكاء الاصطناعي اتفق مع الخبير البشري بدرجة أقل مع المشاركين السود مقار بالمشاركين البيض.
لكن هنا تكمن المفاجأة: تعمق الباحثون واكتشفوا أن هذا لم يكن بسبب كون الذكاء الاصطناعي سيئاً أو منحازاً ضد المشاركين السود.
- التشبيه: تخيل حكم كرة سلة. عادةً، يتفق الحكم والمدرب على 90% من القرارات. لكن بالنسبة للفريق الأبيض، اتفق الحكم والمدرب على 99% من القرارات (ربما لأن الفريق الأبيض كان يلعب بطريقة متوقعة جداً). أما بالنسبة للفريق الأسود، فقد اتفقوا بنسبة 80% فقط.
- الواقع: نسبة اتفاق الفريق الأسود البالغة 80% كانت في الواقع طبيعية تماماً (تماماً كما يتفق البشر مع بعضهم البعض). "الفجوة" بدت كبيرة فقط لأن اتفاق الفريق الأبيض كان مرتفعاً بشكل غير عادي، وليس لأن اتفاق الفريق الأسود كان منخفضاً بشكل غير طبيعي. لم يكن الذكاء الاصطناعي يفشل الفريق الأسود؛ بل كان الفريق الأبيض هو "المطابق تماماً" لبيانات تدريب الذكاء الاصطناعي في تلك اللعبة تحديداً.
4. الخلاصة: مساعد مفيد، وليس بديلاً
تخلص الورقة إلى أن ChatGPT هو أداة رائعة لتقييم مهارات التواصل. فهو سريع، ورخيص، والأهم من ذلك، عادل عبر مختلف المجموعات من الناس.
ومع ذلك، أضاف المؤلفون بعض التحذيرات الهامة:
- إنه ليس سحراً: لا نزال بحاجة إلى البشر لمراجعة العمل، خاصة للمهام المعقدة.
- إنه عمل مستمر: مع ازدياد ذكاء الذكاء الاصطناعي، نحتاج إلى الاستمرار في اختباره للتأكد من بقائه عادلاً.
- "الدرجة" مهمة: حتى لو قام الذكاء الاصطناعي بتقييم كل رسالة دردشة بعدالة، فنحن لا نزال بحاجة للتأكد من أن الدرجة النهائية الممنوحة للطالب عادلة.
باختصار: وجدنا روبوتاً يمكنه تقييم الدردشات الجماعية بكفاءة معلم بشري، وهو يعامل الجميع بعدل. إنها خطوة كبيرة نحو اختبار المهارات في العالم الحقيقي، ولكن لا يزال يتعين علينا مراقبته للتأكد من استمراره في أداء عمله بشكل جيد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.