Automated Coding of Communications in Collaborative Problem-solving Tasks Using ChatGPT

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الترميز الآلي للتواصل في مهام حل المشكلات التعاوني باستخدام ChatGPT."

1. بيان المشكلة

تعد حل المشكلات التعاوني (CPS) مهارة حاسمة من مهارات القرن الحادي والعشرين، ومع ذلك، فإن تقييمها على نطاق واسع يعوقه عائق ترميز بيانات التواصل.

• العائق: يتطلب استخراج الأدلة من سجلات الدردشة النصية تقليديًا من المقيمين البشريين تصنيف جولات المحادثة بدقة بناءً على أطر ترميز معقدة. هذه العملية تتطلب جهداً مكثفاً، وهي مكلفة، وتحد من إمكانية توسيع نطاق البحث والتقييمات واسعة النطاق (مثل اختبار PISA).
• الفجوة: بينما يوجد الترميز الآلي التقليدي (باستخدام التعلم الآلي الخاضع للإشراف)، فإنه يتطلب مجموعات بيانات تدريبية ضخمة مشفرة بشرياً، مما يكرس عبء العمل اليدوي. توفر النماذج اللغوية الكبيرة (LLMs) مثل ChatGPT إمكانية الترميز بصفر من الأمثلة (zero-shot) أو أمثلة قليلة (few-shot)، مما يتجاوز الحاجة إلى بيانات تدريب واسعة. ومع ذلك، يبقى تساؤلاً تجريبياً حول ما إذا كانت النماذج اللغوية الكبيرة قادرة على ترميز بيانات التواصل الخاصة بمهام حل المشكلات التعاوني المعقدة والمتخصصة بدقة مقارنة بالخبراء البشر، وكيف تؤثر عوامل مثل نوع المهمة، وتصميم إطار الترميز، وبنية النموذج على الأداء.

2. المنهجية

استخدمت الدراسة تحقيقاً تجريبياً منهجياً باستخدام خمس مجموعات بيانات متميزة لحل المشكلات التعافلي (CPS) وإطارين للترميز لتقييم أربعة نماذج رائدة من OpenAI وهي: GPT-4، وGPT-4o، وGPT-o1-mini، وGPT-o3-mini.

مجموعات البيانات

• مهام العلوم (2): مهمتا التكثيف (Condensation) والبركان (Volcano). قام أزواج من المشاركين بحل مشكلات علمية عبر دردشة نصية.
• مهام معرفية عامة (3): التفاوض (Negotiation)، اتخاذ القرار (Decision-Making)، والرسالة إلى الرقم (Letter-to-Number). تعاونت فرق مكونة من أربعة مشاركين في مهام الاستدلال والتفاوض.
• حجم البيانات: حوالي 1,500 جولة دردشة لكل مهمة (تم اختيارها عشوائياً من جلسات تم جمعها عبر crowdsourcing من MTurk وProlific).

أطر الترميز

• الإطار الأول (القائم على النظرية): تم تطويره من أبحوبة التعلم التعاوني في السياق الصفي (CSCL) واختبار PISA 2015. استُخدم للمهام العلمية. الفئات: مشاركة الأفكار، التفاوض حول الأفكار، تنظيم حل المشكلات، الحفاظ على التواصل.
• الإطار الثاني (القائم على البيانات): تم تطويره بدمج النظرية وبيانات التفاوض التجريبية. استُخدم للمهام المعرفية العامة. الفئات: الحفاظ على التواصل، البقاء في صلب المهمة، استدراج المعلومات، مشاركة المعلومات، الإقرار/الاعتراف.

التصميم التجريبي

• هندسة الأوامر (Prompt Engineering): تضمنت الأوامر أهداف المهمة، تعريفات الإطار، حوالي 10 أمثلة خبير لكل فئة، ومواصفات المدخلات والمخرجات.
• مقياس التقييم: استُخدم معامل كوهين كابا (Cohen's Kappa) لقياس الاتفاق بين النماذج اللغوية الكبيرة والمقيمين الخبراء البشريين (الذين استُخدموا كمرجع للحقيقة الأرضية).
• التحسين التكراري: اختبرت الدراسة ما إذا كان دمج الملاحظات من الحالات التي تم ترميزها بشكل خاطئ (تحليل الخطأ) في الأمر البرمجي يمكن أن يحسن الدقة.
• المتغيرات الضابطة: تم ضبط درجة الحرارة (Temperature) عند 0؛ تثبيت البذور العشوائية (random seeds)؛ ومعالجة مجموعات (batching) من حوالي 70 جولة لكل استدعاء API لإدارة نوافذ السياق.

3. المساهمات الرئيسية

1. جدوى الترميز بصفر من الأمثلة: أثبتت الدراسة أن ChatGPT يمكنه ترميز بيانات التواصل في مهام حل المشكلات التعاوني بفعالية دون تدريب مسبق خاضع للإشراف، مما يقلل بشكل كبير من الحاجة إلى مجموعات تدريب مشفرة بشرياً.
2. رؤى حول اختيار النماذج: وجدت الدراسة أن نماذج "الاستدلال" الأحدث (GPT-o1-mini، GPT-o3-mini) لم تتفوق على GPT-4o في هذه المهمة المحددة، مما يشير إلى أن قدرات الاستدلال المتقدمة لا تترجم بالضرورة إلى دقة أفضل في التصنيف في هذا المجال.
3. حساسية إطار الترميز: حددت الدراسة أن تصميم إطار الترميز هو محدد حاسم للنجاح. حققت الأطر القائمة على البيانات (الإطار 2) دقة أعلى للنماذج اللغوية الكبيرة مقارنة بالأطر النظرية البحتة (الإطار 1).
4. استراتيجية تحسين الأوامر: قدمت أدلة تجريبية على فعالية هندسة الأوامر القائمة على التغذية الراجعة، حيث أظهرت نتائج مختلطة اعتماداً على المهمة ومستوى الأداء الأولي.

4. النتائج الرئيسية

الأداء حسب النموذج (RQ1)

• حقق GPT-4o أعلى أداء إجمالي.
• نماذج الاستدلال (o1/o3): لم تتفوق على GPT-4o. في بعض الحالات، كان أداؤها أسوأ قليلاً، مما يشير إلى أن معالجة "سلسلة الأفكار" الداخلية لم تفد مهمة التصنيف هذه، وقد تسببت في إدخال ضوضاء أو عدم كفاءة في التكلفة.

الأداء حسب نوع المهمة (RQ2)

• المهام المعرفية العامة: حققت النماذج اللغوية مستويات اتفاق تضاهي، أو حتى تتجاوز، الاتفاق بين البشر (على سبيل المثال، مهمة Letter-to-Number سجلت كابا ~0.73).
• المهام العلمية: أظهرت النماذج اللغوية أداءً أقل باستمرار مقارنة بالمقيمين البشر (كابا ~0.57–0.60 مقابل كوهين كابا للبشر ~0.68–0.78).
• المصطلحات العلمية: بينما أظهرت الجولات التي تحتوي على مصطلحات علمية اتفاقاً أقل، إلا أن الفجوة في الأداء بين البشر والنماذج اللغوية استمرت حتى في الجولات التي تخلو من المصطلحات العلمية. وبالتالي، لم يكن المصطلح وحده هو ما يفسر التفاوت؛ بل كانت طبيعة المهمة والإطار هما المحرك الأساسي.

تأثير إطار الترميز (RQ3)

• أدى الإطار 2 (القائم على البيانات) إلى دقة أعلى بكثير للنماذج اللغية عبر جميع المهام العامة الثلاث.
• ثبت أن الإطار 1 (القائم على النظرية) صعب التفسير بالنسبة للنماذج اللغية، مما أدى إلى دقة أقل. يشير هذا إلى أن النماذج اللغية تجد صعوبة في التعامل مع التعريفات المجردة والكثيفة نظرياً مقارنة بالفئات الملموسة والمستمدة تجريبياً.

تحسين الأوامر (RQ4)

• مهمة التكثيف (Condensation Task): إضافة ملاحظات حول الحالات التي تم ترميزها خطأً إلى الأمر البرمحي لم يحسن الكابا الإجمالي (ظل ~0.64). انتقلت الأخطاء إلى فئات أخرى، مما يشير إلى أن الأمر الأصلي كان قريباً من المستوى الأمثل.
• مهمة البركان (Volcano Task): أدى دمج التغذية الراجعة إلى تحسين الكابا من 0.604 إلى 0.637 (على مجموعة البيانات الكاملة). يشير هذا إلى أن تحسين الأوامر يعتمد على المهمة ويكون فعالاً فقط عندما تكون الأخطاء الأولية منهجية ويمكن تصحيحها عبر الأمثلة.

5. الأهمية والآثار المترتبة

• القابلية للتوسع: يقدم هذا البحث مساراً قابلاً للتطبيق لتوسيع نطاق تقييمات حل المشكلات التعافلي عن طريق تقليل الاعتماد على الترميز البشري المكلف. يمكن للنماذج اللغية معالجة كميات كبيرة من بيانات الدردشة بكفاءة.
• كفاءة التكلفة: يجب على الباحثين إعطاء الأولوية لـ GPT-4o على نماذج الاستدلال الأحدث والأكثر تكلفة، لتحقيق التوازن الأمثل بين التكلفة والأداء.
• تصميم الإطار: تسلط الدراسة الضوء على أنه لكي ينجح الترميز الآلي، يجب تصميم أطر الترميز مع وضع "القارئ الآلي" في الاعتبار—أي تفضيل التعريفات الواضحة والمستندة إلى البيانات التجريبية على المفاهيم النظرية المجردة.
• التطبيق العملي: بينما لا تعد النماذج اللغية بعد بديلاً كاملاً للمقيمين البشر (خاصة في المجالات المعقدة والمثقلة بالنظرية)، إلا أنها تعمل كـ مكمل قوي. يمكنها التعامل مع الجزء الأكبر من عملية الترميز، مع ترك التركيز للمقيمين البشر على الحالات الحدية أو التحقق، مما يسرع تقييم مهارات القرن الحادي والعشرين.

القيود المذكورة: تقر الدراسة بأن النتائج مرتبطة بنسخ محددة من النماذج المستخدمة؛ كما يتطلب التحقق من العدالة/التحيز عبر المجموعات الديموغرافية مزيداً من البحث؛ ولا تفي النماذج اللغية حالياً بمعايير الصلاحية الكاملة للمقيمين البشر في التقييمات عالية المخاطر دون إشراف بشري.