Measuring Successful Cooperation in Human-AI Teamwork: Development and Validation of the Perceived Cooperativity and Teaming Perception Scales
تقدم هذه الورقة وتتحقق من صحة مقياسين جديدين، هما مقياس التعاون المدرك (PCS) ومقياس إدراك العمل الجماعي (TPS)، اللذان يقيسان بفعالية الجودة الذاتية للعمل الجماعي بين البشر والذكاء الاصطناعي عبر سياقات متنوعة من خلال ثلاث دراسات تجريبية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول خبز كعكة مع مساعد آلي متطور وعالي التقنية. في بعض الأحيان، يكون الروبوت مذهلاً: فهو يعرف تماماً متى يخلط المكونات، ويخبرك إذا كانت الفرن ساخناً جداً، وتشعر وكأنكما فريق مثالي في الخبز. وفي أحيان أخرى، يكون الروبوت مربكاً: فهو يحرق الخليط، أو يتجاهل تعليماتك، أو يتصرف وكأنه لا يدرك ما يفعله.
هذه الورقة البحثية تتحدث عن إنشاء "بطاقتين تقرير" (مقياسين) خاصتين لقياس مدى جودة تلك الشراكة في الخبز من وجهة نظرك. أراد الباحثون، بالتعاون مع شركة هوندا وجامعة لوبيك، تجاوز مجرد السؤال: "هل يعجبك هذا الروبوت؟" إلى السؤال: "كيف عملنا معاً بالفعل؟"
إليك تفصيل لعملهم باستخدام تشبيهات بسيطة:
البطاقتان التقريريتان
أدرك الباحثون أن العمل مع الذكاء الاصطناعي يحدث بطريقتين مختلفتين، لذا قاموا ببناء أداتي قياس مختلفتين:
1. تقرير "اللحظة الواحدة" (مقياس التعاون المتصور - PCS)
- ما يقيسه: مدى جودة أداء الذكاء الاصطناعي خلال مهمة محددة واحدة.
- التشبيه: فكر في هذا الأمر كتقييم حركة رقص واحدة. هل قاد شريكك الحركة بوضوح؟ هل اتبع قيادتك؟ هل حافظ على الإيقاع خلال هذه الأغنية فقط؟
- النظرية: يعتمد هذا المقياس على "نظرية النشاط المشترك". فهو يتحقق مما إذا كان الذكاء الاصطناعي شفافاً (كنت تعرف بماذا يفكر)، وموثوقاً (فعل ما قاله)، ومستجيباً (استمع إليك).
- النتيجة: اختبروا ذلك على 409 أشخاص في ثلاثة سيناريوهات مختلفة: لعب لعبة ورق تعاونية، الدردشة مع روبوت نصي، واستخدام مخطط رحلات السيارة. لقد نجحت البطاقة بشكل رائع! حيث استطاعت بوضوح التمييز بين شريك بشري (حصل على درجات عالية)، وروبوت ذكي لكنه قابل للتنبؤ يعتمد على القواعد (درجات متوسطة)، وروبوت يتعلم عن طريق التجربة والخطأ وأصبح مرتبكاً (درجات منخفضة).
2. تقرير "الفريق طويل الأمد" (مقياس إدراك العمل الجماعي - TPS)
- ما يقيسه: الشعور بأنك والذكاء الاصطناعي قد أصبحتما فريقاً حقيقياً بمرور الوقت.
- التشبيه: هذا ليس مجرد تقييم لحركة رقص واحدة؛ بل يتعلق بما إذا كنت تشعر بأنك جزء من فرقة رقص. هل تشعر أن كلاكما يبذل جهداً؟ هل تشعر أنكما تتشاركان هدفاً مشتركاً؟ هل تشعر أن الروبوت "زميل في الفريق" وليس مجرد أداة؟
- النظرية: يعتمد هذا المقياس على "نظرية التعاون التطوري". وهي تنظر إلى ما إذا كان كلا الجانبين يبذلان "تكلفة" (جهداً) لمساعدة الآخر على النجاح.
- النتيجة: يتكون هذا المقياس من ثلاثة أجزاء:
- الفريق: "نحن وحدة واحدة".
- الشريك: "أنت تساعدني".
- الذات: "أنا أساعدك".
- المفاجأة: كان جزء "الذات" صعباً. فقد مال الناس إلى إعطاء أنفسهم درجات عالية بغض النظر عن مدى سوء الروبوت. الأمر يشبه طالباً يعتقد: "لقد درست بجد!" حتى لو لم يدرس فعلياً. وجد الباحثون أن هذا الجزء من المقياس حساس للسياق؛ فهو يعمل بشكل أفضل عندما يمتلك الناس حرية أكبر في اختيار مدى الجهد الذي يبذلونه.
كيف اختبروا ذلك (الدراسات الثلاث)
للتأكد من دقة بطاقاتهم التقريرية، استخدموا ثلاثة "ميادين تدريب":
لعبة الورق (Hanabi): تخيل لعبة لا يمكنك فيها رؤية أوراقك الخاصة ويجب عليك الاعتماد على تلميحات من شريكك.
- الاختبار: لعب الناس مع إنسان، وروبوت يتبع قواعد صارمة، وروبوت يتعلم من تلقاء نفسه.
- النتيجة: نجحت البطاقات التقريرية في ترتيبهم: إنسان > روبوت يعتمد على القواعد > روبوت يتعلم. كان الروبوت المتعلم مربكاً في كثير من الأحيان، لذا لم يشعر الناس بأنهم يتعاونون جيداً.
روبوت الدردشة (LLM): استخدم الناس روبوتاً نصياً للتحقق من صحة المقالات.
- الاختبار: استخدموا روبوتات كانت مفيدة، وروبوتات كانت مفيدة لكنها أضافت تغييرات غير مرغوب فيها، وروبوتات فشلت.
- النتيجة: التقطت المقاييس الاختلافات في مدى شعور الناس بأن الروبوتات "متعاونة".
مخطط رحلات السيارة: استخدم الناس مخطط رحلات تسلا للعثور على محطات الشحن.
- الاختبار: كان هذا "حالة حدية". السيارة ليست حقاً "زميلاً في الفريق"؛ إنها مجرد أداة.
- النتيجة: عملت بطاقة "اللحظة الواحدة" (PCS) بشكل جيد هنا. ومع ذلك، لم يتم استخدام بطاقة "الفريق طويل الأمد" (TPS) لأن مخطط رحلات السيارة لا يمتلك حقاً "عقلاً" أو "أهدافاً" ليتعاون معها. لا يمكنك حقاً الشعور بأنك فريق مع نظام تحديد المواقع (GPS).
ما الذي تعلموه (الخلاصات)
- بطاقة "اللحظة الواحدة" قوية جداً. وهي وسيلة موثوقة للغاية لقياس مدى جودة أداء الذكاء الاصطناعي خلال مهمة معينة. وهي تعمل لكل شيء من روبوتات الدردشة إلى روبوتات الألعاب.
- بطاقة "الفريق" قوية ولكنها تتطلب حذراً. فهي تقيس الشعور العميق بالشراكة. ومع ذلك، فإن الجزء المتعلق بتقييم الناس لمساهمتهم الخاصة يعاني من بعض الانحياز. يميل الناس إلى الاعتقاد بأنهم زملاء رائعون في الفريق حتى عندما يكون الذكاء الاصطناعي سيئاً للغاية. وهذا يشير إلى أنه في المواقف الجامدة (مثل لعبة الورق حيث يجب عليك التعاون)، لا تتغير تقييمات الناس الذاتية كثيراً.
- السياق مهم. إذا كنت تستخدم مجرد أداة (مثل الآلة الحاسبة أو نظام تحديد المواقع)، فإن شعور "الفريق" لا ينطبق حقاً. ولكن إذا كنت تعمل على مشروع معقد تحتاج فيه أنت والذكاء الاصطناعي إلى الاعتماد على بعضكما البعض، فإن هذه المقاييس تخبرك ما إذا كانت هذه الشراكة ناجحة أم لا.
لماذا هذا مهم
قبل هذا، كان لدينا بشكل أساسي أدوات لسؤال "هل تثق في الذكاء الاصطناعي؟" أو "هل هذا الذكاء الاصطناعي ذكي؟". توفر هذه الورقة طريقة لسؤال "كيف نعمل معاً بشكل جيد الآن؟" و "هل نشعر بأننا فريق؟".
هذا يساعد المصممين على بناء ذكاء اصطناعي أفضل. إذا حصل الروبوت على درجات منخفضة في "القدرة على التنبؤ"، سيعرف المصممون ضرورة جعل أفعال الروبوت أكثر وضوحاً. وإذا كانت درجة "الفريق" منخفضة، فسيعرفون أن الروبوت يحتاج إلى إظهار المزيد من الدعم والأهداف المشتركة.
باختختصر: قام الباحثون ببناء مسطرتين. إحداهما تقيس مدى جودة رقص الروبوت في أغنية واحدة. والأخرى تقيس ما إذا كنت تشعر أنك والروبوت في فرقة رقص معاً. لقد اختبروا هذه المسطرات على 409 شخصاً ووجدوا أنها تعمل بشكل جيد، رغم أن مسطرة "فرقة الرقص" تحتاج إلى استخدام حذر اعتماداً على مدى حرية الإنسان في الحركة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.