Not All Subjectivity Is the Same! Defining Desiderata for the Evaluation of Subjectivity in NLP
تقترح ورقة الموقف هذه سبعة معايير تقييم تتمحور حول المستخدم لنماذج معالجة اللغات الطبيعية الحساسة للذاتية، وتحدد الفجوات الحرجة في الأبحاث الحالية، مثل عدم التمييز الكافي بين المدخلات الغامضة والمتعددة الأصوات والافتقار إلى التفاعل بين معايير التقييم المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طاهٍ يدير مطعماً. لفترة طويلة، كانت وظيفتك بسيطة: صنع برجر مذاقه يطابق تماماً "البرجر المثالي" الذي يتفق عليه الجميع. إذا نجحت في ذلك، ستحصل على نجمة ذهبية. هكذا عمل معظم الذكاء الاصطناعي (AI) حتى الآن؛ فهو يحاول إيجاد الإجابة "الصحيحة" الوحيدة، مثل حل مسألة رياضية أو تسمية عاصمة فرنسا.
لكن الحياة ليست دائماً مسألة رياضية. أحياناً، يختلف الناس. هل فيلم ما مضحك أم مسيء؟ هل قطعة فنية ما جميلة أم مزعجة؟ هذه الأسئلة ليس لها إجابة واحدة صحيحة؛ فهي تعتمد على من أنت، وخلفيتك، ومزاجك.
هذه الورقة البحثية، "ليست كل الذاتية متشابهة!"، تجادل بأن "طهاة" الذكاء الاصطناعي الحاليين يفشلون في إعداد هذه الأطباق "القائمة على الآراء". إنهم يحاولون فرض نكهة واحدة على طبق يحتاج إلى بوفيه كامل من الأذواق. يقترح المؤلفون مجموعة جديدة من القواعد (تسمى Desiderata - المستهدفات) لتعليم الذكاء الاصطناعي كيفية التعامل مع الخلاف البشري بشكل صحيح.
إليك تفصيل لأفكارهم، باستخدام تشبيهات من الحياة اليومية:
1. المشكلة: فخ "تصويت الأغلبية"
حالياً، عندما يتعلم الذكاء الاصطناعي من الآراء البشرية، فإنه غالباً ما يأخذ "تصويت الأغلبية". إذا قال 9 من أصل 10 أشخاص إن تعليقاً ما "غير ضار"، فإن الذكاء الاصطناعي يتعلم أن يقول إنه "غير ضار".
- المشكلة: هذا يسكت الشخص الواحد الذي شعر بالإساءة. في العالم الحقيقي، قد ينتمي هذا الشخص الواحد إلى فئة مستضعفة. إذا تجاهله الذكاء الاصطناعي، فسيصبح متنمراً لا يستمع إلا للأصوات الأعلى.
- الهدف: نحن بحاجة إلى ذكاء اصطناعي يمكنه القول: "معظم الناس يعتقدون أن هذا أمر طبيعي، ولكن البعض يجد هذا جارحاً بسبب خلفيتهم"، بدلاً من مجرد اختيار الفائز.
2. نوعا "الارتباك" (الغموض مقابل تعدد الأصوات)
يفرق المؤلفون تفريقاً حاسماً بين نوعين من المدخلات المربكة. فكر في هذا كأنك محقق يحل قضية ما:
- الغموض (المعلومة المفقودة): يكون المدخل مربكاً لأن المعلومات ناقصة.
- مثال: "سآخذ هذه الـ bitch خارجاً" (كلمة قد تعني كلبة أو وصفاً مهيناً لامرأة).
- مهمة المحقق: هل المتحدث يتحدث عن كلبة أم يهين شخصاً؟ يحتاج الذكاء الاصطناعي إلى إدراك: "ليس لدي سياق كافٍ بعد!" ثم يطلب توضيحاً.
- تعدد الأصوات (جوقة من الأصوات): المدخل واضح، لكن الناس يختلفون حقاً في المعنى بناءً على قيمهم.
- مثال: "أنا أكره جيل الطفرة (Boomers)".
- مهمة المحقق: الجملة واضحة. لكن بالنسبة للبعض، هي مجرد دعابة حول العمر. وبالنسبة لآخرين، هي خطاب كراهية. لا يوجد "معلومة مفقودة" هنا؛ بل هناك واقعان صالحان موجودان في نفس الوقت. يحتاج الذكاء الاصطناعي إلى الاعتراف بكليهما، لا أن يختار واحداً منهما.
تجادل الورقة بأن: معظم أنظمة الذكاء الاصطناعي تعامل هذين الأمرين بنفس الطريقة. فهي تحاول "حل" تعدد الأصوات (الخلاف) عبر اختيار جانب واحد، بينما ينبغي لها في الواقع الاستماع إلى الجوقة بأكملها.
3. وصفة من 7 خطوات لذكاء اصطناعي أفضل (المستهدفات - Desiderata)
يقترح المؤلفون قائمة مرجعية من 7 خطوات لبناء ذكاء اصطناعي يتعامل مع الآراء جيداً. تخيل هذا كدليل تدريبي لطاهٍ جديد للذكاء الاصطناعي:
- التعرف على "متى": يجب أن يعرف الذكاء الاصطناي متى يتوقف عن البحث عن حقيقة واحدة ويبدأ في البحث عن الآراء. (هل هذه مسألة رياضية أم جدال؟)
- التعرف على "أي نوع": يجب أن يعرف الذكاء الاصطناعي أي نوع من مشاكل الرأي هي. (هل هي معلومة مفقودة [غموض] أم تضارب في القيم [تعدد أصوات]؟)
- التعرف على "لماذا": يجب أن يشرح الذكاء الاصطناعي لماذا يختلف الناس. (هل هو بسبب الثقافة؟ العمر؟ التجربة الشخصية؟)
- التنبؤ بدقة: يجب أن يتوقع نطاق الآراء بشكل صحيح، وليس فقط المتوسط.
- المعايرة: إذا قال الذكاء الاصطناعي: "هناك احتمال بنسبة 50% أن يكون هذا مسيئاً"، فيجب أن يكون محقاً في 50% من المرات. لا ينبغي أن يكون مفرط الثقة.
- تمثيل الجميع: يجب أن يعطي صوتاً للأقلية. لا تكتفِ بترديد صدى الأغلبية؛ بل أظهر الطيف الكامل للفكر البشري.
- التعبير دون إزعاج: هذا هو الجزء الأصعب. إذا عرض الذكاء الاصطناعي 50 رأياً مختلفاً، فسيشعر المستخدم بالملل. يجب أن يلخص الخلاف بطريقة مفيدة، لا أن تكون مرهقة. الأمر يشبه مدير جلسة نقاش جيد في اجتماع عام، يلخص مشاعر الحشد دون أن يجعل الاجتماع يستمر لـ 10 ساعات.
4. ما الذي ينقص الأبحاث الحالية؟
نظر المؤلفون في 60 ورقة بحثية حديثة ليروا كيف يختبر الناس نماذج الذكاء الاصطناعي هذه. ووجدوا بعض الفجوات الكبيرة:
- نحن جيدون في العد، لكننا سيئون في الاستماع: معظم الأوراق تكتفي بالتحقق مما إذا كان الذكاء الاصطناعي قد حصل على العدد "الصحيح" من الآراء (رياضيات). قليل جداً منها يتحقق مما إذا كان الذكاء الاصطناعي قد شرح الخلاف بشكل جيد (تواصل).
- نتجاهل الـ "لماذا": نادراً ما يسأل الباحثون لماذا قدم الذكاء الاصطناعي تنبؤاً معيناً. هل خمن بشكل صحيح للأسباب الصحيحة؟
- لا نمزج الأنواع: نحن ندرس "المعلومات المفقودة" و"تضارب القيم" بشكل منفصل، لكن في الحياة الواقعية، غالباً ما يحدثان معاً.
الخلاصة الكبرى
تخلص الورقة إلى أنه لكي يكون الذكاء الاصطناعي مفيداً حقاً في المجتمع، لا يمكنه أن يكون مجرد روبوت يختار الإجابة "الأكثر شعبية". يجب أن يكون دبلوماسياً.
الدبلوماسي لا يخبرك فقط بما يعتقده الأغلبية؛ بل يفهم لماذا يشعر الأقلية بشكل مختلف، ويعرف متى يطلب مزيداً من السياق، ويمكنه شرح الموقف لك دون أن يجعلك تشعر بالارتباك أو التجاهل.
يدعو المؤلفون إلى عصر جديد من تقييم الذكاء الاصطناعي حيث نتوقف عن السؤال: "هل حصل الذكاء الاصطناعي على الإجابة الصحيحة؟" ونبدأ في السؤال: "هل فهم الذكاء الاصطناعي التجربة البشرية الكامنة وراء الإجابة؟"
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.