From Noise to Signal to Selbstzweck: Reframing Human Label Variation in the Era of Post-training in NLP
تجادل ورقة الموقف هذه بأن التباين في التصنيف البشري (HLV)، الذي غالباً ما يُستبعد باعتباره ضجيجاً، يجب الحفاظ عليه كقيمة جوهرية (Selbstzweck) في مجموعات بيانات معالجة اللغات الطبيعية في مرحلة ما بعد التدريب من أجل التقاط التعددية البشرية بشكل أفضل وضمان السلامة الاجتماعية والتقنية، بدلاً من دمج وجهات النظر المتنوعة في إجماع اصطناعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة البحث "من الضجيج إلى الإشارة إلى الغاية في حد ذاتها" (From Noise to Signal to Selbstzweck) باستخدام لغة بسيطة وتشبيهات إبداعية.
الفكرة الكبرى: توقفوا عن محو الصوت البشري "الفوضوي"
تخيل أنك تحاول تعليم روبوت كيف يكون صديقاً جيداً. تطلب من 100 شخص مختلف تقييم إجابات الروبوت.
- الشخص (أ) يقول: "كانت تلك الإجابة قصيرة جداً!"
- الشخص (ب) يقول: "كانت تلك الإجابة طويلة جداً!"
- الشخص (ج) يقول: "أعجبني الأسلوب، لكن الحقائق كانت خاطئة."
في الأيام الخوالي للذكاء الاصطناعي، كان الباحثون ينظرون إلى هذه الفوضى ويقولون: "هذا ضجيج! يجب أن نتخلص من هذا الاختلاف." كانوا يجبرون الـ 100 شخص على التصويت، ويختارون الفائز، ثم يرمون الآراء الـ 99 الأخرى. لقد عاملوا الخلاف البشري كأنه خطأ مطبعي أو غلطة يجب إصلاحها.
هذه الورقة تجادل بأننا بحاجة للتوقف عن فعل ذلك.
يقول المؤلفون إن الاختلاف البشري ليس خطأً؛ بل هو ميزة. إنه دليل على أن البشر متنوعون ومعقدون ولهم قيم مختلفة. وبدلاً من محاولة تسطيح كل تلك الاختلافات في إجابة واحدة "مثالية"، يجب أن نعامل هذا التنوع باعتباره أهم ما نملك.
يسمي المؤلفون هذا التحول رحلة عبر ثلاث مراحل:
المرحلة 1: عصر "الضجيج" (المجاور للإنسان)
التشبيه: خط الإنتاج
تخيل مصنعاً يصنع قطعاً متطابقة. إذا وضع عامل قطعة تبدو مختلفة قليلاً على الخط، يصرخ المدير: "هذا عيب مصنعي! ارموها في القمامة!"
- ماذا حدث: كان الذكاء الاصطنا الأول يشبه هذا المصنع. اعتقد الباحثون أن هناك حقيقة واحدة فقط "معيار ذهبي" لكل سؤال. إذا اختلف شخصان، فإن أحدهما "مخطئ".
- المشكلة: تجاهل هذا الأمر حقيقة أن البشر ليسوا قطع غيار متطابقة. نحن نملك خلفيات وثقافات ومشاعر مختلفة. ومن خلال رمي هذه "العيوب"، تعلم الذكاء الاصطناعي أن يكون جامداً ومملاً، وفقد ثراء الحياة البشرية.
المرحلة 2: عصر "الإشارة" (الواعي بالإنسان)
التشبيه: تقرير الطقس
لاحقاً، أدرك العلماء أن هذه "العيوب" لم تكن أخطاء عشوائية، بل كانت في الواقع بيانات.
- ماذا حدث: بدأ الباحثون يقولون: "انتظروا، إذا كان 30% من الناس يكرهون هذه النكتة و70% يحبونها، فهذا ليس خطأً. هذه إشارة تخبرنا أن النكتة مسألة ذوق شخصي."
- التحول: بدأوا يعاملون الاختلاف كمعلومات مفيدة لجعل الذكاء الاصطناعي أكثر قوة. لكنهم، مع ذلك، ظلوا يحاولون في الغالب حساب المتوسط للحصول على درجة واحدة.
المرحلة 3: عصر "الغاية في حد ذاتها" (المتمحور حول الإنسان)
Selbstzweck هي كلمة ألمانية تعني "غاية في حد ذاتها". يجادل المؤلفون بأن التنوع البشري لا ينبغي أن يكون مجرد أداة لجعل الذكاء الاصطناعي أفضل؛ بل يجب أن يكون هو الهدف نفسه.
- الفكرة الكبيرة: تخيل جوقة موسيقية. في الأيام الخوالي، حاولنا جعل الجميع يغنون نفس النوتة بالضبط (عزف منفرد). في عصر "الإشارة"، أدركنا أن النوتات المختلفة تصنع لحناً متناغماً. ولكن في هذا العصر الجديد، ندرك أن التناغم نفسه هو التحفة الفنية.
- الهدف: لا ينبغي لنا إجبار الذكاء الاصطناعي على اختيار رأي واحد "فائز". بدلاً من ذلك، يجب أن يتعلم الذكاء الاصطناعي فهم واحترام والتنقل عبر حقيقة أن الناس سيختلفون دائماً. وظيفة الذكاء الاصطناعي ليست إيجاد "الحقيقة"، بل التنقل في تعددية القيم البشرية.
لماذا يهم هذا الآن؟ (مشكلة "ما بعد التدريب")
نحن نعيش حالياً عصر نماذج اللغات الكبيرة (LLMs) مثل النموذج الذي تتحدث إليه الآن. لجعل هذه النماذج مفيدة وآمنة، نستخدم عملية تسمى RLHF (التعلم المعزز من التعليقات البشرية).
الخلل الحالي:
في الوقت الحالي، عندما ندرب هذه النماذج، نأخذ آلاف الآراء البشرية ونضغطها في درجة واحدة "نعم/لا" أو "من 1 إلى 5 نجوم".
- التشبيه: تخيل أنك قاضٍ في قضية قانونية. بدلاً من قراءة مرافعات هيئة المحلفين، يكتفي القاضي بأخذ تصويت، ويختار الأغلبية، ويرمي الآراء المعارضة. الحكم النهائي هو "الأغلبية تفوز".
- المخاطر: هذا يخلق ذكاءً اصطناعياً يعتقد أن هناك طريقة واحدة فقط لتكون "جيداً". إنه يتجاهل أصوات الأقليات، والفروق الثقافية الدقيقة، والمعضلات الأخلاقية المعقدة حيث لا توجد إجابة واحدة صحيحة.
ماذا يجب أن نفعل بدلاً من ذلك؟ (الحلول)
يقترح المؤلفون ثلاثة تغييرات بسيطة لإصلاح ذلك:
توظيف "هيئة محلفين" أفضل (مجموعة متنوعة من المقيّمين):
لا توظف 100 شخص من نفس الجامعة أو البلد. وظف مجموعة متنوعة تمثل العالم الحقيقي (أعمار، ثقافات، وخلفيات مختلفة). إذا كانت هيئة المحلفين لديك متنوعة، فإن اختلافهم يعد بيانات قيمة، وليس خطأً.إظهار لوحة النتائج كاملة (إصدار التصنيفات الفردية):
بدلاً من إخبار الذكاء الاصطناعي "المتوسط هو 4 نجوم"، أظهر له البيانات الخام: "الشخص (أ) أعطى 5 نجوم، الشخص (ب) أعطى نجمتين، الشخص (ج) أعطى 4 نجوم". دع الذكاء الاصطناعي يتعلم أن الناس لديهم أذواق مختلفة، بدلاً من إجباره على تعلم ذوق "متوسط" مزيف.الاستماع إلى "السبب" (التعليقات المتنوعة):
لا تطلب من الناس فقط اختيار "الخيار أ" أو "الخيار ب". اسألهم أيضاً عن سبب اختيارهم. أحياناً، قد يقول الناس: "أنا لا أفضل أياً منهما؛ كلاهما جيد بطرق مختلفة". يحتاج الذكاء الاصطناعي لفهم هذه "التعادلات" واللمسات الدقيقة، وليس إجبار أحد الخيارين على الفوز.
التشبيه القانوني: الرأي المخالف
تستخدم الورقة مثالاً قانونياً رائعاً. في المحكمة العليا، أحياناً لا يستطيع القضاة الاتفاق.
- الطريقة القديمة: تصدر المحكمة حكماً بناءً على تصويت الأغلبية وتتجاهل الأقلية.
- الطريقة الجديدة (اقتراح الورقة): تصدر المحكمة حكم الأغلبية (لأن القرار يجب أن يُتخذ)، ولكنها تنشر أيضاً "الرأي المخالف". هذا يحفظ وجهة نظر الأقلية من أجل التاريخ، والمساءلة، والمنطق المستقبلي.
- بالنسبة للذكاء الاصطناعي: لا ينبغي للذكاء الاصطناعي أن يعطي إجابة واحدة فقط. يجب أن يكون قادراً على قول: "معظم الناس يعتقدون أن X أفضل، لكن مجموعة كبيرة تعتقد أن Y أفضل بسبب Z. إليكم السياق لكلا الخيارين".
الملخص
هذه الورقة هي دعوة للعمل لمجتمع الذكاء الاصطناعي: توقفوا عن محاولة تنظيف الاختلاف البشري.
الاختلاف البشري ليس "ضجيجاً" يجب حذفه. إنه الإشارة لتنوعنا. وفي نهاية المطاف، فإن الحفاظ على هذا التنوع هو الغاية (الـ Selbstzweck) من بناء ذكاء اصطناعي يخدم البشرية جمعاء حقاً، وليس نسخة مبسطة ومتوسطة منها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.