Three Models of RLHF Annotation: Extension, Evidence, and Authority
تقترح هذه الورقة التمييز بين ثلاثة نماذج مفاهيمية للمُعلّقين البشريين في التعلم التعزيزي من التغذية الراجعة البشرية (RLHF) —وهي: الامتداد، والدليل، والسلطة— لتوجيه تصميم مسارات تعليق أكثر فعالية عبر تخصيص استراتيجيات جمع وتجميع البيانات لتناسب الدور المعياري المحدد لكل بُعد من أبعاد محاذاة النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم ببناء روبوت ذكي جداً يمكنه كتابة القصص، والإجابة على الأسئلة، والدردشة مع الناس. لقد علّمته كيف يتحدث من خلال تغذيته بملايين الكتب، ولكن الروبوت أصبح الآن جامحاً بعض الشيء؛ فهو أحياناً يقول أشياء وقحة، أو يكذب، أو يقدم نصائح سيئة. ولإصلاح ذلك، قمت بتعيين فريق من "المحررين" البشر ليخبروا الروبوت ما هو جيد وما هو سيء. تُسمى هذه العملية RLHF (التعلم التعزيزي من خلال التغذية الراجعة البشرية).
تجادل ورقة بحثية لـ ستيف كوين بأننا عندما نوظف هؤلاء المحررين البشر، فإننا غالباً ما نرتكب خطأ في فهم سبب توظيفنا لهم. هل هم هناك لنسخ أفكارنا؟ أم لإخبارنا بحقائق لا نعرفها؟ أم لوضع القانون النهائي لنا؟
يقترح كوين أن هناك ثلاث طرق متميزة للتفكير في هؤلاء المحررين البشر، وأن الخلط بينهم يجعل الروبوت مرتبكاً ويتصرف بشكل سيء.
إليك النماذج الثلاثة، مشروحة بتشبيهات بسيطة:
1. نموذج الامتداد: "النسخة الظلية" (The Shadow Clone)
الفكرة: في هذا النموذج، يكون المحررون البشر هناك لـ نسخ مصممي الروبوت.
التشبيه: تخيل أنك طاهٍ تريد تعليم مساعد طباخ كيفية إعداد طبقك المميز. أنت لا تريد من المساعد أن يضيف لمسته الفريدة أو يسأل عما يحبه الزبائن، بل تريده أن يتذوق الطعام ويقول: "نعم، هذا مذاقه تماماً كما كنت سأصنعه أنا". إذا قال المساعد: "أعتقد أنه يحتاج لمزيد من الملح"، بينما تراه أنت مثالياً، فإنك تتجاهله.
كيف يعمل: المحررون هم مجرد امتداد لعقل فريق التصميم. هم موجودون لسد الفجوات عندما يكون المصممون مشغولين جداً عن فحص كل إجابة.
- جيد لـ: تحديد نبرة الروبوت، أو أسلوبه، أو القواعد الخاصة بالشركة.
- الفخ: إذا عاملتهم بهذه الطريقة، ثم غضبت عندما اختلفوا مع "المجتمع"، فأنت مرتبك.
2. نموذج الدليل: "الشاهد الخبير" (The Expert Witness)
الفكرة: في هذا النموذج، يكون المحررون هناك لـ تقديم حقائق أو بيانات لا يملكها المصممون.
التشبيه: تخيل أنك قاضٍ في محكمة، لكنك لا تعرف شيئاً عن نوع معين من الأسماك النادرة. لذا استعنت بعالم أحياء بحرية كشاهد خبير. تسأله: "هل هذه السمكة سامة؟" فيجيب العالم: "نعم، بناءً على معرفتي، هي كذلك". يجب عليك الاستماع إليه، حتى لو كنت تعتقد شخصياً أنها تبدو آمنة. وظيفته هي تقديم دليل لك حول الحقيقة.
كيف يعمل: المحررون هم خبراء أو ممثلون للجمهور يخبرون المصممين: "في الواقع، معظم الناس يجدون هذا مسيئاً"، أو "هذه الحقيقة خاطئة". لا ينبغي للمصممين تجاوزهم لمجرد أنهم اختلفوا معهم؛ فالمحررون يقدمون بيانات.
- جيد لـ: التحقق مما إذا كان الروبوت دقيقاً من الناحية الواقعية أو ما إذا كان ينتهك المعايير الاجتماعية العامة (مثل "هل هذا مسيء؟").
- الفخ: إذا عاملتهم كخبراء ثم قمت بطردهم لأنهم لم يتفقوا مع رأيك الشخصي، فقد فقدت قيمة خبرتهم.
3. نموذج السلطة: "البرلمان المصغر" (The Mini-Legislature)
الفكرة: في هذا النموذج، يمتلك المحررون القدرة على وضع القواعد، بغض النظر عما إذا كانوا "على حق" أو "على خطأ" من الناحية الواقعية.
التشبيه: تخيل اجتماعاً للبلدية حيث تصوت مجموعة من المواطنين المختارين عشوائياً على قانون جديد. ليس من الضروري أن يكونوا خبراء في قوانين المرور؛ بل يكفي أن يمثلوا الشعب. إذا صوتوا لخفض الحد الأقصى للسرعة، يجب على المدينة الامتثال، ليس لأن المواطنين "أذكى" من العمدة، بل لأن لديهم السلطة لتقرير ذلك للمجتمع.
كيف يعمل: يعمل المحررون كـ "برلمان مصغر". مهمتهم ليست إيجاد الحقيقة أو نسخ المصمم، بل ممارسة الحق في تقرير ما يجب أن يفعله الروبوت. تأتي قوتهم من كونهم عينة تمثيلية عادلة من السكان.
- جيد لـ: اتخاذ القرارات في القضايا السياسية المثيرة للجدل أو الأسئلة الأخلاقية العميقة حيث لا توجد إجابة واحدة "صحيحة"، بل يوجد فقط ما يقرره المجتمع.
- الفخ: إذا عاملتهم كبرلمان مصغر ثم تجاهلت صوتهم لأن آرائهم لا تطابق وجهة نظرك الشخصية، فأنت تكسر "العقد الاجتماعي" للنظام.
لماذا يؤدي الخلط بينهم إلى إفساد الروبوت؟
تجادل الورقة البحثية بأن معظم أنظمة الذكاء الاصطناعي الحالية هي مزيج فوضوي من الثلاثة، مما يؤدي إلى أنماط فشل:
- الهزيمة الذاتية: تخيل أنك وظفت محررين ليعملوا كـ "برلمان مصغر" (سلطة) لتمثيل الجمهور. ولكن بعد ذلك، تقوم بطرد أي محرر يختلف مع رأيك الشخصي (امتداد). لقد دمرت الشيء الذي طلبته للتو: صوتاً تمثيلياً. لا يمكنك امتلاك ديمقراطية حيث يمكن للقائد طرد الناخبين الذين يصوتون ضده.
- التجزئة: تخيل أنك قلت للمحررين: "أنتم هنا لتقديم الحقائق" (دليل)، ولكن تعليماتك كانت غامضة، فظنوا أنك تريد منهم فقط نسخ أسلوبك (امتداد). النتيجة هي كومة من البيانات المربكة حيث يحاول بعض المحررين أن يكونوا خبراء بينما يحاول آخرون أن يكونوا نسخاً مكررة. يحصل الروبوت على إشارات مختلطة ولا يتعلم أي شيء مفيد.
- إسناد المسؤولية الخاطئ ("غسيل المسؤولية"): يحدث هذا عندما تقول شركة ما: "لقد تركنا الجمهور يقرر ما يقوله الروبوت!" (سلطة)، ولكن في الواقع، هي تطرد سراً أي شخص يختلف معها (امتداد). إنهم يحاولون إلقاء اللوم في سلوك الروبوت السيئ على "الجمهور" بينما يحتفظون في الواقع بكل السيطرة.
توصية المؤلف الكبرى
يقترح ستيف كوين أن نتوقف عن محاولة بناء مسار واحد وحيد للقيام بكل شيء. بدلاً من ذلك، يجب أن نبني مسارات مختلفة لمهام مختلفة:
- للأسلوب: استخدم نموذج الامتداد. دع المصممين يقررون ما إذا كان الروبوت يجب أن يبدو متحمساً أو جاداً.
- للحقائق: استخدم نموذج الدليل. وظف خبراء ليخبروا الروبوت بما هو حقيقي.
- للقيم المثيرة للجدل: استخدم نموذج السلطة. اترك مجموعة ممثلة من الناس تصوت على ما يجب أن يفعله الروبوت في المواقف الأخلاقية الصعبة.
الخلاصة:
بناء ذكاء اصطناعي مفيد ليس مجرد مشكلة تقنية؛ بل هو مشكلة فلسفية. قبل أن توظف محرريك البشر، عليك أن تقرر: هل هم نسخك، أم خبراؤك، أم مشرّعو القوانين لديك؟ إذا لم تختر واحداً بوضوح، سينتهي الأمر بروبوت مرتبك، غير متسق، ومن المحتمل أن يكون غير عادل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.