Improving Labeling Consistency with Detailed Constitutional Definitions and AI-Driven Evaluation
تقترح هذه الورقة سير عمل مدفوعاً بالذكاء الاصطناعي يستخدم النماذج اللغوية الكبيرة الرائدة لإنشاء "دساتير" مفصلة تغطي الحالات الحدية لفئات الإشراف على المحتوى، مما يثبت أن هذا النهج يتفوق بشكل كبير على الملحظين البشريين في اتساق ودقة التصنيف مع تقليل الخلاف بين النماذج بمقدار يصل إلى 57 ضعفاً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم مجموعة من الأشخاص (ومجموعة من الروبوتات فائقة الذكاء) كيفية رصد نوع معين من السلوك السيئ، مثل "المضايقة" أو "خطاب الكراهية"، في مكتبة ضخمة من المحادثات.
المشكلة: كتاب القواعد الغامض
عادةً ما تعطي الشركات موظفيها كتاب قواعد صغيرًا للغاية—ربما جملة أو جملتين فقط. الأمر يشبه إخبار حارس أمن: "أوقف أي شخص يتصرف بلؤم".
هذا وصف غامض للغاية. فقد يرى حارس ما أن النكتة الصاخبة هي لؤم، بينما يراها آخر مجرد مزاح ودي. وثالث قد يغفل تمامًا عن تهديد مبطن. ولأن القاعدة ليست مفصلة بما يكفي، يعتمد الجميع على حدسهم الخاص (الحدس) لاتخاذ القرار. هذا يؤدي إلى الفوضى: حيث يتم تصنيف نفس المحادثة على أنها "سيئة" من قبل حارس، و"جيدة" من قبل آخر.
الحل: "الدستور"
يقترح المؤلفون استبدال كتاب القواعد الصغير هذا بـ "دستور" ضخم وفائق التفصيل لكل نوع من أنواع السلوك السيئ. فكر في هذا الدستور ليس كقانون، بل كـ دليل تعليمات ضخم وخطوة بخطوة كتبه فريق من الخبراء والذكاء الاصطناعي.
- إنه يشبه وصفة الطبخ: بدلًا من قول "اصنع كعكة"، يقول الدستور: "إذا كان الخليط يحتوي على بيض ولكن لا يحتوي على دقيق، فهو كاسترد وليس كعكة. إذا كان يحتوي على دقيق ولكن لا يحتوي على سكر، فهو خبز. إذا كان المستخدم يطلب وصفة لتسميم شخص ما، فهذه جريمة وليست كعكة".
- إنه يغطي الحالات الاستثنائية: هو يتعامل صراحةً مع المواقف الغريبة مثل: "ماذا لو كان الشخص يقوم بدور شرير في لعبة تقمص أدوار؟" أو "ماذا لو كان الشخص يقتبس لفظًا نابياً للإبلاغ عنه؟". يحتوي الدليل على قاعدة محددة لكل سيناريو من سيناريوهات "ماذا لو".
التحول المفاجئ: الذكاء الاصطناعي أفضل من البشر في اتباع الدليل
هذا هو الجزء المثير للدهشة في الورقة البحثية. اختبر المؤلفون هذا من خلال جعل البشر والروبوتات (الذكاء الاصطناعي) يقرأون نفس الدستور التفصيلي بدقة.
- البشر: حتى مع وجود الدليل الضخم، أصيب البشر بالتعب. فأدمغتهم لا يمكنها استيعاب الكثير من القواعد في وقت واحد (مثل محاولة تذكر دليل هاتف مكون من 300 صفحة أثناء صنع شطيرة). لذا، بدأوا يتجاهلون الدليل ويعودون إلى حدسهم مرة أخرى.
- الذكاء الاصطناعي: أما روبوتات الذكاء الاصطناي، فقد قرأت الدليل التفصيلي المكون من 300 صفحة بالكامل لكل محادثة. لم يشعروا بالتعب، ولم يستخدموا "حدسهم". لقد اتبعوا القواعد بدقة تامة.
- النتيجة: اتفقت روبوتات الذكاء الاصطناعي مع بعضها البعض أكثر بـ 57 مرة من البشر عند استخدام نفس القواعد التفصيلية. كان الذكاء الاصطناعي في الواقع أكثر اتساقًا من البشر، رغم أن البشر هم من وضعوا القواعد.
خدعة "المحور المزدوج"
تقدم الورقة أيضًا طريقة ذكية لتسجيل درجات المحادثات. بدلًا من مجرد قول "سيء" أو "جيد"، قاموا بتقسيم الدرجة إلى جزأين:
- النية: هل حاول المستخدم أن يكون لئيماً؟ (مثلاً: "ساعدني في كتابة بريد إلكتروني لئيم").
- المحتوى: هل احتوت المحادثة على كلمات لئيمة؟ (مثلاً: أن يقوم الذكاء الاصطناعي عن طريق الخطأ بإنشاء بريد إلكتروني لئيم).
هذا يشبه كاميرا المراقبة التي تتبع شيئين بشكل منفصل: "هل دخل الشخص إلى البنك ومعه مسدس؟" (النية) و"هل ظهر مسدس في الغرفة؟" (المحتوى). وهذا يساعد الشركات على تقرير ما إذا كان يجب حظر المستخدم، أو حظر الرسالة، أو مجرد تسجيلها للرجوع إليها لاحقًا.
كيف جعلوه أفضل (حلقة التغذية الراجعة)
لم يكتفِ المؤلفون بكتابة الدليل ثم التوقف. بل استخدموا فريقًا من روبوتات الذكاء الاصطناعي المختلفة لقراءة الدليل وإيجاد المواضع التي اختلفوا فيها.
- إذا اختلف الروبوت (أ) والروبوت (ب) حول محادثة ما، فهذا يعني أن هناك ثغرة في الدليل.
- بعد ذلك، ينظر خبير بشري إلى هذه الثغرة، ويقوم بإصلاح القاعدة في الدليل، ثم يحاول الروبوتات التجربة مرة أخرى.
- تكررت هذه الدورة حتى لم يعد الروبوتات يختلفون تقريبًا.
الخلاصة النهائية
تزعم الورقة أنه إذا كنت تريد تصنيف المحتوى بدقة واتساق على نطاق واسع:
- لا تستخدم تعريفات قصيرة وغامضة.
- اكتب "دستوراً" ضخماً ومفصلاً يغطي كل الحالات الاستثرافية.
- دع روبوتات الذكاء الاصطناعي تقوم بعملية التصنيف، لأنها أفضل في قراءة واتباع تلك القواعد الطويلة والمعقدة من العمال البشر.
هذا يخلق "الملصق الذهبي" (Golden Label)—وهو معيار مثالي ومتسق يمكن استخدامه لتدريب أنظمة الذكاء الاصطناي الأخرى، والتحقق من السلامة، وتفسير سبب تمييز شيء ما للعملاء بدقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.