Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation
تقدم هذه الورقة البحثية مسار تدقيق بيانات يعتمد على الاستدلال فقط وقابل للتوسع، يقوم بتقريب قيم شابلي (Shapley values) لتحديد وإزالة السجلات المتضاربة أو المصنفة خطأً أو غير الآمنة من مجموعات بيانات ومعايير محاذاة النماذج اللغوية الكبيرة بكفاءة، مما يقلل بشكل كبير من جهود التدقيق اليدوي ويكشف العيوب الحرجة في الحقائق الأرضية المشروحة بشرياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يكون مساعداً بشرياً نافعاً، وآمناً، وصادقاً. أنت لا تبرمجه بقواعد جامدة؛ بل تعرض عليه ملايين الأمثلة من المحادثات الجيدة والسيئة، وتتركه يتعلم من خلال الأمثلة. هذه هي الطريقة التي تكتسب بها أنظمة الذكاء الاصطناً الحديثة "شخصيتها" وفلاتر الأمان الخاصة بها. ولكن هنا تكمن المشكلة: الروبوت لا يكون إلا بجودة القصص التي ترويها له. فإذا كان كتاب قصصك مليئاً بالأخطاء المطبعية، أو الأكاذيب، أو التناقضات المربكة، فسوف يرتبك الروبوت وقد يبدأ في التصرف بغرابة.
لفترة طويلة، كان فحص هذه الكتب يشبه محاولة العثور على تفاحة واحدة فاسدة وسط جبل من الفاكهة عبر فحصها واحدة تلو الأخرى. كانت العملية بطيئة، ومكلفة، وغالباً ما تغفل عن المشكلات الدقيقة. حاول العلماء استخدام الرياضيات لمعرفة أي القصص هي الأكثر أهمية، وهي طريقة تسمى "قيمة شابلي" (Shapley value)، لكن إجراء الحسابات بدقة كان أمراً ثقيلاً جداً لدرجة أنه قد يستغرق وقتاً طويلاً جداً مع كمية هائلة من البيانات. السؤال الكبير هو: كيف يمكننا رصد الأخطاء الخفية، والتناقضات المربكة، والنصائح السيئة في هذه الكتب التدريبية الضخمة بسرعة، دون الحاجة لقراءة كل صفحة أو إعادة تعليم الروبوت من الصفر؟
تقدم هذه الورقة البحثية أداة كشف ذكية جديدة تسمى "خط تدقيق البيانات القائم على التأثير" (influence-based data auditing pipeline). فكر فيها كعدسة مكبرة سحرية لا تحتاج لإعادة قراءة الكتاب بأكمله للعثور على الأخطاء. فبدلاً من إعادة تدريب الروبوت، يستخدم الباحثون حيلة: يسألون الروبوت: "إذا عرضتُ عليك هذه القصة المحددة قبل أن تقرأ هذه القصة التالية، هل تساعدك على الفهم، أم أنها تربكك؟"
قام الباحثون ببناء نظام يجمع القصص المتشابهة معاً، ثم يختبرها مثل لعبة "أوجد الفروق". يأخذون قصة ما ويسألون الروبوت أن يتوقع النهاية. ثم يعرضون عليه قصة مشابهة أولاً (كأنها تلميح) ويسألون الروبوت أن يتوقع النهاية مرة أخرى. إذا جعلت القصة "التلميح" توقعات الروبوت تسوء، فهذا يعتبر علامة خطر كبيرة. هذا يعني أن القصتين تتصارعان، مثل قصة تقول "قل الحقيقة دائماً" وأخرى تقول "لا بأس بالكذب في هذه الحالة".
اختبر الفريق أداتهم على مجموعتين شهيرتين من بيانات التدريب. أولاً، نظروا إلى مجموعة بيانات تسمى HelpSteer2. وجدت أداتهم أنه من بين آلاف السجلات، استطاعوا تقليص قائمة الأشياء التي يحتاج البشر لفحصها بنسبة 99.1%. لقد كشفوا عن أخطاء خفية حيث منح البشر درجات مثالية لإجابات كانت في الواقع مليئة بالحقائق المختلقة أو تجاهلت تعليمات مهمة. على سبيل المثال، وجدوا حالات تم فيها مدح روبوت لكتابته مقالاً يبدو مثالياً ولكنه يحتوي على تواريخ وهمية وأوراق علمية مزيفة، بينما تم معاقبة مقال مشابه يحتوي على نفس الحقائق المزيفة بشكل صحيح. كشف هذا عن "تحيز سطحي"، حيث أعجب المراجعين البشريين شكل النص ولكنهم لم يتحققوا مما إذا كانت الحقائق حقيقية أم لا.
بعد ذلك، قاموا بتدقيق مجموعة بيانات تسمى HH-RLHF، والتي تُستخدم لتعليم الروبوتات الاختيار بين إجابتين. وجدوا آلاف التناقضات الخفية حيث كان "الجواب الصحيح" الذي اختاره البشر هو في الواقع خطير أو غير مفيد. في أحد الأمثء المرعبة، اختار مراجع بشري استجابة تقترح سكب المبيض (الكلور) في عين شخص ما على سبيل المزاح، بينما رفض استجابة آمنة تكتفي فقط بطلب التوضيح. رصدت الأداة مخاطر السلامة هذه التي فاتتها عمليات الفحص القياسية.
ولعل الأمر الأكثر إثارة للدهشة هو أنه عندما استخدموا هذه الأداة لفحص أسئلة الاختبار (الامتحانات المستخدمة لتقييم الروبوتات)، وجدوا أن الامتحانات نفسها كانت معيبة. "الإجابات الصحيحة" في بنك الأسئلة كانت غالباً خاطئة. في كثير من الحمايات، كانت الروبوتات الأكثر ذكاءً تختار بالفعل الإجابة الأكثر أماناً والأفضل، لكن الاختبار صنفها على أنها "خاطئة" لأن نموذج الإجابة الذي كتبه البشر كان معيباً. يشير هذا إلى أن بعض أكبر المشكلات في سلامة الذكاء الاصطناعي قد لا تكون فشل الروبوتات، بل كون الاختبارات غير عادلة.
يؤكد المؤلفون بحذر أنه بينما تعد أداتهم الرياضية سريعة وفعالة للغاية في تضييق نطاق البحث، إلا أنها لا تزال تحتاج إلى إنسان (أو حكم ذكاء اصطناعي ذكي جداً) لاتخاذ القرار النهائي بشأن ما إذا كانت القصة معيبة حقاً. هم لم يصلحوا البيانات بأنفسهم، بل بنوا خريطة عالية الكفاءة توضح بالضبط أين توجد الحفر، مما وفر على الباحثين عناء الاضطرار للمرور فوق كل بوصة من الطريق للبحث عن العيوب. ومن خلال استخدام هذه الطريقة، قللوا من عمل فحص مجموعة بيانات ضخمة من النظر في آلاف العناصر إلى مجرد بضع عشرات من المشتبه بهم ذوي الأولوية العالية، مما يثبت أنه في بعض الأحيان، أفضل طريقة لإيجاد الحقيقة هي رؤية كيف تتدافع قطع اللغز وتتجاذب مع بعضها البعض.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.