DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance
تقترح الورقة البحثية DUET، وهي طريقة تقطير داخل السياسة قائمة على اختيار الرموز (token-selective) تستفيد من عدم الاتفاق لكل رمز بين معلمين متماثلي الأوزان (أحدهما مع سياق الحظر والآخر بدونه) لتوليد إشارة إشراف نظيفة لتدريب النماذج على الامتثال للمحظورات الديناميكية الخاصة بكل طلب مع الحفاظ على المنفعة العامة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة هي المحركات الكامنة وراء العديد من المساعدات الرقمية الحديثة، وهي قادرة على توليد نصوص تشبه النصوص البشرية، وحل المشكلات، والإجابة على الأسئلة. ومع ذلك، في العالم الحقيقي، غالبًا ما تعمل هذه النماذج بموجب قواعد صارمة ومتغيرة ليست مبرمجة في عقولها بشكل ثابت، بل يتم حقنها في تعليماتها في لحظة استخدامها. فقد تطلب شركة من النموذج ألا يكشف أبدًا عن أدواته الداخلية، بينما قد يطالب مستشفى بعدم ذكر أسماء المرضى أبدًا. هذه القواعد تتغير اعتمادًا على من يسأل وما هو الموقف. ويتمثل التحدي الذي يواجه المطورين في تعليم النموذج الالتزام بهذه المحظورات المحددة والمؤقتة دون جعله حذرًا للغاية بحيث يرفض الإجابة على الأسهالات غير الضارة، أو واثقًا للغاية بحيث يكسر القواعد عن طريق الخطأ. إذا فشل النموذج في اتباع هذه التعليمات، فقد يؤدي ذلك إلى تسريب البيانات أو حوادث تتعلق بسلامة العلامة التجارية؛ وإذا أصبح خائفًا جدًا من التحدث، فسيصبح عديم الفائدة.
لقد طور باحثون في شركة "تنسنت" (Tencent) طريقة جديدة تسمى "DUET" لحل هذه المشكلة المحددة المتمثلة في تعليم النماذج اتباع قواعد وقت التشغيل. وبدلاً من محاولة إعادة تدريب النموذج من الصفر أو مجرد إظهار أمثلة لإجابات جيدة وسيئة له، أنشأوا نظامًا يعمل مثل زوج من التوائم المتطابقين. يرى أحد التوأمين القاعدة المحظورة في تعليماته، بينما لا يرى التوأم الآخر، الذي يمتلك نفس المعرفة والقدرات تمامًا، تلك القاعدة. ولأن هذين "المعلمين" متطابقان في كل شيء آخر، فإن أي اختلاف فيما يقولانه يجب أن يكون ناتجًا فقط عن وجود أو غياب تلك القاعدة المحددة. يستخدم الباحثون هذا الخلاف لتحديد المكان الذي من المرجح أن يرتكب فيه النموذج خطأً بدقة.
تعمل العملية من خلال جعل النموذج الطالب يولد استجابة بينما يراقب كلا التوأمين المعلمين. عندما يتفق المعلمان على الكلمة التالية التي ينبغي قولها، يتجاهل النظام ذلك الجزء من المحادثة، مفترضًا أنه آمن وغير مهم. ومع ذلك، عندما يختلف المعلمان — أحدهما يقترح كلمة تكشف سرًا والآخر يقترح بديلًا آمنًا — يقوم النظام بتحديد تلك اللحظة المحددة كفرصة تعلم حرجة. وهذا يسمح للنموذج الطالب بتركيز انتباهه فقط على الكلمات القليلة التي تهم فيها القاعدة فعليًا، بدلاً من إضاعة الجهد في آلاف الكلمات التي لا بأس بها. ثم يتم دفع الطالب بلطف بعيدًا عن المعلم الذي يتجاهل القاعدة وجذبه نحو المعلم الذي يحترمها، مما يعلمه فعليًا كيفية التنقل بين المساعدة والامتثال.
يعالج هذا النهج خللاً في الطرق القديمة حيث كان يتم تدريب النماذج على محادثات كاملة. في تلك الأنظمة القديمة، إذا ارتكب النموذج خطأً واحدًا في إجابة طويلة، فغالبًا ما كانت الإجابة بأكملها تُعامل على أنها سيئة، مما يربك النموذج حول الكلمات المحددة التي كانت تمثل المشكلة. ومن خلال عزل الخلاف في "الرمز" (token) أو وحدة الكلمة الدقيقة التي يحدث فيها الانتهاك، توفر الطريقة الجديدة إشارة أكثر وضوحًا. وقد اختبر الباحثون ذلك في مجموعة متنوعة من المهام، بما في ذلك حماية المعلومات الشخصية، واتباع إرشادات السلامة، والالتزام بتعريفات أدوات العمل. ووجدوا أن النماذج التي تم تدريبها باستخدام طريقة المعلم المزدوج هذه كانت أفضل بكثير في رفض كسر القواعد مع الاستمرار في كونها مفيدة للأسئلة المشروعة.
أظهرت النتائج أن الطريقة الجديدة تفوقت على التقنيات الموجودة عبر أحجام مختلفة من النماذج، بدءًا من النماذج الصغيرة التي تحتوي على 1.5 مليار معلمة وصولاً إلى النماذج الأكبر التي تحتوي على 8 مليارات معلمة. وفي اختباراتهم، حققت النماذج معدل امتثال يتراوح بين 72% إلى 85% في الطلبات المنتهكة، مما يعني أنها رفضت بنجاح كسر القواعد، مع الحفاظ أيضًا على مستوى عالٍ من الفائدة للأسئلة العادية، حيث حافظت على ما بين 88% و93% من قدرتها على الإجابة بشكل صحيح. والأهم من ذلك، لم تفقد النماذج ذكاءها العام؛ فقد ظلت جيدة في الرياضيات والألغاز المنطقية كما كانت من قبل. وتشير الدراسة إلى أنه باستخدام نموذجين متطابقين للعثور على النقطة الدقيقة التي تهم فيها القاعدة، يمكن للمطورين إنشاء مساعدين ذكاء اصطناعي آمنين ومفيدين في آن واحد، يتنقلون عبر التعليمات المعقدة والمتغيرة دون الحاجة إلى كميات هائلة من البيانات الجديدة أو فقدان قدراتهم الأساسية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.