HiRoute: Hierarchical Routed Prompt Tuning for Safety Alignment of Large Language Models
تعد HiRoute إطار عمل لضبط السلامة بكفاءة في استخدام المعلمات، حيث توظف موجهاً هرمياً لاختيار وخلط خبراء مطالبات محددين لكل فئة ديناميكياً، مما يمكن النماذج اللغوية الكبيرة من موازنة السلامة مقابل الطلبات الضارة بفعالية مع تقليل الإفراط في رفض المدخلات الحميدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتًا فائق الذكاء كيف يكون مواطنًا صالحًا. هذا الروبوت، المعروف باسم "النموذج اللغوي الكبير" (LLM)، موهوب للغاية في كتابة القصص، وحل المسائل الرياضية، والدردشة معك. ومع ذلك، مثل أي أداة قوية، يمكن خداعه لقول أشياء مسيئة، أو كشف أسرار، أو المساعدة في أفكار سيئة إذا طرح شخص ما الأسئلة الخاطئة. لقد حاول العلماء إصلاح ذلك عن طريق "ضبط" عقل الروبوت. كانت الطريقة القديمة تشبه إعادة توصيل أسلاك عقل الروبوت بالكامل في كل مرة تريد فيها إضافة قاعدة سلامة جديدة، وهو أمر مكلف وبطيء. أما الطريقة الأحدث والأذكى فهي "ضبط التلقين" (Prompt Tuning)، حيث تكتفي بإعطاء الروبوت ملاحظة أو تعليمات خاصة في بداية كل محادثة لتذكيره بأن يكون آمنًا. لكن الجزء الصعب هنا هو أنه إذا كانت الملاحظة غامضة جدًا، فقد يرفض الروبوت المساعدة في الأسئلة غير الضارة لمجرد الحذر (مثل حارس أمن يطرد الجميع من النادي). وإذا كانت الملاحظة محددة للغاية، فقد يغفل عن المخاطر المعقدة التي تمزج أنواعًا مختلفة من السلوكيات السيئة.
هنا يأتي دور فريق من الباحثين من جامعة بهيانغ (Beihang University) بفكرة ذكية جديدة تسمى HiRoute. فكر في HiRoute كأنه نظام تحكم مروري فائق التنظيم لعقل الروبوت. فبدلاً من استخدام لافتة واحدة ضخمة ومملة تقول "قف" لكل سيارة، يستخدم HiRoute شرطي مرور ذكيًا يتحقق أولاً مما إذا كانت السيارة خطيرة بالفعل. إذا كانت السيارة آمنة، يحصل على ضوء أخضر وينطلق بسرعة دون أي تأخير. أما إذا بدت السيارة خطرة، فإن شرطي المرور لا يكتفي بإيقافها فحسب؛ بل يحدد بالضبط نوع المشكلة التي قد تسببها (مثل سائق مسرع، أو سائق مخمور، أو سيارة مسروقة) ثم يسلم السائق دليلًا مخصصًا ومكتوبًا بعناية حول كيفية تصحيح سلوكه بأمان. وجد الباحثون أن هذا النهج المكون من خطوتين — التحقق من الخطر أولاً، ثم دمج قاعدة سلامة عامة مع نصائح محددة — يجعل الروبوت أكثر أمانًا دون أن يجعله فظًا أو غير متعاون. لقد اختبروا ذلك على ثلاثة نماذج من عقول الروبوتات وأظهروا أن HiRoute يوقف الطلبات السيئة بشكل أفضل من الطرق الأخرى مع بقائه ودودًا ومتعاونًا للطلبات الجيدة.
المشكلة: معضلة "المقاس الواحد الذي يناسب الجميع"
تخيل أنك مدير مكتبة ذكية جدًا ولكنها مشاكسة. لديك قاعدة تقول: "لا يُسمح بالكتب الخطيرة". إذا استخدمت قاعدة بسيطة وصارمة مثل "إذا بدا الكتاب مخيفًا، امنعه فورًا"، فقد تمنع بالخطأ كتابًا عن كيفية بناء بركان لمشروع علمي لأنه يذكر كلمة "انفجارات". وهذا ما يسمى الإفراط في الرفض (Over-refusal). تصبح المكتبة آمنة، ولكنها تصبح أيضًا مملة وغير مفيدة.
من ناحية أخرى، إذا حاولت كتابة قاعدة محددة لكل نوع من أنواع الخطر (قاعدة للحرائق، وقاعدة للسكاكين، وقاعدة للسموم)، فقد تغفل عن كتاب يجمع بين النار والسموم معًا. سيصاب الروبوت بالارتباك وقد يسمح بمرور الكتاب الخطير.
أدرك الباحثون أن الطرق الموجودة كانت عالقة في المنتصف. بعضها استخدم تلقين سلامة واحدًا وثقيلًا منع كل شيء، بينما حاول البعض الآخر خلط تلقينات سلامة مختلفة لكنهم افتقروا إلى "شبكة أمان" قوية لالتقاط المخاطر المعقدة والمختلطة. فتساءلوا: هل يمكننا تجميد العقل الرئيسي للروبوت (حتى لا نضطر لإعادة تدريبه) وتعليمه فقط طريقة أذكى لقراءة سؤال المستخدم واختيار نصيحة السلامة المناسبة؟
الحل: رقصة الخطوتين الخاصة بـ HiRoute
يحل HiRoute هذه المشكلة من خلال العمل كحارس أمن لديه استراتيجية من جزأين: الحارس (The Gatekeeper) و فريق المتخصصين (The Specialist Team).
الخطوة 1: الحارس (الموجه - The Router)
أولاً، يستخدم HiRoute "موجهًا" صغيرًا وخفيف الوزن (فكر فيه كأنه حارس أمن يلقي نظرة سريعة) ليتطلع على سؤال المستخدم. هذا الحارس لا يغير عقل الروبوت؛ بل يقرأ السؤال فقط ويسأل شيئين:
- "هل هذا السؤال خطير؟" (نعم/لا)
- "إذا كان نعم، فما نوع هذا الخطر؟" (على سبيل المثال: هل يتعلق بالسرقة؟ هل يتعلق بالعنف؟ هل يتعلق بالاختراق؟)
إذا كان السؤال آمنًا (مثل "كيف أخبز كعكة؟")، يمرره الحارس. يجيب الروبوت فورًا، متجاوزًا جميع فحوصات السلامة. هذا يحافظ على سرعة الروبوت ووديته للمستخدمين العاديين.
الخطوة 2: فريق المتخصصين (خبراء التلقين - The Prompt Experts)
إذا رصد الحارس خطرًا، يتم إرسال السؤال إلى "فريق المتخصصين". هنا، يستخدم HiRoute مزيجًا ذكيًا من نوعين من ملاحظات السلامة:
- شبكة السلامة المشتركة: قاعدة سلامة عامة وعريضة تنطبق على جميع الأخطار (مثل "لا تساعد في الأنشطة غير القانونية"). تعمل هذه كقاعدة قوية حتى لا ينسى الروبوت الأساسيات أبدًا.
- الخبراء المتخصصون في المخاطر: مجموعة من الملاحظات المتخصصة، كل منها مصمم لنوع معين من الخطر (واحدة للجرائم الإلكترية، وأخرى للخصوصية، إلم إلخ).
تحدث المعجزة عندما يدمج HiRoute هذه العناصر. فهو لا يختار خبيرًا واحدًا فحسب؛ بل يحسب "وصفة" بناءً على تخمين الحارس. إذا كان السؤال يتكون من 60% عن السرقة و40% عن الخصوصية، فإن HiRoute يمزج 60% من ملاحظة "السرقة" مع 40% من ملاحظة "الخصوصية"، مع إبقاء "شبكة السلامة المشتركة" نشطة. يضمن هذا أن يقدم الروبوت إجابة مفيدة ومحددة تعالج المخاطر بدقة دون أن يكون غامضًا جدًا أو قاسيًا جدًا.
ما وجدوه: السلامة دون "الغلظة"
اختبر الباحثون HiRoute على ثلاثة نماذج مختلفة من الروبوتات (Mistral و Vicuna و Zephyr) وقارنوه بطرق السلامة الأخرى. كانت النتائج مبهرة:
- سلامة أفضل: أوقف HiRoute الطلبات الضارة بشكل أفضل من الطرق الأخرى. على سبيل المثال، في نموذج Mistral، حقق معدل سلامة بنسبة 93.2%، متفوقًا على ثاني أفضل طريقة بفارق واضح.
- أكثر فائدة: والأهم من ذلك، أنه لم يجعل الروبوت يرفض الأسئلة غير الضارة. عندما كان على الروبوت أن يقول "لا" لطلب سيء، كان يشرح لماذا ويقدم بدائل آمنة، محققًا درجات عالية في "الفائدة" (حوالي 7.4 من 10).
- إفراط أقل في الرفض: هذا أمر بالغ الأهمية. غالبًا ما كانت الطرق الأخرى تمنع الأسئلة الآمنة عن طريق الخطأ. أما HiRoute فقد منع 2.5% فقط من الأسئلة الآمنة في نموذج Mistral، بينما منعت طريقة شهيرة أخرى نسبة هائلة بلغت 40.5%.
كما تلاعب الفريق بمدى صرامة "الحارس". ووجدوا أنه إذا جعلوا الحارس أكثر حذرًا (برفع العتبة إلى 0.95)، فإن السلامة ترتفع إلى 95.0% في اختبارات الاختراق، بينما انخفضت قدرة الروبوت على حل الرياضيات (GSM8K) بشكل طفيف فقط من 50.5% إلى 48.0%. وهذا يشير إلى أنه يمكنك جعل الروبوت آمنًا جدًا دون تعطيل عقله.
لماذا هذا مهم
يُظهر HiRoute أننا لسنا بحاجة إلى إعادة بناء الروبوت بالكامل لجعله آمنًا. باستخدام نظام ذكي من طبقتين يفصل بين "هل هذا خطير؟" وبين "كيف نتعامل مع هذا الخطر المحدد؟"، يمكننا إنشاء ذكاء اصطنا-ي يكون حارسًا صارمًا وصديقًا مفيدًا في آن واحد. إن هذا يثبت أن السلامة والمساعدة لا يجب أن يكونا عدوين؛ فمع التوجيه وخلط تعليمات السلامة الصحيح، يمكن للروبوت أن يكون كلاهما.
يشير الباحثون إلى أن HiRoute ليس مثاليًا بعد؛ فهو يعتمد على تخمين الحارس للمخاطر بشكل صحيح، ويعمل بشكل أساسي في المحادثات النصية ذات الدور الواحد. ولكن في الوقت الحالي، فإنه يقدم طريقة واعدة وفعالة للحفاظ على سلامة أصدقائنا الرقميين دون تحويلهم إلى روبوتات غير نافعة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.