← أحدث الأبحاث
💻 computer science

Capability-Routed Guard: Defending Large Reasoning Models Against Reasoning-Centric Jailbreaks

تقدم هذه الورقة "حارس التوجيه القائم على القدرة" (CRG)، وهو إطار عمل محايد للنماذج يعمل أثناء مرحلة الاستدلال للدفاع عن نماذج الاستدلال الكبيرة ضد عمليات الاختراق المتمحورة حول الاستدلال، وذلك عبر إعادة صياغة أمن المطالبات كمسألة توجيه قدرات لفصل المهام المصرح بها عن سياقات الاستدلال غير الموثوقة، مما يؤدي بفعالية إلى تخفيف الهجمات مع الحفاظ على المنفعة الحميدة.

المؤلفون الأصليون: Yiyong Liu, Yixin Wu, Jun Sakuma

نُشر 2026-08-11
📖 6 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Yiyong Liu, Yixin Wu, Jun Sakuma

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتحدث إلى روبوت ذكي للغاية، وثرثار للغاية، لا يكتفي فقط بالإجابة على الأسئلة، بل "يفكر" فيها خطوة بخطوة قبل التحدث. هذا هو عالم "نماذج الاستدلال الكبيرة" (LRMs). على عكس برامج الدردشة القديمة التي قد تكتفي بمجرد تخمين الكلمة التالية، تقوم هذه النماذج الجديدة بتفكيك المشكلات الكبيرة إلى قطع أصغر، مثل محقق يحل لغزاً أو طاهٍ يخطط لوصفة معقدة. إنها مذهلة في الرياضيات، والبرمجة، والتخطيط. لكن هذه القوة الخارقة تأتي مع نوع جديد من الخطر. فكر في الأمر كطاهٍ ماهر بارع جداً في اتباع الوصفة، لدرجة أنه إذا تسللت مكونات سامة صغيرة إلى منتصف التعليمات، فقد لا يلاحظها الطاهي حتى تفسد الطبخة. لقد اكتشف المخترقون طريقة لخداع هذه الروبوتات المفكرة عبر إخفاء طلبات سيئة داخل قصص طويلة ومعقدة أو خطوات استدلال مزيفة، مما يجعل الروبوت يعتقد أنه يقوم بشيء آٍمن بينما هو في الواقع يقوم بشيء ضار.

السؤال الكبير الذي يسأله العلماء هو: كيف نوقف هذه الحيل الماكرة دون تحويل الروبوت إلى حارس غاضب يرفض الإجابة على أي سؤال خوفاً من وقوع أي خطأ؟ إذا جعلنا الروبوت صارماً للغاية، فإنه سيتوقف عن كونه مفيداً. وإذا جعلناه متساهلاً للغاية، فسيتم خداعه. هذه الورقة البحثية، التي تحمل عنوان "الحارس الموجه بالقدرات" (Capability-Routed Guard)، تقترح طريقة جديدة لحماية هذه الروبوتات المفكرة. فبدلاً من مجرد فحص الجملة الأولى من الطلب، يقترح المؤلفون بناء "مراقب حركة مرور" ذكي يراقب الرحلة الكاملة لعملية تفكير الروبوت، ويقرر بالضبط مقدار قوة التفكير التي يسمح للروبوت باستخدامها بناءً على مدى خطورة الطلب.

المشكلة: فخ "التفكير"

لفترة طويلة، كان حماية الذكاء الاصطناعي يشبه وجود حارس أمن عند باب النادي. إذا رأى الحارس كلمة سيئة أو ملابس مشبوهة، فإنه لا يسمح لك بالدخول. لكن نماذج الاستدلال الكبيرة مختلفة؛ فهي لا تجيب فحسب، بل تستدل. إنها تنشئ مساراً طويلاً من الأفكار، مثل طريق من فتات الخبز، للوصول إلى الإجابة.

توضح الورقة أن المخترقين وجدوا طريقة للمرور من أمام الحارس عبر إلباس أفكارهم السيئة ثوب جزء من مسار الاستدلال. قد يقولون: "دعونا نتظاهر بأننا نكتب قصة عن شرير يصنع قنابل"، أو "دعونا نفكك هذه المسألة الرياضية، ولكن الخطوة الثالثة تتضمن إنشاء فيروس". والروبوت، بكونه متلهفاً جداً لاتباع منطق القصة أو الرياضيات، يُخدع ليعتقد أن الخطوة الخطيرة هي مجرد جزء طبيعي من العملية. وتسمي الورقة هذه الحيل بـ "اختراقات الاستدلال المركزية" (reasoning-centric jailbreaks). إن حراس السلامة القدامى، الذين يفحصون فقط بداية أو نهاية الرسالة، غالباً ما يفوتون هذه الحيل لأن الأشياء السيئة تكون مخبأة في أعماق خطوات التفكير الخاصة بالروبوت نفسه.

الحل: "الحارس الموجه بالقدرات" (CRG)

قدم المؤلفون نظام دفاع جديد يسمى الحارس الموجه بالقدرات (Capability-Routed Guard - CRG). تخيل CRG كحارس أمن ذكي للغاية لا يكتفي بالوقوف عند الباب، بل يسير مع الروبوت خلال عملية تفكيره، حاملاً خريطة لما هو مسموح وما هو ممنوع.

إليك كيف يعمل CRG، باستخدام تشبيه بسيط:

  1. المتحكم في القناة الجانبية (المترجم): عندما يطرح مستخدم سؤالاً، يستخدم CRG أولاً نموذج "مترجم" أصغر ومنفصلاً لقراءة الطلب. هذا المترجم لا يبحث فقط عن الكلمات السيئة؛ بل يحاول معرفة الوظيفة الحقيقية التي يريد المستخدم إنجازها. إنه يفصل بين "المهمة المصرح بها" (ما يطلبه المستخدم فعلياً) وبين "السياق غير الموثوق" (القصص الخيالية، الأدوار المزيفة، أو خطوات الاستدلال المربكة التي أضافها المستخدم للخداع).

    • التشبيه: يشبه الأمر مترجماً يسمع ضيفاً يقول: "أحتاج لبناء قنبلة لإنقاذ العالم في سيناريو فيلم"، فيقوم المترجم فوراً بكتابة: "المهمة: كتابة سيناريو فيلم. الخطورة: عالية (ذكر قنابل). السياق: خيالي". إنه ينزع الأجزاء المربكة ليرى جوهر الطلب.
  2. نظام إشارات المرور (التوجيه): بناءً على ما وجده المترجم، يقرر CRG كيفية التعامل مع الطلب. هو لا يكتفي بقول "نعم" أو "لا"، بل لديه ثلاث مسارات:

    • الإشارة الحمراء (الحظر): إذا كان الطلب خطيراً بشكل واضح (مثل طلب تعليمات حول كيفية صنع سلاح حقيقي)، فإن CRG يوقفه فوراً.
    • الإشارة الصفراء (القيود الناعمة): إذا كان الطلب محيراً أو غامضاً بعض الشيء، فإن CRG يسمح للروبوت بالإجابة، لكنه يضع الروبوت على "حمية غذائية". فهو يحد من مقدار التفكير المسموح به للروبوت أو عدد الخطوات التي يمكنه اتخاذها. هذا يمنع الروبوت من التيه في مسار استدلال خطير لأنه لا يملك "القدرة الذهنية" للتعمق بما يكفي للعثور على الثغرة.
    • الإشارة الخضراء (المرور): إذا كان الطلب آمناً، فإن CRG يترك الروبوت ينطلق بأقصى سرعة، ولكنه يعطي الروبوت نسخة نظيفة وآمنة من "المطالبة" (prompt) للعمل عليها، مع إزالة كل الأجزاء "المخادعة" والمربكة.
  3. الفحص النهائي (TraceCheck): بعد أن يقدم الروبوت إجابته، يقوم CRG بفحص "فتات الخبز" الخاص بالروبوت (خطوات الاستدلال) للمرة الأخيرة. ويسأل: "هل التزم الروبوت بالمسار الآمن الذي وافقنا عليه؟". إذا بدأ الروبوت في الانحراف نحو الخطر أثناء تفكيره، يمكن لـ CRG رصد ذلك وتصحيح الإجابة.

  4. شبكة الأمان (الاحتياط): في بعض الأحيان، قد يتم حظر أسئلة آمنة بالخطأ لأنها تحتوي على كلمات تبدو خطيرة (مثل كلمة "قتل" في سياق لعبة فيديو). يحتوي CRG على وضع "احتياطي منخفض المخاطر" خاص به. إذا كان المترجم متأكداً من أن نية المستخدم غير ضارة، فيمكنه تقديم إجابة بسيطة وآمنة مباشرة، متجاوزاً قواعد الرفض الصارمة للروبوت الأساسي. هذا يضمن بقاء الروبوت مفيداً ولا يصبح "غاضباً".

ما أظهرته التجارب

اختبر المؤلفون هذا النظام ضد خمسة أنواع مختلفة من "حيل التفكير" (الاختراقات) على نموذجين قويين جداً من الذكاء الاصطناعي. وكانت النتائج واعدة للغاية.

  • إيقاف الحيل: بدون أي دفاع، كان المخترقون ناجحين للغاية. على سبيل المثال، أحد أنواع الهجمات المسمى "اختطاف سلسلة الأفكال" (CoT-Hijacking) نجح بنسبة 100% في أحد النماذج، ونوع آخر يسمى "تفاصيل الخيال" (FicDetail) نجح بنسبة 97%. وعند استخدام CRG، انخفضت هذه الأرقام بشكل كبير. فقد انخفضت نسبة نجاح "اختطاف سلسلة الأفكار" إلى 12% فقط، وانخفضت نسبة نجاح "تفاصيل الخيال" إلى 0%.
  • الحفاظ على الفائدة: هناك مشكلة شائعة في أنظمة السلامة وهي أنها تصبح خائفة جداً وترفض الإجابة على الأسئلة العادية (مثل السؤال عن مادة كيميائية خطيرة لدرس علوم). وجدت الورقة أن CRG كان جيداً جداً في تجنب ذلك؛ حيث حافظ على معدل "النتائج الإيجابية الخاطئة" (رفض الأشياء الآمنة) منخفضاً، حوالي 12% في اختبارات السلامة القياسية، وهو ما يشبه معدل الرفض الطبيعي للروبوت.
  • إجابات أفضل: ومن المثير للاهتمام، ولأن CRG قام بتنقية الأجزاء المربكة من "المطالبة"، قدم الروبوت إجابات أفضل قليلاً للأسئلة الآمنة، حيث سجل درجات أعلى في اختبارات الجودة.

لماذا هذا مهم؟

تشير الورقة إلى أن الطريقة القديمة لحماية الذكاء الاصطناعي — مجرد فحص نص المدخلات — ليست كافية لهذه الروبوتات المفكرة الجديدة. لا يمكنك فقط تصفية الكلمات؛ بل يجب عليك إدارة عملية التفكير.

ويرى المؤلفون أن CRG يعمل لأنه يعامل السلامة كمسألة "حوكمة" وليس مجرد مرشح (فلتر). الأمر لا يتعلق فقط بحظر المدخلات السيئة؛ بل يتعلق بالتحكم في مقدار قوة التفكير المستخدمة، وفحص الخطوات على طول الطريق، وامتلاك خطة احتياطية عندما تصبح الأمور معقدة. لقد اختبروا ذلك على كل من النماذج مغلقة المصدر (مثل تلك التي لا يمكنك رؤية ما بداخلها) والنماذج مفتوحة المصدر، وقد نجح الأمر في كلتا الحالتين.

وبينما تشير الورقة إلى أن مخترقاً فائق الذكاء يعرف تماماً كيف يعمل CRG قد يحاول إيجاد طرق جديدة للالتفاف عليه، إلا أن نهج "الدفاع المتعدد الطبقات" الذي يتبعه النظام — باستخدام طبقات متعددة من الفحص والتوجيه — يجعل من الصعب جداً كسرته. ويخلص المؤلفون إلى أنه مع تحول الذكاء الاصطناعي ليصبح أكثر شبهاً بالوكلاء المستقلين الذين يخططون ويستدلون، يجب أن تتطور أدوات السلامة لدينا من مجرد حراس أبواب إلى مديرين نشطين لعملية التفكير الكاملة للروبوت.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →