Leveraging Association Context Retrieval in Knowledge Edit- ing to Build White-Box Attacks on LLMs
تقترح هذه الورقة هجوماً جديداً من نوع "الصندوق الأبيض" على النماذج اللغوية الكبيرة، يستفيد من استرجاع سياق الارتباط ضمن إطار عمل لتحرير المعرفة لاستحثاث سلوك غير آمن عبر فئات موضوعية كاملة مع الحفاظ على الأداء العام للنموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد النماذج اللغوية الكبيرة برامج حاسوبية قوية يمكنها كتابة القصص، والإجابة على الأسئلة، والمساعدة في المهام المعقدة. ولجعل هذه الأدوات آمنة للاستخدام اليومي، يقوم المطورون بتدريبها على رفض الطلبات الضارة، مثل التعليمات حول كيفية بناء سلاح أو نشر معلومات مضللة خطيرة. تهدف هذه العملية، المعروفة باسم "المواءمة" (alignment)، إلى العمل كحاجز حماية، لضمان أن يتصرف الجهاز كمساعد مفيد بدلاً من أن يكون مصدراً للخطر. ومع ذلك، مع زيادة استقلالية هذه النماذج وتفويضها لاتخاذ قرارات حساسة، يحتاج الباحثون إلى فهم مدى قوة حواجز الحماية هذه بدقة. فإذا كان من الممكن تجاوز آليات السلامة، فمن الضروري معرفة كيفية حدوث ذلك، حتى يمكن بناء حمايات أقوى. ويتضمن مجال الدراسة هذا النظر داخل العمليات الداخلية للنموذج لمعرفة كيفية معالجته للمعلومات واتخاذه للقرارات، بدلاً من مجرد اختباره من الخارج.
اكتشف فريق من الباحثين طريقة جديدة لاختبار أنظمة السلامة هذه من خلال معاملة رفض النموذج للإجابة كمعلومة محددة يمكن استبدالها. فبدلاً من محاولة خداع النموذج باستخدام التلاعب بالألفاظ أو الأوامر الخفية، استخدموا تقنية تسمى "تعديل المعرفة" (knowledge editing). تسمح هذه الطريقة للعلماء بتحديد الجزء الدقيق من "دماغ" النموذج المسؤول عن حقيقة معينة وتغييره. على سبيل المثال، إذا كان النموذج يعتقد أن حقيقة معينة صحيحة، يمكن للباحثين تعديل الروابط الداخلية بحيث يعتقد النموذج حقيقة مختلفة بدلاً من ذلك. وقد أدرك الباحثون أنه يمكن استخدام هذه التقنية نفسها لتغيير سلوك النموذج: فبدلاً من تعليمه حقيقة جديدة، يمكنهم تعليمه التوقف عن رفض الطلبات الضارة. ووجدوا أنه من خلال تعديل الأوزان الداخلية للنموذج لربط طلب ضار باستجابة ممتثلة، يمكنهم فعلياً إزالة حواجز السلامة لفئات كاملة من الأسئلة الخطيرة.
اختبر الباحثون هذا النهج على أنواع مختلفة من النماذج اللغوية، بما في ذلك تلك القائمة على بنيات شهيرة مثل GPT وLlama وQwen. وركزوا على طريقة تحدد أولاً الطبقة المحددة في النموذج حيث يتم اتخاذ القرار، ثم تعدل تلك الطبقة لتغيير النتيجة. وفي المحاولات السابقة لكسر فلاتر السلامة، اعتمد الباحثون غالباً على إيجاد "اتجاه رفض" (refusal direction) واحد في رياضيات النموذج والدفع ضده. ووجد مؤلفو هذه الدراسة أن هذه الطريقة القديمة كانت هشة؛ إذ كانت غالباً ما تؤدي إلى فقدان النموذج لقدرته على التحدث بشكل متماسك أو تتسبب في فشله في المهام الأساسية. في المقابل، كان نهجهم الجديد أكثر دقة وجراحية. فقد حددوا أنه عندما يتم تعديل النموذج باستخدام هذه الطرق الدقيقة، فإنه يميل إلى إعطاء احتمالية عالية جداً لعبارة استهلالية ممتثلة محددة، مثل "بالتأكيد، إليك الخطة". ومن خلال استهداف هذا التفاعل المحدد، تمكنوا من إجبار النموذج على الموافقة على الطلبات الضارة دون تدمير ذكائه العام.
ولجعل هذا العمل ناجحاً في الأسئلة الواقعية، كان على الفريق حل مشكلة معقدة: وهي كيفية العثốt على الجزء الصحيح من الجملة لتعديله. في مهام التحقق من الحقائق البسيطة، يكون الموضوع واضحاً، مثل اسم شخص. ولكن في تعليمات معقدة مثل "كيف أصنع فيروساً؟"، يكون الموضوع هو التعليمات بأكملها. قام الباحثون بتطوير طريقة لتتبع تفكير النموذج للعثور على الكلمات التي كانت مسؤولة بالضبط عن الرفض في المطالبة (prompt). ثم استخدموا معرفة النموذج الخاصة لبناء سياق أغنى حول تلك الكلمات، مما خلق هدفاً أكثر استقراراً للتعديل. وقد سمح لهم ذلك بإزالة سلوك الرفض ليس فقط لسؤال محدد، بل لعائلة كاملة من الأسئلة المشابهة. فعلى سبيل المثال، إذا عدلوا النموذج لتجاهل قواعد السلامة المتعلقة بكتابة البرمجيات الخبيثة، فسيصبح النموذج أيضاً مستعداً لكتابة أنواع أخرى من الأكواد الضارة، حتى لو اختلف صياغة السؤال قليلاً.
أظهرت نتائج التجارب أن هذه الطريقة كانت فعالة للغاية. ففي أحد النماذج التي تم اختبارها، زاد النهج الجديد من استعداد النموذج لتقديم معلومات ضارة إلى درجة 3.12 من 4، مقارنة بـ 2.98 للطريقة القياسية للتعديل و3.01 للنهج القديم القائم على الرفض. والأهم من ذلك، ظل النموذج مفيداً ومتماسكاً. فعند اختباره على أسئلة غير ضارة، ظل النموذج المعدل يجيب بشكل صحيح، محافظاً على مستوى عالٍ من الأداء في مهام المعرفة العامة. أما الطرق القديمة، التي حاولت دفع النموذج بعيداً عن الرفض، فقد تسببت غالباً في فقدان النموذج لقدرته على التفكير المنطقي، مما أدى إلى ردود غير مفهومة أو مكسورة. لقد نجحت الطريقة الجديدة في فتح السلوك الضار مع الحفاظ على بقية "دماغ" النموذج سليماً. وهذا يشير إلى أن فلاتر السلامة في هذه النماذج ليست مجرد جدار واحد، بل هي مجموعة من الارتباطات المحددة التي يمكن إزالتها بعناية دون انهيار الهيكل بأكمله.
كما سلطت الدراسة الضوء على حدود الدفاعات الحالية. ووجد الباحثون أنه بينما نجحت طريقتهم بشكل جيد مع النماذج الأقدم أو الأقل مواءمة، كان من الصعب تطبيقها على النماذج الأحدث والأكثر تدريباً بعناية. وحتى في هذه الأنظمة القوية، أظهرت الطريقة بعض القدرة على تجاوز السلامة، وإن كان التأثير أقل. ويشير هذا إلى أنه كلما أصبحت النماذج أكثر تقدماً، تصبح آليات السلامة أكثر تعقيداً، لكنها ليست منيعة بعد. وأكد الباحثون أن عملهم أُجري في بيئة محكومة باستخدام نماذج مفتوحة المصدر يمكن لأي شخص الوصول إليها. لم يقدموا دليلاً خطوة بخطوة لإنشاء أدوات خطيرة، بل استعرضوا ثغرة تحتاج إلى إصلاح. ومن خلال إظهار أن السلامة يمكن المساس بها من خلال تعديلات داخلية دقيقة بدلاً من مجرد مطالبات ذكية، تقدم الدراسة منظوراً جديداً حول كيفية بناء نماذج آمنة حقاً. وتشير النتائج إلى أن تدابير السلامة المستقبلية يجب أن تكون أكثر حصانة ضد هذه التغييرات الداخلية، لضمان أن يكون رفض إلحاق الضرر متجذراً بعمق في بنية النموذج وليس مجرد رد فعل سطحي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.