← أحدث الأبحاث
🤖 تعلم الآلة

A Rank-One Bypass of Fixed Linear Erasure

تُثبت هذه الورقة أن طبقات المحو الخطي الثابتة في النماذج ذات الأوزان المفتوحة معرضة لتجاوز أفيني من الرتبة الأولى، مما يسمح للمهاجمين باستعادة المعلومات المستهدفة الممحاة مع الحفاظ على مخرجات المصنف الحميدة، وبذلك تثبت أن ضمانات المحو هذه تضمن سلامة التمثيل ولكنها لا تضمن مقاومة التلاعب.

المؤلف الأصلي: Jai Kumar Sharma, Vanshaj Khattar

نُشر 2026-11-19
📖 6 دقيقة قراءة🧠 قراءة متعمّقة

المؤلف الأصلي: Jai Kumar Sharma, Vanshaj Khattar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف ولم يصادق عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناعي، غالبًا ما تعتمد السلامة على فكرة بسيطة: إذا استطعت جعل الكمبيوتر غير قادر على "رؤية" مفهوم خطير، فلن يتمكن من توليده. تخيل نموذجًا تم تعليمه التعرف على صور الأشخاص، لكن الباحثين قاموا باستئصال قدرته على التعرف على فئة معينة ضارة جراحيًا. لقد فعلوا ذلك عن طريق تعديل الرياضيات الداخلية للنموذج بحيث تؤدي أي محاولة للبحث عن تلك الفئة إلى إشارة مسطحة وعديمة المعنى. هذه التقنية، المعروفة باسم "محو المفاهيم" (concept erasure)، مصممة لتعمل كمرشح دائم. والأمل هو أنه بمجرد إصدار النموذج للجمهور مع وجود هذه المرشحات، سيظل آمنًا، حتى لو سُمح للمستخدمين بتنزيل الكود وتشغيله على أجهزتهم الخاصة. الافتراض هو أن آلية السلامة جزء ثابت من الآلة، لا يمكن للمستخدم تغييره.

ومع ذلك، يتحدى بحث جديد هذا الافتراض عبر طرح سؤال جوهري: ماذا يحدث إذا سُمح للمستخدم بتغيير الأجزاء من الآلة التي تغذي المرشح بالمعلومات؟ اكتشف الباحثون، أثناء عملهم على مهام التعرف على الصور القياسية، أن طبقة السلامة الثابتة ليست قفلًا، بل هي مجرد بوابة. فإذا كانت البوابة تسد اتجاهًا معينًا من المعلومات ولكنها تترك حتى شقًا صغيرًا مفتوحًا في اتجاه آخر، يمكن لمستخدم ذكي إعادة كتابة البيانات الواردة لتمرير المفهوم المحظور عبر ذلك الشق. يوضح البحث أن هذا التجاوز ليس خللًا معقدًا وغير متوقع، بل هو مناورة رياضية مباشرة تتطلب جهدًا ضئيلًا جدًا لتنفيذها.

ركز الباحثون على نوع محدد من مرشحات السلامة يسمى "طبقة المحو الخطي" (linear erasure layer). بعبارات بسيطة، تأخذ هذه الطبقة الصورة الداخلية المعقدة التي شكلها النموذج وتُسقطها على مجموعة جديدة من الإحداثيات، مما يؤدي عمدًا إلى تسطيح أي معلومات تتعلق بالهدف المحظور. الضمان الذي توفره هذه الطبقة دقيق: إذا نظرت إلى المخرجات تمامًا كما تخرج من المرشح، فلا يمكن لأي كاشف خطي قياسي العثور على المفهوم المحظور. ويدعي مبتكرو النموذج أن هذا يجعل المفهوم غير قابل للقراءة. يقبل البحث هذا الادعاء كحقيقة بالنسبة للمخرجات غير المعدلة، ولكنه يبحث فيما يحدث عندما يكون النموذج متاحًا للتعديل. تساءل الباحثون عما إذا كان بإمكان المهاجم تغيير الطبقات التي تسبق المرشح لكتابة الدرجة "المحظورة" مباشرة في اتجاه يسمح المرشح بمروره بالصدفة.

النتيجة التي وجدوها هي أن ضمان المرشح أضعف بكثير مما يبدو في سيناريو واقعي. أثبت البرناسرون أنه إذا سمح المرشح بمرور اتجاه واحد فقط من المعلومات، فيمكن للمهاجم حساب الدرجة "المحظورة" المطلوبة وحقنها في ذلك الاتجاه تحديدًا. ولأن المرشح لا يسد ذلك الاتجاه، فإن الدرجة تمر دون تغيير. وبمجرد ظهورها على الجانب الآخر، يمكن لكاشف قياسي قراءتها بوضمان تام. وأظهرت الدراسة أن هذا لا يتطلب إعادة هيكلة شاملة للنموذج؛ بل في الواقع، يحتاج المهاجم فقط إلى إجراء تعديل بسيط ومحدد للطبقات السابقة في النموذج — وهو تغيير طفيف للغاية يوصف رياضيًا بأنه إزاحة بسيطة واحدة. هذا التعديل كافٍ لتوجيه المعلومات المحظورة حول المرشح تمامًا.

لاختبار ذلك، استخدم الفريق مجموعة قياسية من بيانات الصور وستة أزواج مختلفة من الفئات لمحاكاة عملية المحو والهجوم اللاحق. ووجدوا أنه مع قدر ضئيل جدًا من التعديل — تغيير الميزات الداخلية للنموذج بمتوسط عشرة بالمائة فقط — استطاع المهاجم استعادة كامل أداء المفهوم المحظور تقريبًا. وتحديدًا، استعاد الهجوم حوالي واحد وتسعين بالمائة من المكاسب المحتملة التي كان سيحققها المفهوم لو لم يتم محوه أبدًا. حدث هذا رغم أن المرشح ظل كما هو بالضبط، بتفاصيله ذاتها، كما كان قبل الهجوم. كما أظهر الباحثون أن هذا التجاوز يمكن القيام به دون كسر قدرة النموذج على أداء مهامه المقصودة والآمنة؛ فقد صمموا الهجوم بحيث يترك درجات الفئات الأخرى غير الضارة دون تغيير تمامًا، حتى لأصغر جزء من العشرة. وهذا يعني أنه يمكن للمستخدم نظريًا تجاوز مرشح السلامة لهدف محدد بينما يستمر النموذج في العمل بشكل طبيعي لكل شيء آخر.

كما سلطت الدراسة الضوء على تمييز حاسم بين كيفية قياس السلامة وكيفية صمودها في الممارسة العملية. لاحظ الباحثون أنه إذا اختبرت مرشح السلامة باستخدام كاشف بسيط وقياسي، فإنه يبدو أنه يعمل بشكل مثالي؛ إذ يكون المفهوم المحظر بالفعل غير قابل للقراءة في المخرجات غير المعدلة. ومع ذلك، يفشل هذا الاختبار في مراعاة حقيقة أن المدخلات للمرشح يمكن إعادة كتابتها. وجد الباحثون أن الكاشف الضعيف قد يعطي شعورًا زائفًا بالأمان، مما يجعل عملية المحو تبدو أقوى مما هي عليه في الواقع. وعندما استخدموا طريقة أكثر دقة لفحص المرشح، وجدوا أن ضمان السلامة ينطبق فقط على الحالة الcurrent للنموذج، وليس على نموذج تم تعديله من قبل مستخدم.

تكلفة هذا التجاوز منخفضة بشكل مفاجئ، لكنها ليست صفرية. قاس الباحثون مقدار التغيير الذي يجب أن يطرأ على الميزات الداخلية للنموذج لتحقيق التجاوز، ووجدوا أنه كلما قل التغيير المسموح به، انخفض نجاح الهجوم بشكل حاد. عند تغيير بنسبة واحد بالمائة، استعاد الهجوم خمسة وعشرين بالمائة فقط من إمكانات المفهوم. ومع ذلك، عند تغيير بنسبة عشرة بالمائة، قفزت نسبة الاستعادة إلى أكثر من تسعين بالمائة. يشير هذا إلى أنه على الرغم من سهولة تنفيذ الهجوم، إلا أنه ليس مجانًا؛ فهو يتطلب قدرًا ملموسًا من التعديل للنموذج. ومع ذلك، نظرًا لأن النماذج ذات الأوزان المفتوحة تسمح للمستخدمين بإجراء هذه التعديلات بحرية، فلا توجد آلية لفرض حد على مقدار التغيير الممكن. وتخلص الدراسة إلى أن سلامة هذه النماذج لا يمكن أن تعتمد فقط على وجود مرشح ثابت.

إن تداعيات هذه النتائج كبيرة لكيفية تفكيرنا في سلامة الذكاء الاصطناعي في الأنظمة المفتوحة. يجادل الباحثون بأن "الحماية الخطية"، أو استخدام هذه المرشحات، هي ضمان صالح فيما يتعلق بتمثيل محدد وغير متغير للبيانات؛ فهي تثبت أن النموذج لا يمكنه قراءة المفهوم كما هو قائم. لكنها ليست ضمانًا بأن النموذج لا يمكن جعله يقرأ المفهوم بعد أن يقوم المستخدم بتعديله. لا تدعي الدراسة أن هذا التجاوز يعمل مع كل أنواع نماذج الذكاء الاصطناعي أو كل أنواع المحتوى الضار، حيث اقتصرت تجاربهم على مهام صور محددة ومرشحات خطية. وقد ذكروا صراحة أن نتائجهم لا تثبت أن المرشحات غير الخطية أو الأكثر تعقيدًا ستفشل بنفس الطريقة. ومع ذلك، ضمن نطاق اختباراتهم، كانت النتائج واضحة: المرشح الثابت ليس ختمًا غير قابل للتلاعب.

في النهاية، تقدم الورقة البحثية واقعًا صادمًا لمجال سلامة الذكاء الاصطناعي. فهي تظهر أن الوعد بنموذج "آمن" ذي أوزان مفتوحة هو أمر هش. فإذا كانت أوزان النموذج عامة، يمكن التحايل على آليات السلامة المبنية فيها عن طريق إعادة كتابة المدخلات. يقترح الباحثون أن تقييمات السلامة المستقبلية يجب أن تأخذ هذا الاحتمال في الاعتبار. فبدلاً من مجرد التحقق مما إذا كان المرشح يعمل على نموذج ثابت، يجب أن نقيس مقدار الجهد الذي يتطلبه الأمر للمهاجم لكسره. توفر الدراسة مقياسًا واضحًا لهذه التكلفة، موضحة أنه بينما يمكن للقيود الصارمة على التعديل أن تجعل الهجوم صعبًا، فإن طبيعة إصدارات الأوزان المفتوحة تعني أنه لا يمكن فرض هذه القيود. وبالتالي، فإن سلامة هذه الأنظمة لا تعتمد فقط على قوة المرشح، بل على افتراض أن المستخدمين لن يحاولوا كسره — وهو افتراض تشير الدراسة إلى أنه لم يعد من الآمن بناء توقعاته.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →