Anti-Backdoor Coreset Selection via Cumulative Entropy
تقترح هذه الورقة البحثية "اختيار المجموعات الجوهرية لمكافحة الباب الخلفي"، وهو دفاع أثناء وقت التدريب يقوم ببناء مجموعة فرعية حميدة من البيانات عبر الاستفادة من الإنتروبيا التراكمية وإلغاء تعلم العينات لعزل وإزالة عينات الباب الخلفي بفعالية مع الحفاظ على دقة النموذج الطبيعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية التعرف على القطط والكلاب. تعطي هذا الروبوت كومة هائلة من الصور ليدرسها. عادةً، كلما أعطيته صوراً أكثر، أصبح أكثر ذكاءً. ولكن ماذا لو تسلل مقلبٌ ما ووضع بضعة آلاف من الصور داخل تلك الكومة؟ هذه ليست مجرد صور سيئة عشوائية؛ بل هي "مسمومة" بشفرة سرية. ربما تحتوي كل صورة قطة على ملصق صغير يكاد يكون غير مرئي. يريد المقلب أن يتعلم الروبوت أن "القطة + الملصق = كلب". إذا تعلم الروبوت هذه الشفرة السرية، فسيعمل بشكل طبيعي في معظم الأوقات، ولكن في اللحظة التي يرى فيها قطة مع ذلك الملصق، سيصرخ بثقة: "كلب!". يُسمى هذا "هجوم الباب الخلفي" (backdoor attack)، وهو مشكلة كبيرة لأن الروبوت يبدو مثالياً حتى يتم خداعه.
لإيقاف ذلك، يحاول العلماء إيجاد طريقة لتنظيف كومة الصور قبل أن يبدأ الروبوت في التعلم. إنهم يريدون التخلص من الصور السيئة والاحتفاظ فقط بالصور الجيدة، لكن لا يمكنهم النظر إلى الصور بأعينهم لأن السم غالباً ما يكون غير مرئي. هم بحاجة إلى طريقة ذكية لمعرفة أي الصور "مربكة" أو "مشبوهة" وأيها مفيد. وهنا تأتي فكرة "المجموعة الجوهرية" (coreset). فكر في المجموعة الجوهرية كدليل دراسي فائق الكفاءة. بدلاً من قراءة مكتبة كاملة، يدرس الروبوت فقط مجموعة مختارة صغيرة ومثالية من الكتب التي تعلمه كل ما يحتاج إلى معرفته. التحدي الكبير هو: كيف تختار الكتب الصحيحة عندما يكون بعضها مكتوباً من قبل كاذب؟
تقدم هذه الورقة طريقة جديدة تسمى اختيار المجموعة الجوهرية لمكافحة الباب الخلفي (ABCS) لحل هذا اللغز. أدرك المؤلفون أن الصور "الكاذبة" (المسمومة) تتصرف بشكل مختلف عن الصور "الصادقة" (النظيفة) أثناء تعلم الروبوت. على وجه التحديد، يتعلم الروبوت الشفرة السرية في الصور المسمومة بسرعة كبيرة ويصبح واثقاً جداً بشأنها؛ فهو يتوقف عن الشعور بالفضول تجاهها. في المقابل، يجد الروبوت الصور الصادقة أصعب قليلاً؛ حيث يضطر للتفكير بجهد أكبر، ويرتكب المزيد من الأخطاء في البداية، ويبقى "عدم اليقين" لديه مرتفعاً لفترة أطول.
قرر المؤلفون استخدام هذا الاختلاف في السلوك كمرشح (فلتر). لقد ابتكروا نظام تسجيل جديداً يسمى الاعتلاج التراكمي (Cumulative Entropy). تخيل مراقبة الروبوت وهو يدرس لفترة طويلة والاحتفاظ بمذكرات حول مدى ارتباكه تجاه كل صورة.
- الصور المسمومة: يفهمها الروبوت في اليوم الأول ولا يرتبك بشأنها أبداً. تنخفض درجة ارتباكه (الاعتلاج) إلى ما يقرب من الصفر وتظل ثابتة هناك.
- الصور الصادقة: يعاني الروبوت، ويرتبك، ويتعلم قليلاً، ثم يرتبك مرة أخرى، ويستمر في التعلم. تظل درجة ارتباكه عالية وتتقلب بمرور الوقت.
من خلال جمع (تراكم) درجات الارتباك هذه عبر أيام عديدة من التدريب، يمكن للطريقة تمييز الفرق بسهولة. الصور المسمومة لديها إجمالي درجات ضئيل، بينما الصور الصادقة والمفيدة لها إجمالي درجات ضخم. تقوم الطريقة ببساطة باختيار الصور ذات الدرجات الأعلى لبناء دليل الدراسة الجديد الآمن (المجموعة الجوهرية).
لجعل هذا أفضل، أضاف المؤلفون خدعة ذكية تسمى "النسيان" (unlearning). أحياناً، يرتبك الروبوت بشأن صورة صادقة صعبة ويعتقد أنها قد تكون مسمومة. ولإصلاح ذلك، تعلم الطريقة الروبوت مؤقتاً أن ينسى تلك الصور المربكة، مما يجعل الفجوة بين "السم الممل والسهل" و"الحقيقة المثيرة للاهتمام والصعبة" أكثر اتساعاً. هذا يضمن أن الاختيار النهائي خالٍ تماماً من السموم تقريباً.
النتائج مبهرة. عند اختبارها على أنواع مختلفة من "السم الرقمي" (مثل هجوم "Blend" أو "WaNet")، نجحت هذه الطريقة في إزالة الأبواب الخلفية، حيث حافظت على معدل نجاح الهجوم (مدى فعالية الخدعة) عند مستوى الصفر تقريباً. وفي الوقت نفسه، فإن الروبوت الذي تدرب على هذا الاختيار الصغير والنظيف كان يعمل بنفس كفاءة الروبوت الذي تعلم من مجموعة البيانات الأصلية النظيفة بالكامل. في الواقع، ولأن المجموعة الجوهرية الجديدة أصغر بكثير من الكومة الكاملة من الصور، فقد تعلم الروبوت بشكل أسرع بالفعل. وجد المؤلفون أن هذا النهج يعمل باستمرار عبر أنواع مختلفة من الهجمات ومجموعات البيانات، مما يوفر طريقة لتدريب ذكاء اصطناعي آمن دون الحاجة إلى مجموعة بيانات "نظيفة" منفصلة للمقارنة بها، ودون إبطاء عملية التدريب. لقد تبين أنه من خلال الاستماع إلى مدى ارتباك نموذج التعلم، يمكننا تصفية الكاذبين والاحتفاظ بالحقيقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.