AI Security Research Should Better Incentivize Defense Research
تجادل هذه الورقة بأن أبحاث أمن الذكاء الاصطناعي تعاني من خلل في التوازن يميل لصالح دراسات الهجوم على حساب الدفاع بسبب معايير التقييم المنحازة، مما يستلزم تحولاً في الحوافز لإعطاء الأولوية لتطوير وسائل حماية عملية وقابلة للنشر.
تخيل عالم أمن الذكاء الاصطناعي كأنه لعبة ضخمة وعالية المخاطر من "صانعي الأقفال ضد لصوص الأقفال".
في هذه اللعبة، هناك نوعان من الباحثين:
لصوص الأقفال (باحثو الهجوم): مهمتهم هي إيجاد طرق لاختراق أنظمة الذكاء الاصطناعي. إنهم يبحثون عن شقوق في الأبواب، أو يفتحون الأقفال، أو يخدعون كاميرات المراقبة.
صانعو الأقفال (باحثو الدفاع): مهمتهم هي بناء أقفال أفضل، وتعزيز الأبواب، وابتكار أجهزة إنذار تعمل فعلياً عندما يحاول شخص ما الاقتحام.
هذه الورقة البحثية، التي كتبها "يوكيان تشانغ" من جامعة هونغ كونغ بوليتكنيك، تجادل بأن العالم الأكاديمي مهووس بـ "لصوص الأقفال" ويهمل "صانعي الأقفال".
إليك تفصيل النقاط الرئيسية للورقة باستخدام تشبيهات بسيطة:
1. لوحة النتائج منحازة
قام المؤلف بإحصاء الأوراق البحثية المنشورة في مؤتمرات الأمن الكبرى.
النتائج: مقابل كل ورقة بحثية واحدة مكتوبة حول إصلاح ثغرة أمنية، هناك ما يقرب من ورقتين إلى ثلاث أوراق مكتوبة حول كيفية إنشاء تلك الثغرة أو استغلالها.
التشبيه: تخيل بلدة، مقابل كل شخص يخترع طفاية حريق أفضل، هناك ثلاثة أشخاص يكتبون كتباً حول كيفية إشعال الحرائق. البلدة تصبح جيدة جداً في فهم كيفية نشوب الحرائق، لكنها بدأت تفتقر إلى الأشخاص الذين يعرفون كيفية إخمادها بفعالية.
2. قواعد اللعبة غير عادلة
توضح الورقة أن "قواعد" النشر الأكاديمي تجعل من السهل جداً أن تكون "لص أقفال" بدلاً من أن تكون "صانع أقفال".
مشكلة "الضربة الواحدة" مقابل "الدرع المثالي":
بالنسبة للمهاجمين: إذا استطعت كسر نموذج واحد محدد من نماذج الذكاء الاصطنا مرة واحدة تحت ظروف معينة، فقد حصلت على ورقة بحثية ناجحة. الأمر يشبه إظهار قدرتك على فتح قفل واحد في منزل محدد. هذا يكفي للنشر.
بالنسبة للمدافعين: لكي يتم نشر ورقتك البحثية، يجب أن تثبت أن قفلك يعمل ضد كل أنواع اللصوص، في كل أنواع الطقس، دون أن يبطئ حركة الباب أو يجعله قبيح المظهر. إذا فشل قفلك أمام مجرد خدعة جديدة واحدة، فقد تُرفض ورقتك.
النتيجة: من الأسهل بكثير تحقيق "فوز" عبر كسر الأشياء بدلاً من إصلاحها.
تأثير "اللعبة الجديدة":
في كل مرة يتم فيها إصدار نموذج ذكاء اصطنا- جديد (مثل جهاز ألعاب فيديو جديد)، يندفع "لصوص الأقفال" فوراً لإيجاد الثغرات فيه. هذا أمر مثير وسهل الكتابة عنه.
أما "صانعو الأقفال"، فعليهم الانتظار، والدراسة، ثم بناء الإصلاح. وبحلول الوقت الذي ينشرون فيه، قد يكون "المنتج الجديد" قد أصبح قديماً، وقد يُنظر إلى الإصلاح على أنه "مجرد محاولة للحاق بالركب".
3. فجوة "الصناعة السرية"
تشير الورقة أيضاً إلى مشكلة خفية وهي: فجوة الصناعة.
التشبيه: تخيل أن "صانعي الأقفال" يعملون في مختبرات حكومية سرية أو شركات خاصة. هم في الواقع يبنون أنظمة أمنية رائعة، لكن لا يمكنهم التحدث عنها بسبب أسرار التجارة.
وفي الوقت نفسه، يصرخ "لصوص الأقفال" في الجامعات حول كل شق صغير يجدونه علناً.
الخداع: لأن الجمهور لا يرى إلا عمل "لصوص الأقفال"، يبدو الأمر وكأننا لا نملك أي دفاعات. لكن الورقة تحذر من أنه حتى لو كانت الدفاعات السرية موجودة، فإن العالم الأكاديمي لا يشارك بما يكفي من المعرفة حول كيفية بنائها، مما يتركنا عرضة للخطر على المدى الطويل.
4. لماذا يهم هذا؟
المؤلف لا يقول إن علينا التوقف عن دراسة كيفية كسر الذكاء الاصطنا. نحن نحتاج إلى "لصوص الأقفال" لإيجاد الثغرات.
المشكلة: نحن بارعون جداً حالياً في إيجاد الثغرات لدرجة أننا بدأنا نفقد الأشخاص القادرين على سدها بطريقة تعمل في الواقع.
الخطر: إذا ركزنا فقط على كسر الأشياء، فسنمتلك مكتبة مليئة بكتب "كيفية كسر الذكاء الاصطناعي"، ولكن عدد قليل جداً من مخططات "كيفية تأمين الذكاء الاصطناعي". عندما يُستخدم الذكاء الاصطنا المن في أمور حيوية مثل السيارات ذاتية القيادة أو التشخيص الطبي، فإن معرفة كيفية كسرها لا تكفي؛ نحن بحاجة إلى معرفة كيفية جعلها آمنة.
الخلاصة الأساسية
تدعو الورقة إلى تغيير في "هيكل الحوافز".
الوضع الحالي: النظام يكافئ العثور على الثغرات (كسر الأشياء) أكثر من إصلاحها.
التغيير المقترح: نحتاج إلى معاملة "أبحاث الدفاع" كـ "مواطن من الدرجة الأولى". نحتاج إلى جعلها مثيرة تماماً، ومجزية تماماً، وقابلة للنشر تماماً مثل العثور على شق في الجدار، وذلك لبناء درع قوي.
باخت-ة: يجب أن نتوقف عن مجرد عدّ المرات التي يمكننا فيها كسر الذكاء الاصطناعي، ونبدأ في عدّ المرات التي يمكننا فيها حمايته بنجاح.
ملخص تقني: يجب على أبحاث أمن الذكاء الاصطناعي تحفيز أبحاث الدفاع بشكل أفضل
بيان المشكلة
تحدد الورقة البحثية خللاً هيكلياً في مجال أبحاث أمن الذكاء الاصطناعي (AI): وهو التركيز غير المتناسب على "أبحاث الهجوم" (تحديد وتوضيح الثغرات الأمنية) مقارنة بـ "أبحاث الدفاع" (تطوير والتحقق من صحة وسائل الحماية). وبينما يعد كلاهما ضرورياً، يرى المؤلفون أن الأدبيات الحالية "غنية بالثغرات الموضحة وفقيرة في وسائل الحماية القابلة للاستخدام والنشر". وهذا الخلل ليس مجرد فجوة كمية، بل يعكس قضية أعمق حيث تُقيّم أوراق الهجوم في ظل ظروف مواتية تضخم التهديدات، بينما تُحاسب أوراق الدفاع وفق معايير أكثر صرامة وغير واقعية في كثير من الأحيان. ويفترض المؤلفون أن هذا الانحراف يشير إلى تأخر هيكلي في التقدم الدفاعي، وهو أمر مثير للقلق في مجال يعتمد تأثيره المجتمعي بشكل متزايد على التخفيف من المخاطر بدلاً من مجرد اكتشاف الثغرات.
المنهجية
لتكميم وتحليل هذا الخلل، استخدم المؤلفون نهجاً قائماً على القياس المكتبي (bibliometric) استناداً إلى أوراق "نظم المعرفة" (SoK) وأوراق المسح المرجعي (survey papers) الموجودة.
جمع البيانات:
المتن الأساسي: جمع المؤلفون 16 ورقة بحثية من نوع (SoK) من منصات الأمن والخصوصية رفيعة المستوى (USENIX Security, IEEE S&P, IEEE SaTML). تم اختيار هذه الأوراق لدورها في تلخيص وسياقة مجالات بحثية ناضجة.
المتن الموسع: لزيادة التغطية، تم دمج 21 ورقة مسح إضافية تغطي مجالات فرعية محددة مثل هجمات الاستدلال على العضوية (MIA)، والأمثلة العدائية، والنماذج اللغوية الكبيرة (LLMs)، وسرقة النماذج، والتعلم الاتحادي (FL)، والتعرف على الكلام، والتزييف العميق، ومحو التعلم الآلي.
بروتوكول التصنيف:
تم تصنيف الاقتباسات من هذه الأوراق يدوياً إلى "هجوم"، أو "دفاع"، أو "أخرى".
الهجوم: الأوراق التي تتمثل مساهمتها الرئيسية في تحديد أو توضيح أو تحسين أو تقييم طرق استغلال الثغرات.
الدفاع: الأوراق التي تتمثل مساهمتها الرئيسية في منع أو كشف أو تخفيف أو التصدي لتلك الثغرات.
أخرى: أوراق المسح، والمقاييس المرجعية، ومجموعات البيانات، والأوراق التي لا تملك مساهمة هجومية أو وقائية أساسية (استُبعدت من تحليل النسبة).
تمت معالجة الحالات الغامضة من خلال مراجعة الملخصات أو تعيين التسمية للمساهمة المهيمنة.
معالجة البيانات:
تم توحيد المنصات وتجميعها في أربع فئات: "الأمن"، "الذكاء الاصطناعي"، "النسخ الأولية (Preprint)"، و"أخرى".
تم إجراء إلغاء التكرار بناءً على العناوين لضمان عدّ فريد.
احتوى متن (SoK) النهائي على 644 ورقة هجوم فريدة و518 ورقة دفاع فريدة.
المساهمات الرئيسية
تتمثل المساهمة الأساسية للورقة في تقديم توصيف دقيق مدفوع بالبيانات لعدم التوازن بين الهجوم والدفاع عبر مشهد أمن الذكاء الاصطناعي، متجاوزةً الأدلة القائمة على الملاحظات العابرة إلى التحليل المنهجي. وهي توفر:
أدلة كمية: نسب محددة للهجوم إلى الدفاع عبر مختلف المجالات الفرعية، والمنصات، والفترات الزمنية.
تحليل هيكلي: فحص سبب وجود هذا الخلل، وتحديد أربعة أوجه عدم تماثل: الجدة (Novelty)، والتقييم، والنشر، والتكلفة/التعقيد.
حجج مضادة نقدية: مناقشة متأنية لوجهات النظر البديلة (مثل أن المجال لا يزال في مرحلة الاكتشاف أو أن العائق هو الترجمة وليس حجم البحث) ولماذا لا تلغي هذه الرؤى الحاجة إلى حوافز دفاعية أفضل.
النتائج
1. عدم التوازن الكمي
متن (SoK): عبر 16 ورقة (SoK) تغطي 1,162 اقتباساً مصنفاً، تفوقت أوراق الهجوم على أوراق الدفاع بنسبة 1.24:1.
متن المسح (Survey Corpus): في 21 ورقة مسح إضافية، بلغ متوسط نسبة الهجوم إلى الدفاع 2.15:1.
التباين في المجالات الفرعية: عدم التوازن ليس موحداً.
خلل مرتفع: أظهرت المجالات الفرعية التي تركز على فئات هجوم محددة (مثل هجمات الصندوق الأسود، واستدلال خصوصية البيانات، واستدلال العضوية في النماذج اللغوية الكبيرة) انحرافاً شديداً، حيث تراوحت النسب بين 3.69 ضعف و34.40 ضعفاً.
المجالات كثيفة الدفاع: أوراق (SoK) المنظمة حول الآليات الدفاعية (مثل الخصوصية التفاضلية، والمتانة المعتمدة) احتوت بطبيعة الحال على المزيد من أوراق الدفاع، لكنها كانت استثناءات وليست القاعدة في مسوحات مشهد التهديدات الواسعة.
2. توزيع المنصات
منصات الأمن: تظهر انحيازاً قوياً نحو الهجمات (نسبة 2.10:1). وتفضل المؤتمرات الكبرى مثل USENIX Security (3.50 ضعف) وIEEE S&P (3.00 أضعاف) المساهمات الموجهة نحو الهجوم بشكل كبير.
منصات الذكاء الاصطناعي: تظهر توازناً أكبر بكثير (1.12:1). وتتضمن مؤتمرات مثل NeurIPS وAAAI وICLR وICML في الواقع المزيد من أوراق الدفاع مقارنة بأوراق الهجوم.
الرؤية الحاسوبية: استثناء ملحوظ ضمن الذكاء الاصطناعي، حيث تظهر منصات الرؤية (CVPR, ICCV, ECCV) انحيازاً هجومياً شديداً (يصل إلى 17.00 ضعفاً)، مما يعكس الهيمنة التاريخية لأدبيات الأمثلة العدائية.
3. الاتجاهات الزمنية
من عام 2010 إلى 2015، كانت أعداد الهجوم والدفاع منخفضة ومتوازنة نسبياً.
بدءاً من عام 2016 تقريباً، تباعدت المسارات، حيث تفوقت أوراق الهجوم باستمرار على أوراق الدفاع.
اتسعت الفجوة بشكل كبير بين عامي 2017 و2022، وبلغت ذروتها في عام 2021. ويُعزى التناقص الظاهري بعد عام 2022 إلى تأخر الاقتباس في منشورات (SoK) وليس إلى تقارب حقيقي في المخرجات البحثية.
4. المعضلات المحددة لأبحاث الدفاع
توضح الورقة أربعة أوجه عدم تماثل هيكلية تثبط أبحاث الدفاع:
عدم تماثل الجدة (Novelty Asymmetry): غالباً ما يكون إثبات نمط فشل جديد (هجوم) كافياً للنشر، بينما يتطلب إثبات فعالية الدفاع ضد المهاجمين المتكيفين معياراً أعلى بكثير.
عدم تماثل التقييم (Evaluation Asymmetry): غالباً ما يتم تقييم الهجمات في ظل ظروف محددة ومواتية (مثل حجم الدفعة = 1)، بينما يُتوقع من الدفاعات أن تكون قوية عالمياً عبر النماذج ومجموعات البيانات وتكيفات المهاجمين.
عدم تماثل النشر (Publication Asymmetry): تتبع أوراق الهجوم سرداً مقنعاً لـ "فشل النظام"، بينما تعتمد أوراق الدفاع على ادعاءات هشة بـ "الصمود أمام جميع الهجمات"، وهي ادعاءات يصعب التحقق منها وأكثر عرضة للانعكاس.
عد عدم تماثل التكلفة والتعقيد (Cost and Complexity Asymmetry): يمكن غالباً إثبات الهجمات في مختبرات أكاديمية باستخدام أجهزة جاهزة، بينما تتطلب الدفاعات الفعالة هندسة واسعة النطاق، أو إعادة تصميم الأجهزة، أو تكاملاً معقداً، مما يضعها خارج النطاق التقليدي للأوراق الأكاديمية.
الأهمية والادعاءات
تجادل الورقة بأن عدم التوازن الملحوظ ليس مجرد "فجوة موضوعية"، بل هو عرض لهيكل حوافز غير متوافق. ويدعي المؤلفون ما يلي:
التصحيح ضروري: يجب أن يتجاوز المجال مجرد عد الأوراق إلى تصحيح الحوافز التي تكافئ بشكل منهجي اكتشاف الثغرات على حساب المعالجة.
الدفاع كمساهمة من الدرجة الأولى: يجب معاملة أبحاث الدفاع كـ "مساهمة علمية من الدرجة الأولى"، تتطلب نفس الدقة والاعتراف الذي تحظى به أبحاث الهجوم.
ما وراء أعداد المنشورات: بينما تدعو الورقة إلى المزيد من أبحاث الدفاع، فإنها تقر بأن العائق قد يكمن أيضاً في "الترجمة" — أي الهندسة، والنشر، والتبني التنظيمي لوسائل الدفاع. لذلك، فإن الدعوة للعمل هي استثمار أوسع في "القدرة الدفاعية"، بما في ذلك التقييم الواقعي، ومسارات النشر، والدعم المؤسسي للعمل الموجه نحو التخفيف.
نضج المجال: يجب ألا يكتفي المجال الناضج بإظهار كيفية فشل الأنظمة فحسب، بل يجب أن يكون قادراً أيضاً على بناء والتحقق من ومشاركة طرق قوية لجعل الأنظمة آمنة.
يخلص المؤلفون إلى أنه بينما تظل أبحاث الهجوم ضرورية لرسم خرائط التهديدات، فإن المسار الحالي يخاطر بترك المجال بفهماً عميقاً للثغرات ولكن بفهم سطحي لكيفية تأمين أنظمة الذكاء الاصطناعي بفعالية في الممارسة العملية.