Talk is (Not) Cheap: A Taxonomy and Benchmark Coverage Audit for LLM Attacks
تقدم هذه الورقة تصنيفاً شاملاً لـ 4×6 (هدف × تقنية) وإطار عمل لتدقيق تغطية المعايك المرجعية، مستخلصاً من 932 دراسة أمنية، والذي يكشف أن المعايك المرجعية الحالية لهجمات النماذج اللغوية الكبيرة تغطي في مجموعها 25% كحد أقصى من سطح التهديد وتعاني من فجوات تقييم كبيرة وتجزئة في التسميات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "الكلام ليس رخيصاً: تصنيف وتدقيق تغطية الاختبارات لهجمات النماذج اللغوية الكبيرة (LLM)"، باستخدام لغة بسيطة وتشبيهات إبداعية.
الصورة الكبيرة: مشكلة "خريطة الأمان"
تخيل عالم النماذج اللغوية الكبيرة (LLMs) كمدينة ضخمة وصاخبة. صانعو هذه النماذج يشبهون مخططو المدن الذين يحاولون التأكد من أن المدينة آمنة من المجرمين (المخترقين).
على مدار بضع سنوات، وجد الباحثون طرقاً جديدة لكسر حماية المدينة. لكن المشكلة هي: الجميع يستخدم خرائط مختلفة، وأسماءً مختلفة لنفس الجرائم، وطرقاً مختلفة لقياس مدى أمان المدينة. بعض الباحثين يقولون: "لقد فحصنا البنوك!" بينما يقول آخرون: "لقد فحصنا محطات الطاقة!" ولكن لا أحد فحص ما إذا كانت المدينة بأكملها آمنة.
هذه الورقة البحثية تشبه فريقاً من رسامي الخرائط الذين قرروا التوقف عن الجدال حول الخرائط، وبدلاً من ذلك، قاموا ببناء خريطة رئيسية واحدة ضخمة لكل طريقة ممكنة لمهاجمة الذكاء الاصطناعي. ثم تحققوا من مسارات دوريات حراس الأمن (الاختبارات المرجعية - Benchmarks) ليروا ما إذا كانوا يغطون المدينة بأكملها بالفعل.
النتيجة الصادمة؟ حراس الأمن يقومون بدوريات في حي واحد مزدحم وضيق (حوالي 25% من المدينة)، بينما توجد أحياء ضخمة وخطيرة فارغة وغير محروسة تماماً.
1. الخريطة الرئيسية (التصنيف - The Taxonomy)
نظر الباحثون في 932 ورقة علمية نُشرت بين عامي 2023 و2026. ووجدوا أكثر من 6,300 ذكر لهجمات مختلفة.
فوضى التسمية:
تخيل لو أن نوعاً واحداً من سرقة السيارات كان يُسمى "السرقة عبر الأسلاك" في مدينة، و"سرقة الدخول بدون مفتاح" في مدينة أخرى، و"السطو الصامت" في ثالثة. هذا هو بالضبط ما كان يحدث مع هجمات الذكاء الاصطناعي.
- التشبيه: هجوم "GCG" الشهير (وهو وسيلة لخداع الذكاء الاصطناعي) كان يُسمى بـ 29 اسماً مختلفاً عبر 376 ورقة بحثية.
- الحل: قام الفريق بإنشاء قاموس قياسي (تصنيف) يحتوي على 507 "أوراق" محددة (فئات). لقد قاموا بتنظيف الفوضى، ودمجوا الـ 29 اسماً في اسم واحد، حتى يتحدث الجميع نفس اللغة.
الهيكل:
قاموا بتنظيم هذه الهجمات في شبكة (مصفوفة) 4×6:
- الصفوف (الهدف): ماذا يريد المجرم؟
- تجاوز السلامة (Safety Bypass): جعل الذكاء الاصطناعي يقول شيئاً سيئاً (مثل خطاب الكراهية).
- اختطاف النظام (System Hijacking): جعل الذكاء الاصطناي يفعل شيئاً سيئاً (مثل حذف الملفات أو إرسال أموال).
- سرقة المعلومات (Information Theft): سرقة الأسرار من ذاكرة الذكاء الاصطناعي.
- تعطيل الخدمة (Service Disruption): جعل الذكاء الاصطناعي بطيئاً جداً أو مكلفاً في الاستخدام لدرجة تؤدي إلى تعطل النظام (مثل الازدحام المروري).
- الأعمدة (الطريقة): كيف يفعلون ذلك؟
- استخدام كلمات مربكة، أو الكذب على الذكاء الاصطناعي، أو إخفاء الأكواد، أو مهاجمة "الدماغ الداخلي" للذكاء الاصطناعي.
2. فحص الأمن (تدقيق الاختبارات المرجعية - The Benchmark Audit)
أخذ الباحثون أشهر ثلاثة "اختبارات أمنية" تُستخدم في الصناعة (HarmBench، وInjecAgent، وAgentDojo) ووضعوها على خريطتهم الرئيسية.
النتيجة:
- عدم وجود أي تداخل: الاختبارات الثلاثة لا تفحص حتى نفس الأشياء. إنهم مثل ثلاث إدارات إطفاء مختلفة: واحدة تفحص المطابخ فقط، وأخرى تفحص المرائب فقط، وثالثة تفحص الأقبية فقط. لا يوجد أي منها يفحص المنزل بأكمله.
- فجوة التغطية: معاً، لا تغطي هذه الاختبارات سوى 25% من الخريطة الرئيسية.
- النقاط العمياء:
- منطقة "تعطيل الخدمة": هذه هي المنطقة التي تحاول فيها الهجمات جعل الذكاء الاصطناعي يتعطل أو يكلف ثروة لتشغيله. لا يوجد أي من الاختبارات الرئيسية يفحص هذا الأمر.
- منطقة "النماذج الداخلية": هذه هي المنطقة التي يقوم فيها المخترقون بتعديل "الدماغ الداخلي" للذكاء الاصطناعي مباشرة. لا يوجد أي اختبار يفحص هذا أيضاً.
لماذا هذا مهم:
وجدت الورقة أن الهجمات في هذه "النقاط العمياء" فعالة للغاية. فبعضها يمكن أن يجعل الذكاء الاصطناعي أبطأ بـ 46 مرة أو يكلف 100 ضعف تكلفة استخدامه، ومع ذلك لا أحد يختبر هذه الحالات. الأمر يشبه امتلاك جهاز إنذار حريق لا يصدر صوتاً إلا عندما يحترق الخبز، ولكنه يظل صامتاً بينما المنزل بأكمله يحترق.
3. مشكلة "الحاوية العامة" (The Catch-All Problem)
لاحظ الباحثون أنه نظراً لأن المجال يتحرك بسرعة كبيرة، فإن العديد من العلماء يضعون الهجمات الجديدة ببساطة في حاوية "متنوعة" لأنه ليس لديهم اسم محدد لها بعد.
- التشبيه: الأمر يشبه مكتبة يتم فيها وضع 60% من الكتب الجديدة في صندوق مكتوب عليه "أشياء متنوعة".
- الأثر: هذا يجعل من الصعب معرفة عدد الهجمات الحقيقية الجديدة التي تحدث. تقترح الورقة أننا بحاجة إلى أسماء أفضل حتى نتمكن من إحصاء التهديدات فعلياً.
4. ما الذي فعلوه بهذا العمل؟
بدلاً من مجرد الإشارة إلى الثغرات، أطلق الباحثون أدواتهم للجمهور:
- الخريطة الرئيسية: قائمة قابلة للتحميل تحتوي على جميع أنواع الهجمات الـ 507.
- تقرير التدقيق: مخطط واضح يوضح بالضبط أي أجزاء من الخريطة يتم اختبارها وأيها يتم تجاهله.
- مخطط لبناء اختبارات جديدة: أظهروا كيفية استخدام خريطتهم لبناء اختبار جديد مخصص لـ "النقاط العمياء" (مثل منطقة تعطيل الخدمة).
الخلاصة
تجادل الورقة بأننا حالياً "نختبر الأشياء الخاطئة". نحن بارعون جداً في اختبار ما إذا كان الذكاء الاصطناعي سيقول شيئاً وقحاً، لكننا سيئون جداً في اختبار ما إذا كان الذكاء الاصطناعي سيتعطل، أو يسرق البيانات، أو يتم اختطافه لإلحاق ضرر في العالم الحقيقي.
الدرس المستفاد: مجرد كون الاختبار الأمني يقول إن الذكاء الاصطناعي "آمن" لا يعني أنه كذلك حقاً. هذا يعني فقط أنه اجتاز الاختبار المحدد والضيق الذي وُضع له. لكي نكون آمنين حقاً، نحتاج إلى توسيع اختباراتنا لتغطي المدينة بأكملها، وليس فقط الحي الذي نشعر فيه بالراحة حالياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.