Conjunctive Poisoning in AI Supply-Chain Applications
تحدد هذه الورقة وتبرهن على هجوم "التسميم الاقتراني" (conjunctive poisoning) الجديد في سلاسل توريد الذكاء الاصطناعي، حيث يستغل المطورون الخبثاء التفاعل ضعيف الحماية بين أغلفة المطالبات (prompt wrappers) الحميدة والبيانات الوصفية المصممة بدقة لتغيير مخرجات النموذج بشكل حتمي، وتقترح وسيط TIF-BAH كدفاع للتحقق من سلامة الغلاف وتسجيل الشهادات السلوكية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالمنا الرقمي الحديث، انتقلت أنظمة الذكاء الاصطناعي القوية من مختبرات الأبحاث إلى الأدوات اليومية التي نستخدمها في الكتابة والبرمجة وإنشاء الصور. وغالباً ما تُوصف هذه الأنظمة، المعروفة بنماذج اللغة الكبيرة ونماذج اللغة والرؤية، من خلال "دماغها" الداخلي—وهو المجموعة الهائلة من الأرقام والأنماط التي تعلمتها أثناء التدريب. ولسنوات، ركز خبراء الأمن اهتمامهم على حماية هذا الدماغ، وضمان عدم تسميم بيانات التدريب وعدم تعديل النموذج نفسه سراً. لقد بنوا دفاعات قوية للتحقق من أوزان النموذج وتصفية التعليمات الخطيرة المرسلة إليه مباشرة. ومع ذلك، فإن هذه الأنظمة لا تعمل في فراغ؛ فقبل أن يصل سؤال المستخدم إلى النموذج، وبعد أن يولد النموذج إجابة، هناك طبقة من البرمجيات تعمل كمترجم ومدير. هذه الطبقة، التي تُسمى غالباً "الغلاف" (wrapper)، تأخذ مدخلات المستخدم، وتنسقها في هيكل محدد يفهمه النموذج، ثم تعالج الإجابة الخام لتصبح استجابة نهائية مصقولة. وإلى جانب هذه البرمجيات، توجد ملفات التكوين، التي تعمل مثل كتيبات التعليمات التي تخبر الغلاف بكيفية التصرف. وبينما يتم حراسة دماغ النموذج بشدة، ظلت هذه البرمجيات المحيطة وكتيبات تعليماتها غير محمية إلى حد كبير، حيث عوملت كنصوص بسية قابلة للتعديل بدلاً من كونها مكونات أمنية بالغة الأهمية.
لقد كشف فريق من الباحثين في جامعة سنترال فلوريدا عن ثغرة أمنية خفية في هذه الطبقة المغفولة. فقد أثبتوا أن مطوراً خبيثاً يمكنه إنشاء حزمة مخادعة يكون فيها النموذج نفسه آمناً وغير متغير تماماً، ولكن الغلاف وملفات التكوين الخاصة به مهيأة لتغيير سلوك النظام. وأظهر الباحثون أنه من خلال دمج غلاف برمجيات يبدو غير ضار مع ملف تكوين مصمم بعناية، يمكن للمهاجم إجبار النظام على تغيير مخرجاته بطريقة محددة وقابلة للتنبؤ دون المساس بالكود الأساسي للنموذج. يعتمد هذا الهجوم على آلية "تلازمية" (conjunctive)، مما يعني ضرورة استيفاء شرطين منفصلين في آن واحد لكي تنجح الخدعة. أحد الشرطين هو علامة مخفية مدمجة بشكل غير مرئي داخل كود الغلاف، والآخر هو توقيع تشفيري مخزن في ملف التكوين. ولا يكفي أي منهما بمفرده لتفعيل التغيير؛ بل يجب أن يتواجدا معاً. هذا التصميم يجعل الهجوم صعب الاكتشاف للغاية لأن الفحص الأمني الذي يبحث فقط في الكود لن يرى شيئاً مريباً، والفحص الذي ينظر فقط إلى ملف التكوين لن يرى سوى سلسلة من الأرقام التي تبدو عشوائية.
ولاختبار مدى انتشار هذه الثغرة، بنى الباحثون تجربة محكومة باستخدام خمسة عشر نظاماً مختلفاً من أنظمة الذكاء الاصطناعي، تتراوح بين النماذج مفتوحة المصدر التي يمكن لأي شخص تنزيلها والأنظمة المغلقة التي يتم الوصول إليها عبر واجهات برمجة التطبيقات التجارية. قاموا بنشر هذه النماذج مع الغلاف المعدل وملفات التكوين، وراقبوا ما يحدث عندما يطرح المستخدمون أسئلة. كانت النتائج متسقة ودقيقة: في كل حالة، عندما تم استيفاء الشرطين، نفذ النظام التعليمات المخفية. كان الغلاف يأخذ إجابة النموذج الطبيعية والصحيحة ويضيف إليها لافتة (banner) أو يعدل النص قبل عرضه على المستخدم. لم يتغير رأي النموذج أو معرفته؛ بل تم توجيهه ببساطة من قبل الغلاف لعرض الإجابة بشكل مختلف. وجد الباحثون أن هذا التلاعب نجح في المهام النصية فقط، ومهام الاستدلال المعقدة، وحتى مهام اللغة والرؤية حيث ينظر النموذج إلى الصور. كان الهجوم فعالاً للغاية لدرجة أنه ظل غير مكتشف بواسطة أدوات الأمن القياسية التي تبحث عن الكود الخبيث أو تمسح الأنماط السيئة المعروفة، لأن المحفز لم يكن قطعة من الكود السيئ، بل كان مزيجاً منطقياً من علامة مخفية وتوقيع ملف مطابق.
كما استكشفت الدراسة مدى قدرة الدفاعات الحالية على إيقاف هذا النوع من الهجمات. اختبر الباحثون العديد من تدابير السلامة الموجودة، بما في ذلك الأدوات التي تمسح ملفات البيانات الوصفية، والأنظمة التي تصفي مطالبات المستخدمين، والأساليب التي توقع المكونات الرقمية لإثبات أصالتها. ووجدوا أن معظم هذه الدفاعات فشلت في كشف التسميم التلازمي. فالمسوحات التي نظرت فقط إلى ملفات التكوين فاتتها العلامة المخفية في الكود، والمسوحات التي نظرت فقط إلى الكود فاتها التوقيع التشفيري في الملفات. وحتى الأدوات التي توقع أوزان النموذج لم تساعد، لأن الهجوم حدث في الغلاف وملف التكوين، اللذين غالباً ما يُتركان بدون توقيع أو يُعاملان كجزء منفصل عن حزمة النموذج الرئيسية. وكانت الطريقة الوحيدة لإيقاف الهجوم تماماً في اختباراتهم هي توقيع الحزمة بأكملها—النموذج، والغلاف، وملفات التكوين معاً—والتحقق من عدم تعديل أي منها منذ توقيعها. وبدون هذا التحقق الكامل، يظل النظام عرضة لهذا النوع من التلاعب الخفي.
ولمعالجة هذه الفجوة، اقترح الباحثون آلية دفاع جديدة تسمى "مرشح سلامة القالب مع رأس إثبات السلوك" (Template Integrity Filter with Behavioral Attestation Header). يعمل هذا النظام كحارس يعمل جنباً إلى جنب مع النموذج أثناء تشغيله. وقبل أن يُسمح للغلاف بمعالجة إجابة، يتحقق النظام من كود الغلاف مقابل نسخة موثوقة ومعتمدة مسبقاً لضمان عدم العبث به. إذا تطابق الكود مع النسخة الموثوقة، يسمح النظام باستمرار العملية؛ وإذا لم يتطابق، يقوم النظام بحظر الإجراء ويعود إلى مخرج آمن وغير معدل. بالإضافة إلى ذلك، يقوم هذا النظام بتسجيل مدخل صغير في السجل لكل تفاعل، موضحاً بالضبط أي إصدار من الغلاف تم استخدامه وما هو القرار الذي اتُخذ. وهذا يخلق سجلاً دائماً يمكن تدقيقه لاحقاً لمعرفة ما إذا كانت قد تمت أي تغييرات غير مصرح بها. ووجد الباحثون أن إضافة طبقة الحماية هذه لم تسبب أي تأخير يذكر لسرعة النظام، حيث أضافت أقل من نصف بالمائة إلى الوقت المستغرق لتوليد الاستجابة، مما يجعلها حلاً عملياً للتطبيقات الواقعية.
إن تداعيات هذا العمل تمتد إلى ما هو أبعد من مجرد اكتشاف خطأ جديد؛ فهي تغير جذرياً كيفية تفكيرنا في تأمين الذكاء الاصطناعي. لفترة طويلة، افترضت الصناعة أنه إذا كان دماغ النموذج آمناً، فإن النظام بأكمله آمن. يظهر هذا البحث أن "جسد" النظام—البرمجيات التي تغلف النموذج والملفات التي تخبره بكيفية التصرف—هو أمر بالغ الأهمية أيضاً. لا يحتاج المهاجم إلى اختراق بيانات تدريب النموذج أو إعادة كتابة منطقه الداخلي لتغيير ما يراه المستخدم؛ بل يحتاج فقط إلى تمرير تعليمات مخفية في الغلاف ومفتاح مطابق في ملف التكوين. يشبه هذا كيف يمكن إعطاء طباخ موثوق وصفة تبدو طبيعية ولكنها تتضمن تعليمات سرية لإضافة توابل معينة فقط إذا كان هناك مكون معين موجود في المخزن؛ يتبع الطباخ الوصفة بدقة، لكن الطبق النهائي يتغير بسبب التعليمات، وليس بسبب خيارات الطباخ نفسه. ويؤكد الباحثون أنه بينما استخدمت تجاربهم تغييرات غير ضارة، مثل إضافة لافتة أو إخلاء مسؤولية، يمكن استخدام نفس الآلية لإخفاء تعليمات خطيرة، أو تغيير التوصيات، أو التلاعب بالاستشهادات بطرق تكون غير مرئية للمستخدم.
تخلص الدراسة إلى أن طبقة القالب، حيث تعيش الأغلفة وملفات التكوين، هي جزء حرج ولكنه غير محمي بشكل كافٍ في سلسلة توريد الذكاء الاصطناعي. ومع دمج هذه الأنظمة في حياتنا اليومية، والاعتماد عليها في كل شيء من خدمة العملاء إلى المشورة الطبية، يجب التحقق من سلامة حزمة النشر بأكملها، وليس فقط النموذج نفسه. لقد جعل الباحثون الكود والأدوات الخاصة بهم متاحة لمساعدة المطورين الآخرين على اختبار أنظمتهم بحثاً عن هذه الثغرة. ومن خلال تسليط الضوء على هذا الضعف المحدد، يأملون في تشجيع تطوير معايير جديدة تعامل كود الغلاف وملفات التكوين بنفس مستوى التدقيق والحماية المخصص لأوزان النموذج نفسه، لضمان أن السلوك الذي يراه المستخدم هو حقاً ما أراد النموذج إنتاجه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.