Backdoor Learning in Language Models and Vision-Language Models
تتقصى هذه الأطروحة الثغرات الأمنية وتحسينات الكفاءة في نماذج معالجة اللغات الطبيعية ونماذج الرؤية واللغة من خلال تحليل هجمات الباب الخلفي وتطوير طرق متقدمة لتمثيل البيانات متعدد الوسائط لتطبيقات التصوير السريري والطبي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الرقمي الحديث، تطور الذكاء الاصطناعي من مجرد التعرف البسيط على الأنماط إلى أنظمة قادرة على فهم الصور المعقدة وتوليد نصوص تشبه النصوص البشرية. هذه الأنظمة، المعروفة باسم النماذج اللغوية ونماذج الرؤية واللغة، تشغل كل شيء بدءاً من التشخيص الطبي وصولاً إلى خدمة العملاء المؤتمتة. وهي تعمل من خلال التعلم من كميات هائلة من البيانات، وتحديد الروابط الدقيقة بين الكلمات والمفاهيم والتفاصيل المرئية. ومع ذلك، فإن هذه القدرة الهائلة تأتي مع ثغرة أمنية خفية. فتماماً كما يمكن فتح قفل مادي باستخدام مفتاح محدد وخفي، يمكن التلاعب بهذه الأنظمة الذكية سراً أثناء تدريبها. هذا التلاعب، المعروف باسم هجوم الباب الخلفي (backdoor attack)، يسمح للمهاجم بزرع محفز خفي. وعندما يواجه النظام هذا المحفز في المستقبل، فإنه يتجاهل تدريبه الطبيعي ويقوم بإجراء محدد ومعد مسبقاً، بينما يتصرف بشكل مثالي وطبيعي تماماً عند غياب المحفز. وتكون المخاطر عالية بشكل خاص في مجالات مثل الرعاية الصحية، حيث يمكن لنظام مخترق أن يؤدي إلى تشخيصات خاطئة خطيرة، أو في البنية التحتية العامة، حيث يمكن لخطأ طفيف أن يسبب اضطراباً واسع النطاق.
تتعمق أطروحة دكتوراه حديثة لـ "وي مين ليو" من جامعة ستوني بروك في هذه الثغرات الأمنية، مستكشفةً كيفية عمل هذه الهجمات في الأنظمة القائمة على النصوص ونماذج الرؤية واللغة الأحدث والأكثر تعقيداً. لا يكتفي البحث بمجرد تحديد إمكانية حدوث هذه الهجمات، بل يحلل الآليات الداخلية لكيفية نجاحها ويقترح طرقاً جديدة لشنها واكتشافها. ويكشف البحث أنه عندما يتم اختراق نموذج لغوي، فإن آلية "الانتباه" (attention) الداخلية الخاصة به — وهي عملية تسمح للنموذج بتقرير أي الكلمات في الجملة هي الأكثر أهمية لفهم المعنى — يتم اختطافها. فبدلاً من التركيز على سياق الجملة، يركز النموذج المخترق على المحفز الخفي، متجاهلاً فعلياً بقية المدخلات. وقد أدى هذا الاكتشاف إلى تطوير طريقة كشف جديدة تسمى "AttenTD"، والتي تمسح هذه التحولات غير الطبيعية في التركيز. ووجد البحث أن هذه الطريقة أكثر فعالية بكثير في رصد النماذج المخترقة مقارنة بالتقنيات السابقة، حيث نجحت في تحديد الأبواب الخلفية في مجموعات بيانات متنوعة بدقة عالية.
كما قدمت الأطروحة طريقة أكثر قوة لإنشاء هذه الهجمات، تسمى "خسارة الانتباه التروجي" (Trojan Attention Loss). ومن خلال التلاعب المباشر بانتباه النموذج أثناء التدريب لإجباره على التركيز على المحفز، أظهر الباحثون أنه يمكنهم إنشاء أبواب خلفية بعدد أقل بكثير من الأمثلة المسمومة مما كان يُعتقد سابقاً أنه ضروري. وقد ثبت أن هذا فعال حتى في سيناريوهات "الملصق النظيف" (clean-label)، حيث لا يحتاج المهاجم إلى تغيير الإجابات الصحيحة في بيانات التدريب، مما يجعل الهجوم أصعب بكثير في الكشف. كما وسعت الدراسة هذه النتائج لتشمل النماذج اللغوية السريرية المستخدمة في السجلات الصحية الإلكترونية. ومن خلال تطبيق تقنيات مماثلة، أظهر الباحثون أنه يمكن تعديل نموذج مُدرب للتنبؤ بنتائج المرضى بشكل طفيف ليعطي تنبؤات غير صحيحة إذا ظهرت عبارة مخفية محددة في ملاحظات المريض، مما يسلط الضوء على خطر أمني حرج في أنظمة دعم القرار الطبي.
وبالانتقال إلى ما وراء النصوص، تناول البحث مجال نماذج الرؤية واللغة الناشئ، والتي يمكنها وصف الصور أو الإجابة عن أسئلة حولها. وتعتبر هذه النماذج صعبة الاختراق بشكل خاص لأنها يجب أن تحافظ على فهم متماسك لكل من المعلومات المرئية والنصية. وقد قدمت الدراسة طريقة "TrojVLM"، وهي طريقة تنجح في حقن محفز خفي داخل الصورة نفسها. فعندما تُعرض على النموذج صورة مسمومة تحتوي على هذا المحفز، يقوم بتوليد استجابة تتضمن جملة محددة ومعدة مسبقاً، مثل عنوان موقع إلكتروني أو عبارة عشوائية، بينما يظل يصف بقية الصورة بدقة. وقد تحقق ذلك من خلال تدريب النموذج على الحفاظ على المعنى الدلالي للصورة مع تعلم إخراج النص الخفي في الوقت نفسه. وأظهر البحث أن هذا الهجوم يعمل عبر أنواع مختلفة من الصور والأسئلة، مع الحفاظ على جودة عالية في النص المولد حتى عند وجود المحفز.
ولعل النتيجة الأكثر إثارة للقلق كانت تطوير هجوم لا يتطلب الوصول إلى بيانات التدريب الأصلية. ففي سيناريو يسمى "VLOOD"، أظهر الباحثون أنه يمكنهم اختراق نموذج رؤية ولغة باستخدام بيانات لم يسبق للنموذج رؤيتها من قبل فقط. ومن خلال الموازنة الدقيقة بين البيانات الجديدة والتقنيات التي تحافظ على معرفة النموذج الحالية، تمكنوا من زرع باب خلفي دون المساس بمجموعة التدريب الأصلية للنموذج مطلقاً. وهذا يشير إلى أن النماذج المنشورة في العالم الحقيقي، والتي غالباً ما تُعتبر آمنة لأن بيانات تدريبها خاصة، يمكن أن تكون عرضة للتلاعب من قبل أطراف خارجية. وقد أكدت الدراسة أن هذه الهجمات يمكن أن تحقق معدلات نجاح عالية مع الحفاظ على السلوك الطبيعي للنموذج سليماً، مما يجعل اكتشافها صعباً للغاية.
ولمواجهة هذه التهديدات، استكشفت الأطروحة أيضاً طرقاً لجعل هذه الأنظمة القوية أكثر كفاءة وقابلية للتفسير، لا سيما للتطبيقات الطبية. فقد طور الباحثون نموذجاً جديداً لتحليل صور الأنسجة المرضية كاملة الشريحة، وهي مسحات رقمية للأنسجة بمقياس "جيجا بكسل". هذه الصور كبيرة جداً لدرجة أن النماذج القياسية تجد صعوبة في معالجتها. ويقوم النهج الجديد بضغط المعلومات المرئية إلى مجموعة أصغر وأكثر قابلية للإدارة من الرموز (tokens)، مما يسمح للنظام بالإجابة على أسئلة معقدة حول النسيج دون إرهاق الموارد الحسابية. وقد أثبت هذا العمل أنه من الممكن الحفاظ على دقة عالية في التشخيص الطبي مع تقليل التكلفة الحسابية بشكل كبير، وهي خطوة حاسمة لجعل أدوات الذكاء الاصطناعي المتقدمة عملية في المستشفيات.
إن الاستنتاج الشامل لهذا البحث هو أن أمن الذكاء الاصطناعي لا يقل أهمية عن أدائه. توفر الدراسة خريطة شاملة لكيفية تسلل هجمات الباب الخلفي إلى كل من أنظمة النصوص ونماذج الرؤية واللغة، وتكشف أن الآليات الداخلية لهذه النماذج أكثر هشاشة مما كان يُعتقد سابقاً. ومن خلال كشف الطرق المحددة التي يمكن من خلالها اختطاف الانتباه وإثبات كيفية تنفيذ الهجمات بأقل قدر من البيانات، تؤكد هذه الدراسة على الحاجة الملحة لطرق كشف قوية وممارسات تدريب آمنة. وتعمل هذه النتائج كصرخة تحذير لتطوير ذكاء اصطناعي جدير بالثقة، مؤكدة أنه بدون هذه الضمانات، يمكن للأنظمة المصممة لمساعدتنا أن تُستخدم ضدنا من خلال تلاعبات خفية وغير مرئية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.