← أحدث الأبحاث
💻 computer science

LMSM: LLM Security Framework Inspired by Linux Security Modules

تقدم هذه الورقة LMSM، وهو إطار أمني للنماذج اللغوية الكبيرة مستوحى من وحدات أمن لينكس (Linux Security Modules) يعمل على فصل الكشف القائم على التفسير، وتقييم السياسات، وفرض المخرجات لتمكين قواعد سلامة مرنة وقابلة للتركيب مع تقليل معدلات نجاح الهجمات بشكل كبير وبأقل تأثير على الإنتاجية.

المؤلفون الأصليون: XiuYu Zhang, Bonan Ruan, Junfeng Fang, An Zhang, Tat-Seng Chua, Zhenkai Liang

نُشر 2026-08-27
📖 5 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: XiuYu Zhang, Bonan Ruan, Junfeng Fang, An Zhang, Tat-Seng Chua, Zhenkai Liang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

لم تعد النماذج اللغوية الكبيرة مجرد أدوات بسيطة تجيب على سؤال ثم تتلاشى. في العالم الحقيقي، هي المحركات التي تقف وراء خدمات معقدة، حيث تنسج باستمرار تعليمات المستخدم، وسجل المحادثة، والمعلومات الخارجية لصياغة استجابة. هذه الرحلة من مطالبة المستخدم إلى الإجابة النهائية هي مسار طويل وحالة مستمرة يكون فيها النموذج مجرد مكون واحد فقط. ولأن هذا المسار معقد للغاية، فهو أيضاً المكان الذي تحدث فيه الإخفاقات الأمنية. إذ يمكن لحيلة ذكية في "المطالبة" (prompt) أن تتجاوز فلاتر السلامة، أو يمكن لتعليمات مخفية في وثيقة مسترجعة أن تخدع النموذج وتجعله يتجاهل قواعده. ولمواجهة ذلك، بنى المطورون طبقات دفاعية: فقد قاموا بتدريب النموذج ليكون آمناً، وقيدوا ما يراه، وفحصوا مخرجاته قبل أن تصل إلى المستخدم. ومع ذلك، غالباً ما تعمل هذه الطبقات بمعزل عن بعضها البعض. فعندما يبتكر الباحثون طريقة جديدة للنظر داخل "عملية التفكير" الخاصة بالنموذج للإمساك بالسلوك السيئ، يتعين عليهم عادةً بناء نظام أمني جديد ومخصص بالكامل حول ذلك الاكتشاف تحديداً. وهذا يخلق مجموعة من الدفاعات المرقعة حيث تتطلب كل أداة جديدة تكاملاً جديداً، بدلاً من وجود درع واحد قوي يمكنه التكيف مع أي تهديد جديد.

اقترح فريق من الباحثين في جامعة سنغافورة الوطنية وجامعة العلوم والتكنولوجيا في الصين نهجاً مختلفاً، مستوحى من كيفية تعامل أنظمة تشغيل الكمبيوتر مع الأمن لعقود من الزمن. وقد أطلقوا على إطار عملهم اسم LMSM، أو "وحدات أمن النماذج اللغوية". الفكرة الجوهرية هي فصل مهمة مراقبة الخطر عن مهمة اتخاذ القرار بشأن ما يجب فعله حيال ذلك. تخيل نظاماً أمنياً تكون فيه المستشعرات، وكتيب القواعد، والحارس ثلاثة أجزاء متميزة وقابلة للتبديل. في هذا النظام الجديد، "المستشعرات" هي الطرق المتنوعة التي تنظر داخل النموذج للعثور على علامات المشاكل. و"كتيب القواعد" هو مجموعة مرنة من التعليمات التي تحدد معنى تلك العلامات ومتى يجب التحرك. أما "الحارس" فهو البواب النهائي الذي يحجز الاستجابة حتى يتم التصريح بها. هذا التصميم يعني أنه إذا ابتكر باحث مستشعراً أفضل غداً، أو إذا احتاجت شركة إلى تغيير قواعدها لصناعة معينة، فيمكنهم استبدال الجزء الجديد دون الحاجة إلى إعادة بناء النظام الأمني بأكمله أو إعادة كتابة الكود الذي يعالج مخرجات النموذج.

بنى الباحثون نموذجاً أولياً يعمل لهذا النظام ليروا ما إذا كان بإمكانه الصمود في ظل الظروف الفوضوية والسريعة للاستخدام في العالم الحقيقي. واختبروه على نموذج لغوي شهير، وهو Qwen3-4B، يعمل على خادم عالي الأداء يتعامل مع العديد من الطلبات في وقت واحد. في هذه البيئة، يتم خلط الطلبات باستمرار لجعل النظام أسرع، مما يربك غالباً الأدوات الأمنية التي تتوقع ترتيباً ثابتاً. وجد الفريق أن إطار عملهم نجح في تتبع كل طلب بدقة، مما ضمن أن القرار المتخذ لأحد المستخدمين لم يؤثر بالخطأ على مستخدم آخر، حتى مع انتقال النظام بهم بين فترات معالجة مختلفة. كما اختبروه مع أنواع مختلفة من المستشعرات الداخلية، بما في ذلك بعض المستشعرات الجاهزة وأخرى تم تدريبها خصيصاً لمهام محددة. وتعامل النظام مع جميعها بسلاسة، مما أثبت أن الفصل بين المستشعر والقواعد وبوابة الإنفاذ قد عمل كما هو مخطط له.

أظهرت النتائج أن هذا النهج التركيبي ليس سليماً من الناحية النظرية فحسب، بل هو فعال من الناحية العملية أيضاً. فعندما استخدم الباحثون نظامهم لحظر المخرجات الضارة، خفضوا معدل نجاح الهجمات من قرابة أربعين بالمائة إلى ما يزيد قليلاً عن ثلاثة بالمائاء. وهذا تحسن هائل، مما يعني أن النظام كشف جميع المحاولات السيئة تقرياً. ومع ذلك، وكأي إجراء أمني، لم يكن مثالياً؛ فقد حظر أحياناً طلباً غير ضار عن طريق الخطأ، وهي نسبة ارتفعت قليلاً من اثنين بالمائة إلى أربعة بالمائة. وأشار الباحثون إلى أن هذه المقايضة يمكن إدارتها وهي أفضل بكثير من البديل المتمثل في السماح للمحتوى الضار بالمرور. والأهم من ذلك، أن النظام فعل ذلك دون إبطاء الخدمة بشكل ملحوظ. فحتى عند تشغيله مع اثنين وثلاثين طلباً نشطاً في آن واحد، حافظ النظام على ما يقرب من تسعة وتسعين بالمائة من سرعة نسخة لا تحتوي على أي فحوصات أمنية على الإطلاق. وهذا يشير إلى أن العمليات الثقيلة للأمن لا يجب أن تأتي على حساب الأداء.

ما يجعل هذا العمل مهماً بشكل خاص هو كيفية تغييره للعلاقة بين الأمن وتحسين النموذج. سابقاً، في كل مرة يتم فيها اكتشاف طريقة جديدة للكشف عن السلوك السيئ، كان ذلك يتطلب بنية أمنية جديدة ومخصصة. ومع هذا الإطار، يمكن دمج طرق كشف جديدة كإجراءات تحديث بسيطة. وقد أظهر الباحثون أنه يمكنهم استبدال نوع من المستشعرات بآخر، أو تغيير توقيت قيام النظام بالفحص بحثاً عن المشاكل، دون المساس بالكود الأساسي الذي يدير مخرجات النموذج. وتسمح هذه المرونة للمؤسسات بالتكيف بسرعة مع التهديدات الجديدة أو المتطلبات القانونية المحددة دون الحاجة إلى إعادة تدريب النموذج الضخم نفسه أو إعادة كتابة بنيتها التحتية بالكامل. إن إطار العمل هذا يحول في الأساس الإشارات الداخلية المعقدة للنموذج اللغوي إلى تدفق موثوق ومعياري من الأدلة التي يمكن التعامل معها بواسطة بواب حارس ثابت وموثوق.

تؤكد الدراسة أنه من الممكن بناء طبقة أمنية قوية تستقر داخل وقت تشغيل النموذج، تراقب حالته الداخلية قبل إصدار كلمة واحدة للمستخدم. ومن خلال معاملة اكتشاف الخطر، والقرار بالتحرك، وفعل الحظر كأجزاء منفصلة وقابلة للتبديل، أنشأ الباحثون نظاماً قوياً وقابلاً للتكيف في آن واحد. وأظهرت التجارب أن هذا النهج يمكن أن يقلل بشكل كبير من مخاطر المخرجات الضارة مع الحفاظ على سرعة واستجابة الخدمة. إنه يقدم مساراً للمستقبل حيث يمكن وضع تقنيات تحليل النماذج سريعة التطور للعمل فوراً في حماية المستخدمين، دون الحاجة إلى إعادة هندسة مكلفة ومستمرة للأنظمة التي تدعمهم. ويشير العمل إلى أن مستقبل الذكاء الاصطناعي الآمن قد لا يكمن في بناء جدران أكبر وأكثر صلابة، بل في إنشاء بوابات أذكى وأكثر مرونة يمكنها التطور جنباً إلى جنب مع التكنولوجيا التي تحميها.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →