From Money to Prompt Laundering: CLEANSE*, a Risk-Calibrated Multi-View Detector
تقدم هذه الورقة CLEANSE*، وهو كاشف متعدد الرؤى ومعاير للمخاطر يحدد بفعالية هجمات غسيل الأوامر (prompt laundering) عبر دمج الإشارات الدلالية، والهيكلية، وعبر اللغوية، والأسلوبية، محققاً أداءً فائقاً في تقليل المخاطر ومعدلات نجاح الهجمات مع الحفاظ على زمن استجابة منخفض عبر مختلف المعايض والاختبارات المجهدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة أدوات قوية يمكنها كتابة القصص، وحل المشكلات، والإجابة على الأسئلة، لكنها معرضة أيضاً لنوع معين من الخداع. فتماماً كما يحتاج البنك إلى التمييز بين إيداع مشروع وتحويل احتيالي، يجب على هذه الأنظمة الرقمية أن تفرق بين طلب غير ضار وأمر خفي مصمم لكسر قواعد السلامة الخاصة بها. لقد تعلم المهاجمون تمويه التعليمات الضارة عبر تغليفها في قصص تبدو بريئة، أو ترجمتها إلى لغات مختلفة، أو إخفائها داخل تنسيقات معقدة. هذه العملية، المعروفة باسم "غسيل الأوامر" (prompt laundering)، تسمح لهدف خبيث بالتسلل عبر الفلاتر القياسية عن طريق تغيير مظهره مع الحفاظ على نيته الخطيرة كما هي. ويتمثل التحدي الذي يواجه الباحثين في بناء نظام يمكنه الرؤية من خلال هذه الأقنعة، والتعرف على التهديد الكامن حتى عندما يبدو السطح آمناً تماماً.
لقد طور أحد الباحثين نظام كشف جديداً يسمى *CLEANSE لمواجهة هذا التحدي. وبدلاً من الاعتماد على طريقة واحدة لرصد المشاكل، يعمل النظام مثل فريق من المتخصصين، حيث ينظر كل منهم إلى المدخلات من زاوية مختلفة. يفحص أحد المتخصصين المعنى العميق للكلمات ليرى ما إذا كانت النية تتطابق مع الأنماط الضارة المعروفة. وآخر يبحث في بنية الطلب، متحققاً مما إذا كانت القصة تتبع تدفقاً منطقياً أو ما إذا تم تحريفها إلى شكل غريب يوحي بوجود أجندة خفية. ويفحص متخصص ثالث ما إذا كان المعنى يظل ثابتاً عند ترجمة النص ذهاباً وإياباً بين اللغات، وهي تقنية غالباً ما تكشف عن التناقضات في الأوامر المموهة. أما المتخصص الأخير، فيدقق في التفاصيل السطحية، مثل علامات الترقيم، ورموز التنسيق، واستخدام الرموز غير المعتادة، والتي تُستخدم غالباً لإخفاء التعليمات. ومن خلال الجمع بين النتائج من كل هذه المنظورات المختلفة، ينشئ النظام درجة واحدة مُعايرة تشير إلى مدى احتمالية كون الطلب عبارة عن هجوم "مغسول".
اختبر الباحث هذا النظام متعدد الرؤى ضد مجموعة واسعة من الأوامر، بما في ذلك آلاف الأمثلة حيث حاول المهاجمون إخفاء نواياهم الحقيقية باستخدام حيل متنوعة. وقد قاموا بقياس مدى كفاءة النظام في الأداء مع الحفاظ على عدد الإنذارات الكاذبة —أي حظر الطلبات غير الضارة— منخفضاً للغاية. وفي هذه الاختبارات، أثبت النظام الجديد أنه أكثر فعالية بشكل ملحوظ من الطرق السابقة التي كانت تعتمد على طريقة واحدة فقط للنظر في البيانات. فعندما ضبط الباحث النظام ليحظر واحد بالمائة فقط من الطلبات غير الضارة، قلل الكاشف الجديد من خطر السماح بمرور أمر ضار بهام ملموس مقارنة بالأدوات القديمة. كما خفض معدل نجاح الهجمات، مما يعني أن عدداً أقل من التعليمات الخبيثة تمكن من التسلل عبر الحارس. حقق النظام هذه النتائج مع الحفاظ على مستوى عالٍ من الدقة في تنبؤاته، مما يضمن أنه عندما يصنف طلباً ما، فإنه يكون مشبوهاً بالفعل. علاوة على ذلك، ظل النظام سريعاً، حيث يعالج الطلبات في جزء من الثانية، وهو أمر ضروري للاستخدام في الوقت الفعلي في التطبيقات التي يتوقع فيها المستخدمون إجابات فورية.
كما استكشف البحث مدى قدرة النظام على التعامل مع المواقف التي لم يسبق له رؤيتها، مثل الطلبات بلغات لم يتم تدريبه عليها صراحةً، أو الهجمات التي تدمج تقنيات إخفاء متعددة بطرق جديدة. وحتى في هذه السيناريوهات الصعبة، حافظ النظام على ثباته بشكل أفضل من الكواشف ذات الطريقة الواحدة. وقد أظهر أنه من خلال النظر إلى المشكلة من زوايا متعددة، يمكن للنظام التكيف مع الحيل الجديدة دون الحاجة إلى إعادة تدريبه بالكامل. وأشار الباحث إلى أنه على الرغم من أن النظام قوي، إلا أنه ليس مثالياً؛ إذ لا يزال بإمكان الهجمات شديدة التعقيد أو التكيفية أن تربكه، كما يعتمد أداؤه على جودة الأدوات التي يستخدمها لتحليل بنية النص. ومع ذلك، تشير النتائج إلى أن هذا النهج متعدد المنظورات يوفر طريقة عملية وقوية لتأمين النماذج اللغوية الكبيرة ضد التهديد المتطور لغسيل الأوامر.
تمتد آثار هذا العمل إلى ما هو أبعد من مجرد حظر المدخلات السيئة. فقد صُمم النظام ليكون مرناً، مما يسمح للمؤسسات بتعديل مدى صرامتها بناءً على احتياجاتها الخاصة. فعلى سبيل المثال، قد تختار خدمة مالية أن تكون أكثر حذراً وتحظر المزيد من الطلبات لتجنب أي خطر، بينما قد تفضل أداة تعليمية السماح بمرور المزيد لتجنب إحباط الطلاب، معتمدة على قدرة النظام على تحديد الحالات الغامضة للمراجعة البشرية. وقد قدم الباحث إطار عمل يسمح باتخاذ هذه القرارات ببيانات واضحة حول المقايضات بين السلامة وتجربة المستخدم. ومن خلال جعل عملية الكشف شفافة وقابلة للتعديل، يساعد هذا العمل في سد الفجوة بين أبحاث أمن الذكاء الاصطناعي المتقدمة والاحتياجات العملية لنشر هذه التقنيات في العالم الحقيقي. وتخلص الدراسة إلى أنه بينما لا تزال المعركة ضد غسيل الأوامر مستمرة، فإن استخدام مزيج من القرائن الدلالية والهيكلية والسطحية يوفر دفاعاً أقوى من الاعتماد على أي مسار بحثي منفرد.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.