Beyond Prompt Injection: Trust-Boundary Security Assurance for LLM-Integrated and Agentic Applications
تقترح هذه الورقة إطار عمل لضمان أمن حدود الثقة من الناحية المنهجية، يقوم بنمذجة الأنظمة المتكاملة مع النماذج اللغوية الكبيرة والأنظمة الوكيلية لتحويل التهديدات الدلالية المتطورة إلى ضوابط أمنية قابلة للتحقق والاختبار وتقارير قائمة على الأدلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في العالم الرقمي الحديث، تطورت نماذج اللغة الكبيرة من مجرد مولدات نصوص بسيطة إلى مساعدين معقدين يمكنهم البحث عن المعلومات، وتذكر المحادثات الماضية، وحتى تنفيذ المهام نيابة عن المستخدمين. هذه الأنظمة، التي تُسمى غالباً "الوكلاء" (agents)، لا تكتفي فقط بالإجابة على الأسئلة؛ بل تسترجع البيانات من قواعد البيانات، وتستخدم أدوات خارجية مثل البريد الإلكتروني أو برامج إدارة علاقات العملاء، وتتخذ القرارات بناءً على ما تجده. هذا التحول يخلق تحدياً أمنياً فريداً. فعندما يتبع برنامج حاسوبي تعليمات ما، فإنه يفعل ذلك عادةً وفق مجموعة واضحة من القواعد. ولكن عندما يفسر الذكاء الاصطناዊ لغة طبيعية، فإن الخط الفاصل بين حقيقة غير ضارة وأمر خطير قد يتلاشى. فإذا قام فاعل خبيث بإخفاء تعليمات سرية داخل مستند، أو بريد إلكتروني، أو موقع إلكتروني، فقد يقرأها الذكاء الاصطناዊ ويعتبرها جزءاً من المهمة، ثم يستخدم صلاحيات وصوله إلى بيانات الشركة الحساسة لتنفيذ ذلك الأمر المخفي. ولا يكمن الخطر في أن يقول الذكاء الاصطناዊ شيئاً خاطئاً فحسب، بل في أنه قد يقوم بالفعل بفعل ضار، مثل حذف الملفات أو تسريب السجلات الخاصة، لأنه خُدع ليعتقد أن هذا الإجراء مصرح به.
وقد اقترح باحث يدعى نزار وحيد طريقة جديدة للتفكير في سلامة هذه الأنظمة واختبارها. فبدلاً من محاولة جعل الذكاء الاصطناዊ نفسه مثالياً في رصد التعليمات السيئة، وهو هدف صعب وربما مستحيل، يقترح البحث التعامل مع التطبيق بأكمله كسلسلة من نقاط التفتيش. الفكرة الجوهرية هي رسم خريطة دقيقة للمكان الذي ينتقل فيه النظام من مجرد فهم اللغة إلى اتخاذ إجراء في العالم الحقيقي. ويحدد المؤلف سبعة أماكن محددة توجد فيها حدود الثقة، مثل عندما يسحب النظام بيانات من الإنترنت، أو عندما يقرر أي أداة سيستخدم، أو عندما يتصل بقاعدة بيانات داخلية للشركة. ويجادل البحث بأن الأمن لا ينبغي أن يعتمد على حكم الذكاء الاصطناዊ وحده، بل يجب أن تكون هناك ضوابط مستقلة وتلقائية عند كل من هذه الحدود للتحقق من أن الإجراء مسموح به حقاً قبل وقوعه.
ويقدم البحث عملية مهيكلة يمكن للمؤسسات اتباعها، حيث يقسم التقييم الأمني إلى ست مراحل واضحة. أولاً، يجب على الفريق إدراج كل جزء من النظام، من واجهة المستخدم إلى قواعد البيانات المخفية. بعد ذلك، يرسمون خريطة لمن يملك الإذن ولماذا، مع تحديد الأماكن التي قد يستخدم فيها النظام سلطة مفرطة. ثم يقومون بإنشاء سيناريوهات واقعية يحاول فيها مهاجم تمرير تعليمات ضارة عبر مصدر موثوق، مثل وثيقة تم استرجاعها. وفي المرحلة الرابعة، يختبرون النظام لمعرفة ما إذا كانت نقاط التفتيش المستقلة هذه ستوقف الهجوم، حتى لو وقع الذكاء الاصطناዊ في الفخ. وفي المرحلة الخامسة، يحللون ما سيحدث إذا فشلت نقطة تفتيش ما، من خلال النظر في مدى انتشار الضرر وما إذا كان بإمكان النظام التعافي. وأخيراً، يعد الفريق تقريراً يفصل بدقة أين نجح النظام أو فشل، مما يوفر أدلة ملموسة بدلاً من مجرد التخمين.
ويتم تطبيق هذا النهج من خلال مثال افتراضي لمساعد خدمة عملاء. في هذا السيناريو، يقوم مهاجم بتعديل مستند شرعي تابع للشركة لتضمين تعليمات مخفية تأمر الذكاء الاصطناዊ بإرسال بيانات عملاء خاصة إلى عنوان بريد إلكتروني خارجي. وتظهر الدراسة أنه حتى لو قرأ الذكاء الاصطناዊ المستند واقترح إرسال البريد الإلكتروني، فإن نظاماً أمنياً مصمماً بشكل صحيح يجب أن يمتلك طبقة منفصلة تتحقق من الطلب. هذه الطبقة ستدرك أن المستخدم لم يأذن بإرسال البيانات خارجياً، وبالتالي ستمنع الإجراء، بغض النظر عما اقترحه الذكاء الاصطناዊ. وتؤكد الدراسة أن الهدف ليس إثبات أن الذكاء الاصطناዊ محصن ضد الخدع، بل إثبات أن النظام يمتلك شبكة أمان تمنع تلك الخدع من إحداث ضرر حقيقي.
كما يتناول البحث الأدوات المحددة التي يستخدمها هؤلاء الوكلاء للاتصال بالبرمجيات الأخرى، والمعروفة باسم "بروتوكول سياق النموذج" (Model Context Protocol). ويحذر البحث من أنه حتى لو كان الاتصال بين الذكاء الاصطناዊ والأداة آمناً من الناحية التقنية، فإن المعلومات التي تمر عبر هذا الاتصال قد تظل خطيرة. فعلى سبيل المثال، قد تكون الأداة مخولة بالتحدث إلى قاعدة بيانات، ولكن البيانات التي تعيدها قد تحتوي على أوامر مخفية. ويقترح البحث وجوب أن يكون الأمن متعدد الطبقات، بحيث يتحقق من البروتوكول، ومعنى البيانات، وقواعد العمل بشكل منفصل. ويجادل بأن الاعتماد على دفاع واحد، مثل مرشح (فلتر) يحاول رصد الكلمات السيئة، ليس كافياً. بدلاً من ذلك، يجب بناء النظام بحيث إذا فشل جزء منه، يوقف الجزء الآخر الضرر.
وفي الختام، يقدم هذا العمل منهجية لتحويل المخاوف الغامضة بشأن الذكاء الاصطناዊ إلى حقائق قابلة للاختبار. فهو ينقل النقاش من السؤال عما إذا كان الذكاء الاصطناዊ آمناً إلى السؤال عن أين توجد ضوابط السلامة وهل تعمل بالفعل. ويشير المؤلف بحذر إلى أن هذا إطار للتقييم، وليس ضماناً بأن كل نظام أصبح آمناً الآن. إنه دليل لبناء نظام تكون فيه عواقب الخطأ محدودة، وحيث يمكن تتبع مسار الهجوم، وحيث يمكن للمؤسسة أن تثبت لنفسها أن بياناتها محمية. ومن خلال التركيز على الحدود بين اللغة والفعل، يقدم البحث مساراً عملياً للشركات لاستخدام أدوات الذكاء الاصط�في القوية دون فقدان السيطرة على أنظمتها الخاصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.