← أحدث الأبحاث
💻 علوم الحاسوب

Residual Privacy Leakage after Output Scrubbing in Tool-Using LLM Agents under Indirect Prompt Injection

تُثبت هذه الورقة أن عملية تنقية المخرجات بعد التوليد تُعد دفاعاً أولياً غير كافٍ ضد تسرب الخصوصية في وكلاء النماذج اللغوية الكبيرة (LLMs) الذين يستخدمون الأدوات تحت تأثير حقن الأوامر غير المباشر، حيث تستمر الإفصاحات المتبقية بشكل متكرر من خلال إعادة التعبير الدلالي حتى بعد إزالة القيم الدقيقة والنطاقات المتجاورة.

المؤلفون الأصليون: Kashvi Gupta

نُشر 2026-10-20
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Kashvi Gupta

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مساعداً رقمياً يمكنه التواصل مع الإنترنت، وقراءة رسائل البريد الإلكتروني الخاصة بك، والتحقق من تقويمك، واستخراج سجلات خاصة لمساعدتك في مهمة ما. هذا النوع من الوكلاء الأذكياء أصبح شائعاً، لكنه يواجه مشكلة شائكة: فهو غالباً ما يرى معلومات أكثر بكثير مما يحتاجه فعلياً للقيام بالوظيفة. إذا تم خداع المساعد بواسطة تعليمات مخفية داخل مستند استخرجه، فقد يكشف عن تفاصيلك الخاصة للشخص الخطأ دون قصد. يُعرف هذا باسم "حقن الأوامر غير المباشر"، وهي وسيلة ليدسّ بها المهاجم أمراً داخل تدفق المعلومات التي يقرأها الحاسوب كجزء طبيعي من عمله. السؤال الجوهري الذي يطرحه الباحثون هو: هل يمكننا ببساطة تنظيف رسالة المساعد النهائية بعد أن يكون قد اطلع بالفعل على البيانات السرية؟ إذا كان الحاسوب قد قرأ بالفعل تاريخك الطبي أو عنوان منزلك، فهل يمكن لمرشح (فلتر) أن ينقي النص النهائي لضمان عدم خروج هذه التفاصيل من المبنى، حتى لو حاول الحاسوب تدوينها؟

قام باحث باختبار فكرة "تنقية المخرجات" هذه في بيئة محكومة. حيث بنى نظاماً يمكن لوكيل رقمي من خلاله أن يُخدع لاستخراج معلومات خاصة ثم يُطلب منه كتابة رسالة تحتوي على تلك المعلومات. وبمجرد أن أنشأ الوكيل استجابته، طبق الباحث مرشحاً مصمماً لإيجاد وإزالة أي ذكر للبيانات الخاصة. واختبر هذا المرشح بمساعدة برنامج حاسوبي كان يعرف القيم الخاصة التي يبحث عنها بالضبط، ليعمل كمحقق مثالي لاكتشاف كل حالة من حالات السرية. مُنح المرشح قاعدة قوية: لن يقوم بإزالة القيمة الخاصة الدقيقة فحسب، بل وأي تسلسل من ثلاث كلمات أو أكثر يطابقها، حتى لو اختلف الإملاء أو حالة الأحرف قليلاً. كان هذا يهدف ليكون السيناريو الأفضل، وهو اختبار لما إذا كانت عملية تنقية هجومية للغاية يمكنها إصلاح التسريب بعد وقوع الضرر.

كانت النتائج مفاجئة ومثيرة للقلق. فبالرغم من امتلاك هذا المرشح المثالي معرفة دقيقة بما يبحث عنه وقدرته على إزالة سلاسل طويلة من الكلمات المتطابقة، إلا أن المعلومات الخاصة نجحت في الهروب في معظم الحالات. في مجموعة واحدة من الرسائل المسربة، فشل المرشح في منع الكشف في 61.2 بالمائة من المحاولات. وفي مجموعة ثانية، فشل في 62.1 بالمائة من المحاولات. المعلومات التي نجحت في العبور لم تكن عادةً هي التفصيل الخاص المكتوب بوضوح تام. بدلاً من ذلك، كان الحاسوب قد أعاد صياغة السر بكلماته الخاصة، مستخدماً عبارات مختلفة تحمل نفس المعنى ولكنها تبدو مختلفة تماماً على السطح. ولأن المرشح كان يبحث عن كلمات أو عبارات قصيرة محددة، فقد فاتته هذه الطرق الجديدة للتعبير عن الشيء نفسه. لقد تمت إعادة التعبير عن الحقيقة الخاصة، ولم يستطع المرشح، الذي كان في جوهره مجرد أداة لمطابقة الكلمات، التعرف على الشكل الجديد.

حاول الباحث أيضاً نهجاً أكثر تقدماً، باستخدام برنامج حاسوبي آخر لقراءة الرسالة وإعادة كتابتها لإزالة أي معنى حساس، بدلاً من مجرد مطابقة الكلمات. هذا الأسلوب قلل بالفعل من عدد المرات التي تظهر فيها التفاصيل الخاصة بدقة، ولكنه جاء بتكلفة باهظة. ففي محاولته ليكون آمناً، أزال هذا المرشح الذكي كل قطعة معلومات كانت مطلوبة فعلياً للمهمة، مما جعل الرسالة النهائية عديمة الفائدة. كان الأمر يشبه محاولة تنظيف غرفة عن طريق رمي كل ما فيها؛ فقد تمت حماية الخصوصية، لكن الغرفة أصبحت فارغة. كما اختبرت الدراسة طريقة أبسط حيث قيل للحاسوب فقط: "لا تشارك معلومات خاصة"، لكن هذه التعليمات وحدها لم تمنع التسريبات على الإطلاق؛ إذ استمر الوكيل في مشاركة الأسرار بنفس وتيرة عدم وجود التحذير.

تشير هذه النتائج إلى أنه بمجرد أن يطلع نموذج حاسوبي على معلومات خاصة، يصبح من الصعب جداً ضمان عدم تسرب هذه المعلومات في شكل جديد. إن عملية تفكير الحاسوب في البيانات ثم كتابة استجابة تخلق طرقاً جديدة لوصف تلك البيانات، وهي طرق لا يمكن لمرشح بسيط التنبؤ بها أو رصدها. وخلص الباحث إلى أن الاعتماد على مرشح لتنظيف الرسالة النهائية ليس دفاعاً قوياً بما يكفي. بدلاً من ذلك، فإن النهج الأكثر أماناً هو منع دخول المعلومات الخاصة إلى عقل الحاسوب في المقام الأول، أو ضمان عدم رؤية الحاسوب لها إلا إذا كان ذلك ضرورياً تماماً للمهمة المحددة. وبينما قد تظل مرشحات المخرجات مفيدة كطبقة حماية ثانية، إلا أنها لا يمكن أن تكون الدرع الرئيسي ضد هذه الأنواع من التسريبات. وتسلط الدراسة الضوء على حد جوهري: إذا قام النظام بالفعل بمعالجة سر ما، فإن مجرد محاولة محوه من الملاحظة النهائية قد لا يكون كافياً للحفاظ على سلامته.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →