💻 computer science

BodhiPromptShield: Pre-Inference Prompt Mediation for Suppressing Privacy Propagation in LLM/VLM Agents

يُعد BodhiPromptShield إطار عمل مدركاً للسياسات يعمل على الحد من انتشار الخصوصية في وكلاء النماذج اللغوية الكبيرة (LLM) والنماذج اللغوية البصرية (VLM) عبر التوسط في المعلومات الحساسة عبر مراحل الاسترجاع، والذاكرة، والأدوات من خلال التجريد الاستراتيجي والاستعادة المتأخرة، متفوقاً بذلك على أساليب إخفاء الهوية الحالية في التقييمات المنضبطة.

المؤلفون الأصليون: Bo Ma, Jinsong Wu, Weiqi Yan

نُشر 2026-04-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Bo Ma, Jinsong Wu, Weiqi Yan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث BodhiPromptShield، مترجم إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

الصورة الكبيرة: مشكلة "الأنبوب المسرب"

تخيل أنك وظفت مساعداً ذكياً جداً، ولكنه فضولي قليلاً (عميل ذكاء اصطناعي - AI Agent)، ليساعدك في إدارة شؤونك المالية. قدمت له مجموعة من الإيصالات وقلت له: "يرجى دفع الفاتورة لـ جون دو في 123 شارع مابل باستخدام حسابي البنكي رقم 999."

في الطريقة القديمة المتبعة، سيأخذ المساعد ملاحظتك الخام، يقرأها، ثم يقوم بـ:

كتابة ملاحظة لنفسه في ذاكرته ("ادفع لجون دو...").
البحث في مكتبة عن سياسات الشركة باستخدام تلك الأسماء.
استدعاء أداة بنكية لإتمام عملية الدفع.
حفظ سجل (Log) لكل ما قام به.

المشكلة: حتى لو كان المساعد لطيفاً، فإن "ذاكرته"، و"مكتبته"، و"سجله" قد يراها أشخاص آخرون (مثل مخترق، أو متدرب فضولي، أو خادم تابع لجهة خارجية). إذا كانت ملاحظتك الخام تقول "جون دو"، فإن هذا الاسم سيُنسخ في كل تلك الأماكن. الأمر يشبه صب دلو من الماء (بياناتك الخاصة) في نظام أنابيب؛ حتى لو سددت الطرف النهائي، فقد تسرب الماء بالفعل داخل الأنابيب في المنتصف.

الحل: BodhiPromptShield

ابتكر المؤلفون نظاماً يسمى BodhiPromptShield. تخيله كـ حارس أمن ذكي يقف عند الباب قبل أن تدخل ملاحظتك إلى مكتب المساعد.

بدلاً من السماح بدخول الملاحظة الخام، يقوم الحارس باعتراضها، وتعديلها، والسماح فقط بنسخة "منقحة" بالمرور.

كيف يعمل الحارس (الأدوات الثلاث)

لا يكتفي الحارس بحذف معلوماتك الخاصة فحسب (لأن ذلك قد يربك المساعد)، بل يستخدم ثلاث حيل ذكية حسب الموقف:

خدعة "النائب" (بطاقة الاسم):
- السيناريو: تحتاج لدفع فاتورة، لكن المساعد لا يحتاج لمعرفة الاسم بالضبط لمعالجة نوع الدفع.
- الإجراء: يستبدل الحارس "جون دو" بـ <PERSON_1>.
- النتيجة: يعرف المساعد: "آه، يجب أن أدفع لشخص ما"، ويمكنه القيام بعمله. ولكن إذا سرق مخترق السجل، فلن يرى سوى <PERSON_1> وليس الاسم الحقيقي.
خدعة "التجريد" (الوصف العام):
- السيناريو: تقول: "أريد إرسال طرد إلى 123 شارع مابل، أوكلاند".
- الإجراء: يغير الحارس الجملة إلى "أريد إرسال طرد إلى عنوان سكني في أوكلاند".
- النتيجة: يعرف المساعد أين يرسل الطرد (أوكلاند) دون معرفة رقم المنزل المحدد. إنه يحافظ على المعنى ولكنه يزيل السر.
خدعة "الخزنة السرية" (الرمز المفتاحي):
- السيناريو: الأداة البنكية تحتاج حتماً إلى رقم الحساب الدقيق لتعمل.
- الإجراء: يستبدل الحارس الرقم بكود عشوائي مثل TOKEN_XYZ. ويحتفظ بالرقم الحقيقي في خزنة مغلقة (جدول مطابقة آمن) لا تفتح إلا في اللحظة الأخيرة تماماً، قبل أن تحتاج الأداة البنكية إليه فعلياً.
- النتيجة: ذاكرة المساعد وسجلاته لا ترى سوى الكود. الرقم الحقيقي لا يغادر الخزنة أبداً حتى الخطوة النهائية.

لماذا هذا مختلف (مفهوم "الانتشار")

معظم أدوات الخصوصية القديمة تشبه الممحاة. فهي تمسح الكلمات الحساسة من المستند مرة واحدة قبل إرساله.

لكن في عملاء الذكاء الاصطناعي الحديثين، يتم نسخ ولصق المستند في أماكن عديدة (الذاكرة، استعلامات البحث، السجلات). إذا مسحت المعلومة مرة واحدة فقط، فقد يظل "شبح" البيانات يطفو في تلك الأماكن الأخرى.

BodhiPromptShield يشبه الفلتر الذي يظل نشطاً. فهو يضمن أنه حتى لو تم نسخ البيانات إلى ذاكرة المساعد أو سجل البحث الخاص به، فإنها تظل في شكلها "الآمن" (مثل <PERSON_1> أو TOKEN_XYZ) حتى تصل إلى المكان المحدد الذي يُسمح لها فيه بأن تكون حقيقية مرة أخرى.

النتائج: هل نجح الأمر؟

اختبر الباحثون النظام على "اختبار قياسي محكوم لخصوصية المطالبات" (اختبار مصمم لمعرفة مقدار تسرب المعلومات الخاصة).

بدون الدرع: تسربت المعلومات الخاصة إلى ذاكرة المساعد وأدواته بنسبة 10.7% من الوقت.
مع الدرع: انخفض هذا التسرب إلى 7.1%.
المقايضة: لا يزال المساعد يؤدي مهمته بشكل صحيح بنسبة 94% من المرات.

التشبيه: تخيل أنك تحاول الحفاظ على سر أثناء التحدث إلى صديق يسجل كل شيء.

الطريقة القديمة: تهمس بالسر، لكن المسجل يلتقطه.
إزالة الهوية العامة: تصرخ "سر!" بدلاً من الاسم الحقيقي. يفهم الصديق أنك تخفي شيئاً، لكنه لا يستطيع تنفيذ المهمة (مثل دفع الفاتورة) لأنه لا يعرف ماذا يدفع.
BodhiPromptShield: تستخدم كلمة مشفرة. يفهم الصديق المهمة تماماً، لكن المسجل لا يسمع سوى الكود. إذا سرق شخص ما التسجيل لاحقاً، فلن يتعلم شيئاً عن حياتك الحقيقية.

العيوب (القيود)

الورقة البحثية صريحة بشأن ما لا تستطيع فعله بعد:

ليس سحراً: إذا طُلب من الذكاء الاصطناعي تخمين سرك بناءً على السياق (مثلاً: "من هو الشخص الذي يعيش في شارع مابل؟")، فقد يتمكن من معرفته.
يحتاج إلى حارس جيد: يعتمد النظام على أن يكون "الحارس" (برنامج الكشف) ذكياً بما يكفي لرصد الأسرار. إذا كُتب السر بخط غريب أو بلغة مختلفة، فقد يفوته الحارس.
نموذج أولي: يعمل بشكل جيد في الاختبارات، ولكن وضع نظام كهذا في نظام شركة ضخم وحقيقي يتطلب المزيد من العمل.

الملخص

BodhiPromptShield هو طبقة أمنية جديدة لمساعدي الذكاء الاصطناعي. يعمل كـ فلتر خصوصية يقع بينك وبين الذكاء الاصطناعي. يقوم باستبدال أسرارك الحساسة بأكواد آمنة أو أوصاف عامة قبل أن يبدأ الذكاء الاصطناعي في العمل. يضمن ذلك أنه حتى لو كتب الذكاء الاصطناعي ملاحظات، أو بحث في الإنترنت، أو حفظ سجلات، فإن بياناتك الخاصة تظل مخفية، بينما يظل بإمكان الذكاء الاصطناعي القيام بعمله بفعالية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "BodhiPromptShield: وسيط المطالبات قبل الاستدلال لكبح انتشار الخصوصية في وكلاء النماذج اللغوية الكبيرة (LLM) والنماذج اللغوية البصرية (VLM)."

1. تعريف المشكلة

تعالج الورقة فجوة حرجة في حماية الخصوصية للنماذج اللغوية الكبيرة (LLM) والوكلاء الذين يعتمدون على النماذج اللغوية البصرية (VLM). بينما تركز طرق الخصوصية التقليدية على الحماية أثناء التدريب (مثل الخصوصية التفاضلية) أو إزالة الهوية اللاحقة للسجلات المخزنة، فإنها تفشل في معالجة مخاطر الانتشار أثناء الاستدلال في سير عمل الوكلاء متعدد المراحل.

المشكلة الجوهرية: في أنظمة الوكلاء، لا تدخل مطالبة المستخدم الخام التي تحتوي على بيانات حساسة (معلومات تحديد الهوية الشخصية PII، بيانات مالية، طبية) إلى استدعاء نموذج واحد فحسب. بل تنتشر عبر رسم بيئي موجه من المكونات: استعلامات الاسترجاع، عمليات الكتابة في الذاكرة، استدعاءات الأدوات، والسجلات.
نمط الفشل: غالبًا ما تقوم أدوات التغطية (Redaction) الحالية بحجب الأجزاء الحساسة عند حدود المستند (المدخلات). ومع ذلك، إذا تم نسخ جزء محجوب إلى استعلام استرجاع، أو تم تخزينه في الذاكرة، أو استُخدم كمعامل لأداة قبل التنفيذ النهائي المصرح به، فإن حماية الخصوصية يتم تجاوزها فعليًا.
التحدي: يجب على النظام كبح انتشار المحتوى الحساس عبر هذه الحدود الداخلية للوكيل مع الحفاظ على قدر كافٍ من البنية الدلالية لتمكين الوكيل من إجراء الاستنتاج وتنفيذ المهام بشكل صحيح.

2. المنهجية: BodhiPromptShield

يقترح المؤلفون BodhiPromptShield، وهو إطار عمل وسيط مدرك للسياسات، مصمم لاعتراض وتطهير المطالبات قبل دخولها في مسار عمل الوكيل.

أ. بنية النظام

يعمل إطار العمل كطبقة وسيطة (Middleware) بين المستخدم ومسار عمل الوكيل الهابط ( $G = (V, E)$ ). يتكون سير العمل من أربع مراحل:

استخراج كيانات الخصوصية: يكتشف الأجزاء الحاسية ( $S(x)$ ) باستخدام أدوات التعرف القائمة على القواعد، والتعرف على الكيانات المسماة (NER)، والحكم السياقي. بالنسبة للمدخلات متعددة الوسائط، فإنه يدمج تقنية التعرف الضوئي على الحروف (OCR) والاستخراج القائم على النماذج اللغوية البصرية (VLM).
التطهير الحافظ للدلالات: يحول الأجزاء المكتشفة إلى بدائل محمية ( $\hat{s}_i$ ) باستخدام عامل مُفعّل بالسياسة ( $T_\pi$ ).
الاستدلال الهابط: يتم إرسال المطالبة المطهرة ( $\tilde{x}$ ) إلى الوكيل (LLM/VLM، الاسترجاع، الأدوات، الذاكرة).
الاستعادة الآمنة: استعادة اختيارية وقانونية للقيم الدقيقة فقط عند حدود تنفيذ محددة (مثل استدعاء الأداة النهائي) باستخدام جدول رسم خرائط آمن ( $K$ ).

ب. أوضاع التطهير

يختار إطار العمل ديناميكيًا أحد ثلاثة أوضاع للتطهير بناءً على ملف تعريف السياسة ( $\pi$ ) وحالة التوجيه:

استبدال المكان النائب النوعي (Typed Placeholder Replacement): يستبدل الكيانات برموز محددة النوع (مثل <PERSON_1>, <PHONE_1>). وهو الأفضل للمعرفات المستقرة حيث لا تكون القيم الدقيقة ضرورية للاستنتاج.
التجريد الدلالي (Semantic Abstraction): يستبدل التفاصيل المحددة بأوصاف عامة (مثل "عنوان سكني في أوكلاند"). يحافظ هذا الوضع على السياق من أجل الاستنتاج دون الكشف عن الكيان الدقيق.
الرسم الخرائطي الرمزي الآمن (Secure Symbolic Mapping): يستبدل الأجزاء برموز مبهمة مرتبطة بجدول رسم خرائط مشفر وآمن. يتم استعادة القيم الدقيقة فقط عند الحدود المصرح بها (مثل تنفيذ الأداة)، مما يمنع التسرب في مراحل الاسترجاع أو الذاكرة.

ج. التوجيه المدرك للسياسة

يستخدم النظام سياسة توجيه $\Pi_\pi$ توازن بين التعرض للخصوصية والحفاظ على المنفعة.

ملفات تعريف السياسة: يمكن للمستخدمين اختيار متساهل (يعطي الأولوية للمنفعة)، متوازن (مقايضة)، أو صارم (يعطي الأولوية للكبح).
منطق القرار: يقيم المختار فئة الخصوصية، وثقة الكشف، ومتطلبات المهمة الهابطة (هل تحتاج الأداة إلى القيمة الدقيقة؟)، وقيود زمن الاستجابة لاختيار وضع التطهير الأمثل.

د. مقاييس التقييم

تقدم الورقة مقاييس مدركة للانتشار بدلاً من مجرد درجات حدود المستند:

معدل التعرض للخصوصية (PER): نسبة الأجزاء الحساسة المتبقية في المطالبة الصادرة.
التعرض للانتشار المرحلي (SPE): يقيس مقدار المحتوى الحساس الذي ينجو عند حدود محددة (الاسترجاع $\leftarrow$ الذاكرة $\leftarrow$ الأداة).
نسبة الحفاظ على المنفعة (UPR): $\text{UPR}$ : يقيس اتساق الإجابة (AC) ومعدل نجاح المهمة (TSR) مقارنة بالمطالبات الخام.

3. المساهمات الرئيسية

إعادة صياغة خصوصية المطالبة: نقل النموذج من "حجب المستند الواحد" إلى "التحكم في الانتشار" عبر حالات الوكيل، مع تحديد الفجوة بين حدود المستند والحواف الداخلية للوكيل بشكل صريح.
آلية الوساطة المدركة للسياسة: تقديم إطار عمل يعامل توقيت الاستعادة كمتغير أمني، مما يضمن إعادة دخول القيم الدقيقة فقط عند نقاط التنفيذ المصرح بها.
بروتوكول التقييم المتحكم به (CPPB): تعريف مقياس الخصوصية للمطالبات المتحكم بها (CPPB)، وهو مجموعة بيانات تضم 256 مطالبة تغطي مهام متنوعة (سؤال وجواب، تنفيذ الوكيل، متعدد الوسائط) وفئات خصوصية مختلفة، مصممة خصيصًا لقياس التسرب عبر المراحل.
هرمية الأدلة الصريحة: التمييز بين النتائج الجوهرية المدعومة بالسجلات والشرائح الداعمة المتحكم بها، مما يوفر الشفافية فيما يتعلق بنطاق ضمانات الخصوصية (مثل الإقرار بأن النظام ليس خصوصية تفاضلية شاملة من البداية للنهاية).

4. النتائج التجريبية

تم التقييم على CPPB، وأظهر BodhiPromptShield تحسينات كبيرة مقارنة بالنماذج المرجعية الحالية (Regex-only، NER-only، De-identification العام، و Enterprise Staged Redaction).

كبح الانتشار:
- بدون الوساطة: ينتشر المحتوى الحساس بنسبة 100% عبر مراحل الاسترجاء والذاكرة والأدوات.
- مع BodhiPromptShield: ينخفض التعرض المرحلي من 10.7% (عند الاسترجاع) إلى 7.1% (عند استدعاء الأداة).
- المقارنة: قللت عملية الحجب باستخدام Regex فقط التعرض إلى حوالي 60% فقط، مما يثبت أن الكبح في المراحل المتأخرة غير فعال بمجرد انتشار البيانات.
المقايضة بين الخصوصية والمنفعة:
- PER: حققت الطريقة المقترحة 9.3% PER، متفوقة على إزالة الهوية العامة (12.4%) ومقتربة جدًا من نظام Enterprise staged redaction (8.1%).
- المنفعة: من الأهمية بمكان أنها حافظت على منفعة عالية مع AC = 0.94 و TSR = 0.92، متفوقة بشكل كبير على إزالة الهوية العامة (AC 0.73، TSR 0.71) التي تدمر الدلالات المهمة.
المتانة:
- يتضمن النظام تطبيعًا (Normalization) للتعامل مع استبدالات Unicode/homoglyph، مما قلل التعرض من 94.1% (الأساس) إلى 43.9%.
- يعمل بشكل جيد عبر المدخلات النصية فقط ومتعددة الوسائط (OCR)، رغم أن ضجيج OCR يظل تحديًا.
زمن الاستجابة (Latency): يضيف السياسة المتوازنة حوالي 41 مللي ثانية من متوسط زمن الاستجابة، وهو ما يعتبر مقبولاً مقابل مكاسب الخصوصية.

5. الأهمية والآثار المترتبة

النشر العملي: على عكس الحلول التشفيرية النظرية، تم تصميم BodhiPromptShield للتكامل العملي في بنيات وكلاء LLM/VLM الحالية دون الحاجة إلى إعادة تدريب النماذج.
أمن الوكيل: يعالج خطر التسرب متعدد المراحل الفريد، حيث تكون البيانات آمنة عند المدخلات ولكنها تتسرب أثناء عمليات الوكيل المتوسطة (الاسترجاع/الذاكرة).
مرونة السياسة: من خلال فصل استراتيجية التطهير عن النموذج، يمكن للمؤسسات ضبط السياسات (متساهل/صارم) بناءً على نماذج التهديد الخاصة بها ومتطلبات الامتثال (مثل الرعاية الصحية مقابل الدردشة العامة).
القيود والعمل المستقبلي: يقر المؤلفون بأن النظام يعتمد على أمن جدول الرسم الخرائطي وإدارة المفاتيح. إنه لا يوفر ضمانات الخصوصية التفاضلية الشاملة من البداية للنهاية، ويعاني من صعوبة في التعامل مع السياقات الغامضة للغاية أو هجمات حقن المطالبات العدائية المصممة لتجاوز الكشف. يركز العمل المستقبلي على نقل الاختبارات الخارجية الأوسع والمتانة العدائية الأقوى.

باختصار، يوفر BodhiPromptShield دفاعًا "لطبقة الواجهة" أمرًا حيويًا يمنع بيانات المستخدم الحساسة من التتابع عبر الحالات الداخلية المعقدة لوكلاء الذكاء الاصطناعي، مما يضمن الحفاظ على الخصوصية ليس فقط عند نقطة الدخول، بل طوال دورة حياة الاستنتاج والتنفيذ.