🤖 AI

PRISM: Generation-Time Detection and Mitigation of Secret Leakage in Multi-Agent LLM Pipelines

إنَّ PRISM هو آلية دفاع في الوقت الفعلي لأنظمة النماذج اللغوية الكبيرة متعددة الوكلاء، تعمل على الحد من تسريب الأسرار عبر اكتشاف ديناميكيات التوليد المبكرة، مثل انهيار الإنتروبيا وتركيز اللوغيت، للتدخل لكل رمز (token) قبل إعادة بناء المعلومات الحساسة بالكامل، محققاً دقة مثالية وصفر تسريب في اختبار مرجعي هجومي شامل.

المؤلفون الأصليون: Riya Tapwal, Abhishek Kumar, Carsten Maple

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Riya Tapwal, Abhishek Kumar, Carsten Maple

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل فريقاً من أربعة روبوتات يعملون معاً لحل مشكلة معقدة، مثل تصحيح أخطاء نظام حاسوبي. يقومون بتمرير الملاحظات ذهاباً وإياباً في دفتر ملاحظات مشترك ("السياق").

إليك المشكلة: إذا التقط الروبوت الأول بالخطاً كلمة مرور سرية من ملف وكتبها في الدفتر، فقد يراها الروبوت الثاني، وينسخها في ملاحظته الخاصة، ثم يمررها إلى الثالث. حتى لو لم يكن أحد منهم "ينوي" سرقة كلمة المرور، فإن السر ينتقل عبر الخط، ويتضخم، وينتهي به المطاف في الرسالة النهائية المرسلة إلى المستخدم البشري. تطلق الورقة على هذه الظاهرة اسم "تضخم الانتشار" (Propagation Amplification). إنها تشبه لعبة "الهاتف المكسور"، ولكن بدلاً من أن تصبح الرسالة مشوشة، تصبح مكشوفة بشكل خطير.

الطرق القديمة لمنع التسريبات

يقول المؤلفون إن حراس الأمن الحاليين لفرق الروبوتات هذه يشبهون الحراس الذين لا يتحققون من الأشخاص إلا بعد خروجهم بالفعل من النادي.

الماسحات الثابتة (Static Scanners): هي مثل البحث عن قميص أحمر محدد. إذا كُتب السر بخط مختلف أو بطريقة غريبة، فإن الماسح سيفشل في رصده.
القضاة من نماذج اللغة الكبيرة (LLM Judges): هم مثل توظيف روبوت ثانٍ لقراءة الملحوظة النهائية والقول: "همم، هذا يبدو خطيراً". ولكن بحلول الوقت الذي يقرؤون فيه، يكون السر قد خرج بالفعل، وقد وقع الضرر.
تعليمات الأوامر (Prompt Instructions): هذا يشبه قولك للروبوتات: "لا تتحدثوا عن الأسرار!". ولكن إذا تعرضت الروبوتات للارتباك أو الخداع، فإنهن ينسين القاعدة.

الحل الجديد: PRISM

تقدم ورقة البحث PRISM (التدخل التنبئي للمخاطر لمراقبة الأسرار). بدلاً من انتظار انتهاء الملحوظة، يعمل PRISM مثل شرطي المرور الذي يقف بجانب فم الروبوت تماماً أثناء حديثه.

لا يكتفي PRISM بالنظر إلى ما يقوله الروبوت فحسب؛ بل يراقب كيف يفكر الروبوت أثناء حديثه.

لحظة الـ "آها!" (Aha!): انهيار الإنتروبيا

أكبر اكتشاف لـ PRISM هو نمط محدد في كيفية تفكير الروبوتات عندما توشك على الكشف عن سر ما.

التفكير الطبيعي: عندما يكتب الروبوت قصة أو يحل مسألة رياضية، يكون لديه العديد من الخيارات للكلمة التالية. الأمر يشبه شخصاً يتجول في غابة بها مسارات عديدة للاختيار من بينها. يُسمى هذا "إنتروبيا عالية" (عدم يقين كبير).
تفكير الأسرار: عندما يبدأ الروبوت في إعادة إنتاج سر محفوظ (مثل كلمة مرور)، فإنه يتوقف عن التجول. هو يعرف بالضبط ما يجب أن يكون الحرف التالي. "الغابة" تتقلص لتصبح مساراً واحداً مستقيماً. يصبح الروبوت شديد اليقين، وتنهار حالة "عدم اليقين" لديه.

يكتشف PRISM هذا التحول المفاجئ من "التجول" إلى "اليقين". إنه يرى عقل الروبوت وهو يركز على نمط محدد قبل كتابة السر كاملاً.

كيف يعمل PRISM (نظام إشارات المرور)

يقوم PRISM بتخصيص درجة خطورة لكل كلمة على وشك أن يقولها الروبوت، باستخدام مزيج من 16 دليلاً مختلفاً (مثل مدى تأكد الروبوت، وشكل الكلمات، والأدوات التي يستخدمها). وهو يستخدم نظاماً ثلاثي الألوان:

🟢 الأخضر (آمن): الروبوت يدردش فقط أو يحل مشكلة عادية. اتركه يتحدث.
🟡 الأصفر (مريب): الروبوت أصبح متأكداً جداً من نمط يشبه كلمة مرور. يقوم PRISM بلطف باستبدال تلك الكلمة بكلمة مستعارة (مثل [MASK]) لكي يستمر التدفق ولكن يظل السر مخفياً.
🔴 الأحمر (خطر): الروبوت في مسار سريع للكشف عن سر كامل. يضغط PRISM على المكابح فوراً، ويوقف الروبوت قبل اكتمال كتابة السر.

النتائج

اختبر المؤلفون ذلك في محاكاة ضخمة شملت 2,000 مهمة مختلفة و13 طريقة مختلفة لخداع الروبوتات.

الحراس القدامى: حتى أفضل الأساليب الموجودة سمحت بتسريب الأسرار في حوالي 15% من الحالات.
PRISM: أوقف 100% من حالات التسريب. لم يكتفِ بالإمساك بالسر في النهاية؛ بل أمسك بالروبوت بينما كان يحاول كتابة السر.
السرعة: كان سريعاً للغاية، حيث لم يضف أي تأخير يذكر إلى المحادثة، على عكس الأساليب الأخرى التي تتطلب روبوتاً ثانياً لقراءة النص كاملاً أولاً.

الخلاصة

تجادل الورقة بأنه في فريق من وكلاء الذكاء الاصطناعي، لا تتسرب الأسرار بسبب أمر برمجي سيء فحسب؛ بل تتسرب بسبب بنية الفريق نفسها. بمجرد دخول السر إلى الدفتر المشترك، فإنه ينتشر مثل الفيروس. PRISM هو أول أداة تعمل مثل الجهاز المناعي، حيث ترصد الأعراض المبكرة للعدوى (اليقين المفاجئ للروبوت) وتوقفها قبل أن ينتشر الفيروس إلى المخرج النهائي.

ملخص تقني: PRISM – الكشف عن تسرب الأسرار والحد منه أثناء وقت التوليد في خطوط أنابيب النماذج اللغوية الكبيرة متعددة الوكلاء

1. بيان المشكلة: تضخيم الانتشار (Propagation Amplification)

تحدد الورقة البحثية ثغرة هيكلية حرجة في أنظمة النماذج اللغوية الكبيرة (LLM) متعددة الوكلاء: تضخيم الانتشار. بخلاف عمليات النشر أحادية النموذج، تعتمد خطوط الأنابيب متعددة الوكلاء (مثل AutoGen وChatDev وMetaGPT) على سياق مشترك قابل للإلحاق فقط، حيث يمرر الوكلاء المعلومات بالتتابع.

يصيغ المؤلفون أن الوكيل الصاعد $A_i$ عندما يسترجع سراً حساساً $s$ ، فإنه يدخل في السياق المشترك $C$ . يقوم الوكلاء اللاحقون $A_{i+1} \dots A_K$ باستهلاك هذا السياق. وحتى لو لم يكن الوكيل اللاحق بحاجة صريحة إلى السر لأداء مهمته، فإن احتمال إعادة إنتاج السر تزداد مع زيادة عمق خط الأنابيب. وتصيغ الورقة احتمالية التسرب كالتالي:
$P_{leak}(s) = 1 - \prod_{j=i+1}^{K} (1 - p_j(s | C_j))$
حيث تمثل $p_j$ احتمالية إعادة الإنتاج. وتحت افتراض أن احتمالية إعادة الإنتاج لكل وكيل غير صفرية، فإن المخاطر التراكمية تتضاعف مع تعمق خط الأنابيب. وتؤكد البيانات التجريبية من خط أنابيب مكون من أربعة وكلاء غير محمي من عدم وجود دفاع، وصولاً إلى معدل تسرب بنسبة 71.2% على مستوى المهمة، مما يؤكد أن التسرب هو نتيجة هيكلية لتكوين السياق المشترك، وليس مجرد نتيجة لطلب استدراج (adversarial prompting).

الدفاعات الحالية غير مناسبة لهذا الإعداد:

الماسحات الثابتة (مثل detect-secrets أو TruffleHog) تعتمد على أنماط سطحية وتعمل بعد حدوث الواقعة (post-hoc)، مما يجعلها تفشل في رصد عمليات إعادة البناء الجزئية أو إعادة الاستخدام السياقي.
النماذج التي تعمل كحكم/حواجز حماية (LLM-as-judge/Guardrails) تعمل بعد اكتمال عملية التوليد، مما يسمح للأسرار بالانتشار عبر الوكلاء الوسيطين قبل تصفيتها.
الضمانات القائمة على الأوامر (Prompt-based safeguards) تتدهور كفاءتها تحت تأثير الاستنتاج متعدد الخطوات (multi-hop reasoning) والتأطير الاستدراجي.

2. المنهجية: PRISM (التدخل التنبئي للمخاطر لمراقبة الأسرار)

PRISM هو آلية دفاع في الوقت الفعلي مصممة للتدخل أثناء عملية توليد الرموز (tokens)، قبل إعادة بناء السر وانتشاره بالكامل.

الرؤية الجوهرية

يلاحظ المؤلفون أن إعادة إنتاج بيانات اعتماد مخزنة مسبقاً يسبقها تحول ملموس في ديناميكيات التوليد. فبينما ينتقل النموذج من التوليد مفتوح النهايات إلى إعادة الإنتاج الحتمي لبيانات مهيكلة (مثل مفتاح API)، يحدث انهيار في الإنتروبيا (entropy collapse) على مستوى الرمز وتركيز في الاحتمالات (logit concentration). يعمل هذا "التحول الطوري" كإشارة إنذار مبكر.

البنية الهندسية

يعمل PRISM كمراقب لكل رمز (per-token monitor) مدمج في حلقة فك التشفير (decoding loop) لكل وكيل في خط الأنابيب.

استخراج الميزات: عند كل خطوة فك تشفير $t$ $t$ ، يقوم PRISM بتجميع متجه ميزات ذي 16 بُعداً $f_t$ $f_{t}$ يتكون من:
- ديناميكيات التوليد الزمنية: انهيار الإنتروبيا، تركيز الاحتمالات (التباعد)، وتصاعد المسار (زيادة المخاطر عبر الخطوات).
- الإشارات الهيكلية للنص: أنماط المعرفات (مثل UUIDs، رسائل البريد الإلكتروني)، المتواليات الرقمية، ومطابقات Regex لنمط بيانات الاعتماد.
- الإشارات السياقية/السلوكية: استخدام الأدوات (مثل read_file)، كثافة الكلمات المفتاحية، وتداخل الـ n-gram.
تقييم المخاطر: يستخدم نموذج انحدار لوجستي لحساب درجة المخاطر $r_t = \sigma(w^\top f_t + b)$ .
سياسة التدخل: ترتبط الدرجة بثلاث مناطق:
- المنطقة الخضراء ( $r_t < \tau_1$ ): تمرير الرمز دون تغيير.
- المنطقة الصفراء ( $\tau_1 \le r_t < \tau_2$ ): تنقية الرمز (استبداله بـ [MASK]) لكسر التسلسل مع الحفاظ على هيكل المخرجات.
- المنطقة الحمراء ( $r_t \ge \tau_2$ ): إيقاف التوليد فوراً لمنع إعادة بناء السر بالكامل.
تدقيق ما بعد التوليد (ZK-RC): طبقة احتياطية خفيفة تستخدم مطابقة الـ 8-gram المجمعة (SHA-256) لالتقاط أي بقايا إذا أفلتت الرموز الفردية تحت العتبة ولكنها شكلت سراً بشكل جماعي.

3. المساهمات الرئيسية

صياغة تضخيم الانتشار: توفر الورقة نموذجاً احتمالياً يوضح كيف تتراكم مخاطر التسرب عبر حدود الوكلاء في خطوط الأنابيب ذات السياق المشترك، مما يميز ذلك عن تسرب النموذج المنفرد.
إطار عمل PRISM: تقديم دفاع في وقت التوليد يعامل التسرب كمشكلة تراكم مخاطر متسلسلة، باستخدام التدخل على مستوى الرمز بدلاً من التصفية اللاحقة.
تكامل الإشارات: تحديد أن الديناميكيات الزمنية (الإنتروبيا/الاحتمالات) أو الإشارات الهيكلية (الأنماط) بمفردها ليست كافية. بل إن الجمع بين انهيار الإنتروبيا ورصد نمط المعرفات هو المطلوب لتحقيق قوة تمييز عالية.
بناء معيار الاختبار: إنشاء معيار اختبار استدراكي مكون من 2,000 مهمة يغطي 13 فئة هجوم (مثل حقن الأوامر، الهندسة الاجتماعية، والانتشار بين الوكلاء) وثلاثة مستويات ضغط (منخفض، متوسط، مرتفع) عبر خط أنابيب غير متجانس مكون من أربعة وكلاء.

4. النتائج التجريبية

تم تقييم PRISM مقابل 10 طرق دفاع أساسية (بما في ذلك Span Tagger وGBT Classifier وLLM Judge والماسحات الثابتة) على معيار الـ 2,000 مهمة:

منع التسرب: حقق PRISM معدل تسرب بنسبة 0.0% على مستوى المهمة، مما يعني أنه لم تؤدِ أي مهمة إلى إعادة بناء كاملة للسر في المخرج النهائي. هذه هي الطريقة الوحيدة التي قضت على التسرب الملحوظ في الاختبار.
مقاييس الأداء:
- درجة F1: بلغت 0.832 (متفوقة على أقوى أساس وهو Span Tagger الذي سجل 0.719).
- الدقة (Precision): 1.000 (لا توجد نتائج إيجابية كاذبة).
- الاستدعاء (Recall): 0.712.
- المنفعة (Utility): 0.893 (89.3% من المهام السليمة مرت دون تعديل).
المقارنة:
- Span Tagger: معدل تسرب 15.0% على مستوى المهمة.
- GBT Classifier: معدل تسرب 19.2% على مستوى المهمة.
- الماسحات الثابتة/أحكام LLM: معدلات تسرب >60% على مستوى المهمة.
المتانة: حافظ PRISM على معدلات كشف $\ge 95.9\%$ عبر ثمانية تحويلات تشويه سطحية (مثل ترميز Hex، وتقسيم الحروف)، بينما تدهورت الدفاعات القائمة على الأنماط إلى ما يقرب من الصفر.
زمن الاستجابة (Latency): يضيف PRISM عبئاً طفيفاً (~5.5 مللي ثانية لكل مهمة)، مما يجعله أسرع بكثير من أحكام LLM (التي تستغرد >1,800 ثانية) ومقارباً لمطابقات الأنماط خفيفة الوزن.

5. الأهمية والادعاءات

تجادل الورقة بأن تأمين الأنظمة متعددة الوكلاء يتطلب تحولاً في النموذج من التصفية الساكنة أو اللاحقة إلى المراقبة المستمرة لعملية التوليد نفسها.

الثغرة الهيكلية: يؤكد المؤلفون أن التسرب في الأنظمة متعددة الوكلاء ليس مجرد فشل في مستوى الأمر (prompt)، بل هو نتيجة هيكلية لانتشار المعلومات. بمجرد دخول السر في السياق المشترك، فمن المرجح أن يظهر مجدداً في المراحل اللاحقة.
التدخل المبكر: من خلال رصد مرحلة "انهيار الإنتروبيا"، يتدخل PRISM قبل مادية السر بالكامل، مما يمنع انتشار البيانات الحساسة إلى الوكلاء اللاحقين.
الواقعية: يحقق النظام دقة كشف عالية مع زمن استجابة منخفض، مما يجعله قابلاً للتطبيق في تدفقات العمل التفاعلية متعددة الوكلاء.
التواضع في الادعاءات: يشير المؤلفون صراحةً إلى أن معيار الاختبار الخاص بهم اصطناعي ومنضبط. كما يقرون بالقيود، بما في ذلك الاعتماد على الوصول "الصندوق الأبيض" (white-box access) للحصول على أفضل أداء (رغم وجود نسخة "الصندوق الأسود" بمعدل تسرب متبقي قدره 1.4%)، وحقيقة أن النظام ينمذج ديناميكيات التسرب السلبي وليس الإخفاء الاستراتيجي الموجه نحو هدف من قبل خصوم متكيفين. هم يضعون PRISM كآلية مستهدفة لإعادة إنتاج بيانات الاعتماد عبر الانتشار المتسلسل، وليس كحل عالمي لجميع أنواع تسرب المعلومات.