💻 computer science

CIPL: A Target-Independent Framework for Channel-Inversion Privacy Leakage in Agents

تقدم هذه الورقة إطار عمل CIPL، وهو إطار مستقل عن الهدف ينمذج تسرب الخصوصية في وكلاء النماذج اللغوية الكبيرة (LLM agents) كمسألة انعكاس قناة لتقييم كيفية إعادة بناء المعلومات الحساسة التي يتم توجيهها عبر الأنابيب الداخلية من قبل المهاجمين عبر إشارات المخرجات القابلة للملاحظة بشكل منهجي، متجاوزاً بذلك التحليل التقليدي الذي يركز على الذاكرة.

المؤلفون الأصليون: Tao Huang, Chen Hou, Jiayang Meng

نُشر 2026-03-25

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Tao Huang, Chen Hou, Jiayang Meng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً ومفيداً (عميل ذكاء اصطناعي - AI Agent) يمكنه تذكر أسرارك، والبحث في المستندات، واستخدام أدوات مثل الآلات الحاسبة أو برامج إرسال البريد الإلكتروني لمساعدتك.

لفترة طويلة، قلق خبراء الأمن من أنه إذا أخبرت الروبوت سراً، فقد يكتب هذا السر بالخطأ في إجابته النهائية لك. ظنوا أن الخطر الوحيد هو أن "ينسى" الروبوت إغلاق فمه في النهاية.

لكن هذه الورقة البحثية، التي تحمل عنوان CIPL، تجادل بأن الخطر أكبر بكثير وأكثر دهاءً. فهي تقول إن الروبوت لا يسرب أسرارك في إجابته النهائية فحسب، بل يمكنه تسريبها من خلال أي جزء من العملية يستخدمها لإنجاز المهمة.

إليك شرح الورقة البحثية بكلمات بسيطة، باستخدام بعض التشبيهات الإبداعية.

1. الفكرة الجوهرية: خدعة "انعكاس القناة" (Channel Inversion)

تخيل العميل الذكي كأنه طاهٍ رفيع المستوى في مطبخ مزدحم.

المكون السري: أنت تعطي الطاهي توابل خاصة وسرية (بيانات حساسة) لاستخدامها في طبق ما.
الخوف القديم: كنا نخشى أن يسكب الطاهي وعاء التوابل بالخطأ على الطاولة ويقدمه لك في النهاية.
الخوف الجديد (CCP): قد لا يسكب الطاهي الوعاء، لكنه قد يعطس أثناء تقطيع التوابل، أو قد تفوح الرائحة من نافذة المطبخ، أو قد يكتب اسم التوابل على الإيصال الذي يعطيك إياه.

تسمي الورقة هذا "انعكاس القناة" (Channel Inversion).

الانعكاس (Inversion) يعني تحويل شيء مخفي في الداخل (عملية الطاهي الداخلية) إلى شيء مرئي في الخارج (العطسة، أو الرائحة، أو الإيصال).
القناة (Channel) هي ببساطة المسار الذي يتخذه السر للخروج. يمكن أن تكون النص النهائي، أو استدعاء أداة، أو نتيجة بحث، أو خطأ في الكود.

بنى المؤلفون إطار عمل يسمى CIPL لاختبار كل هذه "النوافذ والأبواب" المختلفة التي قد يستخدمها الروبوت لتسريب بياناتك، وليس فقط الباب الأمامي (الإجابة النهائية).

2. "أنابيب التسريب" الثلاثة الرئيسية

اختبر الباحثون نظريتهم على ثلاثة أنواع مختلفة من "أنابيب" الذكاء الاصطناعي حيث يمكن أن تتسرب الأسرار:

أ. أنبوب الذاكرة (مذكرات الروبوت)

ما هو: الروبوت يتذكر المحادثات الماضية.
التسريب: تسأل سؤالاً، فيبحث الروبوت في مدخلات مذكراتك القديمة، ثم يقرأ مدخل المذكرات بصوت عالٍ كجزء من إجابته عن طريق الخطأ.
النتي نتيجة: هذا هو التسريب "الكلاسيكي". تؤكد الورقة أنه لا يزال مشكلة كبيرة. إذا كان لدى الروبوت سرك في ذاكرته، فمن السهل جداً خداعه ليقرأه لك مرة أخرى.

ب. أنبوب الاسترجاع (البحث في المكتبة)

ما هو: يبحث الروبوت في قاعدة بيانات من المستندات للإجابة عليك.
التسريب: يجد الروبوت مستنداً سرياً، يقرأه ليفهم الإجابة، ثم يعطيك فقط ملخصاً للإجابة. ومع ذلك، يدرج في هذا الملخص بالخطأ عبارة فريدة أو حقيقة لا توجد إلا في ذلك المستند السري.
النتيجة: لم يقم الروبوت بسرد المستند بالكامل، لكنه أعطاك ما يكفي من الأدلة (تسريب جزئي) بحيث يمكنك معرفة السر. الأمر يشبه قول الطاهي لك: "لقد استخدمت التوابل الزرقاء"، بينما أنت تعلم أن هناك نوعاً واحداً فقط من التوابل الزرقاء في العالم.

ج. أنبوب الأدوات (يد الروبوت)

ما هو: يستخدم الروبوت أدوات (مثل الآلة الحاسبة، أو تطبيق الطقس، أو استعلام قاعدة البيانات) لمساعدتك.
التسريب: لا يخبرك الروبوت بالسر مباشرة. بدلاً من ذلك، يرسل أمراً إلى أداة تحتوي على السر.
- مثال: يقول الروبوت: "أحتاج إلى حساب الإجمالي لـ [رقم بطاقتك الائتمانيةية السرية]".
- تعيد الأداة النتيجة، ويظهر لك الروبوت النتيجة، والتي تتضمن الرقم.
النتيجة: هذه منطقة جديدة وخطيرة. يتسرب السر من خلال "الوسائط" (arguments) التي يرسلها الروبوت إلى الأداة أو من خلال "صدى" استجابة الأداة.

3. "المترجم العالمي" (إطار عمل CIPL)

قبل هذه الورقة، كان على باحثي الأمن ابتكار اختبار فريد وجديد لكل نوع من أنواع الروبوتات. كان الأمر يشبه امتلاك مفتاح مختلف لكل باب في مبنى.

CIPL هو حقيبة أدوات فتح الأقفال الرئيسية.

يقوم بتفكيك كل روبوت إلى وصفة قياسية: المصدر (أين يوجد السر) ← الاختيار (ما يختاره الروبوت) ← التجميع (كيف يضعه معاً) ← التنفيذ (ما يفعله) ← الملاحظة (ما تراه أنت).
يستخدم "لغة" من الهجمات التي يمكن تطبيقها على أي روبوت، سواء كان روبوت ذاكرة، أو روبوت بحث، أو روبوت أدوات.
يسمح هذا للباحثين بالمقارنة بين أشياء متشابهة ورؤية مكان حدوث التسريب بالضبط.

4. ماذا وجدوا (النتائج الرئيسية)

الذاكرة لا تزال أكبر خطر: إذا كان لدى الروبوت سرك في ذاكرته، فمن السهل جداً خداعه ليفشي السر.
لكنها ليست الخطر الوحيد: حتى لو لم يكن لدى الروبوت ذاكرة، فلا يزال بإمكانه تسريب الأسرار من خلال نتائج بحثه أو استخدام أدواته.
"النموذج" مهم: بعض عقول الذكاء الاصطناعي (مثل تلك التي تصنعها شركات مختلفة) أفضل في الحفاظ على الأسرار من غيرها. بعض النماذج "مسربة" للغاية بحيث تفشي كل شيء؛ والبعض الآخر أكثر حذراً.
كثرة البيانات لا تعني دائماً المزيد من التسريبات: من المثير للدهشة أنه عندما أجبروا الروبوت على النظر في المزيد من المستندات السرية، أصيب الروبوت أحياناً بالارتباك وتوقف عن تسريب أي شيء (لأنه تعطل أو علق). هذا يعني أن "السياق الأكبر" ليس دائماً "تسريباً أكبر".

5. لماذا يجب أن تهتم؟

إذا كنت تبني أو تستخدم عملاء الذكاء الاصطناعي، فلا يمكنك مجرد التحقق مما إذا كانت الإجابة النهائية آمنة. يجب عليك التحقق من رحلة البيانات بأكملها.

لا تنظر فقط إلى الرسالة النهائية: تحقق مما إذا كان الروبوت قد همس بالسر في استدعاء أداة.
لا تتحقق فقط من الذاكرة: تحقق مما إذا كان الروبوت يقرأ من قاعدة بيانات خاصة.
الحل: نحن بحاجة إلى بناء دفاعات "واعية بالقنوات" (channel-aware). وهذا يعني تصفية ليس فقط النص النهائي، ولكن أيضاً وسائط الأدوات، ونتائج البحث، والسجلات الداخلية قبل أن تصل أبداً إلى المستخدم.

باخت-صار: تخبرنا الورقة أنه في عالم عملاء الذكاء الاصطناعي، الخصوصية لا تتعلق فقط بمكان إخفاء السر؛ بل تتعلق بكل مسار محتمل يمكن أن يسلكه السر للخروج. نحن بحاجة إلى حراسة جميع الأبواب، والنوافذ، والمداخن، وليس فقط الباب الأمامي.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "CIPL: إطار عمل مستقل عن الهدف لتسريب الخصوصية عبر عكس القنوات في الوكلاء (Agents)."

١. بيان المشكلة

تتعامل وكلاء النماذج اللغوية الكبيرة (LLM agents) بشكل متزايد مع بيانات مستخدم حساسة (مثل التفاعلات التاريخية، المستندات المسترجعة، ومخرجات الأدوات). وبينما ركزت الأبحاث الحالية بكثوة على تسريب الذاكرة (حيث يكشف الوكيل السجلات الخاصة المخزنة)، فإن هذه الرؤية ضيقة للغاية.

الفجوة: لا تقتصر مخاطر الخصوصية على تخزين الذاكرة فحسب؛ بل يمكن كشف المعلومات الحساسة من خلال أي أثر مرئي (observable artifact) يعتمد على الحالة الداخلية للوكيل، مثل المخرجات المهيكلة، وسيطات استدعاء الأدوات (tool-call arguments)، أو أصداء عودة الأدوات (tool-return echoes)، أو آثار التنفيذ الوسيطة.
السؤال الجوهري: غالبًا ما ترتبط صياغات الهجوم الحالية بأنظمة محددة. تسأل الورقة: متى يتم اختيار محتوى حساس داخليًا واستخدامه بواسطة مسار عمل الوكيل (agent pipeline)، تحت أي ظروف يمكن للمهاجم عكس ذلك الاعتماد الخفي إلى إشارة يمكن استردادها خارجيًا؟
المفهوم: يعرّف المؤلفون هذا بأنه مشكلة عكس القناة (Channel Inversion). الهدف ليس مجرد استخراج البيانات، بل تحويل الاعتمادات الداخلية إلى إشارات مرئية من خلال "قنوات" متنوعة (أسطح المخرجات).

٢. المنهجية: إطار عمل CIPL

يقترح المؤلفون إطار عمل CIPL (عكس القناة لتسريب الخصوصية)، وهو إطار عمل مستقل عن الهدف مصمم لتحليل تسريب الخصوصية عبر أنظمة وكيلة متباينة باستخدام لغة موحدة.

أ. البصمة المستهدفة (Target Signature)

يعمل CIPL على نمذجة أي نظام وكيل كمسار مكون من خمس مراحل ببصمة محددة $\tau = (S, Sel, Asm, Exec, Obs, Ext})$ :

المصدر الحساس ( $S$ ): أصل البيانات الخاصة (مثل مخزن الذاكرة، أو مستودع بيانات خارجي).
**الاختيار ($Sel $):** الآلية التي تختار محتوى حساسًا محددًا ($ z$) بناءً على المدخلات.
**التجميع ($Asm $):** دمج$ z $في سياق النموذج أو تمثيل الإجراء ($ x$).
**التنفيذ ($Exec $):** يعالج الوكيل$ x $لإنتاج نتيجة داخلية ($ y$).
**الملاحظة ($Obs $):** الأثر المرئي للمهاجم ($ o$) المعرض للخارج (مثل النص النهائي، وسيطات الأدوات، أو عودة الأدوات).
**الاستخراج ($Ext $):** عملية الربط من الملاحظة وصولاً إلى الوحدات القابلة للاسترداد ($ V$).

ب. لغة هجوم مستقلة عن الهدف

بدلاً من صياغة مطالبات (prompts) خاصة بكل نظام، يستخدم CIPL لغة هجوم قابلة لإعادة الاستخدام محددة بثلاثة مكونات:

المحدد (Locator - $\ell$ ): يحدد ويوجه الوكيل نحو كائنات داخلية محددة (مثل "استرجع السجل الخاص بـ X") بدلاً من السياق العام.
الموائم (Aligner - $\alpha$ ): يحدد تنسيق المخرجات الصالح للنظام المستهدف (مثل طلب البيانات كوسط (argument) بتنسيق JSON مقابل ملخص نصي حر).
سياسة التنويع (Diversification Policy - $\pi$ ): استراتيجيات لتغيير مدخلات الهجوم لتقليل التداخل في الوحدات المختارة، مما يعظم إجمالي التسريب الفريد عبر ميزانية محددة من الاستعلامات.

ج. مقاييس التقييم

لمقارنة الأنظمة المتباينة، يستخدم CIPL مقاييس معيرة:

معدل التعرض الداخلي (RN): إجمالي الوحدات الحساسة التي اختارها النظام.
التسريب الخارجي (EN): إجمالي الوحدات الحساسة القابلة للاسترداد من قناة الملاحظة.
معدل أي استخراج (AER): احتمال استخراج وحدة واحدة على الأقل في تجربة ما.
معدل الاستخراج الكامل (CER): احتمال استخراج جميع الوحدات المختارة في تجربة ما.
كفاءة الاستخراج (EE): التسريب مقسومًا على ميزانية الهجوم.

٣. المساهمات الرئيسية

صياغة عامة: إعادة صياغة تسريب الخصوصية كـ مشكلة عكس قناة، مع إثبات أن استخراج الذاكرة هو مجرد حالة خاصة من ظاهرة أوسع حيث يتم عكس الاعتمادات الداخلية إلى إشارات مرئية.
إطار عمل موحد (CIPL): تقديم إطار عمل مستقل عن الهدف يعمل على توحيد واجهة الهجوم والتقييم عبر أنظمة تعتمد على الذاكرة، والبحث المعزز بالاسترجاع (RAG)، واستدعاء الأدوات، دون تجاهل الاختلافات الهيكلية بينها.
لغة هجوم قابلة لإعادة الاستخدام: تطوير مبدأ بناء هجوم معياري (المحدد، الموائم، التنويع) قابل للتطبيق على مسارات وكلاء متنوعة.
الأدلة التجريبية: تقديم أول مقارنة عبر الأهداف تظهر أن خطر الخصوصية يعتمد بشدة على كيفية توجيه المحتوى الحساس إلى قنوات الملاحظة، وليس فقط على أين يتم تخزينه.

٤. النتائج التجريبية

تم تطبيق الإطار على أربعة أهداف تنتمي لثلاث فئات:

القائمة على الذاكرة: memory_ehr (توليد الكود مع سجلات مسترجعة) و memory_rap (وكيل ويب مع سجلات مسترجعة).
المعززة بالاسترجاع (RAG): rag_toy (مسار RAG مع مقتطفات وثائق).
استدعاء الأدوات: tool_mock (التسريب عبر وسيطات استدعاء الأدوات أو أصداء عودة الأدوات).

النتائج الرئيسية:

الذاكرة معرضة بشدة: أظهرت الأهداف القائمة على الذاكرة تسريبًا يقترب من الحد الأقصى (CER/AER $\approx$ 1.0) عبر معظم المزودين، مما يؤكد أنه بمجرد استرجاع الذاكرة، يسهل عكسها.
القنوات غير المتعلقة بالذاكرة ذات أهمية كبيرة:
- المعززة بالاسترجاع (RAG): أظهرت نمط "CER منخفض / AER مرتفع". غالبًا ما تسرب النماذج بعض الأدلة (AER $\approx$ 0.8–0.95) ولكن نادرًا ما تسرب المجموعة الكاملة حرفيًا (CER $\approx$ 0–0.2). يشير هذا إلى تسريب جزئي ولكنه مفيد.
- الوسيطة بالأدوات: تباين التسريب بشكل كبير حسب المزود ونوع القناة. كانت "أصداء عودة الأدوات" (echoed tool returns) أسهل غالبًا في العكس من "وسيطات استدعاء الأدوات"، رغم أن ذلك اعتمد على النموذج الأساسي (على سبيل المثال، أظهر DeepSeek تشبعًا، بينما تباينت النماذج الأخرى).
النموذج الأساسي (Backbone) مهم: تحت بروتوكولات هجوم متطابقة، أظهر مزودو نماذج لغوية مختلفة معدلات تسريب متفاوتة تمامًا (من التسريب الجزئي إلى التشبع شبه الكامل)، مما يثبت أن النموذج نفسه متغير أمني حاسم.
التعرض مقابل الاستقرار: لم تؤدِ زيادة عمق الاسترجاع (زيادة التعرض الداخلي) دائمًا إلى زيادة التسريب؛ فبالنسبة لبعض النماذج، تسبب ذلك في عدم استقرار المسار (أخطاء تنفيذ)، مما نقل الخطر من مجرد استخراج البيانات إلى فشل التوافر (availability failures).

٥. الأهمية والآثار المترتبة

تحول في نمذجة التهديدات: يجب أن ينتقل تقييم الخصوصية من "هل الذاكرة آمنة؟" إلى "من خلال أي قنوات مرئية يمكن إخراج الاعتماد الخاص الداخلي إلى الخارج؟"
سطح هجوم أوسع: المخرات الوسيطة (وسيطات الأدوات، المخرات المهيكلة، الآثار) هي أسطح خصوصية أساسية، وليست مجرد الإجابات النصية النهائية.
توحيد التقييم: يوفر CIPL بنية تحتية ضرورية لمقارنة المخاطر عبر معماريات الوكلاء المختلفة (RAG، استخدام الأدوات، الذاكرة) باستخدام مفردات مشتركة.
استراتيجية الدفاع: لا يمكن للدفاعات أن تعتمد فقط على تصفية الإجابة النهائية. يجب أن تعالج الحماية المسار بأكمله، بما في ذلك سياسات الاسترجاع، وتطهير استدعاء الأدوات، وتحصين المخرات للبيانات المهيكلة.

الخلاصة: تجادل الورقة بأن الخصوصية في الأنظمة الوكيلية هي وظيفة من تصميم القناة. قد يكون النظام آمنًا في تخزينه، ولكنه معرض للخطر إذا قام مسار تنفيذه بتوجيه البيانات الحساسة إلى قنوات مرئية للمهاجم يمكن عكسها. يقدم CIPL أول طريقة منهجية لتدقيق هذه القنوات عبر أنواع الوكلاء المتنوعة.