AgentSCOPE: Evaluating Contextual Privacy Across Agentic Workflows
تقدم هذه الورقة AgentSCOPE، وهو معيار إرشادي وإطار عمل لـ "مخطط تدفق الخصوصية" (Privacy Flow Graph) يكشف كيف تنتهك الأنظمة الوكيلية (agentic systems) الخصوصية السياقية بشكل متكرر في مراحل الأنابيب الوسيطة — لا سيما أثناء استجابات الأدوات — مما يثبت أن التقييمات الحالية التي تركز على المخرجات تقلل بشكل كبير من تقدير المخاطر الحقيقية للخصوصية في سير العمل متعدد الخطوات للذكاء الاصطناعي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت مساعداً شخصياً فائق الذكاء وعالي الكفاءة يُدعى "الوكيل" (Agent). قلت للوكيل: "يرجى مساعدتي في تنظيم جدولي وإرسال بريد إلكتروني إلى مديري بخصوص إجازتي المرضية".
في الماضي، كنا نهتم فقط بـ الرسالة النهائية التي كتبها الوكيل. كنا نتساءل: هل كشفت الرسالة النهائية بالخطأ عن كلمة مرور البنك الخاصة بي أو تشخيصي الطبي؟ إذا بدت الرسالة النهائية نظيفة، كنا نظن: "رائع، الخصوصية في أمان!"
هذه الورقة البحثية تجادل بأننا ننظر إلى الشيء الخطأ.
يقول المؤلفون إن الخصوصية لا تتعلق فقط بالرسالة النهائية؛ بل تتعلق بـ الرحلة بأكملها التي تمر بها المعلومات. وقد أطلقوا على هذا النهج الجديد اسم AgentSCOPE.
إليك تفصيل ذلك باستخدام تشبيهات بسيطة:
1. المشكلة: "الوسط الخفي"
تخيل "الوكيل" الخاص بك كخدمة توصيل طرود.
- الطريقة القديمة: كنا نفحص الطرد فقط عندما يصل إلى منزل المستلم. إذا كان الطرد مغلقاً ويبدو طبيعياً، افترضنا أن كل شيء على ما يرام.
- الواقع الجديد: الوكيل لا يكتب رسالة فحسب. بل يدخل إلى منزلك الرقمي، ويفتح تقويمك، ويقرأ رسائل البريد الإلكتروني الخاصة بك، ويسأل جهات الاتصال لديك عن أرقامهم، ثم يكتب الرسالة.
- الخطر: حتى لو كانت الرسالة النهائية مثالية، فقد يكون الوكيل قد قام بـ:
- قراءة مذكراتك أثناء بحثه عن التقويم (القراءة المفرطة - Over-reading).
- طلب كل المواعيد من تطبيق التقويم الخاص بك، بما في ذلك علاج الخصوبة الحساس الخاص بك، لمجرد العثور على اجتماع واحد (الطلب المفرط - Over-asking).
- السماค์ التطبيق (التقويم) بصب كمية كبيرة من البيانات الخاصة في "عقل" الوكيل قبل أن يبدأ الكتابة فعلياً (الاستلام المفرط - Over-receiving).
تقول الورقة: مجرد كون النتيجة النهائية نظيفة لا يعني أن الوكيل لم يتجسس على منزلك في هذه الأثناء.
2. الحل: "مخطط تدفق الخصوصية" (خريطة المحقق)
لحل هذه المشكلة، ابتكر المؤلفون أداة تسمى مخطط تدفق الخصوصية (Privacy Flow Graph).
تخيل لوحة المحقق التي تربط بين الأحداث بخيوط حمراء.
- العُقد (Nodes): المستخدم (أنت)، الوكيل، الأدوات (التقويم، البريد الإلكتروني)، والمستلم.
- الخيوط (Strings): في كل مرة تنتقل فيها المعلومات من طرف لآخر، يتم وضع "وسم" عليها.
- القاعدة: يستخدمون مفهوم "النزاهة السياقية" (Contextual Integrity). هذا يشبه "حارس الأمن" (Bouncer) في الملهى الليلي.
- السيناريو: تقول للوكيل، "أخبر مديري أنني مريض".
- وظيفة الحارس: عندما يسأل الوكيل تطبيق التقويم: "ما هي الاجتماعات التي لدي؟"، يتحقق الحارس: "هل من المقبول أن يخبر التقويم الوكيل عن استشارة الخصوبة الخاصة بك؟"
- الإجابة: لا! هذه البيانات غير ذات صلة بالمهمة. حتى لو لم يضعها الوكيل في البريد الإلكتروني النهائي، فإن حقيقة أن التقويم أعطى هذه البيانات للوكيل تُعد انتهاكاً للخصوصية.
يقوم مخطط تدفق الخصوصية بتتبع كل خطوة لمعرفة ما إذا كان "الحارس" قد سمح بمرور البيانات الخاطئة، حتى لو لم تصل تلك البيانات إلى المخرج النهائي.
3. التجربة: AgentSCOPE
بنى المؤلفون اختباراً يسمى AgentSCOPE.
- أنشأوا شخصية خيالية تُدعى إيما.
- منحوا "الوكيل" الخاص بها حق الوصول إلى بريدها الإلكتروني، وتقويمها، وملفاتها، مع ملئها بمزيج من الأشياء العادية (مواعيد الاجتماعات) والأشياء الحساسة (سجلات طبية، قضايا قانونية).
- طلبوا من الوكيل القيام بـ 62 مهمة مختلفة (مثل "أرسل لمديري إيميل أنني مريض" أو "ابحث عن تفاصيل رحلتي الجوية").
- اختبروا 7 من أذكى نماذج الذكاء الاصطنا1 المتاحة (مثل GPT-4o و Claude).
4. النتائج الصادمة
كانت النتائج بمثابة جرس إنذار:
- وهم "النظافة": عندما نظروا إلى البريد الإلكتروني النهائي فقط، بدت نماذج الذكاء الاصطناعي جيدة جداً. في حوالي 76% إلى 80% من الحالات، لم تسرب الرسالة النهائية أي أسرار.
- الواقع "الفوضوي": عندما نظروا إلى الرحلة بأكملها (باستخدام مخطط تدفق الخصوصية الخاص بهم)، وجدوا أن 80% إلى 94% من المهام تضمنت انتهاكات للخصوصية في مكان ما خلال الرحلة.
- أين حدثت التسريبات؟
- الأدوات: غالباً ما كانت الأدوات (مثل تطبيق التقويم) متعاونة أكثر من اللازم. فقد أعطت الوكيل معلومات كثيرة جداً، بما في ذلك تفاصيل حساسة لم يكن الوكيل بحاجة إليها.
- الوكيل: في بعض الأحيان، طلب الوكيل الكثير من البيانات، أو قدم المستخدم الكثير من المعلومات في الطلب الأول (Prompt).
الخلاصة الكبرى
التقييم القائم على "المخرجات فقط" يشبه فحص السيارة بحثاً عن خدوش في المصد الأمامي فقط. قد تغفل عن حقيقة أن المحرك يخرج دخاناً، أو أن المكابح تتعطل، أو أن السائق يقود بسرعة جنونية.
تخلص الورقة إلى أنه لا يمكننا الاكتفاء بالثقة في الإجابة النهائية فقط. نحن بحاجة إلى مراقبة خط الإنتاج بأكمله. إذا كان نظام الذكاء الاصطناعي سيتعامل مع حياتنا الشخصية، فنحن بحاجة لضمان ما يلي:
- ألا يطلب بيانات لا يحتاجها.
- ألا تضع الأدوات التي يستخدمها كميات هائلة من البيانات الخاصة في حضنه.
- ألا يحتفظ بمعلومات حساسة لمجرد أنه يستطيع ذلك.
باختصار: مجرد كون الوكيل قد سلم الطرد بأمان لا يعني أنه لم يسرق بريدك أثناء فرزه. نحن بحاجة لمراقبة العملية بأكملها، وليس فقط النتيجة النهائية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.