💬 NLP

MosaicLeaks:Privacy Risks in Querying-in-the-Open for Deep Research Agents

تقدم هذه الورقة MosaicLeaks، وهو معيار مرجعي يوضح أن وكلاء البحث العميق يسربون بشكل متكرر معلومات محلية خاصة من خلال استعلاماتهم الخارجية بسبب تأثير الفسيفساء، وتقترح إطار عمل للبحث العميق الواعي بالخصوصية (PA-DR) يقلل بفعالية من هذا التسريب مع تحسين دقة المهام.

المؤلفون الأصليون: Alexander Gurung, Spandana Gella, Alexandre Drouin, Issam H. Laradji, Perouz Taslakian, Rafael Pardinas

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Alexander Gurung, Spandana Gella, Alexandre Drouin, Issam H. Laradji, Perouz Taslakian, Rafael Pardinas

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق ماهر تعمل لدى شركة سرية. مهمتك هي حل ألغاز معقدة من خلال الجمع بين الأدلة الموجودة في ملفات مكتبك الخاص والمعلومات التي تجمعها من الإنترنت العام.

تكشف ورقة بحثية بعنوان "MosaicLeaks" عن ثغرة مفاجلة وخطيرة في كيفية عمل هؤلاء المحققين (نماذج الذكاء الاصطناعي): حتى لو لم يذكروا السر بصوت عالٍ، فإن الطريقة التي يطرحون بها الأسئلة على الإنترنت يمكن أن تكشف السر عن طريق الخطأ.

إليك تفصيل نتائج الورقة البحثية باستخدام تشبيهات بسيطة:

1. المشكلة: تأثير "الموزاييك" (الفسيفساء)

تخيل أنك تحاول إخفاء وصفة سرية.

الطريقة القديمة: قد تفكر: "إذا لم أكتب الوصفة، فسأكون في أمان".
الخطر الجديد: بدلاً من كتابة الوصفة، تذهب إلى مكتبة عامة وتطرح سلسلة من الأسئلة:
1. "كم كمية السكر في كعكة قياسية؟"
2. "ما هي درجة حرارة الخبز لكعكة تحتوي على 200 جرام من السكر؟"
3. "من اخترع كعكة تحتوي على 200 جرام سكر وتوابل معينة؟"

هذه الأسئلة تبدو غير ضارة بشكل فردي. ولكن إذا راقب جاسوس (خصم) قائمة أسئلتك كاملة، فيمكنه تجميعها معاً مثل الموزاييك (الفسيفساء) لإعادة بناء وصفتك السرية.

تسمي الورقة البحثية هذا "تأثير الموزاييك". في عالم الذكاء الاصطناعي، غالبًا ما تسرب هذه "المحققين" (وكلاء البحث العميق) بيانات الشركة الحساسة لأنهم يستخدمون أرقامًا خاصة (مثل "نمو بنسبة 15%" أو "ميزانية الربع الثالث") ككلمات مفتاحية للبحث على الويب.

2. التجربة: "MosaicLeaks"

قام الباحثون ببناء اختبار ضخم يسمى MosaicLeaks.

الإعداد: أنشأوا 1,001 لغزًا معقدًا. لحل كل لغز، كان على الذكاء الاصطناعي التنقل ذهابًا وإيابًا بين وثيقة شركة خاصة (مثل بريد إلكتروني داخلي) والويب العام.
الفخ: كان لزامًا على الذكاء الاصطناعي استخدام قطعة من المعلومات من الوثيقة الخاصة ليعرف ما الذي يجب أن يبحث عنه على الويب.
الجاسوس: وضعوا ذكاءً اصطناعيًا "جاسوسًا" في الغرفة. لم يكن بإمكان هذا الجاسوس رؤية الوثائق الخاصة أو الإجابة النهائية. كان بإمكانه فقط رؤية قائمة عمليات البحث على الويب التي قام بها المحقق الذكي.

النتيجة: كان الجاسوس بارعًا بشكل مدهش في تخمين السر. حتى عندما لم يقل الذكاء الاصطناعي صراحةً "سرنا هو X"، فإن مزيج استعلامات البحث الخاصة به سمح للجاسوس بمعرفة السر.

3. لماذا لم تنجح الحلول البسيطة؟

جرب الباحثون طريقتين شائعتين للإصلاح، وفشلت كلتاهما:

ملاحظة "الرجاء عدم التسريب" (التوجيه/Prompting): أضافوا ملاحظة إلى تعليمات الذكاء الاصطناعي تقول: "كن حذرًا ولا تسرب معلومات خاصة".
- التشبيه: الأمر يشبه قولك لطفل عصبي: "لا تسكب الحليب"، ثم تعطي الطفل كأسًا ممتلئًا. سيظل الطفل يسكب الحليب لأنه يركز على المهمة، وليس على القاعدة. ظل الذكاء الاصطناعي يسرب البيانات، لكن بنسبة أقل قليلاً.
التدريب من أجل السرعة (أداء المهمة): دربوا الذكاء الاصطناعي على الوصول إلى الإجابة الصحيحة بأسر সম্ভাব্য سرعة.
- التشبيه: جعل هذا الذكاء الاصطناعي أسرع، ولكنه في الواقع جعل التسريبات أسوأ. بدأ الذكاء الاصطناعي يطرح أسئلة أكثر ليكون متأكدًا، مما أعطى الجاسوس قطعًا أكثر لتجميع الموزاييك.

4. الحل: "البحث العميق الواعي بالخصوصية" (PA-DR)

طور الباحثون طريقة تدريب جديدة تسمى PA-DR. فكر في هذا كتعليم المحقق طريقة جديدة للتفكير.

بدلاً من مجرد مكافأة الذكاء الاصطناعي للحصول على الإجابة الصحيحة، أعطوه بطاقة نقاط مزدوجة:

هل حللت اللغز؟ (مكافأة المهمة)
هل تركت خلفك آثارًا من الفتات؟ (عقوبة الخصوصية)

استخدموا "مصنف خصوصية" خاصًا (ذكاء اصطناعي صغير تم تدريبه على رصد التسريبات) ليعمل كحكم. إذا طرح المحقق سؤالًا يبدو أنه قد يكشف سرًا، يقوم الحكم فورًا بفرض عقوبة.

السحر:

تعلم الذكاء الاصطناعي حل اللغز دون استخدام الأرقام السرية في استعلامات البحث الخاصة به.
مثال: بدلاً من البحث عن "ماذا حدث لسوق لي في عام 2020 عندما نمت حركة المرور بنسبة 15%؟"، تعلم الذكاء الاصطناعي المدرب أن يبحث عن "ماذا حدث لسوق لي في عام 2020 فيما يتعلق بنمو حركة المرور؟".
لقد وجد المستند الصحيح، لكن استعلام البحث لم يحتوي على رقم "15%" المحدد، لذا لم يستطع الجاسوس معرفة السر.

5. الخلاصة

الأخبار السيئة: وكلاء الذكاء الاصطناعي الحاليون سيئون جدًا في الحفاظ على أسرارهم عند البحث على الويب. إنهم يسربون المعلومات باستمرار، والتحذيرات البسيطة لا توقفهم.
الأخبار الجيدة: يمكنك تدريب هؤلاء الوكلاء ليكونوا واعين بالخصوصية. من خلال تعليمهم موازنة "الحصول على الإجابة" مع "عدم ترك أثر"، يمكنهم حل المشكلات المعقدة دون كشف بيانات الشركة الحساسة.

باختًا: المحققون من الذكاء الاصطناعي سيئون حاليًا في الحفاظ على خصوصية سجل البحث الخاص بهم، ولكن مع التدريب الصحيح، يمكنهم تعلم حل الألغاز دون أن يعرف الجاسوس ما الذي يبحثون عنه.

ملخص تقني: MosaicLeaks: مخاطر الخصوصية في الاستعلام المفتوح لوكلاء البحث العميق

تعريف المشكلة

يتم نشر وكلاء البحث العميق بشكل متزايد لتخليص المعلومات من وثائق المؤسسات الخاصة والأدوات الخارجية (مثل البحث في الويب، وواجهات برمجة تطبيقات السحابة). وبينما يعزز هذا القدرة من أداء المهام، فإنه يقدم خطرًا حرجًا على الخصوصية: قد يسرب الوكلاء معلومات داخلية حساسة من خلال استدعاءات أدواتهم الخارجية. ويتفاقم هذا الخطر بسبب تأثير الموزاييك (mosaic effect)، وهي ظاهرة حيث تبدو الاستعلامات الفردية حميدة في حد ذاتها، ولكنها تكشف عن سمات حساسة عند تجميعها من قبل خصم عبر الوقت.

تفشل المقارنات المعيارية واستراتيجيات التخفيف الحالية إلى حد كبير في معالجة هذا السياق المحدد. يركز العمل السابق على السمات الشخصية أو المهام أحادية الخطوة، بينما تعامل معايير البحث العميق المصادر المعلوماتية المحلية والخارجية كأنها مصادر متوازية بدلاً من كونها مترابطة. وبناءً على ذلك، لا يتم تدريب الوكلاء على إدراك أن الاستعلامات الخارجية المعتمدة على السياق المحلي يمكن أن تعيد بناء البيانات الخاصة.

المنهجية

1. معيار MosaicLeaks

قدم المؤلفون MosaicLeaks، وهو معيار يتكون من 1,001 مهمة بحث عميق متعددة الخطوات مصممة لفرض تسريب الخصوصية.

بناء البيانات: يقوم نظام البيانات بدمج وثائق المؤسسات المحلية (المستمدة من DRBench) مع محتوى الويب العام (المستمد من BrowseComp-Plus). تم هيكلة المهام كسلاسل متعددة الخطوات حيث تعمل الإجابة على سؤال فرعي محلي ككيان حاسم للاستعلام التالي على الويب (على سبيل المثال: محلي $\leftarrow$ ويب $\leftarrow$ محلي).
الإعداد العدائي: نموذج الخصم (StepFun-3.5-Flash) يراقب فقط التسلسل التراكمي لاستعلامات الويب التي يولدها الوكيل. هو لا يرى الوثائق المحلية أو التفكير الداخلي للوكيل.
مقاييس التسريب: يتم تقييم تسريب الخصوصية عبر ثلاثة مستويات متزايدة من الشدة:
1. تسريب القصد (Intent Leakage): هل يمكن للخصم التنبؤ بأسئلة البحث المحددة التي يسعى الوكيل وراءها؟
2. تسريب الإجابة (Answer Leakage): هل يمكن للخصم الإجابة على أسئلة خاصة محددة حول وثائق المؤسسة بناءً على تسلسل الاستعلامات؟
3. تسريب المعلومات الكاملة (Full-Information Leakage): هل يمكن للخصم توليد ادعاءات حقائقية صحيحة وقابلة للتحقق حول وثائق المؤسسة دون أن يُسأل عن أسئلة محددة؟

2. التقييم المرجعي

قيم المؤلفون ستة نماذج مفتوحة المصدر (بما في ذلك Qwen3، وStepFun، وGPT-OSS، وGemma) على MosaicLeaks.

النتائج: سربت النماذج المعلومات بشكل متكرر في جميع المستويات الثلاثة.
محدودية التلقين (Prompting): قلل التلقين الصفري الساذج (توجيه الوكلاء لتجنب التسريب) من التسريب قليلاً ولكنه فشل في القضاء عليه. وفي بعض الحالات، أدى ذلك فقط إلى تقليل عدد الاستعلامات بدلاً من تحسين خصوصية نص الاستعلام.
المفاضلة بين الأداء والخصوصية: أدى تدريب الوكلاء حصريًا لأداء المهمة باستخدام التعلم التعزيزي (RL) إلى تحسين الدقة، ولكنه أدى بشكل كبير إلى تفاقم تسريب الخصوصية، حيث تعلمت الوكلاء تضمين تفاصيل أكثر تحديدًا (وبالتالي أكثر تسريبًا) في استعلاماتها لضمان نجاح الاسترجاع.

3. الحل المقترح: البحث العميق الواعي بالخصوصية (PA-DR)

لمعالجة المفاضلة بين التسريب والأداء، يقترح المؤلفون PA-DR، وهو إطار عمل للتعلم التعزيزي يحسن كل من نجاح المهمة والحفاظ على الخصوصية.

المكافآت الموقفية: على عكس التعلم التعزيزي القياسي القائم على النتائج والذي يوماً مكافأة واحدة في نهاية المسار، يستخدم PA-DR مكافآت موقفية لتوفير تخصيص ائتماني كثيف. تُحسب المكافآت لكل خطوة ولكل مرحلة (التخطيط، الاختيار) بناءً على ما إذا كان الوكيل قد استرجع المصدر الصحيح للوثيقة أو اختار الوثيقة الذهبية.
عقوبة الخصوصية: يقوم مصنف ثنائي خفيف الوزن (تم تدريبه على 26,734 مثالاً مصنفاً) بتقدير احتمالية التسريب بناءً على دفعة من استعلامات الويب. تتضمن دالة المكافأة عقوبة مشتقة من هذا المصنف:
- التسريب المباشر: يعاقب الدفعة الحالية من الاستعلامات إذا كانت تسرب المعلومات في حد ذاتها.
- تسريب الموزاييك: يعاقب الدفعة الحالية بناءً على مدى مساهمتها في التسريب التراكمي للمسار بأكمله.
- تُعرف مكافأة الخصوصية النهائية كـ $r_{privacy} = -\max(c_{direct}, c_{mosaic})$ ، حيث تُشتق التكاليف من احتمالية التسريب التي يتنبأ بها المصنف.
التدريب: يقوم الإطار بتدريب نموذج Qwen3-4B-Instruct باستخدام PipelineRL، مع تحسين مشترك لمكافآت المهمة الموقفية وعقوبة الخصوصية.

النتائج الرئيسية

مكاسب الأداء: أدى التدريب باستخدام PA-DR إلى تحسين معدل نجاح السلسلة الصارم لنموذج Qwen3-4B-Instruct من 48.7% (الأساس) إلى 58.7%.
تقليل الخصوصية: قلل التدريب نفسه من تسريب الإجابة وتسريب المعلومات الكاملة من 34.0% إلى 9.9%.
التحسين المشترك: عند دمجه مع تلقين واعٍ بالخصوصية، حقق نموذج PA-DR دقة سلسلة بلغت 59.3% مع تسريب قدره 7.6% فقط.
التحليل السلوكي: على عكس التلقين، الذي قلل التسريب عبر تقليل عدد الاستعلامات ببساطة، قام نموذج PA-DR بتدريب النماذج على إجراء استعلامات أكثر ولكن بنصوص أقل كشفاً من الناحية الدلالية. تعلمت النماذج استرجاع الوثائق الضرورية مع حذف المقاييس المحددة (مثل "15%") أو أنواع الإجابات من نص الاستعلام، مما كسر الرابط الدلالي الذي يحتاجه الخصم لإعادة بناء الحقائق الخاصة.
المقارنة: يدفع PA-DR حدود باريتو (Pareto frontier)، محققاً دقة أعلى وتسريباً أقل في آن واحد مقارنة بالنماذج المدربة فقط لأداء المهمة أو تلك التي تستخدم التعلم التعزيزي القياسي القائم على النتائج.

الأهمية والمساهمات

يقدم البحث ثلاث مساهمات رئيسية:

معيار MosaicLeaks: إطار تقييم جديد يختبر صراحةً وكلاء البحث العميق في أسئلة متعددة الخطوات ذات تبعات قوية بين المعلومات المحلية والخارجية، مما يلتقط تأثير الموزاييك في بيئات المؤسسات.
التحليل التجريبي: برهان على أن وكلاء البحث العميق القياسيين يسربون بيانات المؤسسات بشكل متكرر، وأن التحسين لأداء المهمة فقط يفاقم هذه المخاطر. كما يظهر أن التدخلات القائمة على التلقين غير كافية لهذه المهمة.
إطار عمل PA-DR: صياغة منهجية لتدريب الوكيل الواعي بالخصوصية كهدف مشترك. من خلال استخدام مصنف خصوصية متعلم لتوفير تخصيص ائتماني كثيف لكل استعلام وعلى مستوى تسريب الموزاييك، يوضح المؤلفون أنه من الممكن تدريب وكلاء يتميزون بالدقة العالية والحفاظ على الخصوصية في آن واحد.

يخلص المؤلفون إلى أنه بينما يميل الوكلاء الحاليون إلى تسريب الموزاييك، فإن التدريب القائم على التعلم التعزيزي مع مكافآت الخصوصية الموقفية يوفر مساراً قابلاً للتطبيق لنشر وكلاء البحث العميق في بيئات المؤسسات الحساسة دون المساس بأمن البيانات.