P$^2$RAG: Efficient Privacy-Preserving RAG Service Supporting Arbitrary Top-$k$ Retrieval

ملخص تقني لـ P2RAG: خدمة استرجاع معزز بالتوليد (RAG) فعالة تحافظ على الخصوصية وتدعم استرجاع الـ top-k التعسفي

بيان المشكلة
تسمح تقنية الاسترجاع المعزز بالتوليد (RAG) للنماذج اللغوية الكبيرة (LLMs) بالاستفادة من المعرفة الخارجية، ولكن الاستعانة بخدمات RAG خارجية يفرض مخاطر خصوصية كبيرة لكل من مالكي البيانات (الذين تتعرض قواعد بياناتهم المملوكة للكشف) والمستخدمين (الذين تظهر مطالباتهم/prompts بشكل مرئي). عادةً ما تصيغ أنظمة الـ RAG التي تحافظ على الخصوصية (PP-RAG) المشكلة كمسألة استرجاع "top-k" آمنة، معتمدة على عمليات الفرز الآمن أو تقنيات k-الجار الأقرب التقريبي (k-ANN) الآمنة. ومع ذلك، تواجه هذه الأنظمة قيوداً حرجة:

1. عدم المرونة: غالباً ما لا يمكنها دعم التعديلات التعسفية أو الديناميكية لمعامل الاسترجاع $k$.
2. تدهور الكفاءة: يتدهور أداؤها بشكل كبير مع زيادة قيمة $k$. ويعد هذا عائقاً رئيسياً لأن التطبيقات الحديثة في مجالات التمويل والقانون والرعاية الصحية، وكذلك النماذج اللغوية الكبيرة ذات السياق الطويل، تتطلب غالباً قيم $k$ كبيرة (مثل 100-150 أو أكثر) لتحقيق الدقة المثلى.
3. ثغرات أمنية: تثير بعض النهج الحالية قضاية أمنية جديدة أو تفشل في حصر تسرب المعلومات بدقة ضد المستخدمين الخبثاء.

المنهجية
يقترح المؤلفون P2RAG، وهو خدمة RAG تحافظ على الخصوصية مصممة لدعم استرجاع top-k تعسفي بكفاءة. يعمل النظام وفق نموذج الخادمين حيث يكون الخادمان "شبه أمناء" (honest-but-curious) وغير متواطئين.

• بنية النظام:

  • مالك البيانات: يقوم بتعهيد قاعدة بيانات مشفرة إلى خادمين. تتكون قاعدة البيانات من $N$ من تضمينات المستندات (embeddings)، والتي يتم تقسيمها سرياً بين الخادمين باستخدام تقنية "Shamir's secret sharing" عبر حقل أولي (prime field).
  • المستخدم: يرسل تضمين المطالبة (prompt embedding)، والذي يتم تقسيمه سرياً أيضاً بين الخادمين.
  • نموذج التهديد: يتبع الخادمان البروتوكول ولكن قد يحاولان استنتاج البيانات. يُفترض أن المستخدمين قد يكونون خبثاء وقد ينحرفون عن البروتوكول لاستخراج المعلومات. يُفترض أن مالكي البيانات أمناء.

• الابتكار الجوهري: التنصيف التفاعلي مقابل الفرز
  على عكس الأنظمة الحالية التي تقوم بفرز جميع المستندات المرشحة (وهي عملية مكلفة حوسبياً في البروتوكولات الآمنة)، يتجنب P2RAG عملية الفرز تماماً. بدلاً من ذلك، يستخدم طريقة التنصيف التفاعلية (interactive bisection method) لتحديد عتبة المسافة ($d_k$) التي تحدد مجموعة الـ top-$k$.

1. حساب المسافة: يقوم الخادمان بحساب مسافات جيب التمام (cosine distances) المشتركة سرياً (المُقربة عبر ضرب النقاط/dot products) بين مطالبة المستخدم وجميع تضمينات المستندات باستخدام "Beaver triples".
2. تكرار التنصيف: يتفاعل المستخدم والخادمان لتضييق نطاق عتبة المسافة. في كل تكرار، يحدد المستخدم عتبة $d_k$. يستخدم الخادمان دوال المقارنة الموزعة (DCFs) لحساب عدد المستندات التي تقل مسافتها عن $d_k$.
3. اختيار العتبة: يقوم المستخدم بتحديث $d_k$ بناءً على العدد المرتجع حتى يصبح عدد المستندات ضمن العتبة قريباً من $k$ المستهدف.
4. استرجاع النتيجة: بمجرد تحديد العتبة، يقوم الخادمان بإنشاء متجه ثنائي مقسم سرياً يشير إلى المستندات التي تقع ضمن العتبة. يسترجع المستخدم فهارس (indices) هذه المستندات باستخدام تقنية "Single-Server Private Information Retrieval (PIR)".

• آليات الأمن:
  • الخصوصية: يضمن التقسيم السري عدم معرفة أي من الخادمين لقاعدة البيانات أو المطالبة.
  • الدفاع ضد المستخدمين الخبثاء: لمنع المستخدمين من استخراج معلومات مفرطة، يفرض P2RAG قيوداً صارمة:
    • يتم وضع حد أقصى لعدد تكرارات التنصيف (مما يحد من تسرب إجمالي العدد إلى $O(\log^2 N)$).
    • يتم تقييد حجم مجموعة النتائج النهائية.
    • تضمن آليات التحقق أن المستخدم يسترجع فقط الفهارس المقابلة للمتجه الثنائي المتفق عليه، مما يمنع التلاعب بعملية الاسترجاع.

المساهمات الرئيسية

1. دعم top-k التعسفي: يعد P2R_AG أول نظام يدعم قيم $k$ التعسفية بكفاءة دون تدهور الكفاءة الذي تشهده نهج الفرز، مما يجعله مناسباً لسيناريوهات $k$ الكبيرة المطلوبة للنماذج ذات السياق الطويل الحديثة.
2. تصميم بروتوكول فعال: من خلال استبدال الفرز الآمن بطريقة تنصيف تفاعلية باستخدام دوال DCF، يقلل P2RAG بشكل كبير من عدد المقارنات، وهي العائق الأساسي في البروتوكولات الآمنة.
3. أمن قوي: يحمي النظام كلاً من قاعدة بيانات مالك البيانات ومطالبة المستخدم ضد الخوادم شبه الأمينة. كما يقدم قيوداً محددة وخطوات تحقق لحصر تسرب المعلومات بدقة ضد المستخدمين الخبثاء.
4. التنفيذ والتقييم: قام المؤلفون بتنفيذ P2RAG ونشروا الكود الخاص به تحت رخصة Apache 2.0.

النتائج التجريبية
قام المؤلفون بتقييم P2RAG باستخدام مجموعات بيانات BEIR (مثل trec-covid التي تحتوي على حوالي 171 ألف مستند) ومجموعات بيانات اصطناعية.

• الدقة: يحقق P2RAG دقة حسابية عالية. تظل نسبة الاستدعاء (Recall) عند 1.0 لنطاق $k'$ يتراوح من 16 إلى 1024، وتشير درجات الصلة إلى أن المستندات المسترجعة ذات صلة بالمطالبة بشكل عام.
• الأداء: يظهر P2RAG تسريعاً كبيراً مقارنة بالنظام الرائد PRAG.
  • بالنسبة لـ $k = 16$، يعد P2RAG أسرع بـ 3.78 ضعفاً.
  • بالنسبة لقيم $k$ الأكبر (مثل $k=1024$)، تزدัง سرعة التفوق لتصل إلى 322 ضعفاً.
  • يتوسع النظام خطياً مع عدد المستندات ($N$) ولكنه يصبح أسرع نسبياً مع زيادة $k$، على عكس PRAG الذي يعاني من تدهور الكفاءة.
• الاتصال: بينما يمكن أن يصل الاتصال داخل الخوادم إلى مئات الميجابايت، إلا أن هذا يعتبر قابلاً للإدارة عبر وصلات مراكز البيانات عالية النطاق الترددي. يظل الاتصال بين المستخدم والخادم منخفضاً (مما يعادل بضع صور قياسية).

الأهمية والادعاءات
يزعم البحث أن P2RAG يعالج فجوة حرجة في الـ RAG المحافظ على الخصوصية: وهي عدم القدرة على التعامل بكفاءة مع قيم $k$ الكبيرة. يؤكد المؤلفون أنه بينما يعد الـ RAG القياسي غير الآمن أبسط وأسرع، فإن P2RAG ضروري للمجالات عالية المخاطر مثل الرعاية الصحية والتمويل والخدمات القانونية حيث تكون خصوصية البيانات مطلباً صارماً. يتيح النظام لهذه القطاعات الاستفادة من مجموعات استرجاع كبيرة (التي تحسن دقة LLM) دون المساس بسرية قواعد البيانات المملوكة أو استعلامات المستخدمين. ويشير المؤلفون بتواضع إلى أن النظام يعتمد على فرضية الخوادم غير المتعاونة وشبه الأمينة، وأن الـ RAG القياسي غير الآمن يظل هو الخيار المفضل عندما لا تكون الخصوصية أمراً حرجاً.