Privacy-Preserving LLMs Routing
تقدم هذه الورقة البحثية PPRoute، وهو إطار عمل للحفاظ على الخصوصية في توجيه النماذج اللغوية الكبيرة (LLM routing) يستفيد من الحوسبة الآمنة متعددة الأطراف مع استنتاج مُحسّن للمُشفّر، وخوارزميات تدريب متخصصة، وبحث Top-k غير مرتب وفعال لتحقيق أداء بمستوى النص الصريح مع تقليل العبء الحسابي بمقدار 20 ضعفاً مقارنة بالتنفيذات البدائية.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك مسافر تقف في محطة قطار ضخمة ومزدحمة. لديك وجهة (سؤال تريد طرحه على ذكاء اصطناعي)، وعليك الوصول إليها.
في هذه المحطة، توجد أنواع مختلفة من القطارات:
- القطارات السريعة (Bullet Trains): سريعة للغاية، باهظة الثمن بشكل مذهل، ويمكنها التعامل مع المسارات الأكثر تعقيداً (هذه هي نماذج الذكاء الاصطناعي الكبيرة والقوية مثل GPT-4).
- القطارات المحلية (Local Trains): أبطأ وأقل فخامة، لكنها رخيصة جداً ومناسبة للرحلات البسيطة (هذه هي نماذج الذكاء الاصطناعي الأصغر والأخف وزناً).
المشكلة: خطر "الوسيط"
لتوفير المال والوقت، لا تختار قطاراً عشوائياً. بل تقوم بتعيين مدير للمحطة (موجه ذكاء اصطناعي - AI Router) لينظر إلى تذكرتك ويقرر: "هل هذه الرحلة بسيطة؟ أرسله على القطار المحلي الرخيص. هل هي رحلة معقدة؟ أرسله على القطار السريع الباهظ الثمن".
يُسمى هذا توجيه النماذج اللغوية الكبيرة (LLM Routing). وهو أمر ذكي وفعال.
الفخ:
للقيام بهذه المهمة، يتعين على مدير المحطة قراءة تذكرتك. وفي العالم الرقمي، يعني هذا أن الموجه يرى أسئلتك الخاصة، أو سجلاتك الطبية، أو أسرارك المالية. إذا كان مدير المحطة تابعاً لشركة طرف ثالث، أو إذا تعرض نظامه للاختراق، فستنكشف أسرارك. أنت تريد كفاءة مدير المحطة، لكنك لا تريد منه أن يقرأ مذكراتك.
الحل القديم: "الصندوق الزجاجي"
حاول العلماء حل هذه المشكلة بوضع مدير المحطة داخل صندوق زجاجي (تقنية تشفير تُعرف باسم الحوسبة متعددة الأطراف الآمنة - MPC). داخل هذا الصندوق، يمكن لمدير المحطة إجراء العمليات الحسابية لتحديد القطار الذي تحتاجه، لكن الصندوق سميك جداً لدرجة أنه لا يمكن لأحد رؤية ما يتم حسابه. تبقى أسرارك مخفية.
المشكلة الجديدة: الصندوق الزجاجي ثقيل جداً
المشكلة هي أن هذا "الصندوق الزجاجي" بطيء للغاية. الأمر يشبه محاولة الجري في ماراثون وأنت ترتدي بدلة مصنوعة من قوالب الرصاص. "الصندوق الزجاجي" يجعل مدير المحطة يستغرق وقتاً أطلى بـ 60 مرة لاتخاذ القرار. إنه بطيء جداً ليكون مفيداً في العالم الحقيقي.
الحل: PPRoute (الـ "بدلة الذكية غير المرئية")
قام مؤلفو هذه الورقة البحثية، "زيدونغ وو" وفريقه، ببناء نظام جديد يسمى PPRoute. لم يحاولوا فقط جعل الصندوق الزجاجي أخف، بل أعادوا تصميم سير عمل مدير المحطة بالكامل ليعمل بشكل مثالي داخل الصندوق دون إبطاء العملية.
إليك كيف فعلوا ذلك، باستخدام ثلاث حيل بسيطة:
1. "المترجم المبسط" (عمليات صديقة للـ MPC)
كان مدير المحطة الأصلي يستخدم لغة معقدة للغاية (دوال رياضية مثل Softmax و GeLU) لفهم تذكرتك. هذه تشبه محاولة كتابة قصيدة بلغة تتطلب قاموساً لكل كلمة. داخل الصندوق الزجاجي، يستغرق البحث عن كلمات القاموس وقتاً طويلاً جداً.
الإصلاح: استبدلوا اللغة المعقدة بلهجة أبسط "صديقة للصندوق" (باستخدام ReLU و 2ReLU).
- التشبيه: بدلاً من مطالبة مدير المحطة بكتابة سونيتة (قصيدة) لفهم سؤالك، علموه أن يكتفي بقول "نعم" أو "لا" أو "كبير" أو "صغير". إنها أسرع بكثير في المعالجة، ومع ذلك تؤدي المهمة بدقة.
2. "التدريب الظلي" (التقطير متعدد المراحل)
قد تقلق قائلاً: "إذا بسطنا اللغة، ألن يرتكب مدير المحطة أخطاءً؟"
نعم، إذا قمت فقط باستبدال الكلمات، فسوف يرتبك.
الإصلاح: استخدموا تقنية تسمى تقطير المعرفة (Knowledge Distillation).
- التشبيه: تخيل طباخاً ماهراً (المعلم) يعرف كيف يطهو وجبة معقدة ومثالية. يقوم بتدريب طالب (الطالب) لا يملك سوى المكونات البسيطة والأساسية (الرياضيات المبسطة).
- أولاً، يطهو المعلم الوجبة المثالية في المطبخ المفتوح (النص الصريح - Plaintext).
- بعد ذلك، يحاول الطالب تقليد مذاق وأسلوب وجبة المعلم باستخدام المكونات البسيطة فقط.
- يتدرب الطالب حتى يتمكن من محاكاة نتائج المعلم بدقة شبه مثالية، رغم أنه يستخدم مجموعة أدوات أبسط.
- الآن، أصبح الطالب جاهزاً للعمل داخل الصندوق الزجاجي، ليقدم نفس النتائج عالية الجودة التي يقدمها المعلم، ولكن بسرعة أكبر بكثير.
3. "الاصطفاف الفوري" (خوارزمية Unsorted Top-k)
بمجرد أن يفهم مدير المحطة سؤالك، عليه البحث في قائمة تضم 100 قطار ليجد أفضل 3 مطابقات. في الصندوق الزجاجي القديم، كان هذا يشبه جعل 100 شخص يصطفون ومقارنة أطوالهم واحداً تلو الآخر، مراراً وتكراراً، بينما يصرخون عبر جدران سميكة. لقد استغرق الأمر وقتاً طويلاً جداً.
الإصلاح: اخترعوا طريقة جديدة لإيجاد أفضل المطابقات تسمى Unsorted Top-k.
- التشبيه: بدلاً من جعل الجميع يصطفون ويقارنون أنفسهم واحداً تلو الآخر، تخيل إعطاء كل شخص بطاقة رقم. تقول لهم: "إذا كان رقمكم أعلى من 95، ارفعوا أيديكم!". يرفع الجميع أيديهم في نفس الوقت تماماً (بالتوازي).
- ولأن الجميع يعملون في وقت واحد، يجد مدير المحطة المرشحين الأفضل فوراً. هذا يقلل الوقت المستغرق في البحث من "ساعات" إلى "ثوانٍ"، حتى داخل الصندوق الزجاجي الثقيل.
النتيجة
من خلال الجمع بين هذه الحيل الثلاث، حقق PPRoute شيئاً مذهلاً:
- الخصوصية: تظل أسئلتك سرية تماماً، مخفية داخل الصندوق التشفيري.
- السرعة: إنه أسرع بـ 20 مرة من الطريقة القديمة البدائية. إنه سريع تقريباً كما لو كنت تعمل بدون أي حماية للخصوصية.
- الجودة: لا يزال مدير المحطة يختار القطار المثالي لرحلتك، وبنفس الدقة السابقة.
باختة القول: لقد عرفوا كيف يبنون "صندوقاً زجاجياً" خفيفاً بما يكفي للجري في ماراثون، مما يسمح لنا باستخدام موجهي الذكاء الاصطناعي الأذكياء دون الحاجة أبداً للقلق بشأن سرقة بياناتنا الخاصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.