Privacy-Preserving Data Drift Detection and Recovery for Large-Scale LLM Applications via Proxy Representations
يقدم هذا البحث ProxyDrift، وهو إطار عمل يحافظ على الخصوصية ويكتشف ويتعافى من انحراف البيانات في تطبيقات النماذج اللغوية الكبيرة (LLM) واسعة النطاق عبر تحليل تمثيلات وكيلة غير مرتبطة بمعلومات الهوية الشخصية (non-PII) لمراقبة حركة مرور الإنتاج باستمرار وتوليد مجموعات بيانات تقييم اصطناعية مستهدفة دون الوصول إلى بيانات المستخدمين الخام.
تخيل أنك رئيس طهاة في مطعم ضخم وصاخب يخدم الملايين من الناس يومياً. تريد التأكد من أن طعامك لذيذ، لذا تقوم بتذوق الوصفات الجديدة في مطبخ هادئ قبل تقديمها. لكن هنا تكمن العقبة: الزبائن في قاعة الطعام يرتدون أقنعة، وقواعد الخصوصية الصارمة في المطعم تمنعك من رؤية وجوههم أو سماع طلباتهم المحددة. لا يمكنك الخروج إلى هناك، أو إلقاء نظرة على القوائم، أو سؤالهم: "ماذا أكلت للتو؟". أنت تعرف فقط أن الناس يأكلون، وعليك أن تخمن ما يريدونه بناءً على ملاحظة صغيرة مجهولة الهوية تُترك على الطاولة.
هذا هو الواقع اليومي لنماذج الذكاء الاصطنا-الضخمة التي تشغل حياتنا الرقمية الحديثة. هذه النماذج اللغوية الكبيرة (LLMs) تشبه الطهاة الفائقين الذين يكتبون الأكواد البرمجية، ويصيغون رسائل البريد الإلكتروني، وينشئون المستندات لمئات الملايين من المستخدمين. ولكن بسبب قوانين الخصوصية الصارمة، لا تستطيع الشركات التي تدير هذه الأنظمة رؤية الأسئلة الفعلية التي يطرحها الناس أو الإجابات التي يحصلون عليها. إنهم يعملون كمن يسير في الظلام. إذا بدأ "الزبائن" (المستخدمون) فجأة في طلب أشياء مختلفة تماماً — مثل الانتقال من كتابة الشعر إلى تصحيح الأكواد البرمجية — فقد تصبح بيانات تدريب الذكاء الاصطناعي قديمة وغير مواكبة. يُسمى هذا "انزياح البيانات" (Data Drift). وبدون رؤية حركة المرور الحقيقية، قد يستمر الذكاء الاصطناعي في تقديم نفس القائمة القديمة لأشخاص يريدون شيئاً جديداً، مما يؤدي إلى تجارب سيئة. السؤال الكبير هو: كيف تصلح وصفة وأنت غير مسموح لك بتذوق الطعام؟
إليك PROXYDRIFT، وهو إطار عمل ذكي ومبتكر طوره باحثون في مايكروسوفت لحل هذا اللغز دون كسر قواعد الخصوصية أبداً. فكر فيه كمترجم سحري يحول طلبات الزبائن السرية إلى قائمة مرجعية بسيطة وآمنة. بدلاً من النظر إلى النص الخام لسؤال المستخدم (الذي يعد خاصاً)، يستخدم النظام ذكاءً اصطناعياً لتصنيف السؤال إلى مجموعة من "الوسوم" (Tags) غير الحساسة. على سبيل المثال، بدلاً من رؤية "اكتب قصة مخيفة عن محمصة خبز مسكونة"، سيرى النظام مجرد قائمة من الوسوم: الهدف: كتابة إبداعية، النبرة: مخيفة، التنسيق: قصة، الطول: متوسط. هذه الوسوم هي "التمثيلات الوسيطة" (Proxy Representations). إنها تلتقط شكل وأسلوب المحادثة دون الاحتفاظ بأي من الكلمات الفعلية.
توضح الورقة البحثية أنه باستخدام هذه الوسوم، يمكن للفريق القيام بثلاثة أشياء مذهلة. أولاً، يمكنهم قيال مدى اختلاف طلبات المستخدمين الحالية عن بيانات الاختبار القديمة لديهم؛ حيث يستخدمون درجة رياضية خاصة (تسمى "درجة المحاذاة المعايرة بالاحتمال") لمعرفة ما إذا كانت قائمة الاختبار الخاصة بهم تتوافق مع غرفة الطعام الحقيقية. إذا كانت الدرجة منخفضة، فهم يعرفون أنهم غير متوافقين. ثانياً، يمكنهم بناء قائمة اختبار جديدة تماماً تحاكي المستخدمين الحقيقيين بشكل مثالي؛ حيث يستخدمون طريقة أخذ عينات ذكية (تعتمد على ما يسمى "شجرة تشو-ليو" (Chow-Liu tree)، وهي تشبه شجرة العائلة لكيفية ترابط الوسوم المختلفة عادةً) لإنشاء آلاف الأسئلة الوهمية ولكن الواقعية التي تتوافق مع التوجهات الحالية. وأخيراً، يمكنهم معرفة أنواع الأسئلة التي تجعل المستخدمين غير راضين بالضبط؛ وذلك عبر ربط الوسوم بردود الفعل البسيطة مثل "أعجبني" أو "لم يعجبني"، مما يمكنهم من رصد نقاط الخلل — مثل إدراك أن المستخدمين يشعرون بالإحباط عند السؤال عن معادلات محددة في برنامج إكسل — دون الحاجة أبداً لقراءة جداول البيانات الخاصة بالمستخدمين.
في تجاربهم، وجد الباحثون أن طريقتهم الجديدة تعمل بشكل جيد للغاية. فعندما قارنوا مجموعات الاختبار المختارة يدوياً بمجموعاتهم القديمة بالواقع، كانت المجموعات القديمة غير متوافقة تماماً (سجلت حوالي 0.28 من 1)، ولكن مجموعات الاختبار الجديدة التي أنشأها الذكاء الاصطناعي توافقت مع العالم الحقيقي بشكل شبه مثالي (سجلت حوالي 0.91). كما اختبروا ما إذا كان بإمكان البشر التمييز بين سؤال مستخدم حقيقي وسؤال الذكاء الاصطناعي الوهمي؛ وبدون أي تلميحات خاصة، لم يستطع البشر التمييز بينهما. والأهم من ذلك، استخدموا هذا النظام لإصلاح مشكلة حقيقية في "مايكروسوفت كوبايلوت" (Microsoft Copilot). فمن خلال ملاحظة أن المستخدمين غير راضين عن كيفية تعامل الذكاء الاصطناعي مع مخططات ومعادلات إكسل، قاموا بتعديل النظام للاهتمام بتلك التفاصيل بشكل أكبر. وكانت النتيجة؟ أصبح الذكاء الاصطناعي أفضل بك كثيراً في الإجابة على تلك الأسções المحددة، مما يثبت أنه يمكنك تحسين نظام ذكاء اصطناعي ضخم وإبقائه متوافقاً مع مستخدميه، كل ذلك مع الحفاظ على خصوصية بيانات الجميع تماماً.
ملخص تقني: PROXYDRIFT
بيان المشكلة
تواجه تطبيقات النماذج اللغوية الكبيرة (LLM) المنشورة على نطاق واسع عقبة حرجة في التقييم غير المتصل بالإنترنت (offline evaluation): حيث تمنع قيود الخصوصية والامتثال الصارمة الوصول المباشر إلى بيانات تفاعل المستخدم الخام (الاستعلامات، الردود، ووثائق الاستناد). وبناءً على ذلك، لا يستطيع الممارسون فحص حركة مرور الإنتاج لتجميع مجموعات تقييم تمثيلية أو تتبع تطور سلوك المستخدم بمرور الوقت. وبدون هذه الرؤية، تصبح مجموعات التقييم غير المتصلة بالإنترنت عبارة عن لقطات ثابتة وغير موثقة تتدهور ملاءمتها مع تغير فئات المستخدمين وظهور سير عمل جديد. يؤدي هذا عدم الاتساق إلى نتائج جودة مشوهة، ونقاط ألم خفية لدى المستخدمين، وتكرارات للنماذج يتم ضبطها بناءً على ملفات تعريف مستخدمين غير موجودين في الواقع. أما طرق اكتشاف الانحراف التقليدية، التي تعتمد على مقارنة توزيعات المدخلات الخام، فهي غير قابلة للتطبيق لأن المدخلات نفسها لا يمكنها مغادرة بيئة الإنتاج.
المنهجية: إطار عمل PROXYDRIFT
لمعالجة ذلك، يقدم المؤلفون PROXYDRIFT، وهو إطار عمل يتيح اكتشاف الانحراف وإعادة بناء مجموعة بيانات التقييم بالكامل دون الوصول إلى بيانات المستخدم الخام. الابتكار الجوهري هو استبدال بيانات التفاعل الحساسة بـ تمثيلات وسيطة (proxy representations) مهيكلة ومتعددة الأبعاد. هذه الوسائط هي أوصاف غير مرتبطة بالهوية الشخصية (non-PII) مشتقة من تصنيف يعتمد على النماذج اللغوية الكبيرة لتفاعلات المستخدم داخل حدود الامتثال للإنتاج.
1. التمثيل الوسيط (Proxy Representation)
يقوم النظام برسم خرائط لتفاعلات المستخدم إلى مخطط JSON يتكون من D=21 بُعداً فئوياً، مصنفة كالتالي:
المصنف مقابل الملحوظ: الأبعاد المصنفة (مثل القصد، النبرة، المجال) يتم إنشاؤها بواسطة مصنف LLM؛ أما الأبعاد الملحوظة (مثل عدد الكلمات، اللغة) فتُحسب حتمياً من البيانات الوصفية.
الاسمي مقابل الترتيبي: التمييز بين الفئات غير المرتبة والقيم المرتبة لتوجيه حسابات المسافة.
أحادية القيمة مقابل متعددة القيم: السماح بملصقات متعددة لكل بُعد (على سبيل المثال، استعلام قد يحمل قصداً "إنشاء مستند" و"بحث" في آن واحد).
تسجيل الثقة: يحمل كل ملصق درجة ثقة ($0-5)،معحلقةتصحيحذاتيتضمنالامتثالللمخططحتىK=10$ محاولات.
2. قياس الانحراف (Drift Measurement)
يقيس PROXYDRIFT الانحراف بين حركة مرور الإنتاج (P) ومجموعات التقييم غير المتصلة بالإنترنت (O) باستخدام درجة محاذاة مراعية للارتباط (RA) ومعايرة بالصدفة:
مقياس المسافة: يستخدم مسافة جينسن-شانون (JSD) لمعاقبة عدم تطابق الدعم (الفئات الموجودة في الإنتاج والمفقودة في التقييم).
المعايرة بالصدفة: يعمل على تطبيع المسافة مقابل خط أساس التبديل (الخلط العشوائي لـ O) لإنتاج درجة محاذاة a∈[0,1]، حيث تشير القيمة $1إلىتوزيعاتمتطابقةو0$ إلى أداء لا يتجاوز الصدفة العشوائية.
خصم التكرار (Redundancy Discounting): يجمع درجات الأبعاد عبر متوسط مرجح يقوم بخصم الأبعاد بناءً على معلوماتها المتبادلة مع الأبعاد المعالجة سابقاً. هذا يمنع تجمعات الأبعاد المترابطة من الهيمنة على الدرجة الإجمالية.
3. توليد البيانات الاصطناعية (Synthetic Dataset Generation)
لتحديث مجموعات التقييم، يستخدم PROXYDRIFT عينات شرطية تعتمد على شجرة Chow–Liu:
نمذجة التبعية: يبني شجرة ممتدة ذات وزن أقصى عبر الأبعاد باستخدام المعلومات المتبادلة كأوزان للحواف، مما يلتقط التبعيات الزوجية (مثل العلاقة بين "القصد" و"تنسيق المخرجات").
تصحيحات العينات المحدودة:
تخميد المعلومات المتبادلة (MI Dampening): يطبق عامل تخميد سيجمويدي (sigmoid) على تقديرات المعلومات المتبادلة لتصحيح التحيز الإيجابي في أحجام العينات الصغيرة، مما يمنع الحواف الزائفة.
الانكماش الشرطي (Conditional Shrinkage): يقوم بتقليص الاحتمالات الشرطية التجريبية نحو Prior المرجعي للقيم الأبوية النادرة، باستخدام معامل يعتمد على χ2 لتحديد قوة الانكماش.
الإرواء (Hydration): يتم تحويل الوسائط الاصطناعية التي تم أخذ عينات منها مرة أخرى إلى استعلامات بلغة طبيعية بواسطة مولد LLM، والذي يعكس عملية التصنيف.
4. الاتساق الجوهري والربط بالتغذية الراجعة
تحليل الرحلة الذهاب والعودة (Roundtrip Analysis): يختبر الإطار مدى دقة التمثيل الوسيط من خلال توليد استعلام من وسيط، ثم إعادة تصنيفه، وقياس مسافة إعادة البناء. هذا يدفع نحو التحسين المتكرر للنماذج التصنيفية (Taxonomy).
الربط بالتغذية الراجعة: يتم ربط توزيعات الوسائط بإشارات رضا المستخدم (الإعجاب/عدم الإعجاب) لتحديد الأبعاد والقيم المحددة التي ترتبط بأنماط الفشل أو النجاح.
النتائج الرئيسية
تم نشر الإطار في مجموعة أدوات إنتاجية سحابية تخدم مئات الملايين من المستخدمين، لمراقبة سيناريوهات مثل إنشاء المستندات والإجابة على الأسئلة المتعلقة بـ Excel.
محاذاة الانحراف: حقق المولد الشرطي (Chow–Liu) درجة محاذاة (RA) قدرها 0.917 مع حركة مرور الإنتاج، متفوقاً بشكل كبير على مجموعات البيانات القديمة المنسقة يدوياً (0.284) وأخذ العينات الأساسية المستقلة (0.897).
اتساق الرحلة الذهاب والعودة: بعد تحسين النموذج التصنيفي، انخفض متوسط مسافة إعادة البناء من 0.282 إلى 0.158 (انخفاض بنسبة 44%)، وانخفض معدل فشل الرحلة الذهاب والعودة من 6.9% إلى 0.4%.
عدم القدرة على التمييز: في اختبار الطبيعية، لم يستطع مميز LLM غير موجه التمييز بشكل موثوق بين الاستعلامات الاصطناعية والاستعلامات البشرية (p=0.14). وحتى مع المطالبات الموجهة، ظل الاستدعاء الاصطناعي منخفضاً (39%)، مما يشير إلى أن البيانات الاصطناعية تحاكي المخرجات البشرية عن كثب.
التشخيصات القابلة للتنفيذ: نجح النظام في تحديد قيم وسيطة محددة (مثل "الإحباط" في النبرة، و"الصيغة" في استعلامات Excel) التي ارتبطت بقوة بعدم رضا المستخدمين. أدى تطبيق هذه الرؤى لتحسين ترميز Excel في Microsoft Copilot إلى مكاسب كبيرة في الدقة على الاختبارات المرجعية العامة (مثلاً +55.6 نقطة للاستعلامات المتعلقة بالصيغ).
الأهمية والادعاءات
يزعم البحث أن PROXYDRIFT يوفر حلاً عملياً يحافظ على الخصوصية لـ "النقطة العمياء" في تقييم النماذج اللغوية الكبيرة واسعة النطاق. تكمن أهميته في:
تمكين المراقبة المستمرة: السماح للمؤسسات بتتبع انحراف الإنتاج وتحديث مجموعات التقييم دون انتهاك قيود خصوصية البيانات.
تصحيح انحياز التقييم: إثبات أن مجموعات البيانات القديمة غير المتصلة بالإنترنت تضخم درجات الجودة بشكل منهجي، بينما تكشف البيانات الاصطناعية المتوافقة مع التوزيع عن فجوات الأداء الحقيقية.
إغلاق الحلقة: إظهار أن التشخيصات القائمة على الوسائط يمكن أن تقود مباشرة التحسينات الهندسية (مثل تحسين ترميز السياق) التي تحسن أداء النموذج في أنماط الفشل المحددة.
القابلية للتوسع: إثبات أن التمثيلات الوسيطة المهيكلة يمكن أن تعمل كركيزة قوية وعالية الدقة لكل من اكتشاف الانحراف وتوليد البيانات الاصطناعية في بيئات الإنتاج التي تخدم مئات الملايين من المستخدمين.
يضع المؤلفون هذا العمل ليس كبديل لتحليل البيانات الخام حيث يُسمح بذلك، بل كقدرة ضرورية لـ "الإعدادات الحساسة للخصوصية" التي تميز عمليات نشر النماذج اللغوية الكبيرة في المؤسسات الحديثة.