ملخص تقني: SELFCI – التقطير الذاتي المتكامل للنزاهة السياقية في النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

مع تزايد نشر النماذج اللغوية الكبيرة (LLMs) كوكلاء شخصيين يديرون سير عمل حساس، ينتقل تحدي الخصوصية من مجرد إخفاء البيانات البسيطة إلى النزاهة السياقية (Contextual Integrity - CI). تُعرف النزاهة السياقية الخصوصية ليس باعتبارها سرية مطلقة للمعلومات، بل كحوكمة لتدفقات المعلومات وفقاً للأعراف الخاصة بكل سياق. هناك عدم تماثل حرج في هذا المجال: يجب على المساعد الاحتفاظ بالمعلومات الضرورية لإتمام المهمة (المنفعة/Utility) مع كبت المعلومات التي لا علاقة لها بالمهمة أو غير المناسبة سياقياً (الخصوصية/Privacy) في الوقت ذاته.

تعاني طرق المحاذاة الحالية من صعوبة في تلبية هذا المتطلب المشترك:

• الضبط الدقيق تحت الإشراف (SFT) على مسارات متوافقة مع النزاهة السياقية مكلف من حيث التوسع ويعاني من "تحيز التعرض" (exposure bias) عندما تنحرف التوليدات عن التوزيع التدريبي.
• التعلم المعزز عبر الإنترنت (Online RL) (مثل GRPO) يعتمد على مكافآت عددية (scalar) متفرقة تخلط بين نجاح المهمة والامتثال لعدم الإفصاح. تفشل هذه التغذية الراجعة الفجة في الفصل بين القرارات المتعلقة بكل سمة على حدة، حيث تعتمد ملاءمة المعلومات على معايير نقل محددة، مما يؤدي غالباً إلى مقايضة تؤدي فيها تحسينات الخصوصية إلى تدهور منفعة المهمة.

المشكلة الجوهرية هي غياب آلية يمكنها فك الارتباط بين ضغوط "الاحتفاظ" و"الكبت" دون دمجهما في هدف واحد غامض أو الاعتماد على إشراف خارجي مكلف.

المنهجية: SELFCI

يقترح المؤلفون SELFCI، وهو إطار عمل للتقطير الذاتي المتكامل مصمم لمحاذاة النماذج اللغوية الكبيرة مع مبادئ النزاهة السياقية دون التضحية بقدرات حل المهام الأصلية. يستند هذا النهج إلى مفهوم الثبات المرتبط بالسياق (context-dependent invariance): حيث يجب أن يكون التوزيع التنبئي للنموذج ثابتاً (invariant) تجاه حقن المعلومات غير المسموح بها ($D_T$) بينما يظل حساساً للمعلومات المسموح بها ($A_T$).

1. توليد التغذية الراجعة

بدلاً من الاعتماد على مبررات (rationales) حقيقية أو نماذج رائدة خارجية، يستفيد SELFCI من النموذج نفسه لتوليد تغذية راجعة داخل السياسة (on-policy feedback).

• يتم توجيه النموذج باستخدام قوالب تعليمات محددة ($I_{allow}$ و $I_{disallow}$) لتوليد مبررات تشرح سبب وجوب الإفصاح عن سمات معينة أو عدم الإفصاح عنها، بناءً على مبادئ نقل النزاهة السياقية (السرية، التناسب، الموافقة).
• تعمل هذه المبررات المولدة ذاتياً كـ سياق متميز (privileged context)، مما يوفر توجيهاً كثيفاً على مستوى الرموز (token-level) مستمد من معاملات النموذج نفسه.

2. بناء المعلم المتكامل (Complementary Teacher Construction)

يقوم SELFCI بإنشاء سياسات معلمتين متميزتين من نفس معاملات النموذج، مشروطة بالتغذية الراجعة المجمعة:

• $\pi_{allow}$ (الموجه نحو المنفعة): معلم منحاز نحو إتمام المهمة، يوجه السياسة لاستعادة المعلومات الضرورية.
• $\pi_{disallow}$ (الموجه نحو الخصوصية): معلم منحاز نحو الحد الأدنى من الإفصاح، يعاقب الاعتماد على المعلومات المقيدة.

3. التحسين المشترك عبر "حاصل ضرب الخبراء" (Product-of-Experts - PoE)

يتم تدريب سياسة الطالب من خلال تقليل تباعد "كولباك - ليبلر" العكسي (reverse KL divergence) بشكل مستقل ضد هذين المعلمين:
$$\mathcal{L} = \lambda D_{KL}(\pi_\theta \parallel \pi_{allow}) + (1-\lambda) D_{KL}(\pi_\theta \parallel \pi_{disallow})$$
رياضياً، تحت توزيعات المعلم الثابتة، يكافئ هذا الهدف مطابقة توزيع هدف حاصل ضرب الخبراء (PoE):
$$\pi^* \propto \pi_{allow}^\lambda \cdot \pi_{disallow}^{1-\lambda}$$
هذه الصيغة الضربيه تركز كتلة الاحتمال على تقاطع دعائم (supports) المعلمين. وبناءً على ذلك، تتعلم السياسة تحقيق كل من إتمام المهمة والحد الأدنى من الإفصاح في آن واحد، بدلاً من معاملتهما كأهداف متنافسة. يتجنب الإطار عيوب الحلول الأحادية من خلال نمذجة هيكل "الاحتفاظ/الكبت" غير المتماثل بشكل صريح.

المساهمات الرئيسية

1. فك الارتباط بين الخصوصية والمنفعة: يقدم SELFCI إطاراً يفصل بين تحسين منفعة المهمة وقيود الخصوصية إلى توزيعات معلم متكاملة، متجنباً القيود الهيكلية للتعلم المعزز ذو المكافأة العددية أو الضبط الدقيق أحادي الجانب.
2. التقطير الذاتي دون إشراف خارجي: يولد المنهج تغذيته الراجعة المتميزة (المبررات) ومعلميه من النموذج المستهدف نفسه، مما يلغي الحاجة إلى معلمين خارجيين مكلفين أو مبررات مصاغة يدوياً.
   3. الصياغة النظرية: يوضح المؤلفون أن هدف التقطير الذاتي المتكامل يعمل كبديل علوي (upper-bound surrogate) لحالة النزاهة السياقية المثالية (الثبات تجاه المعلومات غير المسموح بها)، مما يوفر مساراً مدعوماً رياضياً للمحاذاة.
3. محاذاة حاصل ضرب الخبراء: من خلال التحسين نحو تقاطع متخصصين من المعلمين، يحقق المنهج سياسة كاملة المهمة وحافظة للخصوصية في آن واحد، وهو التوازن الذي غالباً ما يُفقد في النماذج المرجعية الحالية.

النتائج التجريبية

قيم المؤلفون SELFCI عبر نماذج متنوعة (مثل Qwen2.5, Llama-3.1) ونماذج استدلال (مثل DeepSeek-R1, Olmo-3) على اختبارات داخل وخارج النطاق.

• داخل النطاق (اختبار CI-RL): تفوق SELFCI باستمرار على النماذج المرجعية، بما في ذلك التعلم المعزز عبر الإنترنت (CI-RL/GRPO) والتقطير باستخدام معلم خارجي (ContextDistill). في نموذج Qwen2.5-7B-Instruct، رفع SELFCI درجة الكمال (Complete) (التي تلبي المنفعة والنزاهة معاً) من 23.29% إلى 53.42%، مع تعزيز كبير في النزاهة (Integrity) بنسبة (83.56%) دون التضحية بـ المنفعة (Utility).
• خارج النطاق (PrivacyLens): في سير عمل الوكلاء الذي يتضمن استخدام الأدوات، أظهر SELFCI قدرة فائقة على التعميم، محققاً أدنى معدلات التسريب (LR و ALR) مع الحفاظ على درجات عالية من المساعدة.
• المتانة (CIMemories): في ظل تراكم السياقات الخاصة حيث قد تكون السمات مناسبة في مهمة ما وغير مناسبة في أخرى، حافظ SELFCI على معدل انتهاك أقل من 5%، بينما أظهرت النماذج المرجعية حالات فشل خصوصية تراكمية.
• الكفاءة: كان SELFCI أكثر كفاءة في استهلاك العينات من التعلم المعزز عبر الإنترنت، حيث وصل إلى أداء عالٍ في عدد دورات أقل، وتطلب وقتاً أقل بكثير في وحدة المعالجة المركزية للرسومات (GPU) لكل خطوة (تمرير واحد مقابل 16 لـ GRPO).

الأهمية والادعاءات

يزعم البحث أن SELFCI يوفر مساراً عملياً نحو محاذاة النزاهة السياقية للوكلاء الشخصيين. وتكمن أهميته في إثبات أن:

• الخصوصية السياقية لا تتطلب بالضرورة التضحية بالمنفعة الأصلية؛ إذ يمكن تحسين كليهما بشكل مشترك من خلال التقطير الذاتي المتكامل.
• يمكن نمذجة عدم التماثل في "الاحتفاظ/الكبت" الخاص بالنزاهة السياقية بفعالية عن طريق تفكيك الهدف إلى توزيعات معلم متخصصة بدلاً من الاعتماد على مكافآت عددية فجة.
• يمكن أن تعمل التغذية الراجعة المولدة ذاتياً كإشارة قوية (on-policy) للإشراف الكثيف، مما يجعل محاذاة الخصوصية قابلة للتوسع دون الاعتماد على النماذج الرائدة المملوكة لجهات أخرى.

أشار المؤلفون إلى بعض القيود، بما في ذلك الاعتماد على بيانات اصطناعية مهيكلة لتوليد المبررات، والتحديات المحتملة للنماذج الأصغر ذات القدرات الضعيفة في التعلم داخل السياق، واستخدام معامل $\lambda$ ثابت لموازنة المعلمين. ومع ذلك، تشير النتائج إلى أن SELFCI يقدم نهجاً فعالاً وقابلاً للتوسع لمحاذاة النماذج اللغوية الكبيرة مع معايير الخصوصية المعقدة والمرتبطة بالسياق.