🤖 machine learning

Towards Differentially Private Reinforcement Learning with General Function Approximation

تقدم هذه الورقة أول ضمانات نظرية للتعلم التعزيزي عبر الإنترنت ذي الخصوصية التفاضلية مع التقريب الوظيفي العام، محققةً حداً للندم بمقدار $\widetilde{O}(K^{3/5})$ من خلال دمج مبتكر بين تحديثات السياسة المجمعة والآلية الأسية، مع توضيح الفجوات في الإعدادات الخطية السابقة أيضاً.

المؤلفون الأصليون: Yi He, Xingyu Zhou

نُشر 2026-05-11

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yi He, Xingyu Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية لعب لعبة فيديو معقدة. يتعلم الروبوت من خلال تجربة حركات مختلفة، ورؤية ما يحدث، والحصول على نقاط (مكافآت). ومع مرور الوقت، يصبح أفضل في اللعب. هذا هو التعلم المعزز (Reinforcement Learning - RL).

ومع ذلك، في العالم الحقيقي، لا يكتفي الروبوت بلعب لعبة فحسب؛ بل يتفاعل معك أنت. ربما يكون "روبوت دردشة" يتعلم ما يعجبك، أو ذكاءً اصطناعيًا طبيًا يتعلم كيفية علاج المرضى. وفي كل مرة يتفاعل فيها الروبوت معك، فإنه يتعلم شيئًا عن أسرارك: تاريخك الصحي، تفضيلاتك الشخصية، أو حتى أفكارك الخاصة.

ما هي المشكلة؟ طرق التعلم القياسية تشبه معلمًا يكتب اسم كل طالب بجانب أخطائه على السبورة. وفي النهاية، يمكن لأي شخص أن ينظر إلى السبورة ويكتشف بالضبط من ارتكب أي خطأ. هذا هو تسريب الخصوصية (Privacy Leak).

التحدي الكبير: الخصوصية مقابل سرعة التعلم

حاول العلماء إصلاح ذلك باستخدام مفهوم يُسمى الخصوصية التفاضلية (Differential Privacy - DP). فكر في "الخصوصية التفاضلية" كأنها إضافة القليل من "التشويش" أو "الضجيج" إلى ملاحظات المعلم بحيث لا يستطيع أحد معرفة ما فعله طالب معين بدقة، ولكن الفصل ككل لا يزال يتعلم الإجابات الصحيحة.

لكن هنا تكمن العقبة: إذا أضفت الكثير من الضجيج لحماية الخصوصية، فسوف يتعلم الروبوت ببطء شديد. وإذا أضفت القليل منه، فسوف يتعلم بسرعة ولكنه سيسرب الأسرار.

لفترة طويلة، استطاع العلماء فقط إثبات أن خدعة الخصوصية هذه تعمل للألعاب البسيطة جدًا (مثل شبكة مكونة من مربعات قليلة) أو الألعاب ذات القواعد البسيطة جدًا (الخطية). لكن الذكاء الاصطناعي الحديث (مثل روبوتات الدردشة التي نستخدمها اليوم) يلعب ألعابًا معقدة وغير خطية. والرياضيات القديمة لم تكن تعمل في هذه السيناريوهات المعقدة.

ماذا تفعل هذه الورقة البحثية؟

هذه الورقة هي الأولى التي تثبت أنه يمكنك تعليم الروبوتات ألعابًا معقدة مع الحفاظ على أسرار المستخدمين آمنة، دون التضحية بالكثير من سرعة التعلم.

إليك كيف فعلوا ذلك، باستخدام ثلاث حيل رئيسية:

1. استراتيجية "التجميع" (الصورة الجماعية)

تخيل أن الروبوت يتعلم من خلال التقاط صورة للفصل الدراسي بعد تحدث كل طالب. إذا كنت تريد حماية الخصوصية، فعليك تمويه الصورة في كل مرة. وتمويه 1,000 صورة يتطلب مجهودًا كبيرًا ويفسد جودة الصورة.

بدلاً من ذلك، تقترح هذه الورقة: انتظر حتى تحصل على مجموعة كاملة من الطلاب (دفعة واحدة/Batch) لتلتقط صورة واحدة.

كيف تعمل: يتفاعل الروبوت مع المستخدمين لفترة من الوقت، ويجمع كل البيانات، ثم يُحدث استراتيجيته مرة واحدة للمجموعة بأكملها.
الفائدة: لن تضطر لإضافة "ضجيج الخصوصية" إلا مرات قليلة (مرة لكل دفعة) بدلاً من آلاف المرات. هذا يجعل سرعة التعلم أسرع بكثير مع الاستمرار في حماية الجميع.

2. "الآلية الأسية" (اليانصيب الموزون)

عادةً، عندما يتعلم الروبوت، فإنه يختار الحركة "الأفضل" التي وجدها حتى الآن. لكن اختيار أفضل حركة هو أمر خطير على الخصوصية لأنه يكشف بالضبط كيف كانت البيانات.

بدلاً من ذلك، تستخدم هذه الورقة يانصيبًا موزونًا:

تخيل أن الروبوت لديه قائمة بالاستراتيجيات الممكنة.
إنه يمنح بعض التذاكر الإضافية للاستراتيجيات "الأفضل"، ولكنه يمنح أيضًا بعض التذاكر للاستراتيجيات "المقبولة".
ثم يختار استراتيجية واحدة عشوائيًا بناءً على هذه التذاكر.
النتيجة: لا يزال الروبوت يختار استراتيجية جيدة جدًا معظم الوقت، ولكن نظرًا لأنه يانصيب، لا يمكن لشخص خارجي أن يتأكد بنسبة 100% من نقطة البيانات المحددة التي تسببت في اختيار الروبوت لتلك الاستراتيجية. الأمر يشبه محاولة تخمين أي تذكرة فازت دون معرفة من اشترى تلك التذكرة.

3. "بطاقة النتائج" (لا مزيد من القواعد المربكة)

في الماضي، لتعليم الألعاب المعقدة بخصوصية، حاول العلماء بناء "خريطة ثقة" (قاعدة معقدة تقول "أنا متأكد بنسبة 90% من هذا"). خرائط الثقة هذه يصعب حمايتها بضجيج الخصوصية.

تتجاوز هذه الورقة استخدام الخريطة. وبدلاً من ذلك، تستخدم بطاقة نتائج بسيطة:

تعطي البطاقة لكل استراتيجية ممكنة درجة بناءً على مدى أدائها ومدى استكشافها.
ثم تقوم بتشغيل "اليانصيب الموزون" (من الخطوة 2) بناءً على هذه الدرجات.
هذا أبسط بكثير وأسهل في الحماية.

النتائج: ما هي سرعتها؟

تثبت الورقة رياضيًا أن هذه الطريقة تعمل.

السرعة: يتعلم الروبوت بسرعة تقارب سرعة الروبوتات غير الخاصة (التي لا تهتم بالخصوصية). إذا لعب الروبوت $K$ من الجولات، فإن "الأخطاء" التي يرتكبها تنمو بمعدل $K^{3/5}$ تقريبًا (وهو معدل أبطأ بكثير من إجمالي عدد الجولات).
المقارنة: هذه هي نفس سرعة التسجيل التي كانت ممكنة سابقًا فقط للألعاب البسيطة والخطية. الآن، تعمل هذه السرعة للألعاب العامة والمعقدة أيضًا.

ملاحظة حول الادعاءات "الخطية"

تشير الورقة أيضًا إلى خطأ في بعض الدراسات الحديثة. ادعى باحثون آخرون أنه يمكنهم جعل التعلم الخاص أسرع (بسرعة $\sqrt{K}$ ) للألعاب البسيطة من خلال تحديث استراتيجيتهم بشكل نادر جدًا. وجد مؤلفو هذه الورقة خللًا في رياضياتهم: ضجيج الخصوصية الذي أضافوه في الواقع قد كسر منطق خدعة "التحديثات النادرة" الخاصة بهم. لذا، فإن السرعة $K^{3/5}$ من هذه الورقة هي حاليًا أفضل سرعة "مثبتة" لهذا النوع من التعلم الخاص.

الملخص

بلغة بسيطة: قامت هذه الورقة البحثية ببناء طريقة جديدة لتعليم وكلاء الذكاء الاصطناعي مهامًا معقدة (مثل روبوتات الدردشة أو المستشارين الطبيين) تحترم خصوصية المستخدم. وهي تفعل ذلك من خلال تجميع التفاعلات معًا قبل تحديث الذكاء الاصطناعي، واستخدام يانصيب عشوائي لاختيار استراتيجيات جديدة بدلاً من قاعدة جامدة، وإثبات أن هذه الطريقة آمنة وفعالة من الناحية الرياضية. إنها خطوة كبيرة نحو جعل الذكاء الاصطناعي يتعلم منا دون التجسس علينا.

ملخص تقني: نحو تعلم تعزيزي ذي خصوصية تفاضلية مع تقريب دالي عام

بيان المشكلة
تتناول هذه الورقة البحثية التحدي المتمثل في تحقيق كفاءة العينات في التعلم التعزيزي (RL) عبر الإنترنت تحت ضمانات خصوصية رسمية عندما يتم نمذجة البيئة باستخدام التقريب الدالي العام. لقد أرست الأعمال النظرية السابقة حول التعلم التعزيزي ذي الخصوصية التفاضلية (DP) حدود ندم (regret) دون خطية، إلا أن هذه النتائج تظل مقيدة إلى حد كبير بالبيئات الجدولية (tabular) أو إعدادات التقريب الدالي الخطي. يحدد المؤلفون فجوة حرجة: حيث يظل تمديد هذه الضمانات إلى فئات دالية غير خطية عامة (مثل الشبكات العصبية أو فئات الفرضيات المعقدة) مسألة مفتوحة. السؤال الجوهري هو ما إذا كان من الممكن تحقيق ندم دون خطي للتعلم التعزيزي الخاص مع التقريب الدالي العام تحت ظل الخصوصية التفاضلية المشتركة (JDP)، وهي تخفيف لخصوصية DP القياسية مناسب للتعلم التعزيزي المخصص حيث يجب أن تظل أفعال المستخدم الفردي خاصة بينما يتم تعلم السياسة العالمية.

المنهجية
يقترح المؤلفون إطار عمل للتعلم التعزيزي خالي من النموذج (model-free) يدمج ثلاثة مكونات خوارزمية رئيسية للتعامل مع التوتر بين الاستكشاف، والتقريب الدالي العام، والخصوصية:

هدف التحسين غير المقيد: على عكس التعلم التعزيزي غير الخاص القياسي الذي يعتمد غالباً على التحسين المقيد القائم على مجموعات الثقة (مثل طرق الحد الأعلى للثقة - UCB)، يتبنى النهج المقترح هدف تحسين غير مقيد. يوازن هذا الهدف صراحةً بين القيمة المقدرة (التفاؤل) والخطأ الإحصائي (خسارة بيلمان). يتجنب هذا الصياغة صعوبة تخصيص مجموعات الثقة المعقدة والمعتمدة على البيانات.
آلية الأس (Exponential Mechanism) لاختيار السياسة: لتخصيص عملية اختيار دالة القيمة (وبالتالي السياسة) من فئة دالية $\mathcal{F}$ ، تستخدم الخوارزمية آلية الأس (Exponential Mechanism). بدلاً من اختيار الدالة التي تعظم الدرجة بشكل حتمي (مما قد يسرب بيانات حساسة)، تقوم الخوارزمية بأخذ عينة من دالة $f^{(k)}$ باحتمالية تتناسب مع $\exp(\beta \cdot S(f))$ ، حيث $S(f)$ هي دالة درجة تجمع بين القيمة المتفائلة وخسارة بيلمان.
تحديثات السياسة المجمعة (Batched Policy Updates): للتحكم في خسارة الخصوصية التراكمية (التركيب) عبر $K$ من الحلقات، تقوم الخوارزمية بتحديث السياسة فقط في بداية دفعات ثابتة الحجم قدرها $B$ . داخل الدفعة الواحدة، تظل السياسة ثابتة. تحد هذه الاستراتيجية من عدد المرات التي تشارك فيها أي نقطة بيانات واحدة في تحديث خاص، مما يسم يسمح بتراكم خصوصية دون خطي بدلاً من التراكم الخطي.

تقدم الورقة خوارزميتين محددتين:

الخوارزمية 1: مصممة لعمليات ماركوف لاتخاذ القرار (MDPs) العشوائية العامة. تتطلب اكتمال بيلمان (يجب أن تكون الفئة الدالية مغلقة تحت مؤثر بيلمان) وتستخدم خسارة خطأ بيلمان مع تصحيح الحد الأدنى للتعامل مع مشكلات أخذ العينات المزدوج.
الخوارزمية 2: مصممة لـ عمليات ماركوف الحتمية ذات مكافآت النواتج (إعداد مستوحى من تطبيقات النماذج اللغوية الكبيرة LLMs). تعمل هذه النسخة على تخفيف المتطلب إلى الواقعية (realizability) (وجود دالة Q المثلى في الفئة) وتستبدل خسارة بقايا بيلمان القائمة على النتيجة بخسارة بقايا بيلمان القائمة على النتيجة، مما يلغي الحاجة إلى تحسين (max-min).

المساهمات الرئيسية

أول ضمانات نظرية للتقريب الدالي العام: تقدم الورقة أول حدود ندم دون خطية للتعلم التعزيزي عبر الإنترنت مع التقريب الدالي العام تحت ظل JDP.
حدود الندم:
- بالنسبة لعمليات ماركوف العشوائية العامة (الخوارزمية 1)، يتدرج الندم كـ $\tilde{O}(K^{3/5})$ ، اعتماداً على معلمة القابلية للتغطية (coverability) $C_{cov}$ ، والتي توضح صعوبة الاستكشاف.
- بالنسبة لعمليات ماركوف الحتمية ذات مكافآت النواتج (الخوارزمية 2)، يتم تحقيق حد مشابه $\tilde{O}(K^{3/5})$ تحت فرضية الواقعية الأضعف.
- تطابق هذه الحدود نتائج أحدث ما توصل إليه العلم في حالة التقريب الدالي الخطي في الإعداد الخالي من النموذج، رغم زيادة تعقيد الفئات الدالية العامة.
النواتج غير الخاصة: تُنتج التحليلات حدود ندم جديدة للتعلم التعزيزي غير الخاص تحت قيود التكيف (التحزيم ثابت الحجم). وبشكل محدد، تظهر الورقة أنه يمكن تحقيق ندم $\tilde{O}(\sqrt{K})$ باستخدام $\sqrt{K}$ من التحديثات تحت شرط القابلية للتغطية، مما يكمل النتائج الحالية القائمة على فئة شرط Eluder.
توضيح أدبيات MDP الخطية: يحدد المؤلفون فجوات جوهرية في الادعاءات الأخيرة المتعلقة بتحسين حدود $\tilde{O}(\sqrt{K})$ للتعلم التعزيزي الخاص مع MDPs الخطية. ويجادلون بأن البراهين الحالية التي تعتمد على "التبديل النادر للسياسة" وحيل المحدد (determinant tricks) تفشل تحت قيود الخصوصية لأن الرتابة اللازمة لمصفوفة التصميم تنكسر بسبب ضجيج الخصوصية المحقون.

النتائج والتحليل
يعتمد التحليل النظري على ثابت القابلية للتغطية، وهو مقياس تعقيد قدمه Xie et al. [XFBJK22]، والذي يعمم مفهوم صعوبة الاستكشاف إلى ما وراء الإعدادات الخطية. يتضمن مخطط الإثبات ما يلي:

تفكيك الندم إلى حد يتعلق بـ "خطأ التدريب" (خسارة بيلمان) و"خطأ السياسة الحالية" (test error).
استخدام آلية الأس للحد من الانحراف بين الدالة المختارة والدالة المثلى (تكلفة الخصوصية).
اشتقاق متباينة جديدة لربط خطأ السياسة الحالية بخطأ التدريب في وجود التحزيم، باستخدام ثابت القابلية للتغطية للحد من انزياح التوزيع بين سياسة جمع البيانات والسياسة الحالية.
تحسين حجم الدفعة $B$ ومعلمة درجة الحرارة $\eta$ للموازنة بين حداثة المعلومات (الندم) وتكلفة الخصوصية.

تتضمن الورقة محاكاة لإثبات المفهوم في إعداد نواتج مكافأة حتمي. تظهر النتائج مقايضة الخصوصية والمنفعة المتوقعة: الخصوصية الأقوى (إبسيلون $\epsilon$ أقل) تؤدي إلى تقارب أبطأ (ارتفاع حلقات الهضبة)، بينما يؤدي التحزيم إلى تأخير متوسط مقارنة بالتعلم غير المحزّم وغير الخاص.

الأهمية
تدعي الورقة أنها تقدم أول أساس نظري مبدئي للتعلم التعزيزي الخاص في الإعدادات التي تعكس التطبيقات الحديثة، مثل تلك المتعلقة بالنماذج اللغوية الكبيرة (LLMs) والمقربات الدالية المعقدة وغير الخطية. ومن خلال إثبات أن مقياس الندم $\tilde{O}(K^{3/5})$ الذي يمكن تحقيقه في الإعدادات الخطية يمتد إلى الفئات الدالية العامة تحت ظل JDP، فإن هذا العمل يسد فجوة كبيرة بين نظرية الحفاظ على الخصوصية وأنظمة التعلم التعزيزي العملية. علاوة على ذلك، من خلال كشف العيوب في الأدبيات الأخيرة المتعلقة بـ MDPs الخطية، تهدف الورقة إلى توضيح مشهد التعلم التعزيزي الخاص، لضمان بناء التطورات النظرية المستقبلية على أسس تحليلية سليمة. يتم تقديم الإطار كنهج معياري يمكن تكييفه مع مختلف آليات الخصوصية والفئات الدالية.