💻 computer science

Fine-Tuning Robot Policies While Maintaining User Privacy

تقدم هذه الورقة PRoP، وهو إطار عمل مستقل عن النموذج يُمكّن الروبوتات من تخصيص سياساتها لكل مستخدم على حدة مع الحفاظ على الخصوصية عبر استخدام مفاتيح تشفير فريدة لتحويل أوزان الشبكة رياضياً، مما يضمن أن المستخدمين المصرح لهم فقط هم من يمكنهم الوصول إلى تعديلاتهم السلوكية الخاصة.

المؤلفون الأصليون: Benjamin A. Christie, Sagar Parekh, Dylan P. Losey

نُشر 2026-03-05

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Benjamin A. Christie, Sagar Parekh, Dylan P. Losey

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك اشتريت روبوت طباخاً متطوراً ومتعدد الأغراض. بمجرد إخراجه من الصندوق، يعرف الروبوت كيف يصنع برجر "قياسياً". إنه رائع، ولكن ربما تفضل البرجر الخاص بك مع مخلل إضافي، وبدون بصل، وأن يتم تحميص الخبز لفترة أطول قليلاً.

لجعل الروبوت خاصاً بك، تقوم بتعليمه تفضيلاتك المحددة. أنت تريه كيف تحب طعامك. هذا ما يسمى بالضبط الدقيق (Fine-tuning).

المشكلة: تسريب الخصوصية في "المطبخ المفتوح"
العقبة هنا هي أنه في معظم الأنظمة الحالية، بمجرد تعليم الروبوت وصفتك السرية، تُحفظ هذه المعرفة مباشرة داخل "دماغ" الروبوت. إذا تمكن شخص آخر (مثل جار، أو مخترق، أو حتى الشركة المصنعة للروبوت) من الوصول إلى هذا الروبوت، يمكنه ببساطة تشغيله، وطلب برجر، ومشاهدته وهو يصنع نسختك الخاصة. يمكنهم فوراً معرفة أنك تكره البصل وتحب المخلل الإضافي. عاداتك الخاصة تتسرب بمجرد مراقبة الروبوت وهو يعمل.

الحل: PRoP (نظام "المفتاح السحري")
يقترح مؤلفو هذه الورقة البحثية، بنجامين كريستي، ساغار باريخ، وديلان لوزي، نظاماً جديداً يسمى PRoP (سياسات الروبوت الشخصية والخاصة).

فكر في PRoP كأنه قفل ذكي له مفتاح رئيسي ومفتاح شخصي فريد.

القفل الرئيسي (الروبوت العام): لا يزال الروبوت يمتلك دماغه "العام" الأصلي. هو يعرف كيف يصنع البرجر القياسي. هذا هو الإعداد الافتراضي.
المفتاح السحري (كلمة المرور الخاصة بك): لديك مفتاح فريد (يمكن أن يكون كلمة مرور، أو بصمة إصبع، أو حتى مسح لوجهك).
التحول: عندما تعطي الروبوت مفتاحك، لا يقوم الروبوت بمجرد "تذكر" تفضيلاتك. بدلاً من ذلك، يعمل المفتاح مثل تعويذة سحرية رياضية تقوم بإعادة ترتيب تروس الروبوت الداخلية مؤقتاً من أجلك فقط.
- مع مفتاحك: تتحرك التروس، ويصنع الروبوت برجر مثالي لك مع مخلل إضافي.
- بدون مفتاحك (أو بمفتاح خاطئ): تعود التروس إلى وضعها الأصلي. يصنع الروبوت البرجر القياسي. ليس لديه أي فكرة عن وجودك أو عما تحبه.

كيف يعمل (تشبيه "الخلطة السرية")
عادةً، لتعليم الروبوت خدعة جديدة، عليك إعادة كتابة دليل تعليماته بالكامل (أوزان الشبكة العصبية). هذا أمر فوضوي ويجعل الروبوت ينسى حيله القديمة أو يسرب بياناتك.

نظام PRoP ذكي لأنه لا يعيد كتابة الدليل. بدلاً من ذلك، يستخدم مفتاحك لتعديل الخطوات المتوسطة لعملية تفكير الروبوت.

تخيل دماغ الروبوت كخط تجميع طويل يصنع شطيرة.
يضع PRoP مرشحاً (فلتر) خاصاً وغير مرئي على حزام النقل.
عندما يكون مفتاحك حاضراً، يقوم المرشح بإعادة ترتيب المكونات على الحزام لتناسب ذوقك.
عندما يختفي المفتاح، يختفي المرشح، وتعود المكونات إلى ترتيبها القياسي.

لأن "دماغ" الروبوت الأساسي (خط التجميع) لا يتغير فعلياً بشكل دائم، فإنه يظل آمناً. حتى لو سرق مخترق كود الروبوت، فلن يتمكن من رؤية تفضيلاتك لأن تفضيلاتك مخفية داخل التفاعل بين مفتاحك وتروس الروبوت، وليس مخزنة داخل التروس نفسها.

لماذا يعد هذا أمراً هاماً
اختبر الباحثون هذا النظام على روبوتات تقوم بكل شيء، من صنع الشطائر إلى فرز الصور. ووجدوا أنه:

خصوصي: إذا حاولت تخمين مفتاح شخص آخر (حتى لو أصبت بنسبة 99%)، فلن يكشف الروبوت أسراره. سيعود ببساطة ليكون روبوتاً "طبيعياً".
فعال: لست بحاجة إلى دماغ روبوت منفصل لكل شخص. يمكن لروبوت واحد أن يخدم 100 شخص مختلف، لكل منهم تفضيلاته السرية، دون أن يرتبك أو يسرب البيانات.
مرن: يعمل سواء كان الروبوت يتعلم من خلال مراقبتك (التعلم بالتقليد)، أو التعلم من خلال التجربة والخطأ (التعلم التعزيزي)، أو مجرد فرز الصور.

باختاً
PRoP يشبه منح الروبوت الخاص بك زر "وضع شخصي" لا يمكنك تفعيله إلا أنت. يتيح للروبوت أن يكون "أنت" عندما تكون موجوداً، لكنه يجعله "غريباً" للآخرين. بهذه الطريقة، يمكنك الحصول على روبوت يفهم عاداتك حقاً دون القلق أبداً من أن أسرارك ستنكشف للعالم.

إليك ملخص تقني مفصل لورقة البحث "ضبط سياسات الروبوت بدقة مع الحفاظ على خصوصية المستخدم" من قبل كريستي، وباريك، ولوزي.

1. بيان المشكلة

تتطلب صعود سياسات الروبوت العامة (النماذج سابقة التدريب القادرة على أداء مهام متنوعة) عملية ضبط دقيق (fine-tuning) للتكيف مع تفضيلات المستخدم الفردية (مثل أساليب محددة في تحضير الطعام أو أهداف المهام). ومع ذلك، فإن طرق الضبط الدقيق الحالية تخلق ثغرة أمنية كبيرة في الخصوصية:

مشكلة التسريب: عندما يتم ضبط سياسة الروبوت بدقة لتناسب مستخدماً معيناً، فإن النموذج الناتج يشفر تفضيلات ذلك المستخدم الخاصة. أي وكيل لديه إمكانية الوصول إلى هذا النموذج المضبوط بدقة يمكنه "تشغيل" السياسة (تنفيذها) واستنتاج عادات أو أذواق أو سلوكيات المستخدم الأصلي.
محدودية الحلول الحالية:
- خصوصية البيانات: حماية مجموعة بيانات التدريب لا تمنع الاستدلال من النموذج النهائي.
- خصوصية النموذج (التشفير): التقنيات مثل التشفير المتماثل (Homomorphic Encryption) غير مجدية حسابياً للروبوتات في الوقت الفعلي (أبطأ بمقدار يصل إلى $10^7$ مرة).
- الخصوصية التفاضلية (Differential Privacy): غالباً ما تعاني من مشكلة "ميزانية الخصوصية" ( $\epsilon$ ) في مهام التفاعل المعقدة ولا تمنع الوصول إلى سلوكيات محددة.
التحدي الجوهري: كيف يمكن تمكين الروبوت من التعلم والتكيف مع المستخدمين الأفراد مع ضمان عدم قدرة المستخدمين غير المصرح لهم (أو الأطراف الثالثة) على الوصول إلى تلك التفضيلات المحددة أو استنتاجها، حتى لو امتلكوا النموذج المدرب.

2. المنهجية: PRoP (سياسات الروبوت الشخصية والخاصة)

يقترح المؤلفون PRoP، وهو إطار عمل مستقل عن النموذج يحقق تخصيصاً خاصاً دون تغيير بنية الشبكة الأصلية.

المفهة الجوهرية: التحول الكامن القائم على المفتاح

بدلاً من تدريب نماذج منفصلة لكل مستخدم أو إضافة مفتاح المستخدم كمدخل قياسي (الذي يتطلب تغييرات في البنية)، يستخدم PRoP مفتاح مستخدم فريد ( $k$ ) لتحويل الميزات الوسيطة لسياسة الروبوت سابقة التدريب رياضياً.

المفتاح ( $k$ ): معرف فريد للمستخدم (مثل كلمة مرور، ميزة بيومترية، أو رمز)، ويتم تمثيله كمتجه بتات (bit-vector).
مشفر المفتاح ( $\Delta_\phi$ ): هو عبارة عن طبقة إدراك متعددة الطبقات (MLP) تقوم بخرائط مفتاح المستخدم $k$ إلى فضاء كامن $Z$ .
التحويل الأفيني (Affine Transformation): يُستخدم الترميز الكامن لإجراء تحويل أفيني على أوزان طبقات مخفية محددة في شبكة سياسة الروبوت ( $R_\phi$ $R_{ϕ}$ ).
- بالنسبة لطبقة مخفية $i$ بأوزان $W_i$ وانحياز $b_i$ ، والمتجه الكامن $\delta_i = \Delta_\phi(k)$ ، يتم حساب المخرج $z_{i+1}$ كالتالي:
  $z_{i+1} = f(W_i \cdot \text{diag}(\delta_i) \cdot z_i + b_i)$
- هذا يعمل فعلياً كـ "بوابة" للسياسة. بدون المفتاح الصحيح، يعود التحول إلى الهوية (أو حالة محايدة)، مما يعيد الروبوت إلى سلوكه الأساسي العام ( $\pi^*$ ). ومع وجود المفتاح الصحيح، تتحول السياسة إلى السلوك المخصص ( $\pi'$ ).

هدف التدريب

تعمل عملية التدريب على تحسين هدفين متنافسين في آن واحد باستخدام دالة خسارة مركبة:

التخصيص: تقليل الخسارة لهدف المستخدم المحدد ( $J'$ ) عند توفير المفتاح الصحيح $k'$ .
الخصوصية/العودة للحالة العامة: تعظيم الأداء على الهدف العام ( $J^*$ ) لجميع المفاتيح الأخرى (بما في ذلك المفاتيح العشوائية والمفات keys القريبة من المفتاح الصحيح).

لجعل التدريب قابلاً للتطبيق، يستخدم المؤلفون دالة خسارة استقرائية تقوم بأخذ عينات من:

المفتاح الصحيح ( $k'$ ).
مجموعة فرعية من المفاتيح "القريبة" (مسافة هامينج $\le \epsilon$ ) لفرض فصل ذي هامش عالٍ.
مجموعة عشوائية من المفات keys العشوائية لضمان عودة النموذج إلى السياسة العامة للمستخدمين غير المصرح لهم.

3. المساهمات الرئيسية

صياغة التخصيص القائمة على المفتاح: طريقة مبتكرة لتهيئة سياسات الروبوت بناءً على مفاتيح المستخدم دون تعديل بنية النموذج سابقة التدريب. هذا يتجنب الحاجة إلى إعادة تدريب الشبكة بالكامل أو تغيير أبعاد المدخلات.
آلية الحفاظ على الخصوصية: تضمن الطريقة أن المستخدمين غير المصرح لهم (أو من لديهم مفاتيح غير صحيحة) سيرون فقط السياسة العامة. السلوك المخصص يتم "تعميته" رياضياً داخل أوزان الشبكة، مما يجعله غير قابل للوصول بدون المفتاح المحدد.
الاستقلالية عن النموذج: يتوافق PRoP مع مختلف نماذج التعلم، بما في ذلك التعلم بالتقليد (Imitation Learning)، والتعلم التعزيزي (RL)، وتصنيف الصور. فهو يعمل مع النماذج سابقة التدريب ويمكن تدريبه من البداية للنهاية (end-to-end).
القابلية للتوسع: تسمح هذه الطريقة بـ "ضغط" تفضيلات مستخدمين متعددين في شبكة واحدة مشتركة، مما يتجنب العبء الإضافي في الذاكرة لتخزين نماذج منفصلة لكل مستخدم.

4. النتائج التجريبية

قيم المؤلفون PRoP مقابل النماذج المرجعية (MLP قياسي مع مدخل المفتاح، وConditional VAE) عبر أربعة مجالات:

التعلم بالتقليد (ذراع بـ 3 درجات حرية): نجح PRoP في تعلم مسارات خاصة بالمستخدم. حافظ على أداء عالٍ للمفتاح الصحيح بينما عاد إلى السياسة العامة للمفاتيح غير الصحيحة.
التعلم التعزيزي (PandaGym): في بيئة ذات مكافأة كثيفة، حقق PRoP فجوات أداء جوهرية عن النماذج المرجعية بالنسبة للمفاتيح الصحيحة، مع الحفاظ على أداء عام للمهام بالنسبة للمفاتيح غير الصحيحة.
تصنيف الصور (MNIST): تعلم النموذج تغيير تنبؤات الملصقات بناءً على المفتاح (على سبيل المثال، $l \to (l+k) \mod 10$ ). أظهر PRoP تسريباً للمعلومات أقل بكثير للمفاتيح "القريبة" (فرق بت واحد) مقارنة بالنماذج المرجعية.
القابلية للتوسع (مستخدمون متعددون): استطاع PRoP التعامل مع حوالي 16 مستخدماً فريداً باستخدام شبكة واحدة قبل أن يبدأ الأداء في التدهور خطياً. في المقابل، أظهرت النماذج المرجعية (MLP/CVAE) تدهوراً أسياً في الأداء مع زيادة عدد المستخدمين.
دراسة مستخدم في العالم الحقيقي: في بيئة مطبخ تجريبية مع 12 مشاركاً وروبوت UR-10:
- التخصيص: تفوق PRoP على النماذج المرجعية في تجميع السندوتشات بشكل صحيح وفقاً لكلمة مرور المستخدم.
- الخصوصية: أظهر PRoP تسريباً أقل بكثير للمعلومات (لم يستطع المستخدمون استنتاج طلبات المستخدمين الآخرين) مقارنة بـ CVAE و MLP ( $p < 0.05$ ).

5. الأهمية والخاتمة

يعالج هذا العمل فجوة حرجة في التفاعل بين الإنسان والروبوت (HRI): التوتر بين التخصيص والخصوصية.

الأثر العملي: يتيح PRoP نشر روبوتات عامة الأغراض في البيئات المنزلية حيث يمكن للمستخدمين تخصيص السلوك دون خوف من تعرض عاداتهم الخاصة للكشف من قبل الشركات المصنعة، أو الأطراف الثالثة، أو المستخدمين الآخرين.
الابتكار التقني: من خلال الاستفادة من تحويل الميزات الوسيطة بدلاً من دمج المدخلات أو تكرار النموذج بالكامل، يوفر PRoP حلاً فعالاً من حيث الحوسبة ويعمل في الوقت الفعلي يحافظ على سلامة النماذج سابقة التدريب.
التوجه المستقبلي: تشير الورقة إلى إمكانية توسيع هذا النهج ليشمل التخصيص القائم على اللغة وتقنيات التعمية الأكثر تعقيداً، مما يمهد الطريق لمساعدين روبوتيين آمنين، قابلين للتوسع، ومخصصين.