🤖 machine learning

INO-SGD: Addressing Utility Imbalance under Individualized Differential Privacy

تقدم هذه الورقة البحثية خوارزمية INO-SGD، وهي خوارزمية مبتكرة صُممت لمعالجة مشكلة عدم توازن المنفعة الحرجة في الخصوصية التفاضلية الفردية من خلال تقليل وزن البيانات استراتيجياً داخل كل دفعة لضمان أداء أفضل للنموذج على البيانات عالية الخصوصية دون المساس بضمانات الخصوصية.

المؤلفون الأصليون: Xiao Tian, Jue Fan, Rachael Hwee Ling Sim, Bryan Kian Hsiang Low

نُشر 2026-05-11

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Xiao Tian, Jue Fan, Rachael Hwee Ling Sim, Bryan Kian Hsiang Low

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "INO-SGD: معالجة عدم توازن المنفعة في ظل الخصوصية التفاضلية الفردية" باستخدام لغة بسيطة وتشبيهات إبداعية.

الصورة الكبيرة: فصل دراسي بقواعد خصوصية مختلفة

تخيل معلماً (مالك النموذج) يحاول تدريس فصل دراسي من خلال جمع الواجبات المنزلية من العديد من الطلاب (مالكي البيانات). الهدف هو بناء دليل دراسي ذكي (نموذج الذكاء الاصطناعي) يساعد الجميع على اجتياز امتحاناتهم.

ومع ذلك، فإن بعض الطلاب يهتمون بالخصوصية بشكل كبير؛ فهم قلقون من أنه إذا تم الاطلاع على واجباتهم المدرسية المحددة، فقد يكشف ذلك عن أسرار حساسة تخصهم (مثل مرض وصمي أو موقف شخصي صعب). لذا، يطلب هؤلاء حماية أقوى للخصوصية. بينما طلاب آخرون أقل قلقاً ولا يمانعون حماية أضعف.

في الماضي، ولحماية الجميع، كان على المعلم معاملة الفصل بأكمله بنفس الطريقة: إما منح الجميع حماية ضعيفة (مما يخاطر بكشف أسرار الطلاب الحساسين) أو منح الجميع حماية قوية جداً (مما يجعل الدليل الدراسي ضبابياً وغامضاً لدرجة أن لا أحد سيتعلم منه أي شيء جيداً).

مؤخراً، تم اختراع طريقة جديدة تسمى IDP-SGD. وهي تسمح لكل طالب باختيار مستوى الخصوصية الخاص به. يحصل الطلاب الذين يهتمون بالخصوصية على حماية قوية؛ والآخرون يحصلون على حماية أضعف. يبدو هذا مثالياً، أليس كذلك؟

المشكلة: اكتشفت الورقة البحثية عيباً خفياً في هذه الطريقة الجديدة. نظرًا لأن بيانات الطلاب المهتمين بالخصوصية يتم "تغبيشها" (جعلها غير واضحة) بشكل كبير لحمايتهم، ينتهي الأمر بدليل المعلم الدراسي بكونه سيئاً في مساعدة هؤلاء الطلاب الخاصين تحديداً. وفي الوقت نفسه، يعمل الدليل بشكل رائع للطلاب الأقل اهتماماً بالخصوصية.

تسمي الورقة البحثية هذا بـ "عدم توازن المنفعة" (Utility Imbalance). إنه يشبه نموذج تدريب طبي يكون بارعاً في تشخيص نزلات البرد الشائعة ولكنه سيء جداً في تشخيص الأمراض النادرة والوصمية لأن البيانات الخاصة بتلك الأمراض كانت "محمية" أكثر من اللازم أثناء التدريب.

الحل: INO-SGD (المصحح الذكي)

يقترح المؤلفون خوارزمية جديدة تسمى INO-SGD. فكر فيها كـ مصحح ذكي ينظر إلى الواجبات المنزلية قبل أن يحاول المعلم التعلم منها.

إليك كيف تعمل، باستخدام استعارة المطبخ المليء بالضجيج:

المكونات (البيانات): تخيل أن المعلم يقوم بإعداد حساء (النموذج). المكونات هي الواجبات المنزلية.
الضجيج (الخصوصية): لحماية الطلاب، يضيف المعلم "ضجيج الخصوصية" (مثل الملح) إلى الحساء. كلما زاد اهتمام الطالب بالخصوصية، زادت كمية الملح المضافة إلى مكوناته الخاصة.
عدم التوازن: إذا أضفت الكثير من الملح إلى المكونات الخاصة، فستصبح مالحة جداً لدرجة أن الطاهي سيتجاهلها أو أنها ستفسد النكهة للجميع. ينتهي الأمر بالطاهي بالاعتماد بشكل أساست على المكونات الأقل ملوحة (الأقل خصوصية). الحساء النهائي سيكون طعمه رائعاً للأشخاص الذين يحبون النكهة الأقل ملوحة، لكنه سيكون عديم الفائدة للأشخاص الذين يحتاجون إلى النكهة المالحة.

كيف تعالج INO-SGD هذه المشكلة:
بدلاً من مجرد رمي جميع المكونات في القدر بالتساوي، ينظر المصحح الذكي (INO-SGD) إلى الواجبات المنزلية ويسأل: "ما مدى صعوبة تعلم هذا؟"

البيانات الصعبة التعلم: إذا كان الواجب المنزلي صعب الفهم للغاية (وهذا يحدث غالباً مع البيانات عالية الخصوصية بسبب الضجيج الذي يجعلها ضبابية)، يقول المصحح: "هذا مهم! نحن بحاجة للتركيز على هذا". فيعطي هذا البيانات درجة عالية.
البيانات السهلة التعلم: إذا كان الواجب المنزلي سهلاً للفهم (غالباً من الطلاب الأقل اهتماماً بالخصوصية)، يقول المصحح: "نحن نعرف هذا بالفعل. يمكننا تجاهل جزء منه". فيعطي هذه البيانات درجة منخفضة.

الخدعة السحرية:
الخوارزمية لا تقوم فقط برمي البيانات السهلة (لأن ذلك سيضيع ميزانيات الخصوصية)، بل تقوم بـ تقليل وزن (down-weighting) البيانات السهلة. فهي تخبر المعلم: "ركز 80% من انتباهك على البيانات الصعبة والخاصة، و20% فقط على البيانات السهلة".

من خلال القيام بذلك، يتعلم المعلم كيفية التعامل مع البيانات الصعبة والخاصة دون الحاجة إلى إضافة المزيد من الضجيج. والنتيجة هي دليل دراسي يعمل بشكل جيد للجميع، بما في ذلك الطلاب الأكثر اهتماماً بالخصوصية، دون التضحوة بالجودة الإجمالية للدليل.

لماذا لم تنجح الحلول الموجودة مسبقاً

توضح الورقة البحثية لماذا لا يمكنك استخدام الحيل القديمة لإصلاح الأمر:

زيادة العينات (Oversampling): لا يمكنك مجرد "نسخ ولصق" الواجبات المنزلية للطلاب المهتمين بالخصوصية لجعلهم يظهرون بشكل متكرر أكثر. القيام بذلك سيخرق قواعد الخصوصية الخاصة بهم.
تقليل العينات (Undersampling): لا يمكنك مجرد رمي الواجبات السهلة للطلاب الأقل اهتماماً بالخصوصية. فهذا يهدر ميزانية الخصوصية الخاصة بهم ويجعل الحساء بأكمله أقل نكهة.
التوازن القياسي (Standard Balancing): تفترض الطرق القديمة أن المشكلة تكمن في وجود عدد أقل من الطلاب المهتمين بالخصوصية. لكن في هذه الحالة، قد يكون هناك أعداد متساوية من الطلاب؛ المشكلة هي أن قواعد الخصوصية تجعل البيانات الخاصة تبدو "أصغر" و"أكثر ضبابية" بالنسبة للخوارزمية.

النتائج: نتيجة أكثر عدلاً

اختبر المؤلفون هذه الطريقة على مجموعات بيانات متنوعة (مثل صور الأرقام المكتوبة بخط اليد، والأشعة السينية الطبية، وصور الحيوانات). ووجدوا ما يلي:

أفضل للمهتمين بالخصوصية: حصل الطلاب المهتمون بالخصوصية (أو المجموعات ذات القواعد الصارمة للخصوصية) على نتائج أفضل بكثير. ارتفعت "درجاتهم" (دقة النموذج) بشكل ملحوظ.
لا خسارة للآخرين: لم يخسر الطلاب الأقل اهتماماً بالخصوصية الكثير. في الواقع، غالباً ما أصبح النموذج الإجمالي أفضل قليلاً لأنه توقف عن إضاعة الوقت في الأشياء "السهلة" وركز على الأشياء "الصعبة".
الخصوصية آمنة: لا تزال الطريقة الجديدة تتبع قواعد الخصوصية بصرامة. الطلاب المهتمون بالخصوصية محميون تماماً كما كانوا من قبل؛ الخوارزمية فقط تعلمت كيف تستمع إليهم بفعالية أكبر.

ملخص التشبيه

تخيل فريقاً من المتنزهين يحاول الوصول إلى القمة.

الطريقة القديمة: الجميع يمشي بسرعة أبطأ متنزه. المتنزهون السريعون يشعرون بالملل والتعب.
IDP-SGD (الطريقة المعيبة): الجميع يمشي بوتيرته الخاصة، لكن المتنزهين البطيئين (البيانات الخاصة) يرتدون نظارات ضبابية ثقيلة. ينتهي الأمر بقائد الفريق (النموذج) بتجاهل المتنزهين البطيئين لأن رؤيتهم صعبة، ويتحرك الفريق بسرعة لكنه يترك المتنزهين البطيئين خلفه.
INO-SGD (الحل): يدرك قائد الفريق أن المتنزهين البطيئين يحملون في الواقع قطع الخريطة الأكثر أهمية، رغم صعوبة رؤيتهم. يخبر القائد المتنزهين السريعين: "تمهلوا قليلاً وانتبهوا جيداً للمتنزهين البطيئين". يصل الفريق بأكمله إلى القمة معاً، ويتم تضمين المتنزهين البطيئين أخيراً في الرحلة.

تثبت الورقة البحثية أنه من خلال الاهتمام الاستراتيجي بالبيانات الصعبة والخاصة وتقليل الاهتمام بالبيانات السهلة، يمكننا بناء نماذج ذكاء اصطناعي عادلة، ودقيقة، وتحترم خصوصية الجميع.

ملخص تقني: INO-SGD: معالجة عدم توازن المنفعة في ظل الخصوصية الفردية المتمايزة

بيان المشكلة

تتناول الورقة البحثية قصوراً حرجاً في الخصوصية الفردية المتمايزة (IDP)، وهو إطار عمل يسمح لمالكي البيانات بوضع ميزانيات خصوصية ( $\epsilon_n$ ) متميزة بناءً على متطلبات الحساسية الخاصة بهم. وبينما تنجح خوارزميات IDP-SGD الحالية (تحديداً متغيرات SAMPLE و SCALE) في تلبية قيود الخصوصية الفردية، إلا أنها تتسبب دون قصد في مشكلة عدم توازن المنفعة (utility imbalance) الشديدة.

في IDP-SGD، يتم تخصيص معدلات أخذ عينات أقل (في SAMPLE) أو عتبات تقليم (clipping thresholds) أصغر للرسومات البيانية (gradients) لأصحاب البيانات ذوي متطلبات الخصوصية الأقوى (الأقل $\epsilon_n$ ). وبناءً على ذلك، خلال عملية التدريب، تساهم التدرجات من هؤلاء الملاك "الأكثر خصوصية" بشكل أقل في تحديث النموذج مقارنة بالتدرجات من الملاك "الأقل خصوصية". وتحدد الورقة ظاهرتين سلبيتين ناتجتين عن هذا عدم التوازن:

الهبوط الأولي للأقلية (Minority Initial Drop - MID): مرحلة أولية تفشل فيها منفعة النموذج للمجموعات الأكثر خصوصية في التحسن أو حتى تتدهور، بينما تتحسن منفعة المجموعات الأقل خصوصية بشكل طبيعي.
هدف الأمثلة المتحيز (Biased Optimization Objective - BOO): يستقر النموذج المدرب النهائي في حالة تحابي المجموعات الأقل خصوصية، مما يؤدي إلى أداء ضعيف بشكل ملحوظ على بيانات الملاك الأكثر خصوصية.

وتجادل الورقة بأن التقنيات الحالية لتصحيح عدم توازن البيانات (مثل زيادة أخذ العينات أو إعادة قياس الخسارة) غير مناسبة لـ IDP لأنها إما تنتهك ميزانيات الخصوصية الفردية، أو لا تستغل ميزانيات الخصوصية المتاحة بالكامل (مما يقلل المنفعة الإجمالية)، أو يتم إبطال تأثيراتها بواسطة آليات تقليم التدرج المتأصلة في DP.

المنهجية: INO-SGD

لحل هذه المشكلة، يقترح المؤلفون INO-SGD (التحسين المتدرج المرتب والمشوش فردياً). الجوهر الفكري هو تقليل وزن التدرجات الأقل أهمية داخل كل دفعة (batch) استراتيجياً دون انتهاك قيود IDP.

الآلية الرئيسية

الترتيب القائم على الخسارة: داخل كل دفعة مأخوذة، يتم ترتيب التدرجات بترتيب تنازلي بناءً على قيم الخسارة الفردية الخاصة بها. يفترض المؤلفون أن تدرجات الخسارة العالية تمثل نقاط بيانات "أصعب" أو أكثر أهمية يحتاج النموذج لتعلمها، بغض النظر عن مستوى خصوصية المالك.
دالة أهمية الذيل (Tail Importance Function - TIF): تقوم دالة $f_{tail}$ $f_{t ai l}$ محددة مسبقاً برسم خريطة لموقع التدرج في القائمة المرتبة إلى درجة أهمية تتراوح بين 0 و 1.
- التدرجات في "الرأس" (الخسارة العالية) تُمنح درجة 1 (يتم الاحتفاظ بها بالكامل).
- التدرجات في "الذيل" (الخسارة المنخفضة) تُمنح درجات $< 1$ (يتم تقليل وزنها).
دالة أهمية الدفعة (Batch Importance Function - BIF): يتم تحويل TIF إلى BIF، وهي $f_t$ ، التي تخصص درجات الأهمية للنطاق المستمر من عتبات التقليم المتراكمة داخل الدفعة.
التقليم الموزون: بدلاً من مجرد تقليم التدرجات إلى عتبة المالك $C_{o(d)}$ $C_{o (d)}$ ، يقوم INO-SGD بتغيير حجم التدرج المقطع بمقياس درجة أهميته المحسوبة $\rho_k$ $ρ_{k}$ .
- إذا اعتُبر التدرج غير مهم (خسارة منخفضة)، يتم تقييد معيار نمطه (norm) ليكون أصغر بصرامة من $C_{o(d)}$ .
- هذا التقليل في معيار التدرجات "السهلة" يخلق "مساحة" ضمن إجمالي ميزانية الحساسية النمطية (modular sensitivity) للحفاظ بفعالية على مساهمة التدرجات "الصعبة" (التي غالباً ما تكون من ملاك أكثر خصوصية) دون زيادة مقياس الضجيج الإجمالي.
الحفاظ على الخصوصية: تضمن الخوارزمية أن الحساسية النمطية للآلية بالنسبة لأي بيان منفرد $d$ تظل محدودة بعتبة التقليم الخاصة بمالكه $C_{o(d)}$ . ويتحقق ذلك لأن إعادة الوزن تعتمد على ترتيب الخسائر (المستمدة من النموذج في التكرار السابق، وهو نموذج محمي بالفعل بـ DP) وأن التغيير الإجمالي في المجموع التدرجي عند إضافة أو إزالة بيان ما محدود رياضياً بعتبة التقليم الخاصة بالبيان نفسه.

المساهمات الرئيسية

تحديد عدم توازن المنفعة الناجم عن IDP: توضح الورقة نظرياً كيف أن IDP-SGD يسبب عدم توازن المنفعة (MID و BOO) حتى في مجموعات البيانات المتوازنة، وذلك بسبب التفاوت في معدلات أخذ العينات وعتبات التقليم المطلوبة لتلبية ميزانيات الخصوصية الفردية.
خوارزمية INO-SGD: خوارزمية أمثلة مبتكرة تحقق متطلبات IDP مع التخفيف من حدة عدم توازن المنفعة. وهي تحقق ذلك من خلال تقليل وزن التدرجات ذات الخسارة المنخفضة (غالباً من الملاك الأقل خصوصية) لإعطاء الأولوية للتدرجات ذات الخسارة العالية (غالباً من الملاك الأكثر خصوصية)، مما يؤدي فعلياً إلى تحسين دالة هدف مختلفة.
الضمانات النظرية:
- الخصوصية: ثبت أنها تحقق $(\alpha, \bar{\epsilon})$ -Rényi Individualized Differential Privacy (IRDP) بنفس معدل استهلاك الخصوصية لـ IDP-SGD القياسي.
- الهدف: تظهر الخوارزمية أنها تقلل بفعالية دالة Mixed Conditional Value-at-Risk (CVaR) (أو متوسط مرجح مرتب بأوزان غير متزايدة). هذا الهدف يعطي الأولوية لتقليل خسائر المجموعات الأكثر تضرراً (الملاك الأكثر خصوصية) بدلاً من تقليل متوسط الخسارة.
التعميم (INO-SGM): يعمم المؤلفون الآلية إلى INO-SGM (آلية غاوس الفردية المرتبة والمشوشة)، والتي يمكن تطبيقها على أي دالة يكون فيها ترتيب البيانات مهماً، وليس فقط التدرج الاشتقاقي.

النتائج التجريبية

قيم المؤلفون INO-SGD مقابل IDP-SGD عبر مجموعات بيانات متنوعة (MNIST, CIFAR-10, CIFAR-100, Pneumonia, Cardiotocography) ونماذج مختلفة (CNNs, ResNet-18, LSTMs).

توازن المنفعة: حسّنت INO-SGD باستمرار أداء (الاستدعاء/الدقة) لملاك البيانات الأكثر خصوصية. وفي العديد من التجارب، انخفضت الفجوة في الأداء بين المجموعات الأكثر خصوصية والأقل خصوصية بشكل كبير.
المنفعة الإجمالية: على عكس المقايضة التقليدية بين الخصوصية والمنفعة، لم تضحِّ INO-SGD بالمنفعة الإجمالية للنموذج. بل في حالات كثقة، حققت دقة إجمالية مساوية أو أعلى قليلاً من IDP-SGD. ويعزو المؤلفون ذلك إلى إزالة التدرجات "المشوشة" أو الأقل معلوماتية التي تشتت النموذج.
المتانة: أظهرت الخوارزمية متانة تجاه خيارات المعلمات الفائقة (طول الذيل $\gamma$ ، ومعلمات توزيع بيتا $\alpha, \beta$ ) وظلت فعالة تحت ضوضاء التصنيف (label noise) وإعدادات التقليم التكيفية.
التحقق من الخصوصية: أكدت هجمات الاستدلال على العضوية (LiRA) أن INO-SGD توفر حماية للخصوصية مماثلة لـ IDP-SGD، مع عدم وجود تسريب كبير.

الأهمية والادعاءات

تدعي الورقة أنها العمل الأول الذي حدد وعالج المشكلة المحددة المتمثلة في عدم توازن المنفعة الناجم عن IDP. وتكمن أهميتها في:

الذكاء الاصطناعي الأخلاقي: تضمن أن نشر النماذج التي تحافظ على الخصوصية لا يؤدي دون قصد إلى التمييز ضد المستخدمين الذين لديهم بيانات حساسة (مثل المرضى المصابين بأمراض وصمية) من خلال تقديم نموذج يعمل بشكل سيئ على بياناتهم الخاصة.
الكفاءة: تحل مشكلة المقايضة حيث كان تلبية متطلبات الخصوصية الفردية يؤدي سابقاً إلى أداء نموذجي دون المستوى لمجموعات معينة. تسمح INO-SGD لمالكي النماذج باستخدام كامل ميزانيات الخصوصية لجميع الملاك مع الحفاظ على أداء متوازن.
التفوق في باريتو (Pareto Superiority): يثبت المؤلفون أن INO-SGD تهيمن على النهج الساذجة (مثل تقليل ميزانيات الخصوصية بشكل موحد أو تقليل أخذ العينات العشوائي) في منحنى باريتو، مما يقدم مقايضة متفوقة بين المنفعة الإجمالية وتوازن المنفعة.

يقر المؤلفون بتواضع بأن، رغم أن INO-SGD تحسن التوازن، إلا أن هناك لا تزال توجد مقايضة أساسية بين IDP والتوازن والمنفعة؛ إذ إن الدفع بقوة مفرطة نحو التوازن (عبر تقليل الوزن بشكل حاد) يمكن أن يؤدي في النهاية إلى تدهور المنفعة الإجمالية. ومع ذلك، فإن INO-SGD تدفع بحدود باريتو لتكون أقرب إلى المثالية مقارنة بالطرق الموجودة.