💬 NLP

Towards the Anonymization of the Language Modeling

تقترح هذه الورقة منهجيات الحجب ونمذجة اللغة السببية التي تحافظ على الخصوصية لتخصيص النماذج الشبيهة بـ BERT والشبيهة بـ GPT على البيانات الحساسة، مما يمنع بفعالية حفظ المعرفات المباشرة وغير المباشرة مع الحفاظ على فائدة عالية للمشاركة.

المؤلفون الأصليون: Antoine Boutet, Lucas Magnana, Juliette Sénéchal

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Antoine Boutet, Lucas Magnana, Juliette Sénéchal

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "نحو إخفاء هوية نماذج اللغات"، مقسمة إلى مفاهيم بسيطة مع تشبيهات من الحياة اليومية.

المشكلة الكبرى: "الببغاء" في المستشفى

تخيل ببغاءً ذكيًا جدًا (نموذج لغة اصطناعي) تم تدريبه على آلاف السجلات الطبية للمرضى. هذا الببغاء مفيد للغاية؛ إذ يمكنه تلخيص التقارير، والتنبؤ بالأمراض، والإجابة على الأسوات الطبية.

ومع ذلك، هناك جانب مخيف: الببغاء لديه ذاكرة سيئة للغاية. نظرًا لأنه درس السجلات بدقة شديدة، فهو لا يتعلم فقط كيفية التحدث بلغة الطب، بل يحفظ أيضًا تفاصيل محددة عن أشخاص محددين. إذا سألته سؤالًا، فقد يخرج فجأة بكلمات مثل: "أوه، نعم، ذلك المريض، جون سميث، الذي يعيش في 123 شارع مابل، يعاني من حالة نادرة".

هذه كارثة تتعلق بالخصوصية. تريد المستشفيات مشاركة هذه الببغاوات الذكية مع باحثين آخرين للمساعدة في الجميع، لكن لا يمكنها فعل ذلك إذا كان الببغاء سيسرب أسرارًا خاصة.

الطريقة القديمة: "القلم الأحمر" (إخفاء الهوية بالأسماء المستعارة)

تقليديًا، قبل تدريب الببغاء، يقوم البشر باستخدام قلم أحمر ووضع خطوط فوق الأسماء والعناوين وأرقام الهواتف الواضحة. تسمى هذه العملية "إخفاء الهوية بالأسماء المستعارة" (Pseudonymization).

تجادل الورقة البحثية بأن هذا ليس كافيًا. وإليك السبب:

المعرفات المباشرة: شطب "جون سميث" ينجح.
المعرفات غير المباشرة: ولكن ماذا لو كان المريض هو الشخص الوحيد في مجموعة البيانات بأكملها الذي لديه مزيج محدد ونادر من الأعراض، مثل "أعسر، ولديه حساسية من الفول السوداني، وندبة على ركبته اليسرى"؟ حتى لو شطبت الاسم، فإن الببغاء يتعلم أن هذا المزيج المحدد ينتمي إلى شخص واحد محدد. إذا كرر الببغاء ذلك المزيج لاحقًا، فإنه يكشف هوية المريض.

طريقة "القلم الأحمر" القديمة تغفل هذه الإشارات الخفية.

الحل الجديد: "الأمين الصارم" (PPmlm-bert)

يقترح المؤلفون طريقة جديدة تسمى "نمذجة اللغة المقنعة المحافظة على الخصوصية" (PPmlm-bert). فكر في هذا كأمين مكتبة صارم يدير عملية التدريب.

إليك كيف يعمل أمين المكتبة:

قائمة الضيوف (المعالجة المسبقة): قبل أن يبدأ الببغاء في الدراسة، يقوم أمين المكتبة بإنشاء "قائمة سوداء".
- أولاً، يستخدمون أداة قياسية للعثور على الأسماء والأرقام الواضحة (المعرفات المباشرة).
- ثم يقومون بشيء ذكي: ينظرون إلى مكتبة السجلات بأكملها ويتساءلون: "من هو الشخص الوحيد الذي استخدم هذه الكلمة المحددة؟" إذا ظهرت كلمة (أو عبارة) في ملف شخص واحد فقط، فسيتم وضعها في القائمة السوداء. هذه هي المعرفات غير المباشرة.
لعبة "ملء الفراغات" (نمذجة اللغة المقنعة):
- لتعليم الببغاء، يلعب أمين المكتبة لعبة. يأخذ جملة، ويغطي كلمة بقناع (مثل [MASK])، ويطلب من الببغاء تخمين الكلمة التي كانت هناك.
- الخدعة: أمين المكتبة لا يسمح أبدًا للببغاء بتخمين كلمة موجودة في القائمة السوداء.
- مثال: إذا كانت الجملة "ذهب جون سميث إلى المستشفى"، وكان "جون سميث" في القائمة السوداء، فلن يطلب أمين المكتبة من الببغاء تخمين "جون". بدلاً من ذلك، قد يغطي كلمة شائعة مثل "ذهب" أو "المستشفى".
- تفصيل حاسم: لا يزال بإمكان الببغاء رؤية الكلمات الموجودة في القائمة السوداء في الجملة لمساعدته في تخمين الكلمات الأخرى، لكنه لا يتم اختباره على تذكرها. الأمر يشبه عرض صورة لشخص مشهور على الببغاء ولكن دون سؤاله: "من هذا؟" حتى لا يتعلم نطق الاسم.
النتيجة: يتعلم الببغاء اللغة الطبية بشكل ممتاز (منفعة عالية)، لكنه لا يحفظ أبداً التفاصيل المحددة التي قد تكشف هوية مريض واحد (خصوصية عالية).

قاعدة "k-anonymity" (السرية لـ k من الأشخاص)

تستخدم الورقة مفهوم k-anonymity (تحديدًا ضبط $k=2$ ).

تخيل حفلة. إذا كنت الشخص الوحيد الذي يرتدي قبعة حمراء، فسيعرف الجميع من أنت.
إذا كنت أنت وشخص آخر ترتديان قبعات حمراء، فستكونان غير مميزين عن بعضكما البعض.
تضمن طريقة المؤلفين أن الببغاء يتعلم فقط الكلمات التي استخدمها شخصان مختلفان على الأقل. إذا استخدم شخص واحد فقط كلمة ما، يُمنع الببغاء من تعلم التنبؤ بها.

هل نجح الأمر؟ (النتائج)

اختبر المؤلفون هذا على تقارير طبية ونصوص قانونية باستخدام نماذج ذكاء اصطناعي مختلفة (مثل BERT و RoBERTa).

الخصوصية: حاولوا خداع النماذج للكشف عن أسماء المرضى أو تفاصيل فريدة. كانت الطريقة الجديدة (PPmlm-bert) جيدة للغاية في الحفاظ على الأسرار. لقد منعت النماذج من حفظ الأسماء الواضحة أو تلك التوليفات المعقدة والفريدة من الكلمات.
الفائدة: تحققوا أيضًا مما إذا كانت النماذج لا تزال ذكية بما يكفي للقيام بمهام طبية (مثل التنبؤ بما إذا كان المريض مدخنًا أو يعاني من السمنة). ومن المثير للدهشة، أن الطريقة الجديدة قدمت أداءً يضاهي الطرق القديمة المحفوفة بالمخاطر.
المقارنة:
- الطريقة القديمة (القلم الأحمر): سربت الأسرار.
- الخصوصية التفاضلية (إضافة الضجيج/الضوضاء): حافظت على الأسرار جيدًا، لكنها جعلت الببغاء غبيًا جدًا (منفعة منخفضة).
- الطريقة الجديدة (الأمين الصارم): حافظت على الأسرار وأبقت الببغاء ذكيًا.

الخلاصة

تقدم هذه الورقة طريقة عملية لتدريب الذكاء الاصطناعي على بيانات حساسة (مثل السجلات الطبية) دون أن يتحول الذكاء الاصطناعي إلى "دلو مثقوب" يسرب معلومات خاصة. ومن خلال ضمان عدم ممارسة الذكاء الاصطناعي للتنبؤ بالتفاصيل الفريدة والوحيدة، يمكن للمستشفيات مشاركة نماذج الذكاء الاصطناعي الخاصة بها مع العالم دون انتهاك خصوصية المرضى أو مخالفة القانون (GDPR).

باخت-القول: لقد علموا الذكاء الاصطناعي تعلم لغة الطب دون حفظ قصص المرضى.

ملخص تقني: نحو إخفاء هوية نماذج اللغات

بيان المشكلة
أدى التقدم السريع في معالجة اللغات الطبيعية (NLP)، لا سيما في مجال الرعاية الصحية، إلى خلق طلب على مشاركة نماذج لغوية كبيرة (LLMs) متخصصة. ومع ذلك، تواجه النماذج سابقة التدريب التي تم ضبطها بدقة (fine-tuned) على بيانات حساسة مخاطر خصوصية كبيرة؛ حيث يمكن لهذه النماذج أن "تحفظ" ومن ثم "تسترجع" أو تسرب معلومات تعريفية، بما في ذلك المعرفات المباشرة (مثل الأسماء والتواريخ) والمعرفات غير المباشرة (مثل التوليفات الفريدة من المصطلحات الطبية أو العبارات الخاصة بسياق معين). إن استراتيجيات التخفيف الحالية، مثل إخفاء الهوية باستخدام التعرف على الكيانات المسماة (NER)، غير كافية لأنها تفشل في معالجة المعرفات غير المباشرة. علاوة على ذلك، فإن تقنيات الخصوصية التفاضلية (Differential Privacy - DP) غالبًا ما تؤدي إلى تدهور كبير في فائدة النموذج. وقد أوضح مجلس حماية البيانات الأوروبي (EDPB) أنه لا يمكن افتراض أن النماذج المدربة على بيانات شخصية مجهولة الهوية ما لم يكن احتمال استرجاع المعلومات الشخصية ضئيلاً للغاية، وهو معيار لا تلبي معايير الضبط الدقيق الحالية في كثير من الأحيان.

المنهجية: نمذجة اللغة المقنعة للحفاظ على الخصوصية (PPmlm-bert)
يقترح المؤلفون نهجًا يعتمد على "الخصوصية بالتصميم" باستخدام منهجية متخصصة لنمذجة اللغة المقنعة (Masked Language Modeling - MLM) لمنع حفظ المعلومات التعريفية أثناء عملية الضبط الدقيق لنماذج تشبه BERT. وتتمثل الآلية الجوهرية في خطوة معالجة مسبقة لإنشاء "قائمة سوداء" من المصطلحات الحساسة، يتبعها استراتيجية قناع مقيدة أثناء التدريب.

تحديد المعرفات:
- المعرفات المباشرة: يتم اكتشافها باستخدام نماذج NER جاهزة (مثل EDS-Pseudo) للعثور على معلومات الهوية الشخصية (PII) القياسية.
- المعرفات غير المباشرة: يتم اكتشافها عن طريق بناء رسم بياني ثنائي الأجزاء (bipartite graph) يربط الأفراد (المستخدمين) بالكلمات الموجودة في مستنداتهم. الكلمات (أو الـ n-grams) المرتبطة بفرد واحد فقط تُصنف كمعرفات غير مباشرة. يتم ضبط هذا النهج بواسطة المعامل $k$ ، حيث يمكن تهيئة النظام لتمييز الكلمات المستخدمة من قبل أقل من $k$ من الأفراد (بافتراض $k=2$ لضمان عدم التمييز).
- بناء القائمة السوداء: يتم تجميع كل من المعرفات المباشرة وغير المباشرة في قائمة سوداء.
استراتيجية القناع المقيدة:
- خلال مرحلة الضبط الدقيق، يتم تعديل عملية القناع العشوائي القياسية (حيث يتم قناع 15% من الرموز/tokens).
- يُمنع النموذج من اختيار الكلمات الموجودة في القائمة السوداء لتكون هي الهدف من التنبؤ (الرمز المقنع).
- ومع ذلك، يمكن للكلمات الموجودة في القائمة السوداء أن تظهر في السياق (الرموز غير المقنعة المحيطة بالقناع) للمساعدة في التنبؤ بالكلمات الأخرى، وذلك للحفاظ على فائدة السياق دون إجبار النموذج على تعلم التنبؤ بالمصطلحات الحساسة نفسها.

المساهمات الرئيسية

ما وراء NER: يتحدى البحث الافتراض القائل بأن إزالة المعرفات المباشرة عبر NER كافية للخصوصية، حيث يثبت أن المعرفات غير المباشرة تشكل خطر تسريب كبير، ويقترح طريقة لاكتشافها والحماية منها.
إطار عمل PPmlm-bert: مخطط ضبط دقيق مبتكر يدمج اكتشاف المعرفات مع عملية القناع لمنع الحفظ مع الحفاظ على ثراء السياق.
تقييم شامل: تم تقييم النهج على مجموعات بيانات طبية (ملخصات الخروج السريري N2c2) ونصوص قانونية، ومقارنته بالضبط الدقيق القياسي، والضبط الدقيق باستخدام إخفاء الهوية (pseudonymization)، وخطوط الأساس للخصوصية التفاضلية (DP).

النتائج
استخدم التقييم نماذج تشمل BERT Base وRoBERTa Large وDistilRoBERTa.

المفاضلة بين الخصوصية والفائدة:
- الضبط الدقيق القياسي (mlm-bert): أظهر تدهورًا ملحوظًا في الخصوصية عبر الدورات التدريبية (epochs)، حيث تعلم النموذج التنبؤ بالمعرفات (انخفضت درجة الخصوصية من 0.97 إلى 0.92 لنموذج RoBERTa Large).
- الضبط الدقيق باستخدام إخفاء الهوية (mlmA-bert): حسن الخصوصية قليلاً عبر إزالة المعرفات المباشرة، لكنه فشل في منع حفظ المعرفات غير المباشرة، كما قلل من الفائدة (F1-Score) بسبب افتقار السياق للمعرفات المباشرة.
- الخصوصية التفاضلية (DP-bert): حققت خصوصية عالية (~0.98) ولكنها خفضت الفائدة بشكل حاد (انخفضت درجات F1-Scores إلى ~0.20–0.50).
- PPmlm-bert: حقق أفضل توازن؛ حيث ظلت الخصوصية مستقرة عند حوالي 0.99 (مما يشير إلى عدم حفظ المعرفات تقريبًا) مع الحفاظ على فائدة عالية مقاربة للضبط الدقيق القياسي.
المهام اللاحقة (Downstream Tasks): في مهام التصنيف (التنبؤ بسمنة الأمراض المصاحبة وحالة التدخين)، حقق PPmlm-bert درجات F1 مطابقة للنماذج القياسية ونماذج إخفاء الهوية، مما يثبت أن منع حفظ المعرفات لا يضعف أداء المهام.
هجمات الاستدلال على العضوية (MIA): أظهر PPmlm-bert مقاومة قوية لهجمات MIA. عند معدل خطأ إيجابي بنسبة 1%، انخفض معدل الإيجاب الحقيقي لاستدلال العضوية إلى ~~2% لـ PPmlm-bert، مقارنة بـ ~31% للنماذج القياسية و~~26% لنماذج إخفاء الهوية.
تحليل الاسترجاع: كانت المعرفات الأكثر تكرارًا في النماذج غير المحمية هي تلك الأكثر تكرارًا في بيانات التدريب. لقد قلل PPmlm-bert بشكل كبير من وتيرة عمليات الاسترجاع هذه.

الأهمية والادعاءات
يضع المؤلفون هذا العمل كخطوة عملية نحو مواءمة الضبط الدقيق للنماذج اللغوية الكبيرة مع لائحة GDPR ورأي EDPB رقم 28/2024. ويدعون أن منهجيتهم تسهل المشاركة الآمنة للنماذج من خلال ضمان أن "احتمال استرجاع المعلومات الشخصية ضئيل للغاية".

يقر البحث بتواضع بوجود بعض القيود:

يعتمد الحل على NER للمعرفات المباشرة، مما يعني أن الكلمات التي بها أخطاء إملائية أو الكلمات الأجنبية قد تفوت نظام NER ولكن يتم رصدها كمعرفات غير مباشرة بواسطة الرسم البياني ثنائي الأجزاء.
استندت الدراسة إلى مجموعة بيانات صغيرة نسبيًا؛ وتمت الإشارة إلى التحقق من الصحة على مجموعات بيانات أكبر كعمل مستقبلي.
يفترض نموذج التهديد أن المدقق (مصمم النظام) يعرف بيانات التدريب؛ ولا يعالج السيناريوهات التي يمتلك فيها المهاجم معرفة جزئية بالسكان الذين تم التدريب عليهم.
يقدم النهج مواءمة سلوكية مع معايير الخصوصية بدلاً من الضمانات الرياضية الرسمية (على عكس DP).

في النهاية، يجادل البحث بأن منع حفظ المعرفات المباشرة وغير المباشرة عبر تقنية القناع (MLM) المقيدة يعد بديلاً فعالاً ومنخفض التكلفة للخصوصية التفاضلية (DP)، حيث يحافظ على فائدة النموذج مع تقليل مخاطر تسرب الخصوصية بشكل كبير.