Evaluating LLM-based Personal Information Extraction and Countermeasures

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقييم استخراج المعلومات الشخصية القائم على النماذج اللغوية الكبيرة (LLM) والتدابير المضادة":

1. بيان المشكلة

يتضمن استخراج المعلومات الشخصية (PIE) استخراج البيانات الحساسة (مثل الأسماء، رسائل البريد الإلكتروني، أرقام الهواتف، التاريخ الوظيفي) تلقائيًا من الملفات الشخصية المتاحة علنًا. تقليديًا، كان يتم ذلك باستخدام التعبيرات النمطية (Regular Expressions)، والبحث عن الكلمات المفتاحية، والتعرف على الكيانات المسماة (NER). ومع ذلك، تعاني هذه الطرق من نجاح محدود بسبب افتقارها إلى الفهم الدلالي لهياكل الملفات الشخصية المعقدة.

تعالج الورقة ثغرة أمنية حرجة: تمتلك النماذج اللغوية الكبيرة (LLMs) فهمًا دلاليًا متقدمًا ويمكن إساءة استخدامها من قبل المهاجمين لأتمتة استخراج المعلومات الشخصية (PIE) على نطاق واسع. هذه القدرة تخفض بشكل كبير الحاجز أمام شن هجمات متطورة مثل التصيد الاحتيالي الموجه، والاحتيال عبر الاتصالات، وحشو الاعتمادات (Credential Stuffing). يهدف المؤلفون إلى قياس فعالية هجمات PIE القائمة على LLM بشكل منهجي وتقييم التدابير المضادة الحالية والمبتكرة.

2. المنهجية

أ. إطار الهجوم

يقترح المؤلفون إطار عمل مهيكل لهجمات PIE القائمة على LLM يتكون من مكونين قابلين للضبط:

1. تصميم المطالبة (Prompt Design): يتضمن اختيار أنماط المطالبات (مباشر، شخصية، سياقي، كود زائف)، واستخدام التعلم في السياق (أمثلة قليلة - few-shot)، وإضافة تعليمات لتجاوز الدفاعات المحتملة.
2. معالجة الملف الشخصي: يتضمن إما الاستخدام المباشر للملف الشخصي الخام (مثل مصدر HTML) أو تصفية المعلومات الزائدة (مثل إزالة وسوم CSS/HTML) ليتناسب مع حدود سياق النموذج اللغوي الكبير.

ب. مجموعات البيانات

لمعالجة نقص معايير القياس ذات الحقيقة الأرضية (Ground-truth)، أنشأ المؤلفون خمس مجموعات بيانات تحتوي على 8 فئات من المعلومات الشخصية (البريد الإلكتروني، الهاتف، العنوان، الاسم، الخبرة العملية، التعليم، الانتماء، المهنة):

• المجموعة الاصطناعية (Synthetic Dataset): 100 ملف شخصي تم إنشاؤها بواسطة GPT-4 بأنماط متنوعة (منظم، مهووس بالتقنية، رسمي، إلخ) لضمان حقيقة أرضية محكومة.
• مجموعات البيانات الواقعية:
  • المشاهير: ملفات شخصية لأفضل 100 شخص مشهور.
  • الأطباء: أطباء أمريكيون من القرن التاسع عشر من ويكيبيديا.
  • الأساتذة: ملفات شخصية لأساتذة هندسة الحاسوب والكهرباء (EECS) من جامعات كبرى (MIT، CMU، Stanford، Berkeley).
  • المحكمة: قضاض المحكمة الأوروبية لحقوق الإنسان (مقتبسة من مجموعة بيانات لإخفاء هوية النصوص).

ج. إعداد التقييم

• النماذج: تم تقييم 10 نماذج لغوية كبيرة (بما في ذلك GPT-4، GPT-3.5، PaLM 2، Gemini، Vicuna، Llama-2، InternLM) تتراوح من 7 مليار إلى أكثر من 1.5 تريليون معلمة (Parameter).
• المقارنة المرجعية (Baselines): تمت المقارنة مع الطرق التقليدية: التعبيرات النمطية، البحث عن الكلمات المفتاحية، NER (مثل spaCy وBERT-based)، و mlscraper.
• المقاييس:
  • الدقة (Accuracy): للبيانات المهيكلة (البريد الإلكتروني، الهاتف) التي تتطلب تطابقًا دقيقًا.
  • Rouge-1 و BERT Score: للبيانات غير المهيكلة (الخبرة العملية، التعليم) لقياس تداخل الكلمات والتشابه الدلالي.

د. التدابير المضادة التي تم تقييمها

قيمت الدراسة الدفاعات الموجودة واقترحت دفاعًا جديدًا:

1. استبدال الرموز (Symbol Replacement - SR): استبدال @ بـ AT و . بـ DOT.
2. استبدال الكلمات المفتاحية (Keyword Replacement - KR): استبدال الأسماء بنصوص نائبة (مثل <first_name>).
3. الارتباط التشعبي (Hyperlink - HL): إخفاء النص خلف روابط قابلة للنقر.
4. النص إلى صورة (Text-to-Image - TI): تحويل النص إلى صور.
5. حقن المطالبة (Prompt Injection - PI - مبتكر): حقن نص غير مرئي في الملف الشخصي يوجه النموذج اللغوي لتجاهل السياق السابق وإخراج معلومات خاطئة. هذا مصمم ليكون غير مرئي للمستخدمين البشريين (على سبيل المثال، نفس لون الخط للخلفية) ولكنه مرئي للنموذج اللغوي.

3. المساهمات الرئيسية

1. أول معيار قياس منهجي: أول دراسة قياس شاملة توضح هجمات ودفاعات PIE القائمة على LLM عبر نماذج ومجموعات بيانات متعددة.
2. إنشاء مجموعة بيانات: تنسيق 4 مجموعات بيانات (واحدة اصطناعية، 3 واقعية) مع تسميات يدوية للحقيقة الأرضية لـ 8 فئات من المعلومات الشخصية.
3. استراتيجية دفاع مبتكرة: اقتراح حقن المطالبة (Prompt Injection) كآلية دفاعية. على عكس الدفاعات التقليدية التي تحجب البيانات، يقوم حقن المطالبة بتضليل النموذج اللغوي بنشاط لإنتاج بيانات غير صحيحة بينما يظل غير مرئي للمستخدمين البثريين.
4. تحليل الهجوم التكيفي: تقييم ما إذا كانت الهجمات التكيفية (مثل إعادة الصياغة، إعادة التجزئة، عزل التعليمات) يمكنها تجاوز دفاع حقن المطالبة المقترح.

4. النتائج الرئيسية

أ. فعالية الهجمات القائمة على LLM

• أداء متفوق: تتفوق النماذج اللغوية الكبيرة بشكل كبير على الطرق التقليدية. على سبيل المثال، في المجموعة الاصطناعية، حقق GPT-4 دقة 100% للبريد الإلكتروني و 98% لأرقام الهواتف، بينما عانت الطرق التقليدية (مثل Regex) مع التنسيقات غير القياسية وفشلت تمامًا في الفئات الدلالية مثل "الخبرة العملية".
• الارتباط بحجم النموذج: تؤدي النماذج الأكبر عمومًا أداءً أفضل. فقد تفوق GPT-4 (دقة 100% في البريد الإلكتروني) بشكل هائل على النماذج مفتوحة المصدر الأصغر مثل Vicuna-7b (دقة 65%).
• تباين الفئات: تتفوق النماذج اللغوية في استخراج البيانات المهيكلة (البريد الإلكتروني، الهاتف، الاسم) ولكنها تظهر دقة أقل في البيانات المعقدة وغير المهيكلة (الخبرة العملية، الانتماء).

ب. تقييم الدفاعات

• فشل الدفاعات التقليدية: الوسائل الموجودة مثل استبدال الرموز، والروابط التشعبية، واستبدال الكلمات المفنية غير فعالة إلى حد كبير ضد النماذج اللغوية الكبيرة. على سبيل المثال، حقق GPT-4 دقة 97-100% حتى عندما تم تمويه عناوين البريد الإلكتروني باستخدام "AT/DOT" أو إخفائها في روابط تشعبية.
• نجاح حقن المطالبة: أثبت حقن المطالبة فعالية عالية. عند تطبيقه، خفض دقة استخراج GPT-4 للبريد الإلكتروني من 100% إلى 0%. لقد نجح في تضليل النماذج اللغوية لإنتاج بيانات مزيفة (على سبيل المثال، "321@gmail.com" بدلاً من "123@gmail.com").
• العمومية: على عكس الدفاعات الأخرى المحدودة بتنسيقات معينة (مثل SR الذي يعمل فقط مع رسائل البريد الإلكتروني)، فإن حقن المطالبة قابل للتطبيق على جميع فئات المعلومات الشخصية.
• القوة ضد الهجمات التكيفية: اختبرت الدراسة عدة هجمات تكيفية (مثل إعادة التجزئة، وعزل البيانات) المصممة لتجاوز حقن المطالبة. أظهرت هذه الهجمات نجاحًا محدودًا، حيث فشلت غالبًا في استعادة الدقة العالية أو ضحت بفائدة عملية الاستخراج.

ج. التكلفة والقابلية للاستخدام

• التكلفة الحسابية: استخراج البيانات القائم على LLM أبطأ (حوالي ثانية واحدة لكل ملف شخصي) وأكثر تكلفة من Regex التقليدي، لكنه يظل ممكنًا للهجمات واسعة النط。
• التكلفة المالية: تكلفة استخدام واجهات برمجة تطبيقات GPT-4 تبلغ حوالي 0.009 دولار لكل ملف شخصي، وهو أرخص بكثير من العمل بنظام التعهيد الجماعي (مثل Amazon MTurk).
• الأثر البشري: حقن المطالبة، عند تنفيذه بشكل صحيح (نص غير مرئي)، له صفر تأثير على المستخدمين البشر العاديين، على عكس استبدال الرموز الذي يتطلب فك تشفير يدوي.

5. الأهمية والآثار المترتبة

• المخاطر الأمنية: توضح الدراسة أن النماذج اللغوية الكبيرة قد جعلت استخراج المعلومات الشخصية عالية الدقة أمرًا متاحًا للجميع، مما يجعل عمليات التصيد الاحتيالي الموجه والاحتيال واسع النطاق أكثر سهولة وأتمتة من أي وقت مضى.
• تحول في نموذج الدفاع: تتحدى الورقة الرؤية التقليدية لحقن المطالبة كأداة هجومية بحتة. فهي تثبت أنه يمكن تسليح حقن المطالبة دفاعيًا لحماية الخصوصية عن طريق تسميم البيانات التي تراها النماذج اللغوية الضارة.
• الاتجاهات المستقبلية: يسلط المؤلفون الضوء على أن الدفاع ضد حقن المطالبة لا يزال تحديًا مفتوحًا. ويقترحون عملًا مستقبليًا على الدفاعات متعددة الوسائط (مثل حقن المطالبة القائم على الصور) لمواجهة المهاجمين الذين قد يستخدمون لقطات الشاشة لتجاوز الحقن النصي.

في الختام، تقدم الورقة تحذيرًا حاسمًا من أن حماية الخصوصية الحالية غير كافية ضد النماذج اللغوية الحديثة، وتقترح آلية دفاع مبتكرة وفعالة وشفافة للمستخدم تعتمد على نفس التقنية (حقن المطالبة) التي يستغلها المهاجمون.