ملخص تقني: عندما تسرب الجداول: مهاجمة حفظ السلاسل النصية في توليد البيانات الجدولية القائم على النماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

برزت النماذج اللغبية الكبيرة (LLMs) كمولدات رائدة للبيانات الجدولية الاصطناعية، مستخدمةً نظامين أساسيين: التعلم داخل السياق (ICL)، حيث تُقدم الأمثلة ضمن نافذة السياق، والضبط الدقيق الخاضع للإشراف (SFT)، حيث يتم تدريب النماذج على بيانات جدولية مشفرة كسلاسل نصية. وبينما توفر هذه الأساليب دقة إحصائية وفائدة عالية للمهام اللاحقة، إلا أنها تقدم ثغرة أمنية جديدة للخصوصية تختلف عن النماذج التوليدية التقليدية (مثل GANs وVAEs).

تعمل المولدات الجدولية التقليدية مباشرة في فضاء السمات (feature space)، حيث تعامل العينات كوحدات ذرية. في المقابل، تقوم النماذج اللغبية الكبيرة بتفكيك الصفوف الجدولية إلى تسلسلات نصية تلقائية الترتيب (token-by-token). وتفترض هذه الورقة أن هذا التحول المعماري يخلق سطح هجوم فريدًا: إذ تميل النماذج اللغبية الكبيرة إلى حفظ وإعادة إنتاج أنماط صلبة ومنظمة من الأرقام من بيانات التدريب الخاصة بها. ولأن البيانات الجدولية تفتقر إلى الغموض الدلالي الموجود في اللغة الطبيعية (حيث يمكن إعادة الصياغة)، فإن حتى عمليات النسخ الطفيفة على مستوى الحروف تشكل حفظًا دقيقًا لمعلومات حساسة (مثل المبالغ المالية أو المعرفات).

تركز هجمات استدلال العضوية (MIAs) الموجودة حاليًا للبيانات الاصطناعية على المسافات في فضاء السمات (مثل المسافة الإقليدية، أو تقدير الكثافة). ويجادل المؤلفون بأن هذه الأساليب تفشل في اكتشاف الثغرات المتأصلة في التمثيل النصي الوسيط المستخدم من قبل النماذج اللغبية الكبيرة، مما يترك فجوة حرجة في تدقيق الخصوصية لمولدات البيانات الجدولية القائمة على هذه النماذج.

2. المنهجية

2.1 نموذج التهديد

تعتمد الدراسة نموذج تهديد متحفظ من نوع "اللا-صندوق" (No-box). يمتلك المهاجم حق الوصول فقط إلى مجموعة البيانات الاصطناعية المولدة ($S$). ولا يمتلك المهاجم:

• الوصول إلى مكونات النموذج الداخلية، أو أوزانه، أو المعلمات الفائقة (hyperparameters).
• حق الاستعلام من النموذج.
• مجموعة بيانات مرجعية أو بيانات مساعدة للمعايرة.
  يعكس هذا النموذج سيناريوهات واقعية حيث يتم مشاركة البيانات الاصطناعية علنًا دون الكشف عن عملية التوليد.

2.2 الهجوم: LevAtt (هجوم ليفنشتاين)

لاستغلال الطبيعة القائمة على النصوص لتوليد النماذج اللغبية الكبيرة، يقترح المؤلفون LevAtt، وهو هجوم استدلال عضوية (MIA) من نوع "اللا-صندوق" يعتمد على التشابه النصي بدلاً من القرب في فضاء السمات.

• الآلية: يقوم الهجوم بتحويل السجلات الجدولية إلى تمثيلات نصية معيارية، مع الحفاظ على البنية (دقة ثابتة للأرقام، ورموز مستقرة للفئات). ثم يحسب مسافة ليفنشتاين للتعديل (مسافة التعديل على مستوى الحروف) بين ملاحظة اختبار ($x^*$) وأقرب سجل اصطناعي في مجموعة البيانات المولدة.
• التسجيل: يتم تعريف درجة الهجوم كـ $f(x^*_{str}, S_{str}) = -\min_{s \in S_{str}} \ell(x^*_{str}, s)$، حيث $\ell$ هي مسافة ليفنشتاين. تشير المسافات الأقل (الدرجات الأعلى) إلى تطابق أوثق، مما يشير إلى أن البيانات الاصطناعية قد حفظت سجل التدريب.
• المنطق: على عكس اللغة الطبيعية، فإن النصوص الرقمية الجدولية صلبة؛ فالتغيير في رقم واحد يغير القيمة بشكل جوهري. لذلك، فإن التطابق النصي شبه الدقيق هو إشارة قوية وعالية الثقة للحفظ، والتي تغفل عنها هجمات فضاء السمات.

2.3 الدفاعات المقترحة

تقيم الورقة استراتيجيتين للتخفيف من هذا التسرب:

1. معدل الأرقام (Digit Modifier - DM): خوارزمية معالجة لاحقة تمر عبر الأعمدة الرقمية وتقوم بقلب الأرقام بناءً على دالة احتمالية $g$. تُطبق هذه العملية على القيم ذات المقدار الأكبر باحتمالية أعلى، وتتم بعد عملية التوليد.
2. معالج اللوجيت القائم على الميل (Tendency-based Logit Processor - TLP): دفاع مدمج في عملية التوليد أثناء وقت أخذ العينات. يقوم بتطبيق دالة منحنى محدبة ورتيبة ($f_t(x) = x^{1/t}$) على لوجيتات (logits) النموذج قبل أخذ العينات. يعمل هذا على كبح الرموز عالية الثقة (التي غالبًا ما تكون تسلسلات محفوظة) وتضخيم الرموز ذات الاحتمالية الأقل، مما يدخل عشوائية محكومة دون كسر التبعيات الميزتية.

3. النتائج التجريبية

3.1 نظام التعلم داخل السياق (ICL)

أجريت التجارب على 35 مجموعة بيانات انحدار من العالم الحقيقي باستخدام LLaMA 3.3-70B، وGPT-4o-mini، وTabPFN-v2.

• التسرب: أظهر LevAtt تسربًا كبيرًا للخصوصية. بالنسبة لـ TabPFN-v2 و LLaMA 3.3-70B، حقق الهجوم تصنيفًا مثاليًا للعضوية (AUC-ROC $\approx$ 1.0) في أفضل 20 حالة أسوأ.
• الارتباط: أظهر LevAtt ارتباطًا ضعيفًا مع هجمات استدلال العضوية التقليدية في فضاء السمات (DCR، تقدير الكثافة، MC)، مما يؤكد أنه يكتشف إشارة تسرب فريدة ومتعامدة.
• التوسع: زاد تسرب الخصوصية مع حجم النموذج (نماذج 70B سربت أكثر من نماذج 7B) وانخفض مع عدد الأمثلة المقدمة في السياق (عدد أقل من الأمثلة أدى إلى حفظ أعلى).

3.2 نظام الضبط الدقيق الخاضع للإشراف (SFT)

تضمنت التجارب ضبط النماذج (LLaMA 3.2، Qwen2.5، Mistral، GPT-2) على مجموعات بيانات مثل CASP، وDiabetes، وCA-Housing، ومقارنتها بـ RealTabFormer وGREAT.

• التسرب: أظهرت نماذج SFT تسربًا أقل ولكن لا يزال ملموسًا مقارلة بـ ICL. وعلى الرغم من ادعاءات الوعي بالخصوصية، أظهر RealTabFormer أعلى مستويات الضعف (AUC لـ LevAtt يتراوح بين 0.65 و0.70).
• النماذج التقليدية: كانت المولدات العميقة التقليدية (CT-GAN، TVAE) محصنة ضد LevAtt، لأنها لا تولد تسلسلات نصية.
• العوامل: زاد التسرب طرديًا مع حجم البيانات الاصطناعية المولدة وطول التسلسلات الرقمية في بيانات التدريب.
• المقايضة: لوحظ وجود ارتباط سلبي بين الخصوصية (LevAt AUC) والأمانة (Fidelity) (المقاسة بـ MMD وWasserstein distance). النماذج ذات الأمانة الإحصائية العالية كانت أكثر عرضة لحفظ السلاسل النصية.

3.3 تقييم الدفاعات

• معدل الأرقام (DM): نجح في تقليل AUC لـ LevAtt ولكنه تسبب في انخفاض كارثي في أمانة البيانات. أدى حقن الضجيج إلى دفع القيم خارج التوزيع الصحيح، مما جعل البيانات غير صالحة للمهام اللاحقة.
• معالج اللوجيت (TLP): نجح في تقليل AUC لـ LevAtt إلى مستويات تقارب العشوائية ($\approx$ 0.55) وخفض معدل الحقيقة الإيجابية (TPR) إلى أقل من 0.12، مع الحفاظ على الأمانة الإحصائية (ظلت مسافات MMD وWasserstein مقاربة للتوليد العادي) والمنفعة اللاحقة (أداء XGBoost).
• الخصوصية التفاضلية (DP): بينما نجحت DP2Stage (DP-SGD) في هزيمة LevAtt، إلا أنها أدت إلى أسوأ مستويات المنفعة والأمانة بين جميع النماذج، مما يسلط الضوء على المقايضة الشديدة بين الخصوصية والمنفعة عند استخدام DP أثناء التدريب للنماذج اللغبية الكبيرة.

4. المساهمات الرئيسية

1. تحديد حفظ السلاسل النصية: تحدد الورقة أن مولدات البيانات الجدولية القائمة على LLM تحفظ الأنماط الرقمية الصلمة، وهي ثغرة لا يمكن رؤيتها عبر هجمات فضاء السمات.
2. هجوم LevAtt: تقديم هجوم MIA بسيط من نوع "اللا-صندوق" يعتمد على مسافة ليفنشتاين، والذي يحقق تصنيفًا مثاليًا لأحدث النماذج تحت أدنى فرضيات معادية.
3. دليل تجريبي على المخاطر: إثبات أن نماذج SFT وICL عالية الأمانة (بما في ذلك RealTabFormer) تسرب معلومات العضوية، بينما لا تفعل المولدات التقليدية ذلك.
4. دفاع فعال (TLP): اقتراح TLP، وهو آلية تعمل وقت أخذ العينات تخفف من عملية الحفظ عن طريق تغيير اللوجيتات، وتنجح في موازنة حماية الخصوصية مع منفعة البيانات.

5. الأهمية والادعاءات

يدعي المؤلفون أن توليد البيانات الجدولية القائم على LLM يقدم خطرًا جديدًا جوهريًا على الخصوصية يختلف عن النماذج التوليدية التقليدية. تكمن أهمية هذا العمل في:

• إعادة تعريف سطح الهجوم: تحويل التركيز من المسافة في فضاء السمات إلى التشابه النصي على مستوى الحروف، وهو أمر بالغ الأهمية للنماذج ذات الترتيب الذاتي (autoregressive).
• تحدي افتراضات الخصوصية: إثبات أن طرق SFT "الواعية بالخصوصية" والمولدات عالية الأمانة يمكن أن تسرب بيانات التدريب بشكل كارثي عندما تكون بنية البيانات صلبة.
• التخفيف العملي: تقديم دفاع (TLP) قابل للتطبيق لا يتطلب إعادة تدريب أو التضحية بمنفعة البيانات، على عكس الخصوصية التفاضلية (DP).

تخلص الورقة إلى أنه بينما توفر النماذج اللغبية الكبيرة منفعة فائقة، فإن طبيعتها ذات الترتيب الذاتي تجعلها عرضة لعملية "الاسترجاع" بدلاً من "التعميم" في السياقات الجدولية. ويؤكد المؤلفون أنه بدون دفاعات محددة مثل TLP، فإن نشر البيانات الجدولية الاصطناعية القائمة على LLM في القطاعات الحساسة للخصوصية (مثل الرعاية الصحية والتمويل) يشكل خطرًا كبيرًا لإعادة تحديد الهوية.

القيود الملحوظة:

• يعتمد LevAtt على تنسيق نصي ثابت؛ فقد تؤدي الاختلافات في التنسيق (مثل "17.5" مقابل "17.500") إلى إخفاء الإشارات.
• الدفاعات (DM، TLP) تجريبية وتفتقر إلى ضمانات خصوصية رسمية (على عكس DP).
• يفترض الهجوم نموذج "اللا-صندوق"؛ وقد تكون الهجمات الأكثر قوة التي تمتلك وصولًا للنموذج أكثر فعالية.
• الهجوم أقل فعالية على الحقول النصية المفتوحة مقارنة بالمخططات الرقمية/الفئوية الصارمة.