ملخص تقني: كسر المقايضة بين الجودة والخصوصية في توليد البيانات الجدولية عبر التعلم داخل السياق

بيان المشكلة

تتناول الورقة البحثية قيداً حرجاً في تخليق البيانات الجدولية: وهو المقايضة المتأصلة بين الجودة والخصوصية، لا سيما في حالات البيانات الصغيرة. تعاني النماذج التوليدية الحالية (مثل GANs وVAEs ونماذج الانتشار/Diffusion) من صعوبة في تحقيق جودة بيانات عالية وحماية قوية للخصوصية في آن واحد عندما تكون عينات التدريب شحيحة.

• المقايضة: تميل النماذج ذات القدرة التعبيرية العالية (مثل نماذج الانتشار) إلى الإفراط في التخصيص (overfitting) وحفظ عينات تدريب فردية، مما يؤدي إلى تسريب كبير للخصوصية (كشف معلومات خاصة بالسجلات). وفي المقابل، فإن النماذج ذات التنظيم الهيكلي القوي (مثل VAEs وGANs) تحد من عملية الحفظ ولكنها تعاني من ضعف في جودة التوليد بسبب محدودية القدرة التعبيرية.
• السبب الجذري: في إعدادات البيانات الصغيرة، توفر مجموعة البيانات رؤية ضوضائية وغير مكتملة للتوزيع الأساسي. تقوم النماذج التوليدية القياسية بتحسين الأداء مباشرة على البيانات التجريبية؛ ومع وجود عينات قليلة، يمكن لهذه النماذج تحقيق خسارة منخفضة ببساطة عن طريق حفظ مجموعة التدريب بدلاً من تعلم البنية القابلة للتعميم. وهذا يخلق "حافزاً للحفظ" حيث تؤدي عملية تحسين الجودة حتماً إلى زيادة مخاطر الخصوصية.

المنهجية: DiffICL

للتغلب على ذلك، يقترح المؤلفون DiffICL، وهو إطار عمل يعيد صياغة توليد البيانات الجدولية كمسألة تعلم داخل السياق (In-Context Learning - ICL). بدلاً من ملاءمة نموذج من الصفر لمجموعة بيانات محددة، يستفيد DiffICL من الأولويات الهيكلية (structural priors) المتعلمة من مجموعة ضخمة ومتنوعة من مجموعات البيانات.

الإطار الأساسي

يعمل DiffICL على مرحلتين:

1. المرحلة الأولى: ما قبل التدريب (هدف ICL)

• تقسيم البيانات: لكل مجموعة بيانات في مجموعة بيانات ما قبل التدريب الضخمة (أكثر من 800 مجموعة بيانات واقعية)، يتم تقسيم العينات عشوائياً إلى مجموعة سياق ($D_{ctx}$) ومجموعة استعلام منفصلة ($D_{qry}$).
• الهدف: يتم تدريب النموذج لتوليد مجموعة الاستعلام بناءً على مجموعة السياق. ولأن $D_{ctx}$ و $D_{qry}$ مستقلتان توزيعياً (i.i.d.)، فإن حفظ السياق لا يقلل من قيمة الخسارة؛ مما يجبر النموذج على استنتاج التوزيع الحقيقي الكامن للتنبؤ بالاستعلام. وهذا يزيل حافز الحفظ.
• البنية:
  • المُشفر (Encoder): يستخدم LimiX، وهو نموذج أساسي للبيانات الجدولية مدرب مسبقاً، لتمثيل الميزات الخام في مساحة كامنة موحدة ($Z_{ctx}, Z_{qry}$). يتم تجميد المُشفر للحفاظ على معلومات الميزات.
  • شبكة إزالة الضجيج (Denoising Network): تعمل شبكة Transformer ثنائية المحور (dual-axis attention) على المساحة الكامنة. وهي تستخدم:
    • انتباه الميزات (Feature-wise attention): لالتقاط التبعيات بين الميزات داخل العينة الواحدة.
    • انتباه العينات (Sample-wise attention): للسماح لمتجهات الاستعلام (query latents) بالانتباه إلى متجهات السياق (context latents)، مع منع الانتباه بصرامة بين متجهات الاستعلام نفسها (لضمان الاستقلال الشرطي).
  • العملية: يتعلم نموذج انتشار كامن (latent diffusion model) إزالة الضجيج من متجهات الاستعلام المشوشة بشرط وجود متجهات السياح.

2. المرحلة الثانية: الاستدلال (Inference)

• أخذ العينات الكامنة: بالنسبة لمجموعة بيانات مستهدفة جديدة، تُستخدم مجموعة فرعية منها كـ "سياق". يقوم نموذج الانتشار المدرب مسبقاً بتوليد عينات كامنة اصطناعية ($\hat{Z}$) مشروطة بـ $Z_{ctx}$.
• إعادة بناء الميزات: بما أن مساحات الميزات الخام تختلف بين مجموعات البيانات، يتم تدريب مفككات (decoders) من نوع MLP خفيفة الوزن ومخصصة لكل مجموعة بيانات على مجموعة الاستعلام ($D_{qry}$) لإعادة رسم المتجهات الكامنة المولدة إلى قيم الميزات الخام. هذه الخطوة فعالة حاسوبياً وتحدث أثناء وقت الاستدلال.

المساهمات الرئيسية

1. الصياغة: تعد هذه الورقة الأولى التي تصيغ توليد البيانات الجدولية كمسألة تعلم داخل السياق، باستخدام هدف ما قبل تدريب يجبر النموذج على تعلم "التوزيعات بناءً على سياق ما" بدلاً من حفظ عينات محددة.
2. البنية: تصميم Transformer ثنائي المحور يعمل على التضمينات الكامنة، مما يمكّن النموذج من التعامل مع أحجام عينات وأبعاد ميزات متغيرة مع الحفاظ على الاستقلال الشرطي بين العينات المولدة.
   البحث.
3. التحقق التجريبي: أظهر التقييم المكثف على 14 مجموعة بيانات واقعية (تغطي التصنيف والانحدار) أن DiffICL يحقق حدود باريتو (Pareto frontier) متفوقة، حيث يحسن جودة البيانات وحماية الخصوصية في آن واحد مقارنة بالنماذج المرجعية الحديثة (مثل CTGAN، TVAE، tabDDPM، TabSYN، إلخ).
4. تعزيز البيانات (Data Augmentation): تظهر الدراسة أن البيانات الاصطناعية المولدة بواسطة DiffICL تعمل كتعزيز فعال للبيانات، مما يحسن أداء المهام اللاحقة عند دمجها مع البيانات الحقيقية—وهي قدرة لم تُلاحظ باستمرار في النماذج التوليدية الأخرى.
5. تحليل المقاييس: يتحدى المؤلفون موثوقية مقاييس الجودة القياسية القائمة على التوزيع (مثل Shape وTrend)، موضحين أنها ترتبط ارتباطاً ضعيفاً بالمنفعة في المهام اللاحقة. ويدعون إلى استخدام الأداء التنبئي (AUC/R2) كمقياس أكثر دقة للجودة.

النتائج

• الجودة والخصوصية: يتفوق DiffICL في المتوسط على المنهجيات التمثيلية عبر جميع نماذج التوليد الرئيسية، سواء في أداء المهام اللاحقة (مقاساً بواسطة XGBoost، CatBoost، RF، MLP) أو في حماية الخصوصية (مقاساً بـ $DCR_{Overfit}$). وقد نجح في دفع حدود المقايضة بين الجودة والخصوصية نحو الخارج.
• تعزيز البيانات: عند استخدامه لتعزيز بيانات التدريب الحقيقية، يحسن DiffICL باستمرار من تعميم النماذج في المهام اللاحقة. في المقابل، فإن تعزيز البيانات باستخدام طرق أخرى غالباً ما يؤدي إلى تدهور الأداء مقارنة باستخدام البيانات الحقيقية وحدها.
• دراسات الاستئصال (Ablation Studies):
  • الأولويات متعددة مجموعات البيانات: إزالة ما قبل التدريب عبر مجموعات البيانات (DiffICL(S)) يؤدي إلى تدهور الأداء بشكل كبير، مما يؤكد أن المكاسب ناتجة عن الأولويات الهيكلية المتعلمة، وليس فقط بنية المُشفر.
  • توسيع المجموعة (Corpus Expansion): إزالة تبديلات الصفوف/الأعمدة أثناء ما قبل التدريب (DiffICL(N)) يقلل أيضاً من الأداء، مما يسلط الض�وء على أهمية استراتيجيات تعزيز البيانات في مرحلة ما قبل التدريب.
• المتانة: يظل DiffICL فعالاً حتى مع مجموعات تدريب صغيرة جداً (مثلاً $N=200$) ويتمتع بالمتانة تجاه التغيرات في نسبة السياق.

الأهمية والادعاءات

تدعي الورقة أن المقايضة بين الجودة والخصوصية في توليد البيانات الجدولية ليست حداً فيزيائياً غير قابل للتغيير، بل هي نتيجة لأساليب التدريب الحالية. ومن خلال الانتقال من الملاءمة الخاصة بمجموعة بيانات معينة إلى التعلم داخل السياق مع الأولويات الهيكلية، يمكن كسر هذه المقايضة.

يؤكد المؤلفون أن نتائجهم تشير إلى:

1. أهداف تدريب أفضل: يكمن المفتاح لحل مشكلة الحفظ في سيناريوهات ندرة البيانات في أهداف ما قبل التدريب التي تحفز استنتاج التوزيع بدلاً من نسخ العينات.
2. المنفعة فوق التوزيع: بالنسبة للتطبيقات العملية، يعد الأداء التنبئي في المهام اللاحقة مؤشراً أكثر موثوقية لجودة البيانات الاصطناعية من مقاييس التشابه التوزيعي.
3. الجدوى العملية: يوفر DiffICL حلاً عملياً لمشاركة البيانات والحفاظ على الخصوصية وتعزيزها في المجالات عالية المخاطر (مثل الرعاية الصحية والتمويل) حيث تكون البيانات شحيحة وحساسة.

تخلص الورقة إلى أنه بينما يتطلب DiffICL متطلبات طفيفة لتدريب مفكك الترميز (decoder) أثناء الاستدلال، إلا أن هذه المقايضة مبررة بالفوائد الكبيرة في كل من الخصوصية والمنفعة، مما يفتح آ pomocą جديداً لنماذج التأسيس الجدولية.