Hierarchical Synthetic Tabular Data Generation: A Hybrid Top-Down and Bottom-Up Framework

ملخص تقني: توليد البيانات الجدولية الاصطناعية الهرمية

بيان المشكلة
تواجه الأساليب الحالية لتوليد البيانات الجدولية الاصطناعية قيوداً كبيرة عند تطبيقها على السيناريوهات المعقدة ذات النطاق المؤسسي الواسع. تنقسم الطرق الموجودة عموماً إلى فئتين: النماذج التوليدية البحتة (مثل CTGAN و TVAE و TabDDPM)، والأساليب القائمة على النماذج اللغوية الكبيرة (LLM) (مثل GReT و REaLTabFormer).

• النماذج التوليدية: بينما هي فعالة في تقريب التوزيعات، إلا أنها غالباً ما تتطلب بيانات تدريب ضخمة، وتواجه صعوبة في التعامل مع أنواع الميزات غير المتجانسة، وتعاني من مشكلة "انهيار النمط" (mode collapse). وبناءً على ذلك، فإنها تفشل تكراراً في التقاط الأحداث النادرة والتوزيعات الطرفية (tail distributions)، وهي أمور بالغة الأهمية في مجالات مثل كشف الاحتيال. وفي حالات ندرة البيانات، تميل هذه النماذج إلى الإفراط في التخصيص (overfitting) وإنتاج عينات منخفضة التنوع.
• الأساليب القائمة على النماذج اللغوية الكبيرة (LLM): تستفيد هذه الأساليب من التعلم في السياق (in-context learning) والبديهيات الدلالية، لكنها غالباً ما تفشل في فرض الاتساق الهيكلي، أو القيود المنطقية، أو التبعيات الوظيفية بين السمات. كما يمكن أن يؤدي التوليد التلقائي للرموز (token generation) المتسلسل إلى إنتاج عينات غير صالحة أو غير متماسكة، كما يضعف ترميز الصفوف المتسلسل من نمذجة التفاعلات بين البيانات الرقمية والفئوية غير المتجانسة.
• التحدي الجوهري: هناك قضية أعمق، وغالباً ما يتم تجاهلها، وهي أن توليد البيانات الاصطناعية يُعامل في كثير من الأحيان كمسألة توليدية بحتة، مع تجاهل الطبيعة المهيكلة للغاية وغير المتجانسة ومتعددة الأنماط لبيانات المؤسسات الحقيقية. إن الاعتماد فقط على البيانات المولدة بواسطة النماذج ينطوي على مخاطر "انهيار التوزيع"، حيث تؤدي إعادة التدريب المتكررة على المخرجات الاصطناعية إلى تآكل تدريجي لتوزيع البيانات الأساسي، لا سيما في التوزيعات الطرفية.

المنهجية: إطار عمل H-TDBU
يقترح المؤلفون إطار عمل هجين هرمي من الأعلى إلى الأسفل ومن الأسفل إلى الأعلى (H-TDBU). يقوم هذا النهج بفصل الهياكل الدلالية عن "النسيج العشوائي" (stochastic texture)، ويدمج القدرات التوليدية مع بناء القواعد الهرمية. يعمل إطار العمل عبر ثلاث مراحل متميزة:

1. المسار من الأعلى إلى الأسفل (الهيكل):

   • الهدف: تحديد الهيكل المنطقي والنموذج الدلالي للبيانات.
   • الآلية: يتم تعريف قواعد الهيكل عبر تعليمات بشرية أو مطالبات (prompts) للنماذج اللغوية الكبيرة. يؤدي هذا إلى إنشاء قالب هيكلي $S$ يعمل كعمود فقري، حيث يقوم بتفكيك العوامل المجردة إلى سمات ملموسة قابلة لأخذ العينات.
   • دور النماذج اللغوية الكبيرة (LLMs): تُستخدم النماذج اللغوية الكبيرة فقط في هذه المرحلة لتوليد المخطط الذي يمثل قواعد الهيكل (على سبيل المثال، ربط المتغيرات المستهدفة بنص المشاعر). وهي لا تقوم بتوليد الصفوف الجدولية الفعلية.

2. المسار من الأسفل إلى الأعلى (النسيج):

   • الهدف: تعلم الأنماط الإحصائية المحلية و"النسيج" الواقعي من البيانات الحقيقية.
   • الآلية: يتم تدريب مولدات جدولية خفيفة الوزن ومنخفضة الحوسبة (مثل أساليب التجميع مثل الغابات العشوائية أو XGBoost، أو النماذج التوليدية مثل CTGAN) على البيانات الحقيقية ($D_{real}$).
   • المخرج: تنتج هذه النماذج تمثيلاً للفضاء الكامن ($Z$) يلتقط الأنماط التفصيلية والمعقدة التي تشبه البيانات الحقيقية، ولكنها قد لا تتبع بطبيعتها القواعد المنطقية المحددة في مرحلة المسار من الأعلى إلى الأسفل.

3. التوليد والمصالحة:

   • الهدف: توحيد الهيكل المنطقي ($S$) مع النسيج الكامن ($Z$).
   • الآلية: يقوم محرك توليد موحد، يُرمز له بـ $X_{Syn} := G(z \in Z | S)$، بتوليد البيانات من الضجيج الكامن بما يتوافق مع القيود المنطقية لـ $S$. هذا المولد الشرطي يقوم بالمصالحة بين المسارين.
   • حلقة التغذية الراجعة: يستخدم النظام حلقة تغذية راجعة تكرارية. إذا فشلت البيانات الاصطناعية ($D_{syn}$) في مقاييس الدقة عبر الأنماط ($X_{Modal}$)، فإن ذلك يطلق إشارة "إعادة تدريب النموذج". وإذا فشلت في التحقق من القيود، فإنه يطلق إشارة "تعديل القيود" إلى المزود في المسار من الأعلى إلى الأسفل. يضمن ذلك السلامة المنطقية ويمنع انحراف النموذج.

المساهمات الرئيسية

• فصل الهيكل عن النسيج: يقدم البحث إطار عمل يفصل بين تعريف القواعد الدلالية/المنطقية وبين توليد النسيج الإحصائي، مما يعالج قيود النماذج التوليدية الموحدة.
• البنية الهجينة: يدمج بشكل عضوي القوة التوليدية للوكلاء خفيفي الوزن (الغابة العشوائية، XGBoost) مع الاستدلال الهيكلي للنماذج اللغوية الكبيرة، باستخدام النماذج اللغوية الكبيرة حصرياً لتعريف القواعد وليس لتوليد البيانات المباشر.
• آلية التغذية الراجعة التكرارية: يسمح تضمين حلقة مصالحة تتحقق من المقاييس عبر الأنماط والقيود المنطقية بالتحسين الديناميكي لكل من القواعد (من الأعلى إلى الأسفل) والنماذج (من الأسفل إلى الأعلى).
• التقييم المرجعي متعدد الأنماط الضعيف: قام المؤلفون بتقييم إطار العمل على أربعة اختبارات مرجعية ضعيفة متعددة الأنماط تجمع بين البيانات الجدولية وبيانات نص المشاعر، وهو سيناريو تعاني فيه الأساليب الحالية من ضعف في المحاذاة والاتساق.

النتائج التجريبية
تم تقييم إطار العمل على أربعة اختبارات مرجعية: اختباران متعددان الأنماط (أحدهما يدوي والآخر تم توليده بواسطة Gemini) واختباران لبيانات جدولية فقط (Adult Income و German Credit).

• المنفعة في المهام اللاحقة (TSTR): في الاختبار المرجعي متعدد الأنماط المحدد يدوياً، تفوقت الأساليب الشرطية القائمة على الأشجار (RandomForest و XGBoost) على النماذج العصبية (CTGAN و TVAE). على سبيل المثال، حقق RandomForest قيمة AUROC بلغت 0.9188 و F1 بلغت 0.6122، مقارنة بـ 0.8827 لـ TVAE في AUROC و 0.5581 في F1.
• المحاذاة الصارمة (اختبار Gemini): عند استخدام مزود قواعد من إنتاج نموذج لغوي كبير (LLM) يفرض محاذاة أكثر صرامة (الهدف 1 يتماشى فقط مع النص الإيجابي)، أظهرت المولدات الشرطية تحسناً كبيراً. حقق RandomForest مقاييس تقترب من المثالية (0.9998 AUROC، 0.9878 F1)، متفوقاً على النماذج العصبية التي تحسنت أيضاً ولكن ظلت أقل قليلاً.
• الدقة عبر الأنماط (Cross-Modal Fidelity): لوحظ وجود مقايضة بين المنفعة في المهام اللاحقة والدقة عبر الأنماط ($X_{Modal}$). فبينما تفوق RandomForest في المنفعة، حققت نماذج مثل Gaussian Copula و TVAE أحياناً قيم $X_{Modal}$ أقل (أي محاذاة توزيعية أفضل للنصوص والأهداف الجدولية).
• دراسات الاستئصال (Ablation Studies): أشارت النتائج إلى أن الأداء مدفوع بالتفاعل بين عدد أعمدة الشرط ومدى صرامة القواعد من الأعلى إلى الأسفل. القواعد المولدة بواسطة Gemini (الأكثر صرامة) استفادت من عدد أقل من أعمدة الشرط، بينما استفادت القواعد اليدوية (الأكثر تساهلاً) من سياقات شرطية أغنى.

الأهمية والادعاءات
يزعم البحث أن التوليد الموجه بالقواعد الهرمية يوفر آلية فعالة لموازنة القدرة على التحكم، والتماسك الدلالي، والدقة الإحصائية في توليد البيانات الاصطناعية.

يؤكد المؤلفون أن نهجهم لا يعتمد على التوليد المكلف والمتكرر للنماذج اللغوية الكبيرة لكل نقطة بيانات. بدلاً من ذلك، من خلال استخدام النماذج اللغوية الكبيرة فقط لبناء "فضاء التغطية" من الأعلى إلى الأسفل واستخدام نماذج وكيلة أرخص للتوليد من الأسفل إلى الأعلى، يحقق إطار العمل واقعية عالية واتساقاً منطقياً. تشير النتائج إلى أن هذا النهج الهجين فعال بشكل خاص في حالات ندرة البيانات والسيناريوهات المعقدة متعددة الأنماط حيث تفشل النماذج التوليدية البحتة في التقاط الأحداث النادرة أو التبعيات المنطقية، وحيث يفتقر التوليد الصرف للنماذج اللغوية الكبيرة إلى الصرامة الهيكلية. ويُقدم إطار العمل ليس كسيادة مطلقة لنوع واحد من المولدات، بل كإطار عمل مرن يتكيف سير عمله مع الهيكل المحدد لمجموعة البيانات.