Evaluating Inter-Column Logical Relationships in Synthetic Tabular Data Generation

ملخص تقني: تقييم العلاقات المنطقية بين الأعمدة في توليد البيانات الجدولية الاصطناعية

بيان المشكلة
تركز التقييمات الحالية للبيانات الجدولية الاصطناعية بشكل أساسي على نمذجة التوزيعات المشتركة وتقييم الإحصاءات من الدرجة المنخفضة (مثل تقدير الكثافة، ودرجات الارتباط) أو الإحصاءات من الدرعة العالية (مثل $\alpha$-Precision، و$\beta$-Recall). ومع ذلك، فإن هذه المقاييس غالباً ما تغفل عن الحفاظ على تسلسلات الأحداث الواقعية وعلاقات الكيانات المتماسكة عبر الأعمدة. فالبيانات الجدولية بطبيعتها غير متجانسة، حيث تتميز بأنواع متغيرات متنوعة واعتمادات متبادلة معقدة (Wang et al., 2024). وتواجه النماذج التوليدية الحالية، بما في ذلك نماذج GAN (مثل CTGAN)، ونماذج الانتشار (مثل TabDDPM، وTabSyn)، والنماذج ذات الترتيب الذاتي (مثل GReaT)، صعوبة في التقاط تبعيات شرطية محددة مثل $P(x_1 | x_2)$ بشكل صريح. فعلى سبيل المثال، تفترض نماذج الانتشار غالباً إضافة ضوضاء متناحية (isotropic noise)، وهو ما يفشل في مراعاة التبعيات الدلالية غير الخطية وغير المرتبة الموجودة في البيانات الجدولية، على عكس الارتباطات المكانية في الصور. وبالمثل، بينما تستفيد النماذج اللغوية الكبيرة (LLMs) من المعرفة المسبقة، إلا أنها قد لا تضع نماذج صريحة للتوزيعات الهامشية، مما يؤدي إلى عينات متحيزة. ونتيجة لذلك، هناك نقص في مقايسات التقييم دقيقة التفاصيل وسياقية القدرة لتقييم ما إذا كانت البيانات الاصطناعية تحافظ على العلاقات المنطقية الحرجة، مثل الهياكل الهرمية (مثلاً: مدينة $\leftarrow$ دولة) أو التبعيات الرياضية/الزمنية.

المنهجية
لمعالجة الفجوة في تقييم الاتساق المنطقي، يقترح المؤلفون ثلاثة مقاييس تقييم جديدة مصممة لقياس العلاقات بين الأعمدة:

1. درجة الاتساق الهرمي (HCS): يقيس هذا المقياس مدى الحفاظ على العلاقات الهرمية عبر الأعمدة. ويُعرف بأنه نسبة الصفوف التي تنتمي فيها مجموعات السمات داخل مجموعة $G_k$ معينة (مثل مدينة، ولاية، دولة) إلى مجموعة من التجميعات الصالحة $C_{k,j}$.
   $$HCS = \frac{1}{M \times N} \sum_{k=1}^{N} \sum_{j=1}^{M} \mathbb{1}((x_{i,j})_{i \in G_k} \in C_{k,j})$$
   حيث $M$ هو عدد الصفوف، و$N$ هو عدد مجموعات الاتساق، و$\mathbb{1}(\cdot)$ هي دالة المؤشر.

2. مؤشر التبعية متعدد المتغيرات (MDI): يقيم هذا المؤشر التبعيات متعددة المتغيرات، بما في ذلك العلاقات الزمنية أو الرياضية. ويقيس نسبة الصفوف التي تستوفي فيها السمات دالة تبعية بولينية (Boolean) محددة $F$ بالنسبة للسمات الأخرى في مجموعة تبعية $G_g$.
   $$MDI = \frac{1}{M \times N} \sum_{g=1}^{N} \sum_{j=1}^{M} \mathbb{1}(D_{g,j})$$
   حيث تمثل $D_{g,j}$ الشرط الذي تستوفي فيه السمات في المجموعة $G_g$ دالة التبعية $F$.

3. مؤشر التشابه التوزيعي (DSI): لالتقاط العلاقات غير الخطية حيث يصعب تحديد قواعد صريحة، يقارن DSI احتمالات اللوغاريتم (log-likelihoods) لنماذج الخليط الغاوسي (GMM) الملائمة لصفوف البيانات الاصطناعية مقابل البيانات الحقيقية. ويحسب الفرق النسبي في احتمالات اللوغاريتم ليعكس الاختلافات التوزيعية دقيقة التفاصيل.
   $$DSI = \frac{1}{K} \sum_{i=1}^{K} \left( 1 - \frac{|\log L(\hat{X}^*_{syn,i}) - \log L(\hat{X}^*_{real})|}{|\log L(\hat{X}^*_{real})|} \right)$$

الإعداد التجريبي والنتائج
قيمت الدراسة خمس طرق توليد ممثلة على مجموعة بيانات DataCo، وهي مجموعة بيانات صناعية واقعية واسعة النطاق تحتوي على حوالي 140,000 عينة ذات سمات معقدة عالية الأبعاد وعلاقات متنوعة بين الأعمدة. شملت الطرق التي تم تقييمها:

• القائمة على الاستيفاء (Interpolation-based): SMOTE
• القائمة على تمثيل الفضاء الكامن (Latent Space Representation-based): CTGAN، وTabDDPM، وTabSyn
• القائمة على النماذج اللغوية الكبيرة (LLM-based): GReaT

قام كل منهج بتوليد 140,000 عينة، وتم تكرار التقييمات عشر مرات لضمان المتانة.

النتائج الرئيسية:

• المقاييس الإحصائية: حققت SMOTE وTabSyn أفضل أداء في دقة الإحصاءات من الدرجة المنخفضة (مثل تقدير الكثافة، ودرجة الارتباط، و$\alpha$-Precision). تميزت TabSyn في نمذجة التوزيعات المشتركة، بينما تفوقت SMOTE على الآخرين في موازنة فئات البيانات ($\beta$-Recall).
• الاتساق المنطقي (HCS): تفوقت SMOTE (98.09%) وGReaT (98.01%) بشكل كبير على الطرق القائمة على الفضاء الكامن (CTGAN: 39.23%، وTabDDPM: 16.07%) في الحفاظ على الاتساق الهرمي.
• التبعيات متعددة المتغيرات (MDI): حقق GReaT أعلى دقة (97.37%) في التقاط التبعيات الزمنية والرياضية، تلتها SMOTE (87.03%). عانت الطرق القائمة على الفضاء الكامن بشكل كبير، حيث سجلت TabDDPM 59.08% وCTGAN 38.87%.
• التشابه التوزيعي (DSI): حقق GReaT (85.55%) وTabSyn (83.62%) أفضل أداء، بينما أظهر CTGAN (11.10%) توافقاً توزيعياً ضعيفاً.
• التحليل النوعي: كشف الفحص التفصيلي للعينات المولدة أن CTGAN وTabDDPM ينتجان تكراراً لأخطاء منطقية (مثل التسلسلات الهرمية الجغرافية غير الصحيحة، والتدفقات الزمنية المنتهكة، والمعادلات الرياضية المكسورة). في المقابل، حافظت GReaT وSMOTE على اتساق منطقي شبه مثالي، رغم أن GReaT أنتجت أحياناً قيم سمات غير موجودة (مثل أسماء مدن غير صحيحة)، مما يشير إلى مشكلات محتملة في القدرة على التحكم (controllability).

الأهمية والمساهمات
تتمثل المساهمة الرئيسية لهذا العمل في تقديم HCS وMDI وDSI كمقاييس متخصصة لتقييم الحفاظ على العلاقات المنطقية في البيانات الجدولية الاصطناعية، متجاوزة بذلك معايير الدقة التوزيعية القياسية. وتظهر النتمال التجريبية أن الطرق الحالية، وخاصة تلك القائمة على تمثيلات الفضاء الكامن، غالباً ما تفشل في الحفاظ بصرامة على الاتساق الهرمي والتبعيات متعددة المتغيرات، وهي أمور حاسمة للواقعية دقيقة التفاصيل في البيانات الحقيقية.

تخلص الورقة إلى أنه بينما يمكن للطرق الحالية نمذجة التوزيعات العامة، إلا أنها تفتقر إلى الآليات الصريحة لفرض القيود المنطقية. وتشمل المسارات المستقبلية التي اقترحها المؤلفون ما يلي:

• بالنسبة للطرق القائمة على النماذج اللغوية الكبيرة (LLM-based): استخدام الرسوم البيانية للمعرفة (knowledge graphs) أو الشبكات البايزية لإعادة ترتيب تسلسلات التجزئة (tokenization) أو إعادة هيكلة تسلسل الأعمدة للاستفادة من المعرفة المسبقة.
• بالنسبة للطرق القائمة على الفضاء الكامن (latent space-based): استخدام استدلال النماذج اللغبية الكبيرة لتحليل أسماء الأعمدة وأوصافها لاستخراج العلاقات الدلالية، أو تجميع البيانات حسب العلاقات المنطقية قبل تضمينها في فضاء كامن مشترك.
• النهج الهجين (Hybrid approaches): دمج تقنيات الاستيفاء مثل SMOTE لموازنة فئات البيانات، خاصة لتعلم العلاقات المنطقية للأقليات.

يؤكد المؤلفون أن هذه الاتجاهات ضرورية لتصميم نماذج توليدية تلتقط بفعالية العلاقات المنطقية بين الأعمدة، وهي خطوة حاسمة للتقدم في مجال توليد البيانات الجدولية الاصطناعية.