Self-Improving Tabular Language Models via Iterative Group Alignment

إليك ملخص تقني مفصل لورقة البحث بعنوان "Self-Improving Tabular Language Models via Iterative Group Alignment" (نماذج اللغة الجدوليّة ذاتية التحسين عبر المحاذاة المجموعية التكرارية) المعروفة بـ TabGRAA.

1. بيان المشكلة

تعالج الورقة مشكلتين جوهريتين في استخدام النماذج اللغوية الكبيرة (LLMs) لتوليد البيانات الجدولية:

1. نموذج التدريب الاستاتيكي (الثابت): تعتمد مولدات البيانات الجدولية الحالية القائمة على النماذج اللغوية الكبيرة (مثل GReaT) على الضبط الدقيق الخاضع للإشراف (SFT) الاستاتيكي. وبمجرد تدريبها، لا يمكنها التعلم من العينات التي تولدها بنفسها أو تصحيح الأخطاء الإحصائية التي تظهر أثناء التوليد. وتكون قدرة النموذج ثابتة بعد مرحلة التدريب.
2. عدم توافق الأهداف: تعمل أهداف التنبؤ بالرمز التالي (next-token prediction) على تحسين التماسك المحلي للرموز، لكنها تفشل في الحفاظ على الخصائص الإحصائية العالمية الضرورية للبيانات الجدولية، مثل توزيعات الأعمدة، والارتباطات بين الميزات، والتوزيعات المشتركة. يؤدي هذا إلى عينات قد تبدو منطقية صفاً بصف، ولكنها تظهر انحرافات منهجية على مستوى مجموعة البيانات ككل.

بينما نجحت طرق التعلم التعزيزي (RL) وطرق المحاذاة (مثل DPO) في توليد النصوص والصور، إلا أنها تواجه عوائق هائلة في البيانات الجدولية:

• الافتقار إلى التفضيلات على مستوى الحالة (Instance-Level): جودة البيانات الجدولية هي بطبيعتها توزيعية (إحصائية)، وليست قائمة على الحالة الفردية. فمن الصعب تحديد ما هو "أفضل" أو "أسوأ" لصف واحد دون خبرة بشرية أو مقاييس إحصائية معقدة.
• صعوبة تصميم المكافأة: تصميم دالات المكافأة التي توازن بين الأهداف المتنافسة (الدقة مقابل المنفعة مقابل الخصوصية) أمر معقد وغالباً ما يؤدي إلى عدم استقرار التدريب أو انهيار النمط (mode collapse).
• مخاطر تسرب البيانات: تتطلب طريقة RLHF التقليدية تغذية راجعة بشرية أو نماذج مكافأة خارجية، وهو أمر غير عملي للبيانات الجدولية الخاصة ويخاطر بكشف السجلات الحقيقية أثناء عملية المحاذاة.

2. المنهجية: TabGRAA

يقترح المؤلفون TabGRAA (المحاذاة المجموعية النسبية للميزة الجدولية)، وهو إطار عمل للتحسين الذاتي يعمل على أتمتة حلقة التغذية الراجعة دون تدخل بشري.

المكونات الأساسية

1. إشارة الجودة الآلية (الناقد - The "Critic"):
   بدلاً من التفضيلات البشرية، يستخدم TabGRAA إشارة مؤتمتة لتقييم البيانات الاصطناعية. الإشارة الافتراضية هي مصنف التمييز (Distinguishability Classifier) (مثل Random Forest أو XGBoost) المدرب للتمييز بين البيانات الحقيقية ($D_{real}$) والبيانات الاصطناعية المولدة حديثاً ($D_{synth}$).

   • يتم تحويل مخرج المصنف إلى درجة عدم تمييز $s(\tilde{x}) \in [0, 1]$. تشير الدرجة القريبة من 1 إلى أن العينة يصعب تمييزها عن البيانات الحقيقية (جودة عالية)؛ بينما تشير الدرجة القريبة من 0 إلى أنها سهلة الفصل (جودة منخفضة).
   • بديل: يمكن أيضاً استخدام درجة قائمة على المسافة (المسافة إلى أقرب سجل - Distance to Closest Record).
   • الخصوصية: يتم إعادة تدريب المصنف في كل تكرار على دفعة البيانات الاصطناعية الحالية، مما يضمن أن النموذج اللغوي الكبير يتم ضبطه الدقيق فقط بناءً على إشاراته الذاتية، مما يقلل من خطر حفظ السجلات الحقيقية بما يتجاوز مرحلة SFT الأولية.

2. تصنيف العينات (Sample Stratification):
   يتم ترتيب العينات المولدة حسب درجات جودتها. يقوم إطار العمل بإنشاء إشارات تباينية عبر إقران العينات من النصف الأعلى (عالية الجودة/صعبة التمييز) والنصف الأدنى (منخفضة الجودة/سهلة التمييز) من التوزيع.

3. المحاذاة المجموعية النسبية للميزة (GRAA):
   على عكس طرق المحاذاة القياسية (DPO, KTO) التي تعمل على أزواج فردية من العينات، يعمل TabGRAA على مجموعات.

   • تجميع المجموعات: يتم تجميع العينات في مجموعتين: $B_{high}$ (عالية الجودة/صعبة التمييز) و $B_{low}$ (منخفضة الجودة/سهلة التمييز).
   • المكافأة الضمنية: تقوم الطريقة بحساب متوسط المكافأة الضمنية (نسبة اللوغاريتم للسياسة إلى النموذج المرجعي) لكل مجموعة: $\bar{r}_{high}$ و $\bar{r}_{low}$.
   • دالة الخسارة: الهدف هو تعظيم احتمال تفضيل المجموعة عالية الجودة على المجموعة منخفضة الجودة باستخدام خسارة سيجمويد (sigmoid loss):
     $$L_{GRAA} = \sigma(\bar{r}_{low} - \bar{r}_{high})$$
   • تدفق التدرج ثنائي الاتجاه: من الأهمية بمكان أن تحتفظ الخسارة بكلا طرفي المجموعة في الرسم البياني للحوسبة (computation graph). هذا يعمل في آن واحد على كبح الأنماط منخفضة الجودة وتعزيز الأنماط عالية الجودة، مما يمنع الانهيار التوزيعي الذي غالباً ما يُلاحظ في طرق مثل KTO (التي تفصل أحد الجانبين عن التدرج).

4. الدورة التكرارية:
   تتكرر العملية لعدد $T$ من التكرارات:

   • توليد بيانات اصطناعية باستخدام السياسة الحالية.
   • تدريب مصنف جديد للتمييز بين الحقيقي والاصطناعي.
   • تقييم العينات وتشكيل المجموعات.
   • تحديث السياسة باستخدام خسارة GRAA.
   • يظل النموذج المرجعي ($\pi_{ref}$) ثابتاً (مرتبطاً بتوزيع SFT الأولي) لمنع الانحراف المفرط.

3. المساهمات الرئيسية

• أول إطار عمل للتحسين الذاتي للبيانات الجدولية: يتيح TabGRAA تعزيز الجودة المستمر من خلال التغذية الراجعة المؤتمتة، محولاً التدريب الاستاتيكي إلى عملية صقل تكرارية.
• هدف المحاذاة المجموعي النسبي للميزة: يقدم هدف محاذاة مبتكر يعمل على مجموعات مصنفة حسب الجودة بدلاً من التفضيلات الفردية. وهذا يتوافق بشكل أفضل مع الطبيعة التوزيعية للبيانات الجدولية ويوفر تقديرات أكثر استقراراً للتدرج.
• نموذجي ويدعم الخصوصية: إشارة الجودة نموذجية (مصنف أو مسافة) ويتم حسابها مقابل البيانات المولدة ذاتياً، مما يخفف من مخاطر تسرب البيانات المرتبطة بكشف السجلات الحقيقية أثناء المحاذاة.
• ضمانات نظرية: تقدم الورقة براهين لثبات معايير التدرج، وتقليل التباين بمقدار $O(1/B)$ بسبب متوسط المجموعة، والاستقرار المستقل عن المكافأة.

4. النتائج التجريبية

قام المؤلفون بتقييم TabGRAA على خمس مجموعات بيانات متنوعة من UCI (Adult, Default, Shoppers, Magic, Beijing) مقابل:

• النماذج المرجعية (Baselines): نماذج GReaT (SFT فقط)، و GReaT-FT+، ومتغيرات المحاذاة (TabDPO, TabNPO, TabKTO).
• أحدث التقنيات (SOTA): المولدات القائمة على الانتشار (Diffusion-based) مثل (TabDDPM, TabSyn, TabDiff) والمولدات القائمة على GAN (مثل CTGAN, TVAE).

النتائج الرئيسية:

• أداء متفوق: تفوق TabGRAA باستمرار على جميع نماذج المحاذاة المرجعية (DPO, NPO, KTO) عبر جميع المقاييس (الدقة، المنفعة، الخصوصية).
• التنافس مع نماذج الانتشار: حقق TabGRAA أداءً يضاهي أو يتجاوز المولدات القائمة على الانتشار من حيث الدقة (CDE, PCC, $\alpha$-Precision) والخصوصية (AUC لهجوم التمييز $\approx$ 0.5).
• الاستقرار: على عكس TabKTO، الذي عانى من انهيار كارثي للنموذج بعد بضع تكرارات، أظهر TabGRAA تحسناً رتيباً عبر 5 إلى 20 جولة.
• دراسات الاستئصال (Ablation Studies):
  • المجموعة مقابل الزوج: أدى أخذ العينات العشوائية ضمن المجموعات العالية/المنخفضة إلى أداء مماثل لأخذ الأزواج الصريح (الأعلى مقابل الأدنى)، مما يؤكد أن الطريقة تعتمد على إحصائيات المجموعة وليس على أزواج محددة.
  • التدفق ثنائي الاتجاه: أدى إزالة التدرج ثنائي الاتجاه (فصل أحد الجانبين) إلى عدم الاستقرار، مما يؤكد صحة قرار التصميم.
  • ضرورة الإشارة: أدت التقييمات العشوائية أو الأزواج العشوائية إلى عدم حدوث أي تحسن، مما يثبت ضرورة وجود إشارة جودة ذات معنى.

5. الأهمية

يمثل TabGRAA تحولاً جذرياً في مجال تخليق البيانات الجدولية. فهو ينقل المجال من النسخ الإحصائي الاستاتيكي (حيث تكون النماذج ثابتة بعد التدريب) إلى التوليد الديناميكي ذاتي التحسين. من خلال الاستفادة من إشارات التمييز المؤتمتة والمحاذاة على مستوى المجموعة، فإنه يحل مشكلة "تصميم المكافأة" المتأصلة في البيانات الجدولية دون الحاجة إلى تغذية راجعة بشرية. وهذا يجعلها حلاً عملياً للغاية للمجالات الحساسة للخصوصية حيث تكون هناك حاجة لبيانات اصطناعية عالية الدقة لمهام تعلم الآلة اللاحقة، مما يسد الفجوة في الأداء بين المولدات القائمة على النماذج اللغوية الكبيرة ونماذج الانتشار مع الحفاظ على مرونة البنى التكرارية (autoregressive).