TabTreeFormer: Tabular Data Generation Using Hybrid Tree-Transformer
تقدم هذه الورقة البحثية TabTreeFormer، وهي بنية محولة هجينة تدمج الانحيازات الاستقرائية القائمة على الأشجار ومجزئ رموز مدركاً للتعقيد لتوليد بيانات جدولية عالية الدقة بكفاءة، متفوقة بذلك على النماذج الحالية عبر مقاييس المنفعة، والدقة، والخصوصية.
تخيل أنك تحاول تعليم روبوت فهم العالم، ولكن بدلاً من إظهار أفلام أو كتب له، أنت تعطيه فقط جداول بيانات. هذه الجداول موجودة في كل مكان: فهي تحتوي على سجلاتك الطبية، وكشوفات حساباتك البنكية، ودرجاتك المدرسية. لكن هناك مشكلة؛ فهذه الجداول مليئة بالأسرار. إذا تركت الروبوت يتعلم مباشرة منها، فقد يحفظ تفاصيلك الخاصة عن طريق الخطأ ويفضح المستور. ولحل هذه المشكلة، يبتكر العلماء "بيانات اصطناعية" — جدال بيانات مزيفة تبدو وتتصرف تماماً مثل الجداول الحقيقية، ولكنها لا تحتوي على أي أشخاص حقيقيين. الأمر يشبه صنع تمثال شمعي مثالي لشخص ما؛ يبدو حقيقياً، لكنه آمن للمس.
المشكلة هي أن الروبوتات التي نستخدمها عادةً لصنع هذه الجداول المزيفة تكون خرقاء بعض الشيء مع الأرقام. فهي بارعة في فهم الجمل (مثل برامج الدردشة الآلية) أو الصور (مثل الكاميرا)، لكنها تعاني مع الطبيعة الغريبة والمتعرجة لبيانات الجداول. فالأرقام في العالم الحقيقي غالباً ما تقفز فجأة في خطوات (مثل انخفاض السعر من 100 دولار إلى 50 دولاراً في لحظة) بدلاً من التدفق بسلاسة مثل النهر. كما أن هذه الروبوتات غالباً ما تكون بطيئة وتستهلك الكثير من الذاكرة للتعامل مع جداول ضخمة من البيانات. السؤال الكبير الذي يواجه العلماء هو: كيف نبني روبوتاً ذكياً بما يكفي لنسخ الطبيعة الفوضوية والمتقفزة للبيانات الحقيقية دون أن يحفظ الأسرار أو ينهار بسبب ضغط العمل؟
هنا يأتي دور TabTreeFormer، وهو نوع جديد من الروبوتات المصممة خصيصاً لإتقان فن نسخ جداول البيانات. أدرك الباحثون وراء ابتكاره أن أفضل طريقة لفهم جدول البيانات ليست باستخدام روبوت "قارئ نصوص" قياسي، بل باستعارة خدعة من نوع آخر من الآلات: "شجرة القرار". يمكنك التفكير في شجرة القرار كأنها لعبة "20 سؤالاً". لمعرفة نوع حيوان ما، تسأل: "هل لديه فراء؟" إذا كانت الإجابة نعم، "هل ينبح؟" وإذا كانت لا، "هل يموء؟" هذا المسار الذي يعتمد على خطوات "نعم أو لا" مثالي للتعامل مع القفزات المفاجئة والقواعد المحددة الموجودة في البيانات الحقيقية.
قام الفريق ببناء TabTreeFormer عبر دمج منطق "الـ 20 سؤالاً" هذا مع روبوت قوي لتعلم اللغة (يسمى "ترانسفورمر" أو Transformer). وقد منحوا الروبوت "مترجماً" خاصاً (tokenizer) يحول الأرقام الفوضوية إلى كود بسيط. وبدلاً من محاولة تذكر كل فاصلة عشرية لرقم مثل 3.14159، يقوم المترجم بتجميعها في مجموعات (مثل "صغير"، "متوسط"، "كبير") ثم يضيف علامة دقيقة للحصول على القيمة الفعلية. هذا يجعل البيانات أصغر بكثير وأسهل في استيعابها من قبل الروبوت، مع الحفاظ في الوقت نفسه على التفاصيل المهمة.
النتائج مبهرة. فعند اختباره على تسعة أنواع مختلفة من مجموعات البيانات الواقعية، نجح TabTreeFormer باستمرار في إنشاء بيانات مزيفة كانت أكثر فائدة لتدريب نماذج الذكاء الاصطناعي الأخرى من البيانات التي صنعتها ثماني طرق رائدة أخرى. وفي السيناريوهات التي كان الهدف فيها هو الحصول على أفضل جودة بيانات ممكنة (ولم تكن الخصوصية هي الهم الرئيسي)، حسّن النسخة الأفضل من TabTreeFormer الأداء بنسبة 44% مقارنة بأقرب منافسيه. كما تمكن من القيام بذلك باستخدام حجم نموذج أصغر بكثير وتوليد بيانات بشكل أسرع من العديد من الروبوتات الضخمة التي واجهها.
ومع ذلك، يحرص البحث على ملاحظة أن هذا ليس عصا سحرية تحل كل شيء. فقد وجد الباحثون أنه إذا قمت بإيقاف تشغيل ضمانات الخصوصية للحصول على أفضل جودة ممكنة، فقد يصبح الروبوت بارعاً جداً في عمله لدرجة حفظ البيانات الحقيقية بدقة شديدة. لقد أظهروا أن هناك مقايضة: كلما حاولت حماية الخصوصية أكثر، كانت البيانات أقل كمالاً، والعكس صحيح. ولكن بشكل عام، يشير TabTreeFormer إلى أنه من خلال دمج أسلوب "شجرة القرار" (الـ 20 سؤالاً) مع نماذج اللغة الحديثة، يمكننا بناء طريقة أفضل وأسرع وأكثر دقة لإنشاء البيانات المزيفة التي تشغل مستقبل الذكاء الاصطناعي.
ملخص تقني: TabTreeFormer
بيان المشكلة
بينما حققت نماذج المحولات (Transformers) نتائج مثيرة للإعجاب في توليد البيانات الجدولية، إلا أنها تفتقر غالباً إلى الانحيازات الاستقرائية (inductive biases) الخاصة بالمجال، وهي ضرورية للحفاظ على الخصائص الجوهرية للبيانات الجدولية. وتحديداً، تعاني نماذج المحولات القياسية من:
عدم النعومة وانخفاض الارتباط: غالباً ما تحتوي البيانات الجدولية على سمات منفصلة وعلاقات غير ناعمة بين السمات المنفصلة والمستمرة. تتعلم الشبكات العصبية عادةً دوالاً أكثر نعومة ومنخفضة التردد، بينما تتفوق النماذج القائمة على الأشجار في التقاط الدوال الثابتة جزئياً (piecewise constant functions)، وتكون قوية ضد السمات منخفضة الارتباط بسبب عدم ثباتها الدوراني (non-rotational invariance).
التوزيعات متعددة الأنماط: تفشل النماذج التوليدية الحالية غالباً في التقاط التوزيعات متعددة الأنماط (multimodal distributions) في السمات المستمرة (السمات التي تحتوي على أنماط أو قمم متعددة).
القابلية للتوسع والكفاءة: تعاني نماذج المحولات من تعقيد حسابي تربيعي، مما يؤدي إلى ضعف القابلية للتوسع. بالإضافة إلى ذلك، فإنها تتطلب غالباً مفردات ضخمة وأطوال تسلسل طويلة عند ترميز (tokenizing) البيانات الجدولية، مما يقلل من الكفاءة.
الخصوصية والذاكرة: تميل نماذج المحولات إلى حفظ بيانات التدريب، خاصة عند تدريبها على مجموعات بيانات جدولية صغيرة، مما يشكل مخاطر على الخصوصية.
المنهجية: TabTreeFormer
يقترح المؤلفون TabTreeFormer، وهو بنية هجينة تدمج نموذجاً قائماً على الأشجار مع نموذج محول (Transformer) ومُرمِّز (tokenizer) مبتكر لحقن الانحيازات الاستقرائية الخاصة بالبيانات الجدولية.
1. دمج النموذج القائم على الأشجار
لحقن الانحيازات الاستدرائية، يدمج النموذج نموذجاً قائماً على الأشجار تم ضبطه مسبقاً (مثل LightGBM).
فهارس الأوراق كـ "محفزات" (Prompts): لكل صف في مجموعة البيانات، يستخرج النموذج فهارس أوراق الأشجار من T من الأشجار. تُلحق هذه الفهارس ببداية تسلسل الرموز المدخلة.
نقل الانحياز الاستدراكي: تقوم فهارس الأوراق هذه بترميز الهياكل غير الناعمة وغير الثابتة دورانياً، مما ينقل بفعالية الانحيازات الاستدراكية لنموذج الشجرة إلى نموذج المحول. أثناء الاستدلال، تعمل هذه الفهارس كمحفزات لتوجيه توليد بيانات واقعية.
التجميع (Clustering): تعمل فهارس الأوراق كشروط متزامنة متعددة (clusters) للتوليد، مما يوسع مفهوم التوليد الشرطي ليتجاوز الأعمدة المفردة.
للتعامل مع التوزيعات متعددة الأنماط وتقليل حجم المفردات وطول التسلسل، تم تقديم مُرمِّز تكميم مزدوج مبتكر للسمات المستمرة:
تكميم المجموعات (K-Means): يستخدم المُكمِّم الأول تجميع K-Means لنمذجة التوزيعات متعددة الأنماط، حيث يخصص "معرف صندوق" (Bin ID) لكل قيمة.
تكميم المئينات (Quantile Quantization): يستخدم المُكمِّم الثاني نهجاً قائماً على المئينات لالتقاط القيم العددية بدقة، حيث يخصص "معرف مئين" (Quantile ID).
تمثيل الرموز (Token Representation): يتم تمثيل كل قيمة عددية برمزين منفصلين (معرف الصندوق + معرف المئين)، بينما تستخدم السمات الفئوية رمزاً واحداً بنظام الترميز الرقمي (label-encoded). يقلل هذا النهج بشكل كبير من طول التسلسل وحجم المفردات مقارنة بطرق الترميز القياسية.
3. بنية المحول والتدريب
المولد الأساسي هو محول ذاتي الانحدار (Auto-regressive Transformer) يعتمد على (Distill-GPT2).
التمثيلات الرتبوية (Ordinal Embeddings): بما أن رموز المئينات تمتلك علاقات رتبوية (الرموز المتقاربة تعني قيماً متقاربة)، صمم المؤلفون تمثيلات رتبوية قائمة على الدوال باستخدام دوال سيجمويد (sigmoid) متدرجة رتيبة غير خطية، بدلاً من التمثيلات الموقعية أو المتعلمة القياسية.
خسارة الإنتروبيا المتقاطعة الرتبوية (OCEL): تعامل الإنتروبيا المتقاطعة القياسية جميع الفئات كأنها متساوية في التباين. اقترح المؤلفون خسارة OCEL موزونة تعاقب التنبؤات الأبعد عن الفئة المستهدفة أكثر من تلك القريبة منها، مما يحترم الطبيعة الرتبوية لرموز المئينات.
الحفاظ على الخصوصية: لمنع الحفظ (memorization)، يستخدم النموذج قناعاً كثيفاً (heavy masking) لرموز المدخلات ويستخدم آلية توقف مبكر بناءً على خسارة التحقق. يتم تقسيم مجموعة التدريب إلى مجموعتين فرعيتين، مع تدريب شبكتين منفصلتين على كل منهما؛ وأثناء التوليد، يتم سحب عينات من كلتا الشبكتين لضمان التغطية التوزيعية دون الإفراط في التخصيص (overfitting).
المساهمات الرئيسية
أول دمج للمقدمات الشجرية: حسب علم المؤلفين، يعد هذا أول عمل يقدم انحيازات استدراكية خاصة بالبيانات الجدولية (عدم النعومة، وعدم الثبات الدوراني) إلى نماذج المحولات لمهام التوليد باستخدام نموذج قائم على الأشجار.
مُرمِّز التكميم المزدوج: مُرمِّز مبتكر قادر على نمذجة التوزيعات المستمرة متعددة الأنماط مع الحفاظ على دقة عالية وتمثيل مدمج، مقترناً بتمثيلات وخسائر مدركة للرتبة.
تقييم شامل: تم تقييم النموذج عبر تسعة مجموعات بيانات متنوعة مقابل ثمانية نماذج أساسية (بما في ذلك GANs وVAEs ونماذج الانتشار وغيرها من المحولات)، مما أظهر تفوقاً في التوازن بين المنفعة، والدقة، والخصوصية، والكفاءة.
النتائج التجريبية
تم التقييم عبر تسعة مجموعات بيانات (مثل Adult, Bank, Boston, Credit) وثمانية نماذج أساسية:
المنفعة (Utility): يتفوق TabTreeFormer باستمرار على النماذج الأساسية في مهام فعالية تعلم الآلة (MLE) (مثل الانحدار اللوجستي، الغابة العشوائية، XGBoost). تحقق النسخة الأفضل (TabTreeFormer-NM، بدون قناع) زيادة في الأداء تصل إلى 44% مقارم بأفضل نموذج أساسي عند إعطاء الأولوية لمنفعة البيانات.
الدقة (Fidelity): يحقق النموذج درجات "شكل" (تشابه التوزيع الهامشي) مماثلة للنماذج الأساسية، ودرجات "اتجاه" (دقة الارتباط) متفوقة، لا سيما في التقاط التوزيعات متعددة الأنماط والعلاقات بين السمات.
الخصوصية: تُظهر النسخ المزودة بقناع (TabTreeFormer-S و L) مرونة قوية في الخصوصية، حيث لم يتم اكتشاف أي تسرب كبير للخصوصية عبر مجموعات البيانات، على عكس العديد من النماذج الأساسية (مثل TabuLa و Forest Diffusion) التي أظهرت مخاطر عالية للحفظ.
الكفاءة: رغم طبيعته الهجينة، يحقق TabTreeFormer أوقات توليد أسرع وأداءً مماثلاً مع أحجام نماذج أصغر بكثير (5M–40M بارامتر) مقارنة بالنماذج الأساسية التي تتجاوز 80M بارامتر.
الأهمية
يدعي البحث أن TabTreeFormer يعالج الفجوة الأساسية بين نجاح النماذج القائمة على الأشجار في التنبؤ الجدولي وبين عدم استغلال انحيازاتها الاستدراكية في النمذجة التوليدية. من خلال الجمع الفعال بين المقدمات الشجرية وبنيات المحول وإدخال ترميز ودوال خسارة متخصصة للبيانات الرتبوية، يقدم TabTreeFormer حلاً قوياً لتوليد بيانات جدولية عالية الجودة. كما يثبت أن دمج المعرفة المتخصصة بالمجال يمكن أن يعزز بشكل كبير الأداء التوليدي، خاصة في السيناريوهات التي تكون فيها منفعة البيانات هي الأهم، مع الحفاظ على ضمانات تنافسية للكفاءة والخصوصية.