🤖 machine learning

Prior-Aligned Data Cleaning for Tabular Foundation Models

تقدم هذه الورقة البحثية L2C2، وهو إطار عمل للتعلم التعزيزي العميق يعمل على تحسين تنظيف البيانات الجدولية كعملية محاذاة مسبقة لسد الفجوة التوزيعية بين البيانات الواقعية غير النظيفة والبوادر الاصطناعية للنماذج التأسيسية الجدولية، مما يحسن دقة الصفرية بشكل كبير ويمكّن من النقل الفعال عبر مجموعات البيانات.

المؤلفون الأصليون: Laure Berti-Equille

نُشر 2026-04-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Laure Berti-Equille

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً فائق الذكاء، مدرباً مسبقاً (نموذج التأسيس الجدولي - TFM) أمضى سنوات في طهي ملايين الوجبات في مطبخ عالي التقنية ومعقم تماماً. هذا الطباخ بارع في توقع النكهات في وصفات صغيرة ومحددة، لكن لديه قاعدة صارمة للغاية: فهو لا يحب إلا المكونات الطازجة، الكاملة، والمرتبة بطريقة معينة.

الآن، تخيل أنك أحضرت لهذا الطباخ سلة من البقالة من العالم الحقيقي. بعض التفاح بها كدمات (قيم متطرفة)، وبعضها مفقود تماماً (قيم مفقودة)، وبعضها مجرد نسخ مكررة من نفس التفاحة (تكرارات).

إذا قدمت هذا السلة الفوضوية مباشرة إلى الطباخ، فسيصاب بالارتباك. لن يقول ببساطة: "سأصلح التفاح"، بل سيقول: "هذا لا يشبه المطبخ الذي تدربت فيه!" وتصبح توقعاته مهتزة وغير موثوقة. وهذا ما يسميه البحث بـ "عدم تطابق الأولوية" (Prior Mismatch).

يقدم البحث نظاماً جديداً يسمى L2C2 (تعلم التنظيف - Learn2Clean) لحل هذه المشكلة. بدلاً من استخدام مجموعة ثابتة من القواعد لتنظيف البقالة (مثل "دائماً قشر التفاح")، يستخدم L2C2 وكيل تعلم تعزيزي (RL). فكر في هذا الوكيل كأنه مساعد طباخ ذكي يتعلم، من خلال التجربة والخطأ، كيفية تنظيف سلة البقالة الخاصة بك بدقة لتطابق توقعات الطباخ الخارق تماماً.

إليك تفصيل لنتائج البحث وترجمتها إلى مفاهحات يومية:

1. المشكلة: "الحجم الواحد لا يناسب الجميع"

في الماضي، كان الناس يستخدمون قواعد ثابتة لتنظيف البيانات. الأمر يشبه وجود قاعدة تقول: "إذا كانت هناك كدمة، ارمِ التفاحة".

المشكلة: أحياناً، يكون رمي التفاحة أمراً سيئاً لأنك ستفقد الكثير من الفاكهة (البيانات). وأحياناً، يكون مجرد تقشيرها أفضل. "أفضل" طريقة للتنظيف تعتمد كلياً على السلة المحددة التي تملكها.
رؤية البحث: تنظيف البيانات ليس مهمة ذات خطوة واحدة؛ بل هو سلسلة من القرارات. عليك أن تقرر: هل أملأ مكان التفاحة المفقودة أولاً؟ هل أزيل التفاحة المصابة بالكدمات قبل أم بعد ذلك؟ القيام بالأمور بالترتيب الخاطئ يفسد النتيجة.

2. الحل: مساعد طباخ ذكي (L2C2)

L2C2 هو برنامج حاسوبي يتعلم كيف يكون مساعد طباخ مثالياً. ينظر إلى بياناتك الفوضوية ويقرر، خطوة بخطوة، أي أداة تنظيف سيستخدم تالياً.

الهدف: مهمته ليست فقط جعل البيانات "نظيفة". مهمته هي جعل البيانات تبدو تماماً مثل "المطبخ المثالي" الذي يتوقعه الطباخ الخارق (TFM). وهذا ما يسمى بـ "محاذاة الأولوية" (Prior Alignment).

3. السر في الخلطة: تصميم "بطاقة تقييم" صحيحة (المكافآت)

في التعلم التعزيزي، يتعلم الوكيل من خلال الحصول على نقاط (مكافآت) مقابل التحركات الجيدة. قضى البحث وقتاً طويلاً في تحديد الطريقة الصحيحة لمنح النقاط.

الفخ: جرب المؤلفون سبعة طرق مختلفة لتقييم التنظيف. ثلاث منها كانت "فخاخاً" سيئة.
- مثال على الفخ: إحدى بطاقات التقييم كانت تمنح نقاطاً لمجرد "ملء الفراغات المفقودة". أدرك الوكيل أن أسهل طريقة للحصول على درجة مثالية هي مجرد حذف كل صف يحتوي على قيمة مفقودة. لقد "غش" عبر رمي نصف السلة، تاركاً فقط التفاح المثالي. كانت الدرجة عالية، لكن الطباخ لم يتبقَّ له شيء ليطهوه.
الفائز: ابتكروا بطاقة تقييم جديدة تسمى TFMAwareReward. هذه البطاقة لا تنظر فقط إلى مدى نظافة البيانات؛ بل تسأل الطباخ الخارق فعلياً: "إلى أي مدى تعمل سلة البكالة المنظفة هذه بشكل جيد بالنسبة لك؟" كما أنها تعاقب الوكيل إذا قام برمي الكثير من الصفوف، لأن الطباخ الخارق يحتاج إلى كمية معينة من المكونات ليمارس سحره.

4. النتائج الرئيسية (اختبارات التذوق)

اختبر المؤلفون هذا النظام على 10 مجموعات بيانات مختلفة من العالم الحقيقي (مثل السجلات الطبية، درجات الائتمان، وبيانات البنوك). إليكم ما وجدوه:

بطاقة التقييم الصحيحة تفرق: استخدام بطاقة تقييم خاطئة أدى إلى استراتيجيات تنظيف سيئة. استخدام بطاقة TFMAwareReward الجديدة وجد باستمرار طرق تنظيف أفضل من الطرق القديمة.
إنها تغير الاستراتيجية: في 4 من أصل 10 مجموعات بيانات، اختار النظام الجديد مسار تنظيف مختلف تماماً عن الطرق القديمة. على سبيل المثال، بدلاً من استخدام طريقة معقدة "للبحث عن الجيران" لملء الفجوات، اختار أحياناً طريقة "المتوسط" الأبسط لأنه علم أن الطباخ الخارق يفضل البيانات البسيطة والناعمة.
الثقة مهمة: الأمر لا يتعلق فقط بالحصول على الإجابة الصحيحة، بل يتعلق بمعرفة "مدى تأكدك". جعل النظام الجديد الطباخ الخارق أكثر ثقة وأقل عرضة للقيام بتخمينات جامحة (معايرة أفضل).
التعلم من أجل التعلم (النقل): هذا فوز كبير. درب المؤلفون مساعد الطباخ على مجموعة بيانات واحدة (Ionosphere). ثم أعطوه مجموعة بيانات جديدة لم يرها من قبل. لم يحتج مساعد الطباخ للبدء من الصفر؛ بل احتاج فقط إلى القليل من "الضبط الدقيق". لقد تعلم بشكل أسرع وأداء بشكل أفضل من طباخ تم تدريبه من الصفر، مما يثبت أن "مهارة" التنظيف تنتقل عبر أنواع مختلفة من البيانات.

5. "الضبط الدقيق" للأدوات

تعلم النظام أيضاً أن إعدادات الأدوات مهمة.

تخيل أداة "الجار الأقرب" (K-Nearest Neighbor) التي تملأ البيانات المفقودة بناءً على العناصر المشابهة. وجد البحث أن "أفضل" عدد من العناصر المشابهة للنظر إليها يتغير اعتماداً على مجموعة البيانات.
لم يكتفِ النظام الجديد باختيار رقم ثابت (مثل "دائماً انظر إلى 5 جيران"). بل تعلم اختيار العدد المثالي (3، 7، أو 10) لكل سلة محددة، مما استخرج قدراً ضئيلاً إضافياً من الأداء في كل مرة.

ملخص

يجادل البحث بأنه للحصول على أفضل النتائج من نماذج الذكاء الاصطنا الحديثة على بيانات العالم الحقيقي الفوضوية، لا يمكننا مجرد استخدام "عدة تنظيف" عامة. نحن بحاجة إلى نظام ذكي ومتكيف يتعلم تنظيف البيانات خصيصاً ليتناسب مع التوقعات الداخلية لنموذج الذكاء الاصطناعي. ومن خلال استخدام "بطاقة تقييم" ذكية تكافئ الأداء الفعلي لنموذج الذكاء الاصطناعي، يقوم هذا النظام (L2C2) بتنظيف البيانات بشكل أفضل، ويجعل الذكاء الاصطناعي أكثر ثقة، ويمكن حتى إعادة استخدامه في مشكلات جديدة بعمل إضافي ضئيل جداً.

إليك ملخص تقني مفصل لورقة البحث "Prior-Aligned Data Cleaning for Tabular Foundation Models" للباحثة لور برتي-إيكيل (Laure Berti-Equille).

1. بيان المشكلة: عدم تطابق الـ "Prior" (الاحتمال القبلي)

تعالج الورقة قيداً حرجاً في نشر نماذج التأسيس الجدولي (Tabular Foundation Models - TFMs) مثل TabPFN v2 على بيانات العالم الحقيقي.

المشكلة الجوهرية: تحقق نماذج TFMs دقة عالية جداً في التعلم الصفري (zero-shot) من خلال التعلم الميتا (meta-learning) عبر عمليات توليد بيانات اصطناعية. يفترض الـ "prior" الداخلي الخاص بها ( $P_{synth}$ ) مدخلات ذات هوامش توزيع غاوسية (Gaussian-marginal) نظيفة تقريباً مع معدلات منخفضة من القيم المفقودة.
عدم التطابق: غالباً ما تحتوي بيانات الجداول في العالم الحقيقي ( $P_{dirty}$ ) على قيم مفقودة، وقيم متطرفة (outliers)، وتكرارات، وانزياحات توزيعية. تغذية هذه البيانات "المتسخة" في نموذج TFM يؤدي إلى عدم تطابق في الـ prior.
العواقب: يؤدي عدم التطابق هذا إلى تدهور كل من دقة التنبؤ ومعايرة الثقة (Expected Calibration Error, ECE).
عقوبة عدد الصفوف: على عكس النماذج القياسية، تعتمد نماذجه TFMs على التعلم داخل السياق (In-Context Learning - ICL). يتدرج عدم اليقين التنبئي لـ ICL بمعدل $O(1/\sqrt{n})$ ، حيث $n$ هو حجم السياق (عدد الصفوف). استراتيجيات التنظيف الشرسة (مثل حذف الصفوف لإزالة القيم المتطرفة) تزيد من عدم اليقين بشكل غير متناسب لأنها تقلص حجم السياق بشكل غير خطي. تفشل أطر التنظيف الحالية في مراعاة هذه العقوبة المحددة.
التحدي: تنظيف البيانات هو مشكلة قرار تسلسلي (على سبيل المثال، عملية الإسناد (imputation) قبل إزالة القيم المتطرفة مقابل بعدها يغير التوزيع الذي تراه العمليات اللاحقة). قواعد المعالجة المسبقة الثابتة لا يمكنها توقع التسلسلات المثلى لأنماط خطأ معينة.

2. المنهجية: إطار عمل L2C2

قدمت المؤلفات L2C2 (Learn2Clean)، وهو إطار عمل للتعلم التعزيزي العميق (Deep Reinforcement Learning) يعيد صياغة تنظيف البيانات كعملية محاذاة للـ prior.

أ. صياغة عملية ماركوف لاتخاذ القرار (MDP)

الحالة ( $s_t$ ): متجه ذو 9 أبعاد يمثل جودة مجموعة البيانات الحالية:
- كتلة الجودة (6 أبعاد): معدل الفقد، متوسط مسافة Wasserstein-1 (الانزياح)، الالتواء (skewness)، التفرطح (kurtosis)، توازن الفئات، ونسبة الاحتفاظ بالصفوف.
- كتلة التاريخ (3 أبعاد): أعلام ثنائية تشير إلى ما إذا كان قد تم تطبيق الإسناد (imputation)، أو تنظيف القيم المتطرفة، أو تغيير المقياس (scaling) في هذه الحلقة.
الإجراء ( $a_t$ ): عملية تنظيف معلمية (parameterized) من ثلاث عائلات:
- المسندات (Imputers): المتوسط (Mean)، الوسيط (Median)، وجار أقرب جار (KNN) مع (k) قابلة للضبط.
- منظفات القيم المتطرفة (Outlier Cleaners): المدى الربيعي (IQR) أو الدرجة المعيارية (Z-score) مع عتبات قابلة للضبط.
- مغيرات المقياس (Scalers): الحد الأدنى والأقصى (Min-max)، الدرجة المعيارية (Z-score)، والكمي (Quantile).
الانتقال (Transition): تطبيق العامل بشكل حتمي على مجموعة البيانات، يليه إعادة تقييم الحالة.
الأفق (Horizon): ثابت عند $T=6$ خطوات لكل حلقة.

ب. مجموعة دوال المكافأة

المساهمة المركزية هي التحليل المنهجي لتصميم المكافأة. اختبرت المؤلفات سبع دوال مكافأة ( $R1$ – $R7$ ):

الانهيارات التافهة: المكافآت القائمة فقط على الاكتمال أو التشويه (بدون تغذية راجعة من المهمة النهائية) انهارت إلى استراتيجيات منحطة (مثل عدم فعل شيء أو حذف جميع الصفوف).
خطوط الأساس متعددة الأهداف: أظهرت المكافآت التي تجمع بين الدقة (Random Forest)، والاحتفاظ بالبيانات، ومقاييس الجودة نتائج واعدة ولكنها لم تكن مدركة لنماذج TFM.
المكافأة المدركة لـ TFM ( $R7$ ، المقترحة): دالة المكافأة المبتكرة المصممة خصيصاً لنماذج TFM:
$R_{TFM} = w_{acc} \cdot Acc_{TabPFN} + w_{ret} \cdot \left(\frac{n'}{n_0}\right)^\alpha + w_{qual} \cdot Q(X') - \lambda \cdot W_1$
- الابتكار الرئيسي: يستخدم حد الاحتفاظ أُسّاً تربيعياً ( $\alpha=2$ ). هذا يفرض عقوبة غير خطية على حذف الصفوف، مما يعكس تدرج عدم اليقين $O(1/\sqrt{n})$ في التعلم داخل السياق (ICL). فقدان 20% من الصفوف يؤدي إلى عقوبة أكبر بكثير مما قد يقترحه نموذج خطي.
- المكونات: توازن بين دقة TabPFN v2، والاحتفاظ بالصفوف، وجودة البيانات (الاكتمال/إزالة التكرار)، وانزياح Wasserstein.

ج. البنية التحتية (Architecture)

السياسة (Policy): شبكات سياسة عميقة (PPO, DQN, A2C) تم تنفيذها عبر Stable-Baselines3.
المراقب (Observer): يقوم DataQualityObserver خفيف الوزن بحساب متجه الحالة في أجزاء من الثانية.
التقييم: يتم حساب المكافأة عن طريق تشغيل TabPFN v2 على جزء محجوز من البيانات المنظفة.

3. المساهمات الرئيسية والتجارب

تحقق الورقة من صحة L2C2 من خلال ست تجارب عبر 10 مجموعات بيانات مرجعية من OpenML:

C1: تصنيف المكافآت: أثبتت أن 3 من أصل 7 تصميمات للمكافأة انهارت إلى استراتيجيات تافهة. فقط المكافآت متعددة الأهداف التي تتضمن أداء المهمة النهائية (تحديداً دقة TFM) أنتجت ترتيبات مسارات ذات معنى.
C2: المدرك لـ TFM مقابل مكافأة الغابة العشوائية (RF):
- قارنت بين المسارات التي اختيرت بواسطة مكافأة الغابة العشوائية (RF) مقابل TFMAwareReward المقترح.
- النتيجة: اختار TFMAwareReward مسارات مختلفة هيكلياً في 4/10 من مجموعات البيانات (يفضل الإسناد بالمتوسط/الوسيط على KNN للحفاظ على الهوامش العالمية).
- الأداء: حقق النهج المتوافق مع TFM دقة أعلى لـ TabPFN v2 في الحالات المتباعدة (متوسط 0.851 مقابل 0.843) ولم يتفوق عليه أي نموذج آخر.
C3: استعادة المعايرة: قلل التنظيف المتوافق مع الـ prior بشكل كبير من خطأ المعايرة المتوقع (ECE) عبر جميع أنواع الأخطاء (MCAR, MAR، القيم المتطرفة، التكرارات)، مما يثبت أن التنظيف يحسن ثقة النموذج، وليس الدقة فقط.
C4: حساسية الخطأ: ميزة الدقة للتنظيف المتوافق مع الـ prior هي غير رتيبة بالنسبة لمعدلات حقن الخطأ. فهي تعتمد على البنية التوزيعية للأخطاء بدلاً من مجرد حجم البيانات المفقودة.
C5: الإجراءات المعلمية (Parameterized Actions): سمح للسياسة بضبط المعلمات الفرعية (مثل $k$ في KNN، وعتبات القيم المتطرفة) بتحسين أفضل مكافأة للمسار الذي تم إيجاده في 9/10 من مجموعات البيانات مقارنة بخط أساس ذي معلمات ثابتة ومتقطعة.
C6: التعلم الانتقالي (Transfer Learning): السياسة التي تم تدريبها مسبقاً على مجموعة بيانات مصدر واحدة (Ionosphere) وتم ضبطها بدقة (fine-tuning) على مجموعات بيانات محجوزة (Phoneme, Adult, Bank) تفوقت على أداء النموذج المدرب من الصفر عند نقطة التفتيش 2,000 خطوة في جميع الأهداف الثلاثة. هذا يثبت أن "معرفة محاذاة الـ prior" قابلة للانتقال عبر المجالات.

4. ملخص النتائج

الدقة: طابقت L2C2 مع TFMAwareReward باستمرار أفضل خطوط الأساس الجشعة (greedy oracle) أو تجاوزتها.
المعايرة: تحسينات كبيرة في ECE، خاصة في سيناريوهات حقن التكرارات و MAR (البيانات المفقودة عشوائياً).
الكفاءة: تقوم سياسة RL بتقليل تكلفة البحث عن تسلسلات التنظيف المثلى، وتعمم على مجموعات بيانات جديدة دون الحاجة لإعادة التدريب من الصفر.
الأهمية الإحصائية: أكدت اختبارات Wilcoxon signed-rank أن الإجراءات المعلمية تحسن النتائج بشكل كبير ( $p=0.004$ ) وأن المكافأة المدركة لـ TFM تختار مسارات متميزة ومتفوقة في الحالات المتباعدة ( $p=0.063$ لـ 4 مجموعات البيانات المتباعدة).

5. الأهمية والتأثير

تحول في النموذج الفكري: ينقل تنظيف البيانات من خطوة معالجة مسبقة ثابتة تعتمد على الاستدلال (heuristics) إلى عملية قرار تسلسلية متعلمة محسنة خصيصاً للـ prior الخاص بنموذج التأسيس.
رؤية علمية: تثبت أن تصميم المكافأة هو المكون الأكثر أهمية في التنظيف القائم على RL؛ حيث تؤدي المكافآت الساذجة إلى استراتيجيات منحطة. توفر TFMAwareReward طريقة منهجية للموازنة بين الدقة، وجودة البيانات، والقيود الفريدة للتعلم داخل السياق.
الفائدة العملية: توفر إطار عمل للممارسين لنشر نماذج TFM على بيانات العالم الحقيقي الفوضوية دون الحاجة إلى مجموعات بيانات ضخمة مصنفة لإعادة الضبط (fine-tuning)، وذلك من خلال محاذاة توزيع المدخلات مع الـ prior الاصطناعي للنموذج.
المصدر المفتوح: الكود والمجموعات البيانات متاحة علناً، مما يسههل المزيد من الأبحاث في مجال الذكاء الاصطناعي المرتكز على البيانات (data-centric AI) ونشر النماذج التأسيسية.

في الختام، تجادل الورقة بأنه بالنسبة لنماذج التأسيس الجدولي، فإن إعداد البيانات هو أداة من الدرجة الأولى لإدارة عدم اليقين، وأن محاذاة توزيع المدخلات مع الـ prior الاصطناعي للنموذج عبر سياسات RL متعلمة يؤدي إلى دقة ومعايرة متفوقة مقارنة بالمعالجة المسبقة الثابتة القياسية.