← أحدث الأبحاث
🤖 machine learning

Understanding the Surprising Generalization Properties of Tabular Foundation Models

تكشف هذه الورقة أن النماذج التأسيسية للبيانات الجدولية يمكنها تحقيق تعميم قوي من خلال التدريب المسبق ذاتي الإشراف على جدول حقيقي واحد، مما يثبت أن أداءها يعتمد على عدد وجودة المهام والميزات أكثر من اعتماده على مجموعات البيانات الضخمة، ويشير إلى أن آلية التعلم داخل السياق لديها هي آلية قائمة على الاسترجاع بشكل أساسي.

المؤلفون الأصليون: Nour Shaheen, Junwei Ma, Alex Labach, Frank Hutter, Valentin Thomas, Anthony L. Caterini

نُشر 2026-08-19
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Nour Shaheen, Junwei Ma, Alex Labach, Frank Hutter, Valentin Thomas, Anthony L. Caterini

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في المشهد الشاسع للذكاء الاصطناعي، ساد اعتقاد مستمر بأن البيانات تأتي في عوالم متميزة ومعزولة. فمن المنطق أن برنامج كمبيوتر مُدرب على التعرف على الأرقام المكتوبة بخط اليد، لا يملك أي أمل في مساعدة وكيل عقارات في تقدير أسعار المنازل، لأن المهمتين تبدوان مختلفتين تماماً ولا تشتركان في شيء. تعامل هذه الرؤية مع جداول البيانات كأحاجٍ صلبة ومحددة، حيث لا يمكن لقواعد إحداها أن تنطبق على الأخرى. ومع ذلك، بدأت جيل جديد من نماذج الذكاء الاصطناعي، تُعرف بنماذج التأسيس الجدولي (tabular foundation models)، في تحدي هذا الافتراض. صُممت هذه الأنظمة لتتعلم من تدفق الأمثلة المقدمة لها في اللحظة التي تُطلب فيها لحل مشكلة ما، بدلاً من الحفظ الدائم لمجموعة بيانات واحدة. فهي تعمل من خلال النظر إلى بضعة أمثلة مصنفة مقدمة في اللحظة ذاتها، واستخدام هذا السياق للتنبؤ بالإجابات لصفوف جديدة غير مصنفة. وكان السؤال المركزي للباحثين هو ما إذا كانت هذه النماذج تتطلب مكتبة ضخمة ومتنوعة تضم آلاف مجموعات البيانات المختلفة من العالم الحقيقي لتتعلم كيفية التعميم، أم أن هناك آلية أبسط وأكثر جوهرية في العمل.

لقد شرع فريق من الباحثين في اختبار حدود عملية التعلم هذه، بدءاً بتجربة مفاجئة ومنافية للمنطق. قاموا بتدريب نموذج ذكاء اصطناعي قوي باستخدام مجموعة بيانات واحدة فقط من العالم الحقيقي: جدول يحتوي على صور متجهة (vectorized images) لأرقام مكتوبة بخط اليد. في الإعداد التقليدي، يُتوقع من مثل هذا النموذج أن يفشل فشلاً ذريعاً عند سؤاله عن التنبؤ بشيء غير مرتبط تماماً مثل أسعار المنازل في كاليفورنيا أو إحصاءات الالتحاق بالجامعات. ومع ذلك، جاءت النتائج لتخالف هذا التوقع. فالنموذج، الذي لم يرَ سوى بيانات الأرقام، أظهر قدرة قوية على تقديم تنبؤات دقيقة لهذه المهام المختلفة تماماً. اقترح هذا الاكتشاف أن النموذج لم يكن ببساطة يحفظ حقائق عن الأرقام، بل تعلم مهارة أكثر عمومية: وهي كيفية النظر إلى مجموعة من الأمثلة، وإيجاد الأمثلة التي تهم، واستخدامها لحل مشكلة جديدة.

لفهم سبب حدوث ذلك، بحث الباحثون فيما يجعل مجموعة البيانات "جيدة" لتعليم هذه النماذج. قاموا بتحليل عشرات الجداول المختلفة، التي تراوحت من مجموعات صغيرة إلى أرشيفات ضخمة، لمعرفة الخصائص التي تؤدي إلى أفضل أداء. واكتشفوا أن عدد الصفوف، أو الحالات، في الجدول كان غير مهم بشكل مفاجئ. فمجموعة بيانات تحتوي على ملايين الصفوف ولكن مع أعمدة قليلة لم تعلم النموذج بشكل أفضل من مجموعة بيانات أصغر ذات أعمدة عديدة. وبدلاً من ذلك، كان العامل الرئيسي هو عدد الميزات، أو الأعمدة، المتاحة. فقد سمح جدول يحتوي على أنواع كثيرة من المعلومات للنموذج بممارسة مجموعة أوسع من العلاقات المنطقية. ووجد الباحثون أن المحرك الحقيقي للنجاح لم يكن حجم البيانات الهائل، بل تنوع المهام التي يمكن للنموذج ممارستها. ومن خلال معاملة تركيبات مختلفة من الأعمدة كمهام مختلفة، يمكن لجدول واحد أن يقدم آلاف الفرص التعليمية الفريدة. فكلما زادت المهام المتميزة التي يمكن للنموذج حلها أثناء تدريبه، أصبح أفضل في التعامل مع التحديات الجديدة وغير المرئية.

أدى هذا الاستبصار بالفريق إلى إعادة التفكير في كيفية إعداد هذه النماذج للعالم الحقيقي. اقترح العرف السائد أنه لبناء نموذج قوي، يجب على المرء تنسيق مجموعة ضخمة من مجموعات البيانات، مع إزالة المكررات بعناً وتصفية أي جداول تبدو بسيطة للغاية أو ضعيفة البنية. اختبر الباحثون ذلك عبر تدريب نماذج على متن كبير يضم أكثر من 1700 مجموعة بيانات من العالم الحقيقي. ووجدوا أن إزالة المكررات المتطابقة لم تحدث أي فرق في الأداء النهائي، وأن التصفية الصارمة لمجموعات البيانات "الضعيفة" أضرت فعلياً بقدرة النموذج على التعميم. لقد تبين أن حتى الجدول البسيط الذي يحتوي على ميزات قليلة يمكن أن يوفر ممارسة قيمة لأنواع محددة من الاستدلال المنطقي. كانت الاستراتيجية الأكثر فعالية ليست التخلص من البيانات، بل تنظيفها على مستوى أدق. فمن خلال إزالة الأعمدة التي تكاد تكون متطابقة مع بعضها البعض أو التي تحتوي على الكثير من القيم المفقودة، نجح الباحثون في تحسين جودة مهام الممارسة دون تقليص المكتبة. وقد عزز هذا التنظيف دقيق المستوى أداء النموذج باستمرار عبر مجموعة واسعة من المعايقات.

تختتم الورقة البحثية بتقديم طريقة جديدة لفهم كيفية عمل هذه النماذج في الواقع. فبدلاً من العمل كـ "موسوعة ضخمة" تخزن قاعدة عالمية لكل موقف محتمل، يعمل النموذج كـ "أمين مكتبة ماهر". فعند تقديمه مشكلة جديدة، لا يعتمد على مفتاح إجابة مكتوب مسبقاً، بل يقوم بمسح الأمثلة المقدمة في اللحظة ذاتها، ويحدد أي منها الأكثر تشابهاً مع السؤال الحالي، ويجمع إجاباتها لتكوين تنبؤ. وقد قدم الباحثون دليلاً قوياً على ذلك من خلال إظهار أن النماذج التي تعمم بشكل أفضل هي أيضاً تلك الأكثر قدرة على استرجاع المعلومات الصحيحة من الأمثلة التي أُعطيت لها. ووجدوا أن إجبار النموذج على الاعتماد على مطابقة بسيطة للتشابه لم يؤدِ إلى تعطيله؛ بل على العكس، بالنسبة للنماذج الأضعف، جعل العملية تشبه عملية بحث مباشرة عن "جيران مشابهين" أدى بالفعل إلى تحسين نتائجهم. يشير هذا إلى أن سحر هذه الأنظمة لا يكمن في تخزين كون معقد ومحسوب مسبقاً من القواعد، بل في تعلم كيفية العثور على قطع المعلومات الصحيحة واستخدامها من السياق المقدم لها.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.LG →