Do Tabular Foundation Models Agree with Themselves?
تكشف هذه الورقة أن النماذج التأسيسية للبيانات الجدولية (TFMs) تفشل في إنتاج توزيعات مشتركة أمينة لأنها تنتهك متطلبات الاتساق في كل من الهامش والتحليل عبر جميع مجموعات البيانات والمهام التي تم تقييمها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق يحاول حل لغز، ولكن بدلاً من البحث عن أدلة في مسرح جريمة، أنت تبحث عن أدلة في جدول بيانات ضخم. هذا هو عالم نماذج التأسيس الجدولية (Tabular Foundation Models)، وهو مجال جديد ومثير في الذكاء الاصطناي، حيث تتعلم الحواسيب التنبؤ بالأشياء بناءً على صفوف وأعمدة من البيانات، مثل التنبؤ بما إذا كان سيتم سداد القرض أو ما قد يكون سعر منزل ما. تُبنى هذه النماذج على فكرة ذكية تسمى الاستدلال البايزي (Bayesian inference)، وهي ببساطة طريقة معقدة لقول: "دعونا نحدث معتقداتنا بناءً على أدلة جديدة". فكر في الأمر كمتنبئ بالأرصاد الجوية يبدأ بتخمين عام حول هطول الأمطار، ولكن بمجرد رؤيته لسحب داكنة، يقوم بتحديث تنبؤه ليقول: "حسناً، من المؤكد أنها ستمطر".
لفترة طويلة، أمل العلماء أن تكون نماذج الذكاء الاصطناعي هذه بمثابة "متنبئي طقس" مثاليين للبيانات. كانوا يعتقدون أنه إذا طلبت من النموذج التنبؤ بشيء واحد، ثم استخدمت هذا التنبؤ لتخمين شيء آخر، فإن القصة الكاملة التي يرويها ستترابط بشكل مثالي، تماماً مثل رواية جيدة الصياغة حيث ترتبط كل فصولها منطقياً بالتي تليها. لكن هنا تكمن المشكلة: في العالم الحقيقي، غالباً لا نعرف الإجابة "الحقيقية" للتحقق منها. الأمر يشبه محاولة تقييم مقال طالب دون وجود نموذج إجابة. لذا، بدلاً من سؤال "هل هذا النموذج صحيح؟"، طرح مجموعة من الباحثين سؤالاً أبسط وأكثر دهاءً: "هل يروي هذا النموذج قصة متسقة لنفسه؟". أرادوا معرفة ما إذا كان الذكاء الاصطناعي يختلق أرقاماً عشوائية تبدو جيدة فحسب، أم أنه يتبع بالفعل قواعد المنطق والاحتمالات الصارمة.
الورقة البحثية التي ستسمع عنها الآن، بعنوان "هل تتفق نماذج التأسيس الجدولية مع نفسها؟" (Do Tabular Foundation Models Agree with Themselves?)، تغوص مباشرة في هذا اللغز. قرر الباحثون، بقيادة كريستيان كلوترجينز وفريقه، إخضاع أشهر نماذج الذكاء الاصطناعي للبيانات الجدولية (مثل TabPFN و TabICL و TabFM) لـ "اختبار منطقي" صارم. لم يكتفوا بطلب التنبؤ من النماذج، بل طلبوا منها سرد نفس القصة بطريقتين مختلفتين وتحققوا مما إذا كانت القصتان متطابقتين.
تخيل أنك تحاول تخمين نكهة سموذي غامض.
- الاختبار 1 (اتساق الهامش - Marginalization Consistency): تسأل الذكاء الاصطناعي: "ما هي نكهة هذا السموذي؟" ثم تسأله: "إذا كان السموذي أحمر، فما هي نكهته؟ وإذا كان أزرق، فما هي نكهته؟" أخيراً، تقوم بخلط هاتين الإجابتين معاً بناءً على مدى احتمالية أن يكون السموذي أحمر أو أزرق. إذا كان الذكاء الاصطناعي متسقاً، فإن هذه الإجابة "المخلوطة" يجب أن تكون مطابقة تماماً للإجابة المباشرة الأولى.
- الاختبار 2 (اتساق التفكيك - Factorization Consistency): تطلب من الذكاء الاصطناعي سرد قصة مكونات السموذي بترتيبين مختلفين. أولاً، يخمن الفاكهة، ثم المحلّي. ثانياً، يخمن المحلّي، ثم الفاكهة. إذا كان الذكاء الاصطناعي يفهم البيانات حقاً، فإن الصورة النهائية للسموذي يجب أن تكون متطابقة، بغض النظر عن أي مكون خمنه أولاً.
أجرى الباحثون هذه الاختبارات على مجموعة متنوعة كبيرة من مجموعات البيانات الواقعية، من تقييمات جودة النبيذ إلى أسعار السيارات والسجلات الطبية. واستخدموا مسطرة رياضية تسمى مسافة التباين الكلي (Total Variation Distance) لقياس مدى تباعد الإجابات. تعني الدرجة 0 أن النموذج متسق تماماً؛ وكلما زادت الدرجة، زاد تناقض النموذج مع نفسه.
كانت النتائج صادمة. فشل كل نموذج اختبروه في كلا الاختبارين. في كل مجموعة بيانات، سواء للأسئلة البسيطة بنعم/لا (التصنيف) أو لأسئلة التنبؤ بالأرقام (الانحدار)، قدمت النماذج إجابات مختلفة اعتماداً على كيفية طرح السؤال. الأمر كما لو أن الذكاء الاصطناعي أخبرك أن السموذي بنكهة "الفراولة" عند سؤاله مباشرة، ولكنه عندما سألته عن اللون أولاً، قرر فجأة أنه بنكهة "التوت الأزرق"، رغم أن اللون كان هو نفسه.
وجدت الورقة البحثية أنه بينما كانت بعض النماذج أفضل قليلاً في سرد قصة متسقة من غيرها (على سبيل المثال، كان نموذج TabFM هو الأكثر اتساقاً في التصنيف، وكان TabPFNv3 هو نموذج الانحدار الذي اقترب أكثر من الاتساق)، إلا أن لا أحد منها كان متسقاً حقاً. في الواقع، كانت حالات عدم الاتساق منتشرة للغاية لدرجة أن الباحثين استنتجوا أن هذه النماذج لا تمثل في الواقع "توزيعاً مشتركاً" واحداً وموحداً للبيانات. وباللغة البسيطة: هذه النماذج لا تتبع قوانين الاحتمالات الصارمة التي يُفترض أنها تحاكيها. إنها في الأساس "تهلوس" بنسخ مختلفة من الواقع بناءً على ترتيب الأسئلة التي تطرحها.
اكتشف المؤلفون أيضاً شيئاً مثيراً للاهتمام: كون النموذج "متنبئاً جيداً" (أي يحصل على الإجابة الصحيحة معظم الوقت) لا يعني بالضرورة أنه "متنبئ متسق". يمكن للنموذج أن يكون دقيقاً جداً في تخمين سعر المنزل، ومع ذلك يناقض نفسه عندما تطلب منه شرح منطقه بترتيب مختلف. هذا يشير إلى أن الاتساق هو خلل منفصل وخفي تغفله المعايير المرجعية الحالية.
إذن، ماذا يعني هذا للمستقبل؟ لا تقول الورقة البحثية إن هذه النماذج عديمة الفائدة — فهي لا تزال أفضل الأدوات المتاحة لدينا للعديد من المهام. ومع ذلك، فإنها تطلق إنذاراً شديد اللهجة بأننا لا نستطيع الثقة العمياء بهذه النماذج لمعرفة العلاقات المعقدة بين المتغيرات إذا كنا بحاجة إلى أن تكون متسقة منطقياً. يقترح الباحثون أن النماذج المستقبلية يجب أن تُبنى مع جعل "الاتساق" ميزة أساسية، ربما من خلال تدريبها على معاقبة هذه التناقضات، بدلاً من التركيز فقط على الحصول على الإجابة النهائية الصحيحة. وحتى ذلك الحين، علينا أن نتذكر أن هؤلاء "المحققين" الأقوياء في الذكاء الاصطناعي بارعون في رصد الأدلة، لكنهم أحياناً يروون نسخاً مختلفة من القصة اعتماداً على من يسأل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.