Estimand-Relative Validity and Context-Driven Instability of Shapley Explanations for Tabular Foundation Models
تُثبت هذه الورقة أن صحة واستقرار تفسيرات "شابلي" (Shapley) للنماذج التأسيسية للبيانات الجدولية تعتمد بشكل حاسم على اختيار عامل الإزالة بالنسبة للمُقدّر المستهدف، وتتأثر بشكل كبير بالأمثلة المقدمة في السياق، مما يستلزم التحديد الصريح لهذه العوامل من أجل تفسير موثوق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف ولم يصادق عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تبرز فئة متنامية من النماذج المصممة للتعلم من الأمثلة بدلاً من حفظ قواعد ثابتة. تخيل طالباً، بدلاً من دراسة كتاب مدرسي لسنوات، يُمنح صفحة واحدة من الملاحظات وسؤالاً جديداً، ثم يُطلب منه حله فوراً باستخدام تلك الصفحة فقط. هكذا تعمل "نماذج التأسيس" الحديثة للبيانات الجدولية. فهي تأخذ مجموعة صغيرة من الأمثلة المصنفة، وتسمى "السياق"، واستعلاماً جديداً، وتجري تنبؤاً دون تغيير شفرتها الداخلية أبداً. ولأن هذه الأنظمة مرنة للغاية، فقد حاول الباحثون منذ فترة طويلة فهم لماذا تتخذ هذه القرارات. إنهم يستخدمون طريقة تسمى "قيم شابلي" (Shapley values)، والتي تعمل كتقسيم عادل للمساهمة؛ فإذا كان التنبؤ نتاج جهد جماعي، تحسب هذه الطريقة مقدار مساهمة كل قطعة من المعلومات في النتيجة النهائية. ومع ذلك، لمعرفة مدى أهمية قطعة معينة من المعلومات، يجب على الطريقة أولاً أن تتخيل ما سيحدث إذا كانت تلك القطعة مفقودة. وهذا يخلق لغزاً: عندما تزيل قطعة من البيانات، كيف تملأ الفراغ؟ هل تستبدلها بمتوسط، أم بفراغ، أم بمثال جديد يناسب النمط؟ إن الإجابة على هذا السؤال تغير القصة بأكملها حول كيفية تفكير النموذج.
تتناول دراسة حديثة أجراها إمين تاليب ديمكيران من جامعة إيسكي شهير التقنية هذا اللغز مباشرة، مع التركيز على نموذجين متطورين من هذا النوع، يُعرفان باسم TabPFN وTabICL. أراد الباحث معرفة ما إذا كان اختيار كيفية ملء البيانات المفقودة يغير تفسير قرار النموذج، وما إذا كانت تلك التفسيرات تظل مستقرة عندما تتغير التفاصيل المحيطة قليلاً. وللتحقق من ذلك، أجرى الفريق سلسلة ضخمة ومخطط لها بعناية من الاختبارات باستخدام بيانات اصطناعية، حيث تكون الإجابات الصحيحة معروفة بالتصميم، وبيانات من العالم الحقيقي. واختبروا خمس طرق مختلفة للتعامل مع المعلومات المفقودة، تتراوح من المتوسط البسيط إلى طرق أكثر تعقيداً تطلب من النموذج إعادة تقييم الموقف مع إزالة القطعة المفقودة. وكشفت النتائج عن حقيقة صارخة: لا توجد طريقة واحدة "مثلى" لتفسير هذه النماذج. فالطريقة التي تنتج التفسير الأكثر دقة لنوع معين من الأسئلة غالباً ما تكون الأسوأ لنوع آخر.
وجدت الدراسة أن اختيار الطريقة يعتمد كلياً على نوع السؤال الذي تحاول الإجابة عليه. فإذا كنت تريد معرفة كيف سيتصرف النموذج إذا تدخلت وغيرت قيمة معينة، فإن التفسيرات الأكثر دقة جاءت من الطرق التي استبدلت البيانات المفقودة ببساطة بمتوسطات أو علامات نائبة قياسية. ومع ذلك، إذا كنت تريد معرفة كيف يستنتج النموذج بناءً على العلاقات المحددة داخل البيانات التي عُرضت عليه، فإن أفضل التفسيرات جاءت من الطرق التي طلبت من النموذج إعادة صياغة سياقه مع إزالة القطعة المفقودة. في الواقع، لاحظ الباحثون أن الطريقة التي حققت أفضل أداء لهدف واحد غالباً ما حققت أسوأ أداء للهدف الآخر. وهذا يعني أن التفسير ليس خاصية ثابتة للنموذج، بل هو أمر نسبي بناءً على السؤال المحدد المطروح. وبدون تحديد كيفية التعامل مع البيانات المفقودة بالضبط ونوع الإجابة المطلوبة، لا يمكن الوثوق بالتفسير.
وبعيداً عن مسألة أي طريقة يجب استخدامها، بحثت الدراسة أيضاً في مدى استقرار هذه التفسيرات عندما تتغير البيئة. في هذه النماذج، يعتمد التنبؤ بشكل كبير على الأمثلة المحددة المختارة لتشكيل السياق. واختبر الباحثون ما إذا كان تغيير ترتيب الأعمدة، أو طريقة ترميز التسميات، أو "البذرة العشوائية" (random seed) المستخدمة لبدء النموذج سيؤدي إلى تغيير التفسير. ووجدوا أن هذه العوامل لم يكن لها تأثير يُذكر. بدلاً من ذلك، كان التفسير يهيمن عليه بشكل ساحق نوع الأمثلة المحددة التي تم سحبها في السياق. بعبارة أخرى، التفسير حساس للغاية لمجموعة الأمثلة المحددة التي ينظر إليها النموذج، ولكنه مستقر بشكل ملحوظ ضد الاختلافات التقنية الأخرى. وهذا يشير إلى أن موثوقية التفسير مرتبطة بالسياق المحدد المقدم، وليس بالنموذج نفسه فقط.
كما اختبر الباحثون إجراءً وقائياً عبر إضافة ميزة إلى البيانات لا تحتوي على أي معلومات مفيدة على الإطلاق، وهي بمثابة متغير "وهمي". توقعوا أن يتجاهل النموذج هذه الميزة ويعطيها أهمية صفرية. بدلاً من ذلك، غير كلا النموذجين تنبؤاتهما بشكل متكرر استجابة لهذه الميزة غير المفيدة، حيث منحاها وزناً كبيراً. ويشير هذا إلى أن هذه النماذج القوية يمكن التأثير عليها بسهولة بواسطة الضوضاء، ويمكن لتفسيراتها أن تعكس هذه الحساسية. وتخلص الدراسة إلى أنه بالنسبة لهذا النوع من أنظمة الذكاء الاصطناعي، فإن التفسير ليس حقيقة قائمة بذاتها. إنه بناء هش يعتمد على الطريقة المحددة المستخدمة للتعامل مع المعلومات المفقودة، والسؤال المحدد المطروح، والأمثلة المحددة التي ينظر إليها النموذج حالياً. لفهم هذه النماذج، يجب أن نتوقف عن البحث عن تفسير واحد شامل، ونبدأ في السؤال بدقة عن نوع التفسير الذي نحتاجه وتحت أي ظروف يكون صحيحاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.