One Pipeline, Many Transformers: Pattern-Specific Imputation Specialists for Tabular Missing Data
تقدم هذه الورقة مسار تدريب مسبق موحد يقوم بتوليد متخصصين في تعويض البيانات يعتمدون على بنية "ترانسفورمر" (transformer) لكل نمط محدد، مما يثبت أن نموذجاً واحداً تم تدريبه حصرياً على بيانات تفتقر للقيم بشكل عشوائي تماماً (MCAR) (وهو TabImpute) يحقق أداءً قوياً عبر أنماط فقدان متنوعة مع تفوقه على 14 نموذجاً مرجعياً قائماً في سيناريوهاتهم المستهدفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم البيانات الواسع، نادراً ما تكون المعلومات مثالية. وسواء كان طبيب يراجع سجلات المرضى، أو خبير اقتصادي يحلل اتجاهات السوق، أو مهندس يراقب مستشعرات المصنع، فإن مجموعات البيانات التي يعتمدون عليها غالباً ما تحتوي على فجوات. الأرقام مفقودة، أو لم تُؤخذ القياسات، أو فُقدت المدخلات أثناء النقل. هذا الغياب للبيانات يخلق مشكلة كبيرة: معظم الأدوات الإحصائية وأدوات تعلم الآلة لا يمكنها العمل مع المساحات الفارغة، فهي تتطلب صورة كاملة لتعمل. ولإصلاح ذلك، استخدم العلماء منذ فترة طويلة عملية تسمى "الاستكمال" (imputation)، والتي تعني ملء الفراغات بتخمينات مدروسة. لعقود من الزمن، ظل هذا المجال عالقاً في خيار صعب؛ حيث يمكن للممارسين استخدام أداة عامة تحاول ملء أي رقم مفقود ولكنها غالباً ما تؤدي بشكل ضعيف في الحالات المعقدة والمحددة، أو يمكنهم الانتظار حتى يصمم باحث خوارزمية متخصصة للغاية لمشكلتهم بدقة، وهي عملية تتطلب خبرة عميقة ووقتاً طويلاً. والواقع هو أن البيانات المفقودة نادراً ما تكون عشوائية؛ فغالباً ما يكون السبب وراء فقدان رقم ما مرتبطاً بالقيمة نفسها، مما يجعل لعبة التخمين أكثر صعوبة.
اقترح فريق من الباحثين من جامعة كولومبيا وجامعة كورنيل طريقة لكسر هذا الجمود. لقد طوروا نظاماً مرناً يعمل بمثابة مصنع لإنشاء خبراء مخصصين لتعبئة البيانات دون الحاجة إلى إعادة تصميم الآلة في كل مرة. فبدلاً من بناء خوارزمية جديدة لكل نوع من أنواع البيانات المفقودة، بنوا مساراً واحداً (pipeline) يمكنه إنتاج "مُستكمل" (imputer) متخصص لأي نمط من أنماط الفقدان. جوهر عملهم هو منهجية تعامل كل رقم مفقود في الجدول كقطعة أحجية فريدة، حيث تنظر إلى الصف والعمود الذي تنتمي إليه، بالإضافة إلى القيم المحيطة بها، لإجراء تنبؤ. ومن خلال تدريب هذا النظام على ملايين الجداول الاصطناعية — وهي بيانات مولدة حاسوبياً تحاكي سيناريوهات العالم الحقيقي — أنشأوا نموذجاً يمكنه التكيف فوراً. فإذا كان المستخدم يعرف بالضبط سبب فقدان بياناته، يمكن للنظام إنشاء متخصص لهذا النمط المحدد. وإذا لم يكن لدى المستخدم أدنى فكرة عن سبب فقدان البيانات، فإن النظام يقدم نموذجاً افتراضياً قوياً يعمل بشكل جيد في أي موقف تقريباً.
اختبر الباحثون هذا النهج على معيار جديد أنشأوه يسمى "MissBench"، والذي يتضمن 42 مجموعة بيانات من العالم الحقيقي من مجالات مثل الطب والتمويل والهندسة. لقد قاموا بمحاكاة 11 طريقة مختلفة لفقدان البيانات، تتراوح من الفجوات العشوائية البسيطة إلى السيناريوهات المعقدة حيث يعتمد الفقدان على القيم الخفية نفسها. وفي هذه الاختبارات، تفوقت نماذجهم المتخصصة باستمرار على أربع عشرة طريقة راسخة كانت تعتبر سابقاً الأفضل لمهام محددة. ومن المثير للدهشة أن النموذج الافتراضي، الذي تم تدريبه فقط على أبسط أنواع البيانات المفقودة، أثبت أنه قوي بما يكفي للتعامل مع الأنماط الأكثر تعقيداً بشكل أفضل من العديد من الأدوات المتخصصة المصممة لها. وهذا يشير إلى أن النظام يتعلم البنية الأساسية للبيانات بشكل جيد لدرجة أنه لا يحتاج إلى معرفة القواعد المحددة لعملية الفقدان ليقوم بعمل جيد.
تعمل العملية أولاً من خلال توليد مكتبة ضخمة من جداول البيانات الوهمية. يتم إنشاء هذه الجداول باستخدام إطار رياضي يفترض أن بيانات العالم الحقيقي غالباً ما تتبع أنماطاً خفية، على غرار كيف يمكن لعدد قليل من العوامل الأساسية أن يؤثر على العديد من القياسات المختلفة. ثم يطبق الباحثون وحدات "فقدان" (missingness modules) مختلفة على هذه الجداول لمحاكاة طرق مختلفة لاختفاء البيانات. قد تقوم إحدى الوحدات بإزالة الأرقام تماماً وبشكل عشوائي، بينما تقوم أخرى بإخفاء القيم المرتفﺔ جداً أو المنخفضة جداً، أو إخفاء البيانات بناءً على قيم أخرى في نفس الصف. ثم يقوم النظام بتدريب نموذج قائم على تقنية "المحول" (transformer) — وهو نوع من الذكاء الاصطناعي المعروف بقدرته على التعرف على الأنماط — للتنبؤ بالقيم المفقودة بناءً على سياق الأرقام المحيطة. والأهم من ذلك، أن بنية النموذج لا تتغير أبداً؛ الشيء الوحيد الذي يتغير هو وحدة "الفقدان" المستخدمة خلال مرحلة التدريب. وهذا يعني أنه يمكن للمستخدم استبدال ظروف التدريب لإنشاء متخصص جديد في غضة ساعات، دون الحاجة إلى إعادة كتابة الكود أو إعادة هندسة النموذج.
أحد أكثر النتائج لفتاً للنظر هو أن النظام لا يحتاج إلى حفظ قواعد الفقدان المحددة للنجاح. فعندما درب الباحثون النموذج فقط على البيانات المفقودة عشوائياً، أصبح خبيراً عالمياً يعمل بشكل جيد حتى عندما تتبع البيانات المفقودة قواعد معقدة وغير عشوائية. وهذا يتحدى الاعتقاد السائد منذ فترة طويلة بأن المرء يجب أن يصمم خوارزمية فريدة لكل نوع محدد من مشاكل البيانات المفقودة. يبدو أن النظام يتعلم فهماً عاماً لكيفية ارتباط البيانات ببعضها البعض، مما يسمح له بملء الفجوات بدقة بغض النظر عن سبب فقدانها. وفي الحالات النادرة التي يكون فيها سبب فقدان البيانات معروفاً ومحدداً للغاية، يمكن للمسار إنتاج نموذج مخصص يتفوق حتى على أفضل الأساليب المتخصصة الموجودة.
كما عالج الباحثون مسألة السرعة. فالطرق التقلية التي تحاول ملء البيانات غالباً ما تفعل ذلك عموداً تلو الآخر، وهو أمر بطيء ويمكن أن يفتقد الروابط بين أجزاء مختلفة من الجدول. نهجهم الجديد ينظر إلى كل مدخل في الجدول في وقت واحد، مما يسمح له باستخدام المعلومات من مجموعة البيانات بأكملها لإجراء تنبؤ واحد سريع. هذه المعالجة المتوازية تجعل النظام أسرع بكثير من الطرق السابقة، حيث يمكنه التعامل مع الجداول الصغيرة إلى متوسطة الحجم في جزء من الوقت الذي تستغرقه الأدوات القديمة. وبينما صُمم النظام الحالي للجداول التي تتناسب مع ذاكرة الكمبيوتر القياسية، يقر الباحثون بأن توسيع نطاقه ليشمل مجموعات البيانات الضخمة سيتطلب المزيد من الهندسة. ومع ذلك، بالنسبة للغالبية العظمى من التطبيقات العملية في العلوم والأعمال، يوفر النظام أداة قوية.
من خلال جعل الكود والنماذج والمعيار متاحين للجمهور، يأمل الفريق في تغيير كيفية تعامل الممارسين مع البيانات المفقودة. فبدلاً من انتظار خوارزمية مثالية أو القبول بخبير عام متوسط المستوى، يمكن للمستخدمين الآن إنشاء أداة تناسب احتياجاتهم الخاصة أو الاعتماد على نموذج افتراضي قوي يعمل في كل مكان تقريباً. إن هذا العمل يثبت أنه مع استراتيجية التدريب الصحيحة، يمكن لنظام واحد أن يتقن فن ملء الفراغات، محولاً مشكلة البيانات المفقودة المحبطة إلى لغز قابل للحل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.