📊 statistics

Order-Agnostic Autoregressive Modelling with Missing Data

تقدم هذه الورقة نماذج الترتيب غير المعتمد على الترتيب والمدركة لفقدان البيانات (MO-ARM)، وهو إطار عمل يعيد تفسير النماذج التوليدية ذات الترتيب غير المعتمد على الترتيب من خلال منظور البيانات المفقودة لتمكين الاستكمال القوي في ظل آليات فقدان عامة وتسهيل اكتساب المعلومات النشط، متفوقةً باستمرار على النماذج المرجعية الحالية في الاختبارات القياسية الواقعية.

المؤلفون الأصليون: Ignacio Peis, Pablo M. Olmos, Jes Frellsen

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ignacio Peis, Pablo M. Olmos, Jes Frellsen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل أحجية (بازل) ضخمة، لكن أحدهم انتزع نصف قطعها. في العالم الحقيقي، يحدث هذا طوال الوقت: مستشعر يتعطل، أو مريض ينسى ملء استمارة، أو ملف يتعرض للتلف. عادةً ما تعاني الحواسيب مع هذه "القطع المفقودة"؛ فهي إما تخمن بشكل عشوائي، أو تتخلص من البيانات غير المكتملة، أو ترتبك بشأن الشكل الذي يفترض أن تكون عليه الصورة.

تقدم هذه الورقة البحثية طريقة جديدة للحواسيب للتعامل مع قطع الأحجية المفقودة باستخدام طريقة تسمى MO-ARM. وإليك كيف تعمل، مشروحة عبر تشبيهات بسيطة.

1. الطريقة القديمة: مشكلة "الترتيب الصارم"

نماذج الذكاء الاصطناعي التقليدية التي تحاول فهم البيانات تشبه طباخاً صارماً جداً يصر على صنع شطيرة بترتيب محدد للغاية: خبز، ثم جبن، ثم لحم، ثم خبز. إذا أعطيت الطباخ طبقاً يحتوي فقط على اللحم وقطعة الخبز الثانية، فسيصاب الطباخ بالذعر؛ لأنه لا يستطيع صنع الشطيرة لأن قاعدة "الخبز أولاً" قد كُسرت.

من الناحية التقنية، تُسمى هذه النماذج ذات الترتيب الذاتي (Autoregressive Models). هي تتنبأ بالقطعة التالية من البيانات بناءً على القطع التي سبقتها، لكنها عالقة في ترتيب واحد وثابت. إذا فُقدت بيانات في المنتصف، تنكسر السلسلة.

2. الفكرة الجديدة: الطباخ "غير المرتبط بترتيب"

نظر المؤلفون إلى نوع أحدث من النماذج يسمى النماذج ذات الترتيب الذاتي غير المرتبطة بالترتيب (OA-ARM). تخيل طباخاً لا يهتم بالترتيب؛ يمكنه البدء باللحم، ثم إضافة الجبن، ثم الخبز، أو البدء بالخبز، ثم اللحم، ثم الجبن. يمكنه بناء الشطيرة بأي ترتيب عشوائي يريده.

لقد توصل المؤلفون إلى اكتشاف عبقري: عندما تدرب هذا "الطباخ غير المرتبط بالترتيب" على شطيرة "كاملة" (بدون قطع مفقودة)، فإنه يتعلم بالصدفة كيفية ملء القطع المفقودة بشكل مثالي.

لماذا؟ لأنه أثناء التدريب، يُطلب من الطباخ باستمرار التنبؤ بقطعة عشوائية (مثل اللحم) بناءً على أي قطع أخرى موجودة حالياً على الطاولة (ربما الخبز فقط). هذا هو بالضبط نفس التمرين الذهني المتمثل في ملء قطعة مفقودة من الأحجية. وتثبت الورقة أن عملية التدريب هذه متطابقة رياضياً مع التدريب باستخدام بيانات "مفقودة بشكل عشوائي تماماً". لذا، حتى لو تدرب النموذج على بيانات كاملة، فإنه يصبح خبيراً في تخمين ما هو مفقود.

3. التطوير: MO-ARM (الطباخ "المدرك لسبب الفقد")

لم يتوقف المؤلفون عند هذا الحد. فقد أدركوا أنه في العالم الحقيقي، لا تكون البيانات المفقودة دائماً عشوائية. أحياناً، تكون البيانات مفقودة بسبب قيمتها نفسها (على سبيل المثال، ميزان الحرارة يتعطل تحديداً عندما يصبح الجو حاراً جداً). وهذا ما يسمى "البيانات المفقودة ليست عشوائية" (MNAR).

قاموا ببناء MO-ARM، الذي يضيف طبقة ثانية من الذكاء:

الطباخ: لا يزال يبني الشطيرة بأي ترتيب.
المحقق: جزء جديد من النموذج يسأل: "لماذا هذه القطعة مفقودة؟"

إذا تعلم النموذج أن القطع مفقودة لأنها "حارة جداً"، فإنه يعدل تخميناته وفقاً لذلك. وهذا يسمح لـ MO-ARM بالتعامل مع البيانات المفقودة المعقدة وغير العشوائية بشكل أفضل بكثير من الطرق السابقة.

4. القوة الخارقة: "المحقق الفضولي"

أحد أروع ميزات MO-ARM هو قدرته على تحديد ما الذي يجب أن يطلبه تالياً.

تخيل أنك طبيب تحاول تشخيص مريض، لكن لا يمكنك إجراء سوى عدد قليل من الفحوصات. أنت لا تريد إجراء فحص عشوائي؛ بل تريد الفحص الذي سيعطيك أكبر قدر من المعلومات.

يعمل MO-M مثل محقق فائق الفضول. ينظر إلى البيانات التي لديك بالفعل ويحسب: "إذا عرفت قيمة هذا المتغير المحدد المفقود، فبكم ستتحسن ثقتي في الإجابة النهائية؟"
ثم يختار ذلك المتغير المحدد لـ "الحصول عليه" تالياً.
يقوم بذلك خطوة بخطوة، جامعاً المعلومات الأكثر قيمة بكفاءة لاتخاذ قرار، بدلاً من التخمين الأعمى.

5. هل نجح الأمر؟

اختبر المؤلفون هذا على نوعين مختلفين تماماً من الأحاجي:

البيانات الجدولية: مثل الجداول التي تحتوي على أرقام وفئات (مثل بيانات البطاقات الائتمانية، أو السجلات الطبية). تفوق MO-ARM باستمرار في ملء الأرقام المفقودة على غيره من نماذج الذكاء الاصطناي المتميزة.
الصور: مثل صورة لوجه حيث تم حجب نصف البكسلات (Pixels) باللون الأسود. استطاع MO-ARM "إعادة رسم" (Inpainting) الأجزاء المفقودة من الوجه، مع الحفاظ على هوية الشخص وبنيته بشكل أفضل من الطرق الأخرى، حتى عندما كان 98% من الصورة مفقوداً.

ملخص

باختصار، تأخذ هذه الورقة نموذج ذكاء اصطناعي مرناً يمكنه التعلم بأي ترتيب، وتدرك أن هذه المرونة تجعل منه خبيراً طبيعياً في تخمين البيانات المفقودة، ثم تطوره ليفهم سبب فقدان البيانات. والنتيجة هي نظام يمكنه:

ملء الفراغات في مجموعات البيانات الفوضوية وغير المكتملة بشكل أفضل من أي شخص آخر.
تحديد الأسئلة التي يجب طرحها تالياً للحصول على المعلومات الأكثر فائدة بأقل جهد ممكن.

إنها تحول الذكاء الاصطناعي من أداة جامدة تعتمد على الترتيب إلى أداة مرنة تشبه المحقق في التفكير والاستنتاج تحت ظروف عدم اليقين.

ملخص تقني: النمذجة ذاتية الانحدار غير المرتبطة بالترتيب مع البيانات المفقودة

بيان المشكلة

تعمل أنظمة التعلم في العالم الحقيقي بشكل متكرر تحت ظروف الملاحظة الجزئية، حيث تكون الميزات مفقودة بسبب أعطال المستشعرات، أو تكاليف الاستحواذ، أو قيود الخصوصية. يجب على الأنظمة الفعالة في هذه المجالات معالجة ثلاثة تحديات جوهرية: (1) التعلم من البيانات غير المكتملة، (2) تعويض القيم المفقودة وقت الاستدلال، و(3) اتخاذ القرار بشأن المتغيرات غير المرصودة التي يجب الحصول عليها عندما تكون الملاحظات مكلفة (الاستحواذ النشط على الميزات).

على الرغم من أن النماذج التوليدية العميقة تقدم نظرياً نهجاً موحداً من خلال نمذجة التوزيع المشترك الكامل، إلا أن الأساليب الحالية تواجه قيوداً كبيرة. تعتمد المشفرات التلقائية التباينية (VAEs) على الاستدلال التقريبي، مما يحد من دقة التكييف. وتفتقر الشبكات التنافسية التوليدية (GANs) غالباً إلى الاحتمالات القابلة للحساب وكثافات شرطية مبدئية. أما نماذج الانتشار (Diffusion models)، ورغم إنتاجها عينات عالية الجودة، إلا أنها تتطلب سلاسل أخذ عينات تكرارية وتواجه صعوبة في التكييف بدقة مع مجموعات فرعية عشوائية من المتغيرات المرصودة. أما النماذج ذاتية الانرجاع الكلاسيكية (ARMs)، فهي توفر احتمالات قابلة للحساب ولكنها تعتمد على ترتيب توليد ثابت، مما يمنع التكييف مع مجموعات فرعية عشوائية من المتغيرات.

المنهجية: MO-ARM

يقدم المؤلفون نموذج MO-ARM (النماذج ذاتية الانحدار غير المرتبطة بالترتيب والمدركة لفقدان البيانات)، وهو إطار عمل يعيد تفسير النماذج ذاتية الانحدار غير المرتبطة بالترتيب (OA-ARMs) من منظور البيانات المفقودة.

1. الرؤية النظرية: OA-ARMs و MCAR

يؤسس البحث أولاً صلة نظرية بين تدريب OA-ARM القياسي وتعويض البيانات المفقودة عشوائياً تماماً (MCAR). يتم تدريب نماذج OA-ARM على تبديلات عشوائية للمتغيرات، مما يعامل ترتيب التوليد كمتغير كامن. ويوضح المؤلفون أن هدف التدريب القياسي، الذي يتضمن التنبؤ بمتغير بناءً على مجموعة فرعية مختارة عشوائياً من المتغيرات التي تم الكشف عنها سابقاً، يحاكي ضمناً عملية فساد (corruption process) من نوع MCAR. وبناءً على ذلك، فإن نماذج OA-ARM المدربة فقط على بيانات كاملة الملاحظة تتعمم طبيعياً لمهام التعويض تحت آليات MCAR دون تعديل.

2. إطار عمل MO-ARM

بناءً على هذه الرؤية، يقترح المؤلفون إطار عمل مبدئياً لتدريب نماذج OA-ARM مباشرة على مجموعات بيانات غير مكتملة تحت آليات فقدان عامة (تمتد من MCAR إلى الفقدان غير المرتبط عشوائياً، أو MNAR).

الصياغة الاحتمالية: يقوم النموذج بتحليل التوزيع المشترك للبيانات المرصودة ( $x_{z_o}$ )، والبيانات المفقودة ( $x_{z_m}$ )، وقناع الفقدان ( $z_o$ ) كالتالي:
$p_{\theta, \phi}(x_{z_o}, x_{z_m}, z_o) = p_\theta(x_{z_o}) p_\theta(x_{z_m} | x_{z_o}) p_\phi(z_o | x_{z_o}, x_{z_m})$
هنا، تمثل $p_\theta$ النموذج التوليدي (وهو OA-ARM)، وتمثل $p_\phi$ آلية الفقدان المتعلمة.
هدف التدريب: يعمل النموذج على تعظيم لوغاريتم الاحتمال للبيانات المرصودة باستخدام حد أدنى تبايني (ELBO).
- في حالة MCAR، يكون حد الفقدان مستقلاً عن البيانات ويمكن إهماله.
- في حالة MNAR، يتعلم النموذج صراحةً عملية الفقدان $p_\phi$ باستخدام نموذج برنولي لكل عنصر يتم تمثيله بواسطة شبكة عصبية. وهذا يسمح للنموذج بمراعاة التبعيات بين الفقدان والقيم غير المرصودة.
استراتيجية التعويض:
- MCAR: يتم التعويض من خلال الهامش (marginalizing) عبر مسارات إزالة القناع المحتملة للمتغيرات المفقودة باستخدام أخذ العينات بطريقة مونت كارلو.
- MNAR: يستخدم النموذج أوزان الأهمية ذاتية التقييس (self-normalized importance weighting). يتم إعادة وزن العينات المكتملة بناءً على احتمالية القناع المرصود تحت نموذج الفقدان المتعلم $p_\phi$ ، مما يضمن منح الأولوية للعينات المكتملة التي تتوافق مع نمط الفقدان المرصود.

3. الاستحواذ النشط على المعلومات

يستفيد MO-ARM من تقدير الكثافة الشرطية الموزعة لآداء الاستحواذ النشب على الميزات (AFA). من خلال تقدير المعلومات المتبادلة الشرطية $I(x_\Phi; x_{z_i} | x_{z_{<i}})$ بين متغير مستهدف $x_\Phi$ وميزة مرشحة $x_{z_i}$ بمعلومية الملاحظات الحالية، يمكن للنموذج اختيار المتغيرات المفقودة الأكثر إفادة بشكل متسلسل، مما يعظم أداء التنبؤ اللاحق.

المساهمات الرئيسية

إعادة تفسير OA-ARMs: يوضح البحث أن تدريب OA-ARM القياسي يؤدي ضمناً إلى تعويض MCAR، مما يفسر أداءه القوي خارج العينة في حالات البيانات المفقودة.
التدريب المبدئي على البيانات غير المكتملة: قدم المؤلفون أول إطار عمل لتدريب نماذج OA-ARM مباشرة على مجموعات بيانات غير مكتملة تحت آليات فقدان عامة (MCAR و MNAR) مع الحفاظ على احتمالات دقيقة وتمكين أخذ العينات الشرطي الفعال.
إطار عمل موحد للتعويض والاستحواذ: يوحد MO-ARM بين تعويض البيانات المفقودة والاستحواذ النشط على المعلومات، مستخدماً نفس التوزيعات الشرطية الموزعة للمهمتين.
التحقق التجريبي: تم تقييم MO-ARM المقترح عبر اختبارات معيارية من العالم الحقيقي، بما في ذلك البيانات الجدولية (مجموعات بيانات UCI) وترميم الصور (CelebA-HQ).

النتائج التجريبية

قيم المؤلفون MO-ARM مقابل خطوط أساس راسخة، بما في ذلك MIWAE، و not-MIWAE (لحالات MNAR)، و VAEAC، و DiffPuter، والطرق الكلاسيكية مثل MissForest و MICE.

تعويض البيانات الجدولية: عبر سبع مجموعات بيانات من UCI بأنواع ميزات متنوعة (مستمرة وفئوية)، تفوق MO-ARM باستمرار على النماذج التوليدية الراسخة تحت آليات فقدان MCAR و MNAR. ومن الجدير بالذكر أنه في حالة MNAR، تفوق MO-RM على not-MIWAE، وهو الخط الأساسي الوحيد المصمم صراحةً لهذه الآلية.
ترميم الصور (Inpainting): في مجموعة بيانات CelebA-HQ، أظهر MO-ARM قدرة فائقة على الحفاظ على الهوية والبنية العامة مقارم بـ RePaint (وهو خط أساس يعتمد على الانتشار)، محققاً درجات PSNR أعلى، خاصة مع زيادة نسبة الفقدان (تصل إلى 98%).
الاستحواذ النشط: في مهام الاستحواذ المتسلسل للميزات، يضاهي MO-ARM أو يتفوق على الخطوط الأساسية في تقليل خطأ التنبؤ مع زيادة عدد الميزات التي يتم الحصول عليها، مما يثبت فائدة توزيعاته الشرطية في اتخاذ القرار.

الأهمية والادعاءات

يزعم البحث أن MO-ARM يشكل أداة قوية وغير مقدرة حق قدرها للتعامل مع البيانات غير المكتملة. ويرى المؤلفون أن النماذج ذاتية الانحدار غير المرتبطة بالترتيب تقدم بديلاً عملياً ومبدئياً للنماذج القائمة على المتغيرات الكامنة (VAE) أو نماذج الانتشار. وتشمل المزايا الرئيسية المذكورة ما يلي:

احتمالات قابلة للحساب: على عكس GANs أو VAEs التقريبية، توفر نماذج OA-ARM احتمالات دقيقة.
التكييف العشوائي: على عكس نماذج ARMs الكلاسيكية، تدعم هذه النماذج التكييف مع مجموعات فرعية عشوائية من المتغيرات المرصودة.
الكفاءة: يمكن استعلامها بشكل متكرر مع ظهور الملاحظات، مما يدعم اتخاذ القرار المتسلسل دون الحاجة إلى سلاسل أخذ عينات تكرارية طويلة كما في نماذج الانتشار.

يقر المؤلفون بوجود قيود، مشيرين إلى أن التوليد الدقيق يظل مكلفاً في الأبعاد العالية (رغم التخفيف من ذلك عبر التجميع الكتلوي/blocked unmasking)، وأن الأداء يتراجع عندما يصبح السياق المرصود شحيحاً للغاية. كما أشاروا إلى أنه بينما يمتد الإطار ليشمل MNAR، فإن هذا النظام يظل أكثر تحدياً من MCAR ويتطلب مزيداً من الدراسة.