🤖 AI

Missingness-MDPs: Bridging the Theory of Missing Data and POMDPs

تقدم هذه الورقة نماذج عمليات ماركوف لاتخاذ القرار ذات البيانات المفقودة (missingness-MDPs)، وهي فئة فرعية جديدة من عمليات ماركوف لاتخاذ القرار بملكية جزئية (POMDPs) التي تُنمذج عدم قابلية ملاحظة سمات الحالة من خلال نظرية البيانات المفقودة، وتقترح خوارزميات التعلم الاحتمالي بأداء قريب من الأمثل (PAC) لتعلم دالة الفقدان الكامنة من بيانات المسار لاستخلاص سياسات مثالية بمقدار إبسيلون ( $\epsilon$ -optimal).

المؤلفون الأصليون: Joshua Wendland, Markel Zubia, Roman Andriushchenko, Maris F. L. Galesloot, Milan Ceska, Henrik von Kleist, Thiago D. Simao, Maximilian Weininger, Nils Jansen

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Joshua Wendland, Markel Zubia, Roman Andriushchenko, Maris F. L. Galesloot, Milan Ceska, Henrik von Kleist, Thiago D. Simao, Maximilian Weininger, Nils Jansen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية التنقل في متاهة، لكن مستشعرات الروبوت بها خلل. أحياناً، يرى الغرفة بأكملها بوضوح؛ وأحياناً أخرى، تختفي أجزاء من الغرفة من رؤيته. ربى يكون جدار قد اختفى، أو باب أصبح غير مرئي. لا يزال الروبوت يعرف قواعد المتاهة (كيف يتحرك من مكان إلى آخر)، لكنه لا يعرف لماذا أو متى تفشل المستشعرات.

تقدم هذه الورقة البحثية طريقة جديدة لمساعدة الروبوت على تعلم كيفية التصرف بشكل مثالي، حتى عندما تكون رؤيته غير موثوقة. إليك التفاصيل باستخدام تشبيهات بسيطة:

1. المشكلة: "النظارات المعيبة"

في العالم الحقيقي، غالباً ما تكون البيانات غير مكتملة. فكر في طبيب يفحص مريضاً. الطبيب يعرف كيف يتطور المرض عادةً (القواعد)، ولكن أحياناً ينكسر ميزان الحرارة، أو يفقد جهاز مراقبة معدل ضربات القلب الإشارة. يتعين على الطبيب اتخاذ القرارات بناءً على معلومات ناقصة.

في علوم الحاسوب، يتم نمذجة هذه المشكلة عادةً كعملية POMDP (عملية ماركوف لاتخاذ القرار ذات الملاحظة الجزئية). المشكلة هي أن نماذج الذكاء الاصطناعي القياسية تجد صعوبة في تعلم سبب فقدان البيانات. الأمر يشبه محاولة تعلم قواعد لعبة ورق حيث يقوم الموزع أحياناً بإخفاء الأوراق، لكنك لا تعرف ما إذا كان يخفيها بشكل عشوائي لأنه سيء في التوزيع، أم لأنه يغش بناءً على الأوراق التي تحملها أنت.

2. الحل: "النماذج ذات البيانات المفقودة" (miss-MDPs)

ابتكر المؤلفون نسخة متخصصة جديدة من هذه النماذج تسمى miss-MDPs. بدلاً من معاملة البيانات المفقودة كـ "ضباب" غامض، فهم يعاملونها كنوع محدد من "الأعطال" ذات ثلاث شخصيات متميزة:

MCAR (مفقود تماماً بشكل عشوائي): مثل مصباح كهربائي يومض بشكل عشوائي. البيانات مفقودة، لكن ليس لها علاقة بصحة المريض أو بموقع الروبوت. إنه مجرد سوء حظ.
MAR (مفقود بشكل عشوائي): مثل كاميرا تتعطل فقط عندما يكون الجو مظلماً. البيانات مفقودة، لكنها تعتمد على شيء آخر يمكنك رؤيته (على سبيل المثال، يفشل جهاز مراقبة معدل ضربات القلب فقط عندما تكون درجة الحرارة مرتفعة، وهو أمر يمكنك رؤيته).
MNAR (مفقود ليس بشكل عشوائي): هذا هو النوع الصعب. مثل كاميرا ترفض التقاط صورة إذا كان الموضوع يفعل شيئاً محرجاً. البيانات مفقودة بسبب قيمة البيانات نفسها (على سبيل المثال، يفشل جهاز مراقبة معدل ضربات القلب تحديداً عندما يكون معدل ضربات القلب مرتفعاً بشكل خطير).

3. الاستراتيجية: تعلم "نمط العطل"

يكمن الاختراق الكبير للورقة البحثية في كيفية تعليم الذكاء الاصطناعي كيفية تعلم "أنماط العطل" من التاريخ.

الطريقة القديمة: عادةً، يكون محاولة تعلم سبب فقدان البيانات أمراً مستحيلاً. الأمر يشبه محاولة تخمين قواعد خدعة سحرية بمجرد مراقبة يدي الساحر دون رؤية مجموعة الأوراق.
الطريقة الجديدة: أدرك المؤلفون أنه إذا كان "العطل" يتبع أحد الأنماط الثلاثة المذكورة أعلاه (MCAR أو MAR أو نوع معين من MNAR)، فإنه يمكنك تعلم النمط.
- يستخدمون مجموعة بيانات من الأفعال والملاحظات الماضية (مثل سجل رحلة الروبوت).
- يقومون بتشغيل خوارزمية إحصائية لحساب عدد المرات التي تفقد فيها الأشياء تحت ظروف مختلفة.
- يبنون "خريطة" للبيانات المفقودة.

4. النتيجة: "المخطط الخارق"

بمجرد أن يتعلم الذكاء الاصطناعي "نمط العطل" (دالة الفقدان)، يمكنه دمج هذه المعرفة في أداة تخطيط قياسية.

الضمان: تثبت الورقة البحثية رياضياً أنه إذا أعطيت الذكاء الاصطناعي قدراً كافياً من البيانات، فإنه سيتعلم نمط العطل بدقة كافية لاتخاذ قرارات تكاد تكون بمستوى أفضل قرار نظري ممكن.
الإثبات: اختبروا ذلك في سيناريوهين:
1. وحدة العناية المركزة (ICU): محاكاة لطبيب يعالج مريضاً مع وجود علامات حيوية مفقودة.
2. المفترس (Predator): محاكاة لأسد يطارد خنزيراً برياً حيث يختبئ الخنزير أحياناً.

في كلتا الحالتين، كان أداؤهم (تعلم نمط الفقد أولاً) أفضل بكثير من طرق الذكاء الاصطناعي القياسية التي تحاول تخمين الإجابة مباشرة دون فهم البيانات المفقودة.

5. العقبة

تعمل هذه الطريقة بشكل رائع إذا كان "العطل" يتبع القواعد (MCAR أو MAR أو أنواع معينة من MNAR). أما إذا كان فقدان البيانات فوضوياً ولا يتبع أيًا من هذه الأنماط (مثل حالات MNAR "غير القابلة للتحديد" في اختباراتهم)، فلا يمكن للذكاء الاصطناعي تعلم النمط بشكل مثالي، وتنخفض الكفاءة.

باختصار: تقول الورقة البحثية: "لا تكتفِ بمجرد التخمين حول كيفية التصرف عندما تكون البيانات مفقودة. أولاً، اكتشف كيف تُفقد البيانات من خلال النظر في التاريخ. بمجرد أن تفهم نمط القطع المفقودة، يمكنك حل اللغز بشكل مثالي".

ملخص تقني: عمليات ماركوف لاتخاذ القرار مع البيانات المفقودة (miss-MDPs)

بيان المشكلة

تتناول الورقة البحثية تحدي اتخاذ القرار المتسلسل تحت حالة عدم اليقين عندما تكون سمات الحالة مفقودة ديناميكيًا. بينما تفترض عمليات ماركوف لاتخاذ القرار (MDPs) إمكانية الملاحظة الكاملة، فإن السيناريوهات الواقعية (مثل التشخيص الطبي مع بيانات مستشعرات غير مكتملة) غالبًا ما تتضمن سمات مفقودة. يمكن لعمليات ماركوف لاتخاذ القرار جزئية الملاحظة (POMDPs) القياسية نمذجة ذلك عبر دالة ملاحظة؛ ومع ذلك، فإن تعلم هذه الدالة من سجلات الأفعال والملاحظات هو أمر غير قابل للتعريف (unidentifiable) وصعب حوسبيًا بشكل عام.

يحدد المؤلفون إطار عمل لمشكلة محددة: بالنظر إلى miss-MDP ذات عملية ماركوف (T) معروفة ولكن مع دالة فقدان (M) غير معروفة، ومجموعة بيانات من مسارات الأفعال والملاحظات، فإن الهدف هو حساب سياسة (*π) تكون مثالية بمقدار ε. تكمن الصعوبة الجوهرية في تعلم M من البيانات لتمكين التخطيط، وهي مهمة مستحيلة لـ POMDPs العامة ولكنها قد تكون ممكنة لفئات فرعية محددة.

المنهجية

1. تعريف miss-MDPs

قدم المؤلفون عمليات ماركوف لاتخاذ القرار مع البيانات المفقودة (miss-MDPs) كفئة فرعية مناسبة من POMDPs.

البنية: miss-MDP هي عبارة عن مجموعة (S, A, T, b₀, ρ, Z, M, γ).
فضاء الملاحظة: Z = ∏_{i ∈ I} (Sᵢ ∪ {⊥})، حيث يمثل ⊥ السمة المفقودة.
دالة الفقدان (M): دالة عشوائية M: S → Δ(Z) تحدد احتمالية كون السمات مرصودة أو مفقودة.
أنواع الفقدان: يتبنى الإطار تصنيف بيانات الفقدان المعياري (Rubin, 1976):
- MCAR (الفقدان العشوائي تمامًا): الفقدان مستقل عن قيم الحالة.
- MAR (الفقدان العشوائي): يعتمد الفقدان فقط على السمات المرصودة. يميز المؤلفون بين Simple MAR (يعتمد فقط على السمات المرصودة دائمًا) وبين MAR العام.
- MNAR (الفقدان غير العشوائي): يعتمد الفقدان على قيم السمات غير المرصودة (المفقودة).

2. خوارزميات التعلم (ضمانات PAC)

تقترح الورقة خوارزميات التعلم "الاحتمالي التقريبي الصحيح" (PAC) لتقريب دالة الفقدان التقريبية ˆM من مجموعة بيانات D. يعتمد النهج على قابلية التعريف لأنواع الفقدان المحددة.

خوارزمية $A_{sMAR}$ (لـ Simple MAR):
- تقسم السمات إلى سمات مرصودة دائمًا (𝚯_always) وسمات قد تكون مفقودة.
- تقدّر احتمالية مؤشرات الفقدان بناءً على قيم السمات المرصودة دائمًا.
- النظرية 1: تثبت أنه بالنسبة لـ Simple MAR، فإن ˆM تتقارب مع M الحقيقية باحتمالية عالية مع زيادة حجم مجموعة البيانات.
خوارزمية $A_{IMI}$ (لمؤشرات الفقدان المستقلة):
- قابلة للتطبيق على MCAR، وSimple MAR، وجزء من MNAR القابل للتعريف.
- تفترض: (1) استقلال مؤشرات الفقدان عبر السمات، (2) عدم وجود رقابة ذاتية (قيمة السمة لا تؤثر على فقدانها)، و(3) الإيجابية (السمات لها احتمالية غير صفرية لتكون مرصودة).
- تقدّر احتمالات الفقدان لكل سمة بشكل مستقل بناءً على السمات الأخرى المرصودة.
- النظرية 2: تثبت ضمانات PAC لـ ˆM تحت هذه الافتراضات.
حساب السياسة:
- بمجرد تقريب ˆM، يقوم المؤلفون ببناء miss-MDP محددة بالكامل ˆP.
- يستخدمون أدوات حل POMDP جاهزة (مثل SARSOP) لحساب سياسة مثالية بمقدار ε لـ ˆP.
- النظرية 3: تثبت أنه إذا كانت ˆM دقيقة بما يكفي، فإن السياسة الناتجة ستكون مثالية بمقدار ε لـ miss-MDP الحقيقية P.

3. الرؤى النظرية

التجاهل (Ignorability): يثبت المؤلفون (الملاحظة 1) أنه بالنسبة لـ MAR (بما في ذلك MCAR)، فإن احتمالات دالة الفقدان المحددة هي "متجاهلة" لعمليات تحديث الاعتقاد (الحفاظ على توزيع الحالة الحالي) لأنها تلغي بعضها البعض في قاعدة بايز، ومع ذلك، لا تزال الدالة مطلوبة لحساب السياسة نفسها، لأن احتمالات الانتقال بين الاعتقادات تعتمد على M.

المساهمات الرئيسية

الصياغة الرسمية: تقديم miss-MDPs، التي تدمج نظرية البيانات المفقودة (MCAR, MAR, MNONR) في إطار POMDP لتعريف فئة فرعية قابلة للتعريف حيث تكون دالة الملاحظة قابلة للتعلم.
تحليل قابلية التعريف: تحديد شروط معينة (Simple MAR، وIndependent/MNAR بدون رقابة ذاتية) تتيح تعلم دالة الفقدان من السجلات، مما يتناقض مع عدم قابلية تعريف دالة الملاحظة في POMDPs العامة.
خوارزميات PAC: تطوير خوارزميات ( $A_{sMAR}$ , $A_{IMI}$ ) مع ضمانات PAC رسمية لتعلم دالة الفقدان.
ضمانات المثالية: إثبات أن تعلم ˆM بدقة كافية يسمح بحساب سياسات مثالية بمقدار ε للنظام الحقيقي.

النتائج التجريبية

قيم المؤلفون نهجهم على معيارين:

ICU: نموذج اتخاذ قرار طبي (طبيب يعالج مريضًا) بـ 800 حالة.
Predator: لعبة مطاردة وهروب (نسخة من لعبة Tag) تصل إلى 1,765 حالة.

النتائج:

جودة التقريب: تحت الافتراضات الصحيحة، تتقارب المسافة بين ˆM و M الحقيقية (مسافة التباين الكلي TV) إلى الصفر مع زيادة حجم مجموعة البيانات.
أداء السياسة: السياسات المستمدة من miss-MDP المتعلمة تتقارب نحو قيمة السياسة المثالية (π*) مع تحسن التقريب.
حساسية الافتراضات: تؤدي الافتراضات غير الصحيحة (مثل افتراض MAR بينما البيانات هي MNAR مع رقابة ذاتية) إلى تقريب سيئ وسياسات غير مثالية.
المقارنة مع الخطوط المرجعية: تفوق النهج القائم على النموذج المقترح بشكل كبير على الخطوط المرجعية الخالية من النموذج (PPO مع/بدون ذاكرة، POMCP) في كلا المعيارين. ويعزو المؤلفون فشل الطرق الخالية من النموذج إلى عدم قدرتها على التعامل بفعالية مع هيكل الملاحظة الجزئية المحدد لـ miss-MDPs، مشيرين إلى أن هذه الطرق نجحت عندما تمت إزالة الفقدان.

الأهمية والادعاءات

تدعي الورقة أنها تسد الفجوة بين نظرية البيانات المفقودة واتخاذ القرار المتسلسل. تكمن أهميتها الأساسية في توفير نهج قائم على النموذج للتعامل مع البيانات المفقودة في POMDPs مع ضمانات إحصائية (PAC).

على عكس العمل السابق الذي يعامل الفقدان كأمر عرضي أو يعتمد على الاستكمال (imputation) دون ضمانات، فإن هذا العمل:

ينمذج عملية الفقدان بشكل صريح.
يتعلم دالة الفقدان من البيانات مع حدود نظرية للخطأ.
يستفيد من هذا النموذج المتعلم لضمان قرب المثالية للسياسة الناتجة.

يشير المؤلفون بتواضع إلى أن نهجهم الحالي يفترض أن دالة انتقال MDP الأساسية معروفة. وقد حددوا رفع هذا الافتراض وتوسيع الإطار ليشمل miss-POMDTs العامة كتوجهات للعمل المستقبلي. وتؤكد النتائج التجريبية أن نهجهم يتفوق على صياغات POMDP المباشرة (مثل POMCP) وطرق التعلم التعزيزي العميق (مثل PPO) في الحالات التي تتبع فيها آلية الفقدان أنماطًا قابلة للتعريف.